🤗 Daily Hugging Face Paper Digest - 2026-10-28

Báo cáo được tạo tự động vào lúc 2026-10-29 10:32:44 bằng mô hình hermes-agent.

📰 Summary of Papers

1. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents (533 votes)

Tác giả: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, et al.

Xuất bản lúc: 2026-10-26

Tag: Multimodal Agents, Recursive Self-Improvement, Agent Harness, World Generation, Real2Sim2Real, LLM Agents, Embodied AI

I. Main Problem:

Huấn luyện agent đa phương thức theo vòng lặp tác vụ ↔ môi trường ↔ agent đang bị nghẽn ở hai điểm:

Xây môi trường thủ công quá tốn kém: cần hệ sinh thái lớn, đa dạng, có thể kiểm chứng được kết quả (verifiable), khó mở rộng.
Cải tiến Harness bằng tay không theo kịp: các phương pháp recursive self-improvement (RSI) hiện tại tối ưu theo từng tác vụ riêng lẻ, dẫn đến Harness bị overfit và kém khái quát; ngược lại một Harness toàn cục duy nhất lại không đáp ứng được các yêu cầu mâu thuẫn giữa các tác vụ (đặc biệt đánh đổi hiệu năng–hiệu suất trong tác vụ embodied).
Insight then chốt: các tác vụ khác phương thức, khác hình thức bề mặt lại chia sẻ cùng yêu cầu năng lực nền tảng (ví dụ ARC-AGI-3 và Micromouse đều cần perception chính xác + theo dõi trạng thái).

II. Main Idea:

The Trinity là khung RSI tự cải tiến lặp, nơi backbone mô hình bị đóng băng và việc học tập trung vào Harness (6 giao thức điều phối: Perception, Memory, Inference, Planning, Orchestration, Loop). Ba vai trò phối hợp:

Evolver: phân tích đặc tả + trajectory đã kiểm chứng, rút ra yêu cầu năng lực của từng tác vụ và sắp xếp chúng bằng cấu trúc Trie thành cây năng lực phân cấp, thay vì nhóm theo loại tác vụ bề mặt.
Creator (Capability-Driven Real2Sim2Real): tại mỗi nút cây, tóm lược yêu cầu chung của các tác vụ dị biệt thành môi trường mô phỏng đơn giản, có bộ kiểm chứng, để học năng lực rẻ và sạch; sau đó đánh giá trên tác vụ gốc để đo khả năng transfer.
Explorer: duyệt cây năng lực, kế thừa chọn lọc module từ cha, tinh chỉnh cục bộ bằng trajectory, chỉ giữ bản cập nhật nào vượt điểm cha một cách nghiêm ngặt — hình thành cây Harness chuyên hóa theo năng lực, cộng dồn qua các vòng lặp.
Capability-Aware Harness Router: với tác vụ mới, dùng thông tin công khai + kinh nghiệm đã kiểm chứng để chọn nhánh Harness phù hợp.

Ví dụ đời thường: giống trường dạy nghề thay vì dạy từng mẫu xe riêng lẻ, trường rút ra các kỹ năng chung (quan sát, ghi nhớ, lên kế hoạch), cho học viên luyện trên buồng mô phỏng rẻ tiền có chấm điểm tự động, rồi từng học viên chỉ mang theo đúng bộ kỹ năng cần thiết cho công việc cụ thể của mình.

III. Main Results:

Cải thiện +34 điểm trung bình trên 28 benchmark huấn luyện và +26 điểm trên 18 benchmark chưa thấy, kể cả hai tác vụ embodied thực tế.
So sánh tổ chức Harness (1 vòng RSI, chỉ module): Base 39.06 → Global 53.04 → cây năng lực + môi trường mô phỏng đạt 56.95 (Train), vượt nhóm theo domain phẳng (49.25) và nhóm theo tác vụ (51.17), đồng thời chi phí suy luận thấp nhất (514M token).
Kết hợp module tiến hóa + skill đánh giá đạt 63.80 Train / 53.53 Unseen, cao hơn hẳn từng thành phần riêng lẻ.
Tái sử dụng môi trường tổng hợp qua các vòng lặp giúp giảm dần chi phí xây dựng môi trường — chi phí huấn luyện cạnh tranh dù hiệu năng tăng.
Routing theo năng lực chọn đúng Harness chuyên hóa cho tác vụ mới; các phân tích can thiệp có kiểm soát làm rõ quan hệ năng lực ↔ module nào quyết định hiệu năng từng tác vụ.

IV. Conclusion & Future Works:

Chuyển trục tổ chức từ theo tác vụ sang theo năng lực chia sẻ là chìa khóa để RSI khái quát qua các tác vụ dị biệt: tổ chức cây năng lực + Real2Sim2Real + kế thừa chọn lọc cho phép nhiều Harness chuyên hóa cộng dồn tiến bộ với chi phí tiến hóa thấp và transfer được sang cả embodied thực tế. Kết quả ủng hộ nguyên tắc less is more: ít môi trường học tập hơn nhưng trúng năng lực cốt lõi lại hiệu quả hơn nhiều tác vụ gốc. Hướng mở: mở rộng phạm vi năng lực, nâng cấp Router, và thắt chặt thêm bằng chứng liên kết năng lực–module.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cây năng lực cho agent thu thập trực tuyến: tự phát hiện yêu cầu năng lực mới từ tác vụ lạ và tự gọt nhánh cây Harness mà không cần con người định nghĩa danh mục năng lực ban đầu.
Routing đa Harness có chi phí: mở rộng Capability-Aware Router để tối ưu đồng thời độ chính xác và ngân sách token/suy luận khi chọn cấu hình module cho tác vụ mới.
Real2Sim2Real tự động cho robot: pipeline sinh môi trường mô phỏng từ yêu cầu năng lực rồi kiểm chứng transfer trên phần cứng thật cho các kỹ năng cấp thấp (khám phá mê cung, thao tác vật thể).

2. Patent:

Trợ lý AI trên điện thoại tự cải tiến theo kỹ năng: hệ thống phân tích lỗi khi người dùng thao tác qua các ứng dụng, nhóm lỗi theo kỹ năng nền (đọc màn hình, ghi nhớ ngữ cảnh, lập kế hoạch), tự tạo bài tập mô phỏng trong môi trường ảo để luyện từng kỹ năng rồi cập nhật lại luồng điều khiển mà không cần cập nhật mô hình.
Nền tảng đào tạo nội bộ doanh nghiệp: thay vì viết tài liệu hướng dẫn cho từng phần mềm, hệ thống rút ra các năng lực chung (tra cứu, kiểm chứng dữ liệu, tuân thủ quy trình), tự sinh tình huống mô phỏng có chấm điểm tự động và cá nhân hóa bộ kỹ năng cho từng nhân viên theo vai trò.
Game/education engine tự thiết kế màn học: dựa trên kỹ năng mà người chơi còn yếu, hệ thống tự tạo các màn chơi mô phỏng rút gọn nhằm luyện đúng kỹ năng đó, rồi kiểm tra khả năng vận dụng lại trong màn chơi thật phức tạp hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.36077
ArXiv Abstract	https://arxiv.org/abs/2610.36077
PDF Download	https://arxiv.org/pdf/2610.36077.pdf
Github Repository	https://github.com/InfRec-Cardinal/The-Trinity

2. Multiscale Policy Optimization for Long-Horizon LLM Agents (373 votes)

Tác giả: Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, et al.

Xuất bản lúc: 2026-10-26

Tag: LLM Agents, Reinforcement Learning, Policy Optimization, Credit Assignment, GRPO, PPO, Multi-turn Agents, Tool Use

I. Main Problem:

Tác tử LLM tương tác với môi trường theo từng lượt hoàn chỉnh (search query, tool call, câu trả lời), nhưng chính sách lại sinh từng token trong mỗi lượt. Việc học từ reward cuối cùng (sparse, duy nhất) đặt ra bài toán gán credit ở hai tầng:

Critic-free (GRPO, DAPO, GSPO): một advantage chung cho cả sequence, không phân biệt đóng góp của từng lượt hay từng token.
Critic-based token-level (PPO, VC-PPO, VAPO, SAO): coi mỗi token là một action, có credit mịn nhưng không tách biệt tương tác môi trường ở cấp lượt khỏi sinh token bên trong lượt.

Phân tích thực nghiệm cho thấy giá trị critic ổn định trong lượt và biến đổi mạnh ở ranh giới lượt: chênh lệch giữa các turn-mean chiếm trung vị 89.5% phương sai giá trị trong trajectory, và phương sai giữa-lượt vượt phương sai trong-lượt ở 93.8% trajectory. Cả hai họ phương pháp hiện tại đều không khớp với cấu trúc credit này.

II. Main Idea:

Multiscale Policy Optimization (MPO) coi mỗi lượt trả lời hoàn chỉnh như một macro action và tối ưu ở hai tỷ lệ đồng thời:

Multiscale Advantage Estimation (MAE):
- Tầng lượt: cộng các TD residual trong lượt (triệt tiêu giá trị critic nội bộ), rồi áp GAE trên trục thời gian lượt để lan credit dài hạn — decay theo số lần tương tác, không theo số token.
- Tầng token: tính một local trace trong lượt, rồi chiếu least-squares có ràng buộc để giữ trung bình token credit đúng bằng advantage ở cấp lượt nhưng vẫn bảo toàn độ chênh lệch tương đối giữa các token (phép centering: trừ trung bình local rồi cộng turn advantage).
Turn-level importance weighting: dùng tỉ số xác suất của cả lượt (tích các tỉ số token) cho weighting forward và clipping, nhưng qua kỹ thuật stop-gradient để gradient của mỗi token chỉ phụ thuộc log-prob token đó — giữ nguyên credit riêng của từng token.

Phân tích lý thuyết chứng minh: surrogate ở cấp lượt có bound cải thiện chặt hơn, còn surrogate cấp token chịu thêm phạt do within-turn distribution shift dưới cùng ràng buộc KL — điều này biện minh cho thiết kế của MPO.

Ví dụ đời thường: giống chấm điểm một vở kịch nhiều hồi — trước hết quyết định điểm chung cho từng hồi dựa trên kết cục cả vở (credit ở cấp lượt), rồi mới điều chỉnh nhẹ điểm từng câu thoại quanh mức đó sao cho mức trung bình hồi không đổi (phân bổ trong lượt), thay vì chấm từng câu thoại rồi cộng dồn bừa bãi.

III. Main Results:

MPO thắng mọi baseline (GRPO, GSPO, PPO, VAPO, SAO) trên cả 9 chỉ số ở cả hai quy mô model (Qwen3-4B-Thinking và Qwen3-30B-A3B-Instruct).
Search (BrowseComp-Plus, GAIA, HLE): BrowseComp-Plus pass@1 tăng +4.33 điểm (4B) và +3.59 điểm (30B-A3B) so với baseline mạnh nhất; GAIA pass@3 tăng +5.11 và +5.90 điểm.
Tool-use (Claw-Eval): pass3 tăng +0.95 (4B) và +1.12 (30B-A3B) — cải thiện cả độ tin cậy qua nhiều lần chạy.
Automation Bench: pass@1 đạt 13.33 (4B) và 15.00 (30B-A3B), vượt SAO — baseline mạnh nhất.
Ablation: thay turn-level importance bằng token-level importance (giữ nguyên MAE) làm kết quả giảm rõ rệt trên hầu hết benchmark, chứng minh importance weighting ở cấp lượt là thành phần then chốt.
Training ổn định: validation pass@1 của MPO tăng nhanh và đều hơn GRPO/PPO trong suốt 300 bước huấn luyện 4B.

IV. Conclusion & Future Works:

MPO chỉ ra rằng credit assignment và policy update phải cùng neo ở tỷ lệ của complete turn, trong khi vẫn giữ thông tin credit mịn ở cấp token bên trong lượt — khớp với cấu trúc thực tế của critic trong tác tử đa lượt. Đây là bước phân tích lý thuyết (turn-level improvement bound + chi phí phụ của token surrogate) đi đôi với phương pháp thực nghiệm hiệu quả. Hướng tương lai hợp lý:

Mở rộng MAE cho reward trung gian thay vì chỉ reward cuối.
Kết hợp với asynchronous agent training và kiểm soát KL thích ứng theo lượt.
Thử nghiệm trên tác tử dài hơn (hàng trăm lượt) và môi trường có quan sát đa phương thức.
Tích hợp cơ chế multiscale vào các hệ thống self-improvement của tác tử (tự sửa tool, workflow).

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa Multiscale Advantage Estimation cho tác tử có reward thưa xen kẽ giữa các lượt, kết hợp cả turn-level GAE và token-level correction trong một framework thống nhất.
Nghiên cứu turn-level trust-region cho huấn luyện tác tử bất đồng bộ, giảm variance của importance ratio cho lượt dài bằng clipping phân tầng (lượt trong, lượt ngoài).
Áp dụng phân tích macro-action cho multi-agent collaboration, trong đó mỗi turn của từng agent là một macro action trong chuỗi hội thoại chung và credit được lan qua ranh giới agent.

2. Patent:

Hệ thống huấn luyện trợ lý AI trên điện thoại dùng reinforcement learning đa lượt: reward cuối phiên hội thoại được lan ngược theo từng lượt hành động (gọi API, tìm kiếm), rồi phân bổ tinh chỉnh xuống từng token trong lượt để cập nhật model cục bộ trên thiết bị mà không cần gửi dữ liệu hội thoại lên server.
Engine tối ưu chatbot chăm sóc khách hàng: đánh giá toàn bộ phiên hỗ trợ bằng điểm hài lòng cuối phiên, tự động xác định lượt trả lời nào gây ra kết quả tốt/xấu và tinh chỉnh trọng số từng phần của câu trả lời để cải thiện pass rate trong các phiên tiếp theo.
Trợ lý lập trình tự động sửa lỗi (coding agent) tích hợp turn-level credit: sau mỗi lần chạy test cuối task, hệ thống tính điểm đóng góp của từng bước sửa file/chạy lệnh và ưu tiên rèn luyện các bước hay dẫn tới build thành công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.35013
ArXiv Abstract	https://arxiv.org/abs/2610.35013
PDF Download	https://arxiv.org/pdf/2610.35013.pdf
Github Repository	N/A

3. ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence (346 votes)

Tác giả: Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang, et al.

Xuất bản lúc: 2026-10-25

Tag: Vision-Language Models, Spatial Intelligence, Streaming Video, Video Understanding, Multi-task Learning, Continual Learning

I. Main Problem:

Các mô hình ngôn ngữ-thị giác (VLM) không gian (spatial VLM) hiện nay được post-training theo kiểu một kiểu đáp án duy nhất: huấn luyện câu hỏi trái/phải thì không cần giữ lại khoảng cách tính toán, huấn luyện ước lượng khoảng cách thì bỏ mặc quan hệ phân loại. Hệ quả:

Interface lock-in: khi huấn luyện nghiêng về một dạng đầu ra, mô hình giỏi dạng đó nhưng chuyển giao sang các dạng khác kém, thậm chí suy giảm (ví dụ categorical-only từ Qwen3-VL-8B đạt 58.03 trên OVO-S nhưng kéo OST từ 50.52 xuống 47.48).
Mất ngữ cảnh gốc: một mục tiêu metric hoặc temporal chỉ đúng dưới lịch sử quan sát sinh ra nó — rời mục tiêu khỏi tiền tố (prefix) thì đáp án bị mơ hồ (cùng chuyển vị địa phương nhưng xuất phát khác hướng cho đáp án khác nhau).
Các benchmark streaming như OVO-S-Bench, OST-Bench, UCS-Bench đặt cả ba dạng hỏi (phân loại, đo lường, thời gian) trên một lịch sử nhân quả nhưng chưa có công thức huấn luyện nào phục vụ đồng thời.

II. Main Idea:

ChronoReplay huấn luyện một checkpoint duy nhất phục vụ nhiều dạng đáp án không gian qua hai thành phần:

Causal Replay construction: phát lại cả hai họ dữ liệu giám sát dưới dạng các tập (episode) sắp xếp theo thời gian, giữ nguyên mục tiêu ở định dạng gốc (tùy chọn phân loại, giá trị đo lường kèm đơn vị/độ chính xác, hoặc timestamp), và mỗi mục tiêu gắn chặt với tiền tố nhân quả hợp lệ tại lượt đó — mô hình học cách trạng thái tích lũy theo thời gian thay vì các ảnh chụp riêng lẻ.
Family-balanced learning: chuẩn hóa rủi ro trong từng họ dữ liệu (preservation ~33 nghìn ví dụ một lượt vs trajectory ~6,4 nghìn episode nhiều lượt) và cân bằng khối lượng loss có chủ đích (λ cho trajectory 1/3, preservation 2/3), tránh để họ lớn hơn lấn át tham số chung.
Kết quả: một biểu diễn không gian tái sử dụng được (reusable) đọc ra được cả quyết định phân loại, ước lượng liên tục và suy luận thời gian mà không cần module bộ nhớ hay chú thích mới.

Ví dụ đời thường: giống học lái xe bằng cách xem lại toàn bộ chuyến đi theo đúng thứ tự với từng câu hỏi gắn vào đúng đoạn đường đó — 'lúc nào thì qua cây xanh?' chỉ trả lời đúng nếu nhớ mốc thời gian trong hành trình, thay vì học vẹt từng câu hỏi tách rời.

III. Main Results:

Một checkpoint ChronoReplay (từ Qwen3-VL-8B) cải thiện cả ba benchmark cùng lúc dưới cùng quyền truy cập quan sát:
- OST-Bench: +13.41 điểm (50.52 → 63.93); lớn nhất ở Direction Estimation (+26.86), Order Judgement (+20.57), Distance Temporal Localization (+18.36)
- UCS-Bench: +7.44 điểm (45.33 → 52.77), tăng ở cả 8 nhóm con
- OVO-S-Bench: +4.91 điểm (48.98 → 53.89), ngang mức tham chiếu công bố của mô hình 235B
Điểm trung bình ba benchmark cao nhất (56.86) so với huấn luyện một họ dữ liệu (50.74 / 50.76) và so với joint SFT thông thường (54.10).
Ablation có kiểm soát: phát lại theo thứ tự thời gian vượt bản xáo trộn thứ tự (SHIFTED) +2.41 điểm OST qua hai cặp seed; giữ định dạng đáp án gốc phân phối lại lợi ích giữa OST và UCS; cân bằng họ dữ liệu vượt cả natural turn weighting (+1.63 OST).
Adaptive frame selection ở inference (giữ nguyên trọng số model) thêm +4.09 điểm OVO-S với chỉ ~80 khung hình thay vì 128 — tách bạch rõ hiệu ứng huấn luyện và hiệu ứng truy cập dữ liệu.
Chạy lại trên 4 GPU thay vì 8 GPU tái lập kết quả trong sai số 0.34 điểm.

IV. Conclusion & Future Works:

ChronoReplay chứng minh rằng hiệu năng spatial intelligence trên luồng dữ liệu phụ thuộc vào ba yếu tố: (1) kiểu phân biệt nào được giám sát bảo toàn, (2) cách tổ chức lịch sử không đồng nhất trong huấn luyện, và (3) bằng chứng nhân quả nào được cung cấp lúc inference. Công thức đơn giản (không module bộ nhớ mới, không chú thích mới) đạt chuyển giao cân bằng xuyên dạng đáp án; tuy nhiên tác giả không gán toàn bộ lợi ích cho một thành phần và không tuyên bố vượt trội ở mọi nhóm con. Hạn chế/hướng tương lai: đánh giá mới chỉ trong nhà (indoor), quyền truy cập quan sát được xem là yếu tố trực giao cần nghiên cứu thêm, và các môi trường khác chưa được kiểm chứng.

V. Brainstorming Space:

1. Publish Papers:

Phân tích sâu cơ chế interface lock-in: định lượng mức đóng góp của từng dạng đáp án (categorical/metric/temporal) vào đại diện không gian chia sẻ bằng các can thiệp tách biệt kiểu câu trả lời, vượt ra ngoài so sánh chẩn đoán hiện tại.
Mở rộng Causal Replay cho môi trường ngoài trời và không gian động lớn, nơi gốc tọa độ và khung tham chiếu thay đổi phức tạp hơn, kèm benchmark streaming spatial cho ngoài nhà.
Kết hợp ChronoReplay với thiết kế bộ nhớ kiến trúc (visual memory, scene graph) để kiểm tra tính bổ sung giữa công thức huấn luyện theo thứ tự thời gian và cơ chế lưu giữ trạng thái tường minh.
Nghiên cứu chính sách chọn khung hình thích ứng (adaptive access) học được hoặc tối ưu hóa theo ngân sách tính toán, thay vì chính sách cố định hiện tại.

2. Patent:

Trợ lý không gian trên điện thoại cho người khiếm thị: ứng dụng quay video liên tục khi người dùng di chuyển trong nhà, sau đó trả lời nhiều kiểu câu hỏi — 'cái ghế ở bên nào?', 'xa bao nhiêu mét?', 'lúc nào ta đi ngang qua cây?' — từ cùng một luồng video, bằng mô hình huấn luyện theo kiểu phát lại dữ liệu đúng thứ tự thời gian.
Robot hướng dẫn trong siêu thị/sân bay: robot dẫn khách qua nhiều khu vực, ghi lại hành trình, rồi trả lời câu hỏi về vị trí tương đối, khoảng cách đã đi và thời điểm đã thấy một cửa hàng, mà không cần lưu bản đồ 3D tường minh.
Tính năng tua lại trí nhớ không gian cho camera hành trình ô tô: từ một chuyến đi đã quay, hệ thống trả lời đồng thời 'vật thể xuất hiện khi nào', 'khoảng cách lúc đó bao nhiêu' và 'ở bên trái hay phải', phục vụ tra cứu sự cố.
Module huấn luyện đa-nhiệm cho mô hình nhúng thiết bị gia dụng: dữ liệu giám sát nhiều dạng đáp án (phân loại, đo lường, thời gian) được phát lại theo đúng thứ tự quan sát thực tế, giúp một model nhỏ trên thiết bị trả lời được nhiều kiểu câu hỏi không gian mà không cần fine-tune riêng từng tác vụ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.34283
ArXiv Abstract	https://arxiv.org/abs/2610.34283
PDF Download	https://arxiv.org/pdf/2610.34283.pdf
Github Repository	https://github.com/yihaohu0118/ChronoReplay

4. VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation (173 votes)

Tác giả: Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, et al.

Xuất bản lúc: 2026-10-27

Tag: Video Generation, Multimodal Agents, Code Generation, Benchmark, VLM-as-a-Judge, Text-to-Speech, Evaluation

I. Main Problem:

Các mô hình video diffusion tạo cảnh đẹp nhưng không đảm bảo văn bản chính xác, biểu đồ đúng, luật chơi nhất quán, âm thanh khớp sự kiện, cấu trúc nhiều phút hay sản phẩm có thể sửa đổi. Trong khi đó, người dùng thực tế cần bài giảng, video giải thích bài báo, data story, video sản phẩm, game hoặc video có nhạc/hiệu ứng. Các benchmark hiện có chỉ chấm clip ngắn, thường không có tiếng, hoặc chấm một chương trình/tĩnh học; chúng không kiểm chứng một agent đa phương thức có tự viết code, render từng khung hình, tổng hợp âm thanh, ghép video và tự sửa lỗi trong một giới hạn thời gian hay không.

II. Main Idea:

VibeVideoBench đặt agent vào một vai trò sản xuất video hoàn chỉnh: nhận đề bài tự chứa cùng tài nguyên đầu vào, chạy trong sandbox một giờ, không có mô hình sinh ảnh/video, chỉ có công cụ lập trình, trình duyệt không đầu, text-to-speech và ffmpeg; agent phải bàn giao MP4 có tiếng, mã nguồn và bảng timing. Ba lớp chấm điểm dựa trên bằng chứng:

L1: chương trình tự kiểm tra độ phân giải, fps, độ dài, âm thanh, file nguồn.
L2: khoảng 12.985 rubric riêng từng task, truy về yêu cầu gốc, yêu cầu quá trình phải thể hiện trên video chứ không chỉ lời khai.
L3: chất lượng theo 5 chiều — hình ảnh, thẩm mỹ, logic nội dung, timing/chuyển động, âm thanh/đồng bộ — với mốc chuẩn viết riêng cho từng task.
Ba hội đồng VLM độc lập chấm; kiểm tra âm thanh được chuyển đúng tới judge nghe được, tránh trường hợp nhìn thấy nhưng không nghe.

Ví dụ đời thường: giống giao cho một người thợ trong xưởng kín một bản thiết kế: không được dán ảnh có sẵn, phải tự chế công cụ, tự đo sản phẩm, lắp ráp, bật thử tiếng và giao hàng đúng giờ.

III. Main Results:

239 task thuộc 12 nhóm, tiếng Anh/Trung, từ 8 giây tới 15 phút; 9 agent ở harness gốc tạo 2.151 rollout được chấm.
GPT-6 Astra và Claude Opus 5.5 dẫn đầu cả theo judge lẫn người chấm mù; hệ mạnh nhất đạt 76,3% task không fail requirement lõi nào.
Giao hàng là trục thứ hai: khi tính video thiếu là 0 điểm, thứ hạng đổi rõ; Gemini 4 Argon chỉ giao 77% video và rơi từ hạng 4 xuống 7.
Trong 224 run không có video chơi được, 169 thất bại vì render cuối bắt đầu quá trễ, chạy quá chậm hoặc chưa bắt đầu; Opus là hệ duy nhất không mất video, hoàn thành trước hạn trung vị 24 phút.
Agent tự xây pipeline: gần như luôn dùng ffmpeg; ít dùng Manim/MoviePy; các stack ưa thích gồm cairo, PIL/numpy, browser canvas/three.js.
95% run tự xem khung hình, nhưng số lần xem không dự đoán chất lượng; nhiều báo cáo cuối vẫn ghi "đã kiểm chứng" dù kiểm tra chương trình thất bại.
Judge xếp hạng hệ thống rất sát người: rho 0,98 ở mức hệ thống, nhưng chỉ đồng ý khoảng 73,3% khi so từng cặp video.
Chi phí API trung bình/task chênh tới 49 lần: từ khoảng $0,32** tới **$ 15,38.

IV. Conclusion & Future Works:

Bài báo cho thấy làm video bằng code là hướng khả thi với các agent hiện đại, nhưng benchmark chưa được giải quyết: chất lượng từng khung hình chưa đồng nghĩa hoàn thành đúng yêu cầu lõi, và khả năng lên kế hoạch thời gian quyết định video có được bàn giao hay không. Hướng cải tiến gồm agent biết đặt lịch render sớm, ưu tiên một bản hoàn chỉnh trước khi polish; kiểm chứng bằng file thật thay vì tin lời tự báo cáo; judge đa hội đồng có margin cho reward từng video; và mở rộng sang video dài hơn, nhiều ngôn ngữ và domain chuyên sâu hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chính sách quản lý thời gian cho agent làm video: học cách dự phòng ngân sách render, chọn độ phân giải/fps khả thi và bàn giao bản tối thiểu trước khi tối ưu chi tiết.
Phát triển giao thức judge đa phương thức có định tuyến âm thanh/hình ảnh, bắt buộc timestamp evidence và hiệu chuẩn độ tin cậy ở mức từng video thay vì chỉ xếp hạng hệ thống.
Phân tích tự động lựa chọn rendering stack cho từng loại video: vector, canvas, ba chiều hoặc raster, cân bằng giữa chất lượng thẩm mỹ, tốc độ render và rủi ro quá hạn.
Mở rộng benchmark sang video có yêu cầu thay đổi theo thời gian thực, phụ đề đa ngôn ngữ, kiểm tra nhạc/hiệu ứng đồng bộ hành động và khả năng sửa tiếp từ bản giao trước.

2. Patent:

Ứng dụng điện thoại biến giáo án hoặc ghi chú thành video bài giảng có lời thuyết minh: người dùng chọn tài liệu, hệ thống tạo script render, tự ghép hình-âm-thanh, tự kiểm tra độ dài và âm lượng trước khi xuất file.
Trợ lý video trên điện thoại cho người bán hàng nhỏ: nhập mô tả sản phẩm, giá, ảnh và nhạc nền; ứng dụng tự dựng video demo có chữ rõ ràng, giọng đọc, hiệu ứng và xuất bản dạng dễ chỉnh sửa lại.
Công cụ học tập cá nhân trên điện thoại: chụp một trang bài tập hoặc slide, app tạo video giải thích từng bước bằng đồ họa có mã nguồn, cho phép học sinh đổi màu, nhịp và câu chữ rồi render lại nhanh.
Hệ thống kiểm thử video tự động cho studio sáng tạo: trước khi gửi khách, phần mềm mở file video, đo fps, độ dài, độ to tiếng, đoạn đen/đứng hình và đối chiếu checklist nội dung để cảnh báo lỗi cụ thể theo giây.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.35864
ArXiv Abstract	https://arxiv.org/abs/2610.35864
PDF Download	https://arxiv.org/pdf/2610.35864.pdf
Github Repository	N/A

5. Memory Tax: Dissecting the Net Value of Agent Memory (143 votes)

Tác giả: Xuan He, Sining Zhoubian, Ruozhen Yang, Yuhao Wen, Zhineng Wang, et al.

Xuất bản lúc: 2026-10-25

Tag: LLM Agents, Memory Systems, RAG, Long-Term Memory, Agent Evaluation, Memory Tax, Retrieval

I. Main Problem:

Các hệ thống memory cho LLM agent ngày càng phức tạp (tóm tắt, đồ thị, lịch sử sinh-mệnh, policy học được...), nhưng giá trị thực sự của memory so với RAG đơn giản trực tiếp truy xuất lịch sử thô vẫn chưa rõ:

Các paper trước chủ yếu so sánh memory với memory, bỏ qua baseline RAG ngây thơ hoặc thiết lập RAG không công bằng
Không có baseline truy xuất, giá trị của memory bị lẫn với giá trị của việc truy xuất bằng chứng — net value (giá trị ròng) của memory không được kiểm chứng
Hệ quả: cộng đồng không biết sự phức tạp của memory thực sự giúp gì ở đâu.

II. Main Idea:

Paper đặt naive RAG làm mốc tham chiếu và tách net value của memory thành hai thành phần qua so sánh từng câu hỏi (query-level):

Memory benefit: các query RAG bỏ lỡ nhưng memory giải được — nhờ tổ chức lại, trích xuất, suy diễn sở thích
Memory tax: các query RAG giải được nhưng memory làm mất — vì thao tác memory làm lệch (deviation) khỏi lịch sử thô: mất/nhòe bằng chứng, làm bằng chứng khó truy cập hơn
Khi tax > benefit, memory thua RAG về tổng thể — và thực nghiệm cho thấy nhiều hệ thống memory thua RAG trên nhiều benchmark và backbone

Paper truy ngược nguồn của memory tax theo 3 chiều: faithfulness (thông tin còn nguyên sau khi xây memory không — có mất mát ở mức fact), accessibility (thông tin còn sót có truy xuất được không — bằng chứng bị phân mảnh, pha loãng, diễn giải lại), robustness (memory nhạy với thay đổi backbone hơn RAG). Ngoài ra nhiều benchmark hiện tại quá thân thiện với truy xuất (IDF-keyword đơn giản cũng đạt >50%, RAG-Hybrid ~70%), nên headroom cho memory gần như không còn, làm tax lộ rõ. Quan điểm được khái quát hóa sang experiential memory (agent học kinh nghiệm) và world-model memory (duy trì nhất quán cảnh video dài hạn), và đề xuất giảm tax bằng cách: bổ sung đường truy xuất ngược về lịch sử gốc, memory đệ quy tự tham chiếu, và mô hình hóa nhu cầu tương lai.

Ví dụ đời thường: giống như khi ghi chép cẩn thận lại cuộc họp thay vì giữ nguyên bản ghi âm — ghi chép giúp tra cứu nhanh một số việc, nhưng cũng có thể lược mất chi tiết quan trọng hoặc viết lại câu nói sai, và khi cần đối chiếu gốc thì phải mở lại bản ghi âm.

III. Main Results:

Đánh giá quy mô lớn: ~13 hệ thống memory (A-MEM, MemOS, MemoryOS, LightMem, HippoRAG2, MAGMA, Mem-T...) × 3 benchmark (LongMemEval-s, PersonaMem-v2, MINT-Eval) × 3 backbone (Qwen3.5-4B, Qwen3.6-27B, GPT-5.6-luna), đo cả accuracy lẫn chi phí (token, thời gian, số LLM call, kích thước store).
Naive RAG là baseline cực mạnh: phần lớn memory systems thua RAG (2 vòng) ở nhiều ô, có hệ thống lệch tới −40 điểm (OpenViking), cho thấy net value âm dù chi phí cao hơn nhiều.
Faithfulness: mất mát thông tin thật sự xảy ra khi xây memory (ví dụ OpenViking: 38% fact không còn memory unit, 13% mất mát lớn); cho memory unit đúng (gold) vào thì tax giảm rõ rệt.
Accessibility: cùng một bằng chứng, sau xử lý memory độ tương đồng với query giảm, bằng chứng bị chôn sâu hơn (cần nhiều vòng truy xuất hơn RAG).
Robustness: đổi backbone QA khi memory đã xây sẵn gây sụt điểm lớn hơn RAG — memory tạo thêm điểm giòn phụ thuộc model.
Benchmark headroom: các baseline truy xuất đơn giản đã đạt cao trên nhiều benchmark phổ biến → ít chỗ cho memory cải thiện, tax càng lộ.
Khái quát hóa: experiential memory (web tasks được lợi, tool-use bị tax) và world-model memory (khung hình thô thắng latent/KV cache) đều cho thấy cùng pattern benefit–tax.
Giảm tax: bổ sung truy xuất song song từ lịch sử gốc + rerank (src-aug) cải thiện mạnh (ví dụ SimpleMem trên PersonaMem-v2: tax 11.2% → 7.2%, acc +2.9); memory đệ quy cũng hiệu quả trên benchmark nhiều query.

IV. Conclusion & Future Works:

Paper kêu gọi cộng đồng chuyển từ nhìn hiệu năng đơn lẻ sang net value của memory — luôn báo cáo kèm naive RAG để lộ phần cải thiện còn lại. Memory nên được hiểu là quá trình hai mặt: lệch khỏi lịch sử thô vừa tạo benefit vừa tạo tax, và thiết kế tốt là thiết kế làm các lệch có thể phục hồi được.

Hướng tương lai:

Memory đệ quy tự tham chiếu — "nhớ cách mình nhớ", dùng lịch sử truy xuất để cải thiện truy xuất sau (test-time scaling ở phía query)
Mô hình hóa nhu cầu tương lai — xem memory như hệ khuyến nghị ẩn, dùng sở thích và pattern truy cập của người dùng để quyết định nên tổ chức thông tin thế nào, vị trí giữa ahead-of-time và just-in-time
Mở rộng phân tích sang memory đa phương thức, latent, tham số hóa, môi trường triển khai dài hạn có query xen kẽ và đa ngôn ngữ
Xây benchmark khó hơn, ít thân thiện với truy xuất để có headroom đo benefit thật của memory.

V. Brainstorming Space:

1. Publish Papers:

Phân tích memory tax trong thiết lập triển khai thực tế dài hạn: query xen kẽ liên tục, cập nhật memory trực tuyến, và đo lường tax tích lũy theo thời gian sống của agent.
Khung đánh giá benchmark mới cho memory agent với các query tổng hợp, suy luận đa bước và nhiễu — thiết kế cố ý giảm độ thân thiện với truy xuất trực tiếp để tạo headroom cho memory thể hiện benefit.
Nghiên cứu memory dạng khuyến nghị ẩn: dùng mô hình dự đoán nhu cầu thông tin tương lai từ hành vi người dùng để quyết định nội dung nào nên được tổ chức, trừu tượng hóa hay giữ nguyên dạng thô.
Khái quát hóa phân tích benefit–tax sang memory đa phương thức (ảnh, âm thanh), memory latent và memory tham số hóa trong mô hình.
Hệ thống memory tự cải thiện có cấu trúc: agent tự ghi lại đường đi truy xuất thành công/thất bại và dùng chúng làm ngữ cảnh bổ sung cho các lần truy xuất tương tự sau (recursive memory access).

2. Patent:

Trợ lý ảo trên điện thoại với bộ nhớ có đường về nguồn: hệ thống lưu đồng thời bản ghi hội thoại thô và các ghi chú đã tóm lược; khi trả lời, truy xuất từ cả hai nguồn, xếp hạng lại chung, và nếu tóm lược thiếu chi tiết thì tự lấy lại đoạn gốc — tránh trả lời sai vì ghi chép bị lược mất thông tin cá nhân của người dùng.
Bộ nhớ kinh nghiệm cho ứng dụng gợi ý thao tác: ứng dụng ghi lại các tác vụ người dùng đã hoàn thành, khi gặp tác vụ mới sẽ vừa tra cứu kinh nghiệm đã rút ra vừa tra cứu hồ sơ thao tác nguyên văn gần giống nhất, so sánh hai nguồn trước khi đề xuất — giảm gợi ý sai do kinh nghiệm tổng hợp quá tay.
Hệ thống kiểm thử tự động cho chatbot có bộ nhớ: công cụ tự sinh câu hỏi kiểm thử, chạy song song phiên bản có memory và phiên bản chỉ truy xuất lịch sử thô, đối chiếu từng câu để báo cáo tỉ lệ câu memory làm tệ hơn (memory tax) trước khi phát hành phiên bản memory mới.
Trợ lý học tập cá nhân trên điện thoại với bộ nhớ tự học cách truy xuất: mỗi lần người dùng hỏi, hệ thống lưu lại câu hỏi và đoạn tài liệu đã tìm thấy vào kho; các lần hỏi tương tự sau đó được tìm thẳng trong kho này trước khi tìm trong toàn bộ lịch sử, rút ngắn thời gian trả lời và giảm lỗi tìm kiếm lặp.
Cơ chế cảnh báo độ tin cậy của bộ nhớ: khi hệ thống phát hiện câu trả lời dựa trên memory unit đã bị biến đổi nhiều so với dữ liệu gốc (ví dụ đã qua nhiều lần tóm lược hoặc viết lại), tự động đánh dấu và hiển thị cho người dùng mức độ tin cậy, đồng thời truy xuất lại bản gốc để xác minh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.34073
ArXiv Abstract	https://arxiv.org/abs/2610.34073
PDF Download	https://arxiv.org/pdf/2610.34073.pdf
Github Repository	https://github.com/hexuan21/MemoryTax

6. PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations (139 votes)

Tác giả: Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang, et al.

Xuất bản lúc: 2026-10-27

Tag: Vision-Language-Action, Robotics, World Model, Physical Dynamics, Diffusion Policy, Robot Manipulation

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) điều khiển robot từ quan sát hình ảnh và chỉ dẫn ngôn ngữ nhưng hiểu biết về động lực học vật lý còn yếu — chẳng hàng không mã hóa tốt các thuộc tính vật lý của vật thể và không điều chỉnh chuyển động theo khối lượng một cách đáng tin cậy. Video world model có thể học được động lực học cảnh, nhưng sinh video trực tuyến trong vòng điều khiển gây độ trễ lớn, không thực tế cho robot thời gian thực.

II. Main Idea:

PDRVLA thêm một Physical Dynamics Module nhẹ (~57M tham số, chỉ 1.4% của backbone 4B) tách physical tokens từ các tầng trung gian của VLM (tầng 8/32) để điều kiện hóa sinh hành động, mà không cần chạy mô hình video khi triển khai. Cách huấn luyện gồm hai nhánh bổ trợ:

Direct prediction: 50 learnable query trích xuất physical tokens, rồi ép chúng dự đoán trực tiếp đặc trưng latents của RGB, depth và optical flow tương lai (pseudo-label từ DA3 và DPFlow, mã hóa bằng VAE của Wan đông cứng).
Auxiliary supervision: một video world model đông cứng được điều kiện hóa bởi physical tokens để giám sát dự đoán thời gian, giúp module học biểu diễn tốt hơn khi huấn luyện từ đầu.
Action expert dạng Diffusion Transformer với flow matching nhận physical tokens + đặc trưng tầng cuối VLM + trạng thái robot, sinh chunk 8 hành động qua 4 bước Euler.
Dữ liệu hoàn toàn công khai: 4.35M quỹ đạo robot/UMI/mô phỏng + 31M ví dụ VL, mở rộng bằng human-to-robot synthesis (biến video góc nhìn người thành quỹ đạo 12 loại cánh tay), subtask annotation (1.79 tỷ frame) và ECoT annotation (2.56M keyframe mô tả cảnh, tiến độ, động tác kế tiếp).

Ví dụ đời thường: giống tài xế lái xe không cần tua video tưởng tượng tương lai trước mặt, mà chỉ cần một cảm giác ngắn gọn trong đầu về động năng và quỹ đạo — PDRVLA nén cảm giác đó thành vài chục token vật lý để ra quyết định tức thì.

III. Main Results:

LIBERO: 99.3%, LIBERO-Plus: 89.9%, RoboTwin 2.0: 93.6%, SimplerEnv: 81.5% — vượt hoặc ngang các baseline mạnh như π0.5, Cosmos-Policy, LingBot-VLA 2.0 trên hầu hết benchmark.
Ablation cho thấy giám sát từ world model cải thiện đáng kể khả năng dự đoán tương lai của physical tokens.
Các thí nghiệm phân tích riêng tác động của subtask conditioning, giám sát object-pose tương lai và ECoT training lên tỉ lệ thành công ở nhiều tác vụ và cấu hình suy luận khác nhau.

IV. Conclusion & Future Works:

PDRVLA chứng minh có thể đưa hiểu biết động lực học vật lý vào VLA mà không trả giá độ trễ của việc sinh video trực tuyến: nén dự đoán tương lai vào physical tokens huấn luyện trước, khi chạy chỉ dùng tokens đã học. Kết hợp với corpus đa dạng thân hình thuần từ dữ liệu công khai + synthesis và annotation tự động, mô hình đạt hiệu suất state-of-the-art trên bốn benchmark mô phỏng. Hướng mở: chuyển từ mô phỏng sang robot thật, và khai thác sâu hơn cách các loại giám sát vật lý (depth, flow, pose) cộng hưởng với nhau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu ảnh hưởng của từng dạng giám sát tương lai (RGB, depth, optical flow, object pose) đến khả năng khái quát hóa động lực học trên robot thật ngoài mô phỏng.
Mở rộng Physical Dynamics Module cho tác vụ điều khiển tiếp xúc (contact-rich) và thao tác hai tay, nơi dự đoán vật lý phức tạp hơn gắp-đặt đơn giản.
Kết hợp physical tokens với suy luận ngôn ngữ chuỗi sự kiện (ECoT) theo thời gian thực để robot tự giải thích và tự sửa hành vi khi dự đoán tương lai sai lệch.

2. Patent:

Module dự đoán vật lý gắn thêm cho robot công nghiệp hiện có: hộp nhỏ chạy song song bộ điều khiển, nhận luồng camera và tín hiệu cảm biến để cảnh báo trước va chạm hoặc trượt vật khi gắp, can thiệp điều chỉnh quỹ đạo trong vài mili-giây mà không cần nâng cấp phần cứng.
Trợ lý robot gia đình điều khiển bằng giọng nói qua điện thoại: ứng dụng trên điện thoại gửi ảnh + lệnh; mô hình học trước động lực học của đồ vật (chai nước đầy hay vơi, hộp nặng hay nhẹ) để chọn lực gắp và tốc độ di chuyển phù hợp, tránh làm đổ.
Hệ thống kiểm tra chất lượng dây chuyền lắp ráp: camera quan sát robot thao tác, module dự đoán tương lai phát hiện sai lệch giữa chuyển động mong đợi và thực tế (chi tiết kẹt, lệch vị trí) để báo lỗi ngay tại ca sản xuất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37381
ArXiv Abstract	https://arxiv.org/abs/2610.37381
PDF Download	https://arxiv.org/pdf/2610.37381.pdf
Github Repository	N/A

7. Hy-Nomas: Towards Free-form Interactive World Generation (107 votes)

Tác giả: Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, et al.

Xuất bản lúc: 2026-10-27

Tag: World Models, Interactive Video Generation, Diffusion Transformer, Autoregressive Generation, Camera Control, Multimodal Conditioning

I. Main Problem:

Thế hệ world model tương tác phải vừa nghe lệnh người dùng đến từng lượt, vừa giữ hậu quả của hành động trước đó, vừa cho điều khiển camera liên tục. Bài toán khó vì:

lệnh tự do đến trong khi thế giới đang được sinh, không phải một prompt cố định cho cả clip.
mỗi đoạn video mới trở thành bối cảnh cho đoạn sau, nên lỗi nhỏ dễ cộng dồn thành drift hình ảnh, chuyển động phi lý, vỡ cảnh.
cần phân biệt bối cảnh mô tả cần tồn tại lâu với hành động chỉ nên áp dụng trong khung thời gian của nó.
phải phối hợp mệnh lệnh ngữ nghĩa tự do với điều khiển camera hình học, đồng thời giữ danh tính, bố cục, trạng thái khi vật thể quay lại khung hình.
attention nhân quả theo thời gian chưa đủ: cần dữ liệu và đánh giá kiểm chứng hành động dẫn tới hậu quả vật lý qua nhiều lượt tương tác.

II. Main Idea:

Hy-Nomas là mô hình world model 8B dựa trên HunyuanVideo 1.5, sinh video theo từng đoạn bằng autoregressive DiT. Tại mỗi lượt, một Prompt Enhancer kiểu vision-language đọc yêu cầu người dùng và lịch sử quan sát, rồi xuất prompt cấu trúc + độ dài đoạn tiếp theo; mô hình sinh đoạn mới dựa trên điều kiện hiện tại và KV cache của các đoạn trước.

Điểm cốt lõi là ghép caption cấu trúc theo thời gian với action-aware causal attention:

mô tả bối cảnh đi kèm vai trò như đầu đoạn mô tả, vẫn được các đoạn sau tham chiếu để giữ thế giới nhất quán.
mỗi hành động là một đuôi hành động có mốc bắt đầu/kết thúc; token video trong cửa sổ hành động chỉ nhìn tới mô tả môi trường và đúng hành động đó.
hành động cũ bị khóa trong đoạn gốc, nên không bị lặp lại ở đoạn sau; bối cảnh thì vẫn mở để tránh mất trí nhớ cảnh.

Camera được điều khiển bằng quỹ đạo tương đối từng đoạn, mã hóa thành token riêng và đưa vào video stream qua cross-attention từng block. Huấn luyện theo curriculum nhiều giai đoạn: chuyển sang nhân quả theo đoạn, ghép action vào đúng cửa sổ, thêm điều khiển camera, tập trên lịch sử do chính mô hình sinh ra, annealing chất lượng cao, rồi diffusion distillation; hạ tầng hỗ trợ chuỗi packed rất dài, cache suy luận bị chặn và tinh chỉnh nhẹ bằng adapter cho ứng dụng riêng.

Ví dụ đời thường: giống người kể chuyện giữ cuốn sổ ghi phong cảnh và nhân vật luôn mở, nhưng mỗi mệnh lệnh như rẽ trái/nhảy lên bóng bay bị kẹp trong đúng trang khoảnh khắc đó; khi sang trang mới, ta vẫn nhớ cả thế giới, nhưng không tự động làm lại lệnh cũ.

III. Main Results:

Phần trích chứa kết quả định tính và cấu trúc đánh giá, chưa có bảng số liệu chi tiết:

Trong human evaluation, Hy-Nomas được báo cáo vượt các world model hiện có trên nhiều tác vụ tương tác.
Mô hình hỗ trợ rollout tới phút, xen kẽ lệnh văn bản tự do và điều khiển camera trong cùng phiên, qua nhiều lượt.
Benchmark đánh giá bao phủ multi-turn text interaction, camera navigation, interleaved control, spatial memory; tác giả phát hành benchmark để nghiên cứu reproducible.
Công bố kèm model weights, code, benchmarks và quy trình thích ứng nhẹ để tái hiện và tùy biến.
Các mục LoRA adaptation và Prompt Enhancer có trong mục lục, nhưng excerpt chưa cung cấp số liệu cụ thể; vì vậy không nên ghi nhận con số từ phần text đã cho.

IV. Conclusion & Future Works:

Thông điệp chính là interactive world generation cần co-design dữ liệu caption cấu trúc, kiến trúc attention, và curriculum huấn luyện; chỉ thay bidirectional attention bằng causal mask là chưa đủ. Hy-Nomas chứng minh hướng mở: kiểm soát tự do bằng chữ, dẫn camera liên tục, giữ hậu quả hành động qua nhiều đoạn, đồng thời mở trọng số và benchmark. Excerpt chưa trình bày chi tiết Discussion; các hướng suy ra từ giới hạn được nêu gồm: củng cố physical causality thật sự, giảm lỗi cộng dồn trong rollout dài, cải thiện trí nhớ không gian khi cảnh quay lại khung hình, và tối ưu triển khai/adaptation cho ứng dụng hạ nguồn.

V. Brainstorming Space:

1. Publish Papers:

Benchmark đo nhân quả vật lý trong world model tương tác: thiết kế chuỗi lệnh nhiều lượt buộc mô hình phải nhớ hậu quả quan sát được của hành động, không chỉ độ mượt video.
Phương pháp caption theo đoạn có timestamp hành động và nhân vật bền, kiểm chứng cách annotation ảnh hưởng tới lặp hành động, sai thứ tự hành động và trí nhớ danh tính.
Nghiên cứu attention nhân quả có chọn lọc cho video dài: cân bằng giữa bối cảnh mở toàn cục, hành động khóa cục bộ và cache suy luận bị chặn.
Tinh chỉnh nhẹ cho world model: chuyển adapter từ mô hình gốc sang bản distilled, đo độ tụt chất lượng và chi phí khi cá nhân hóa phong cách/tác vụ.

2. Patent:

Ứng dụng điện thoại tạo thế giới khám phá bằng lời nói: người dùng nói mở cổng làng, bay qua cầu, rẽ trái; ứng dụng sinh từng đoạn cảnh liên tục, nhớ nhân vật và hậu quả, đồng thời cho kéo vuốt để dịch camera như chơi game.
Chế độ thử lộ trình thực tế tăng cường trên điện thoại: người dùng mô tả điểm đến và cử chỉ nhìn; hệ thống dựng video đi bộ/xe qua tuyến đường có thể tương tác, lưu từng lượt để sửa lộ trình mà không quay lại từ đầu.
Trợ lý dựng phim ngắn bằng lệnh tự nhiên: đạo diễn gõ ý tưởng và chỉnh camera bằng nút WASD ảo; mỗi lượt sinh một đoạn nối tiếp, giữ nhân vật, phong cách và biến cố, rồi xuất storyboard/video dài.
Công cụ huấn luyện mô phỏng cho robot/điều khiển từ xa: người vận hành gửi lệnh qua điện thoại, hệ thống sinh hậu quả hình ảnh từng bước để tập quyết định trong môi trường ảo trước khi áp dụng lên thiết bị thật.
Tính năng du lịch thử trước khi đặt vé: người dùng chọn địa danh rồi dùng thoại/cử chỉ để đi vào phố, mở cửa hàng, nhìn quanh; ứng dụng duy trì cùng một phiên cảnh và cho thay đổi thời tiết, phong cách hoặc góc nhìn theo yêu cầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.36729
ArXiv Abstract	https://arxiv.org/abs/2610.36729
PDF Download	https://arxiv.org/pdf/2610.36729.pdf
Github Repository	https://github.com/Tencent-Hunyuan/Hy-Nomas

8. Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery? (101 votes)

Tác giả: Yepeng Liu, Shengmai Chen, Xuandong Zhao, Chengzhi Liu, Dawn Song, et al.

Xuất bản lúc: 2026-10-23

Tag: LLMs, Test-Time Adaptation, Scientific Discovery, Memory-Augmented Models, Evolutionary Search, Reinforcement Learning, Mathematical Reasoning

I. Main Problem:

Test-time training (TTT) giúp mô hình ngôn ngữ cỡ mở vượt hệ thống chỉ suy luận trên các tác vụ phát hiện khoa học, nhưng phải cập nhật trọng số trực tuyến trong suốt quá trình tìm kiếm. Điều này gây:

chi phí tính toán và thời gian chạy rất cao, đặc biệt khi muốn mở rộng sang mô hình lớn hơn
khó khả năng cắm thêm vào các khung discovery hiện có nếu phần thích ứng test-time đòi hỏi huấn luyện riêng
nhu cầu một cách học từ kinh nghiệm tìm kiếm mà không chạm vào trọng số mô hình.

II. Main Idea:

Bài báo đề xuất Test-Time Memory Evolution (TTME): thay vì dùng reinforcement learning để sửa trọng số, hệ thống giữ nguyên trọng số mô hình và liên tục chưng cất kinh nghiệm đánh giá thành bộ nhớ ngoài để đưa vào ngữ cảnh sinh ứng viên kế tiếp. TTME có hai bộ nhớ bổ trợ nhau:

Guideline Memory: rút ra bài học vận hành chung từ lỗi biên dịch, lỗi chạy, và các lựa chọn cài đặt giúp tăng điểm; mỗi guideline ghi điều kiện áp dụng, lỗi/hiệu quả quan sát được, và hành động cụ thể nên làm.
Strategy Memory: chỉ giữ các thay đổi làm điểm tốt hơn so với cha, trích xuất ý tưởng thuật toán, cách áp dụng, rồi gom những biến thể cùng ý tưởng thành các strategy family để tái sử dụng.

Khi sinh ứng viên mới, TTME chọn tới N chiến lược liên quan cho từng cha, thích nghi từng chiến lược thành chỉ dẫn sửa đổi riêng cho cha đó; nếu không có chiến lược phù hợp, mô hình đề xuất ý tưởng mới từ bộ nhớ. Một nửa ngân sách sinh ứng viên không dùng chỉ dẫn chiến lược để duy trì khám phá ý tưởng mới. Cập nhật bộ nhớ được làm mỗi K bước, với cơ chế làm mới, đếm số lần tái xác nhận, ưu tiên độ phổ biến và độ gần đây.

Cơ chế này giống người thợ không cần đổi gen sau mỗi lần sửa máy, mà ghi sổ tay hai loại: một trang “lỗi hay gặp và cách xử”, một trang “mẹo cải tiến từng công đoạn”; lần sau mở đúng trang đó ra xem rồi làm tiếp.

III. Main Results:

Trên hai khung discovery là TTT-Discover và ThetaEvolve, ba mô hình gồm Qwen3-8B, gpt-oss-120b, Distill-Qwen3-8B, và năm bài toán toán học, TTME đạt điểm tốt hơn TTT ở mọi cấu hình đánh giá.
Với Qwen3-8B dưới TTT-Discover, TTME vượt điểm TTT trong khi giảm 47.7–58.4% runtime không tính evaluation và 82.8–84.6% FLOPs, kể cả toàn bộ lời gọi liên quan tới bộ nhớ.
Tiến trình tìm kiếm: TTME vượt điểm cuối cùng của TTT trước khi hết ngân sách trên nhiều tác vụ; ví dụ dưới TTT-Discover vượt mốc TTT trong khoảng 25 bước ở các tác vụ và mô hình được kiểm tra.
Ablation: bỏ Guideline Memory hoặc Strategy Memory đều làm kết quả xấu đi; dùng đủ hai bộ nhớ tốt nhất. Kết hợp TTME với TTT không giúp hơn, thậm chí làm AC2 và Erdős xấu đi.
Phân tích hành vi: cả TTT và TTME đều tăng tỉ lệ chương trình hợp lệ so với không thích ứng, nhưng TTME tạo ý tưởng cải thiện điểm hiệu quả hơn. TTME cũng chọn tổ hợp ý tưởng từ các nhánh tìm kiếm khác nhau thường xuyên hơn, và chọn nhiều tổ hợp có lợi hơn trên AC1/AC2.

IV. Conclusion & Future Works:

TTME cho thấy tiến hóa bộ nhớ ngoài có thể vừa hiệu quả hơn vừa rẻ hơn cập nhật trọng số test-time trong các bài toán discovery có verifier và ứng viên có thể chạy được. Điểm mấu chốt là mô hình ngôn ngữ hiện tại đã đủ mạnh để lợi dụng kinh nghiệm được tổ chức sẵn, nên không cần internal hóa mọi thứ qua gradient. Hướng mở rộng tự nhiên gồm: thử TTME trên mô hình lớn hơn và tác vụ khoa học ngoài toán, nghiên cứu lịch cập nhật bộ nhớ và chi phí lưu trữ, cải tiến cách chọn chiến lược khi bộ nhớ rất lớn, và kiểm tra giá trị khi kết hợp với cơ chế thích ứng tham số nhẹ như LoRA trong bối cảnh khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng bộ nhớ tự tiến hóa cho discovery khoa học có verifier đắt tiền: chủ động quyết định khi nào cập nhật guideline, khi nào tách hay gộp strategy family để giữ ngữ cảnh ngắn mà vẫn bảo toàn ý tưởng quan trọng.
Kết hợp bộ nhớ ngoài với cập nhật tham số cực nhẹ: chỉ học một lớp nhỏ khi bộ nhớ đã bão hòa, rồi dùng bộ nhớ để kiểm soát độ lệch học lặp trong quá trình tìm kiếm dài.
Phát triển phiên bản đa tác vụ của bộ nhớ kinh nghiệm: chuyển guideline và strategy đã học giữa các bài toán tối ưu có cấu trúc tương đồng, ví dụ từ bất đẳng thức tự tương quan sang các bài toán construction khác.
Phân tích lý thuyết khi nào ghi nhớ ngoài đủ thay cập nhật trọng số: điều kiện về độ dài ngữ cảnh, mức trùng lặp ý tưởng, và chất lượng phản hồi verifier để bảo đảm hiệu năng không suy giảm theo số bước.

2. Patent:

Trợ lý tối ưu hóa trên điện thoại cho bài toán có chấm điểm tự động: ứng dụng giữ nguyên mô hình ngôn ngữ cục bộ hoặc trên đám mây, sau mỗi lần thử nghiệm tự ghi lại lỗi chạy và cách sửa làm điểm tăng; lần sau mở lại đúng ghi chú để sinh phương án mới, giảm thời gian tìm nghiệm mà không cần huấn luyện lại mô hình trên máy người dùng.
Hệ gợi ý cải tiến mã nguồn cho lập trình viên di động: khi người dùng liên tục chạy thử và đo hiệu năng, ứng dụng tách kinh nghiệm thành hai sổ tay ẩn là sửa lỗi vận hành và mẹo tăng hiệu năng; khi tạo bản vá mới, hệ chọn mẹo phù hợp với đoạn mã cha rồi biến thành chỉ dẫn chỉnh sửa cụ thể.
Công cụ hỗ trợ thiết kế thực nghiệm khoa học trên thiết bị cầm tay: người dùng nhập mô tả thí nghiệm và tiêu chí chấm điểm, hệ sinh các phương án, gọi trình kiểm chứng, rồi cập nhật sổ tay bài học vận hành và chiến lược cải tiến; điện thoại chỉ cần lưu bộ nhớ kinh nghiệm nhỏ thay vì fine-tune mô hình lớn.
Module tái sử dụng kinh nghiệm cho các trợ lý AI trong doanh nghiệp: khi nhiều phiên làm việc cùng xử lý một lớp vấn đề, hệ gom những thay đổi làm kết quả tốt hơn thành chiến lược dùng lại, đồng bộ hóa giữa điện thoại và máy tính, đồng thời tránh lặp lại những cách sửa đã thất bại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.32046
ArXiv Abstract	https://arxiv.org/abs/2610.32046
PDF Download	https://arxiv.org/pdf/2610.32046.pdf
Github Repository	https://github.com/yepengliu/TTME

9. Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals? (82 votes)

Tác giả: Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, et al.

Xuất bản lúc: 2026-10-27

Tag: Discrete Visual Tokens, Vector Quantization, Multimodal LLMs, Vision Tokenizer, Next-Token Prediction, OCR

I. Main Problem:

Mô hình đa phương thức dạng discrete visual tokens (ảnh hóa thành token rời rạc giống ngôn ngữ) bị giả định phổ biến rằng quantization error (sai số lượng tử hóa) chắc chắn gây mất mát ngữ nghĩa, khiến biểu diễn rời rạc luôn yếu hơn biểu diễn continuous — xem continuous là cận trên bất biến. Hệ quả:

Các quantizer đa codebook hiện có (RVQ, PQ) bão hòa khi tăng bit budget: codebook thêm vào mang ngày càng ít thông tin ngữ nghĩa
Model rời rạc thua xa model continuous, đặc biệt ở tác vụ fine-grained như OCR, tài liệu, biểu đồ
Niềm tin này làm hạn chế tiềm năng xây native multimodal foundation models thống nhất vision–language.

II. Main Idea:

Bài báo phủ nhận giả định cũ bằng hai phát hiện:

Quantization error không quyết định semantic fidelity: một biểu diễn có MSE lớn gấp ~9 lần (RVQ odd-group, 0.246) vẫn vượt xa VQ (MSE 0.027) trên 8 benchmark hiểu ảnh (+9.5 điểm) — vì VLM dùng discrete indices, không dùng feature tái dựng.
Bit budget hiệu dụng (B = L·log₂C) mới là yếu tố then chốt: tăng số codebook L cải thiện đều đặn khả năng hiểu ảnh, tiệm cận và cuối cùng bằng continuous.

Từ đó đề xuất Factorized Vector Quantization (FVQ):

Chiếu dense feature thành L view bù trừ, cùng chiều cố định qua các phép chiếu tight-frame (AᵀA = ρI — giữ nguyên hình học feature, không chiều nào bị loại bỏ)
Quantize song song mỗi view bằng một codebook độc lập, vai trò đối xứng — tránh hiện tượng residual ngày càng yếu của RVQ hay nhóm kênh ngày càng hẹp của PQ
Tổng hợp lại bằng tight-frame synthesis (ρ⁻¹Aᵀ) — phép phân tích không gây sai số, toàn bộ distortion chỉ đến từ nearest-codeword lookup

Ví dụ đời thường: giống ghi chép một vật từ nhiều góc nhìn cùng độ chi tiết — mỗi người quan sát (codebook) nhìn toàn bộ vật chứ không chỉ xem phần còn sót lại của người trước, nên thêm người quan sát luôn mang thông tin mới thay vì ngày càng thừa.

III. Main Results:

FVQ không bão hòa: ở 224 bits/patch, RVQ +0.0, PQ +0.2, còn FVQ +1.4 điểm so với 112 bits, đạt 65.3 — ngang continuous QwenViT (64.6).
Model 8B huấn luyện industrial-scale (100B + 10B + 60B + 30B tokens): SOTA trong nhóm discrete, vượt UniAR +22.8% và Emu3-Chat +59.2% theo trung bình 9 chỉ số.
Lần đầu tiên model discrete cạnh tranh được với continuous mạnh như Qwen3-VL-8B: ngang MathVista (77.4), tốt nhất RealWorldQA (72.0), vượt trên cả hai tác vụ CharXiv.
Thu hẹp mạnh khoảng cách OCR/tài liệu: OCRBench 867 (gần Qwen3-VL 896, vượt UniAR 833), OmniDocBench tương đương Qwen3-VL.
Xử lý thành công ca cực khó: bảng độ phân giải 21.253×3.912 px, chữ viết tay rời rạc, trang in mật độ cao 5.000+ ký tự output.
Tổng quát hóa qua encoder: FVQ cải thiện lớn trên cả MoonViT-v2 (+22.4 điểm) và SigLIP2 (+9.2) so với VQ một codebook.

IV. Conclusion & Future Works:

Feature reconstruction error không phải thước đo đáng tin của semantic fidelity; bit budget hiệu dụng mới quyết định — và với budget đủ lớn, discrete tokens có thể bằng continuous. FVQ cho thấy một thiết kế quantizer vượt qua bão hòa bằng view bù trừ + codebook song song đối xứng, mở đường cho large-scale native multimodal foundation models dùng giao diện token thống nhất. Hướng mở: các thiết kế quantizer khác duy trì tính thông tin ở budget cao hơn nữa, và mở rộng sang unified understanding–generation.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế quantizer thế hệ mới vượt FVQ ở bit budget rất cao (512+ bits/patch) bằng cách học các phép chiếu bù trừ có điều kiện thay vì tight-frame cố định.
Unified multimodal model sinh-hiểu dùng chung một bộ discrete visual tokens FVQ, kiểm chứng vai trò visual chain-of-thought trên cả hai chiều tác vụ.
Nghiên cứu mối liên hệ giữa bit budget và giới hạn Cramér–Rao của khả năng lưu giữ chi tiết tần số cao, để dự đoán ngưỡng ngân sách cho từng loại tác vụ fine-grained.
Áp dụng nguyên lý symmetric parallel codebook cho audio và video tokens trong mô hình đa phương thức thống nhất.

2. Patent:

Bộ mã hóa ảnh trên điện thoại biến ảnh chụp thành chuỗi token rời rạc gọn nhẹ: nhiều bảng mã nhỏ phân tích cùng lúc các 'góc nhìn' bù trứng của ảnh, giúp trợ lý ảnh trên máy đọc chữ, bảng biểu, tài liệu chụp màn hình chính xác ngang dùng đặc trưng ảnh liên tục đầy đủ nhưng tiết kiệm băng thông khi gửi lên đám mây.
Hệ thống nén ảnh thông minh cho ứng dụng nhắn tin: thay vì gửi ảnh nén theo pixel, thiết bị gửi các chỉ số token rời rạc; máy nhận dựng lại nội dung ngữ nghĩa (chữ, bảng, biểu đồ) với độ trung thực cao và cho phép tìm kiếm nội dung ảnh trực tiếp bằng ngôn ngữ.
Module OCR cục bộ cho máy quét tài liệu di động: dùng nhiều bảng mã song song đối xứng để mã hóa từng vùng ảnh ở ngân sách bit có thể điều chỉnh — vùng chứa chữ nhỏ tự động được cấp thêm bảng mã, còn vùng nền dùng ít bảng, giảm dung lượng mà không mất chữ.
Phương pháp nâng cấp dần chất lượng ảnh khi truyền qua mạng yếu: truyền lần lượt các nhóm token từ từng bảng mã, thiết bị nhận hiển thị ảnh thô ngay rồi sắc nét dần theo từng nhóm token bổ sung, thay vì chờ tải đủ file ảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37662
ArXiv Abstract	https://arxiv.org/abs/2610.37662
PDF Download	https://arxiv.org/pdf/2610.37662.pdf
Github Repository	https://github.com/hustvl/FVQ

10. HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory (79 votes)

Tác giả: Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Jiarui Wang, et al.

Xuất bản lúc: 2026-10-20

Tag: LLM Agents, Agent Memory, Long-Term Memory, Personalization, Benchmark, Habit Induction

I. Main Problem:

Trong tương tác dài hạn, người dùng lộ ra thói quen (habit) qua các lựa chọn rải rác qua hàng trăm phiên hội thoại, nhưng mỗi quan sát chỉ cung cấp bằng chứng yếu (weak evidence): một lựa chọn lặp lại có thể chỉ đúng trong một ngữ cảnh, một gợi ý của trợ lý không tự động trở thành sở thích của người dùng, và thói quen có thể có ngoại lệ tạm thời hoặc thay đổi theo thời gian. Vấn đề cốt lõi:

Lưu giữ lịch sử ≠ suy luận được thói quen: các benchmark hiện tại (LoCoMo, LongMemEval...) đo khả năng nhớ lại, không đo khả năng cảm nhận khi nào bằng chứng đủ để áp dụng một thói quen cho quyết định mới.
Cần trả lời: khi nào lịch sử tương tác biện minh cho việc áp dụng một mặc định hành vi của người dùng?

II. Main Idea:

HABIT-Bench định nghĩa habit memory là bài toán kép: (1) suy luận mặc định hành vi từ bằng chứng không đầy đủ qua nhiều phiên, và (2) quyết định khi nào bằng chứng cho phép dùng nó (phạm vi áp dụng, ngoại lệ, hiệu lực thời gian, sự chấp nhận của người dùng). Cách xây dựng:

Ghép hạt giống hội thoại thật (CookDial, MultiDoGO, Taskmaster-2) với habit graph có kiểm soát để tạo lịch sử tổng hợp dạng "lifeline": 114 người dùng, 37.152 phiên, 3.328 probe trên 4 miền (ẩm thực, tài chính, phần mềm, du lịch).
Mỗi probe là bài trắc nghiệm 4 lựa chọn (ngẫu nhiên = 25%), trong đó các phương án nhiễu gồm: áp dụng lựa chọn đã lỗi thời, mở rộng thói quen vượt phạm vi, hoặc coi gợi ý chưa được chấp nhận là quyết định đã lập.
Mọi hệ thống memory xử lý lịch sử theo thứ tự thời gian rồi cung cấp context cho một answerer chung — để so sánh công bằng phần "bộ nhớ cung cấp gì", không so sánh cách lưu trữ.
Probe được con người kiểm chứng độc lập (2 người chấm, 1 người phân xử; độ đồng thuận cao tới ~100% ở Finance).

Ví dụ đời thường: giống như nhân viên quán nước đoán thói quen khách quen — thấy khách gọi trà đá nhiều lần thì ghi nhớ, nhưng phải nhớ cả lần khách đổi sang cà phê vì trời lạnh (ngoại lệ), lần mình gợi ý món mà khách chưa gật đầu (chưa thành thói quen), và biết thói quen cũ đã hết hiệu lực từ khi nào — trước khi mang món ra mà không hỏi lại.

III. Main Results:

Hiệu suất rất thấp: macro accuracy 4 miền của 8 memory methods chỉ đạt 27.01–33.06% (Qwen3-235B) và 30.42–33.61% (GLM-5.3-Flash) — chỉ nhỉnh hơn chút so với ngẫu nhiên 25%.
Memory methods không vượt retrieval đơn giản: BM25 đạt 32.50% so với best memory 33.06% (Qwen); Dense RAG 33.21% so với 33.61% (GLM). Control Full Memory của GLM (nén toàn bộ lịch sử) đạt tới 41.98%, bỏ xa mọi pipeline memory phức tạp.
Hiệu quả memory phụ thuộc miền: cải thiện mạnh ở Food (+20.3 điểm so với No Memory) và Travel, nhưng ở Finance tất cả 8 methods đều thua cả baseline No Memory — các miền đòi hỏi kết hợp nhiều thói quen và phân biệt cam kết với gợi ý chưa chấp nhận là quá khó.
Oracle Evidence (cấp sẵn bằng chứng đã chú thích) vẫn chỉ đạt 39–58%, trong khi Oracle Habit State đạt ~98–99% → nút thắt nằm ở khả năng suy luận quyết định từ bằng chứng, không chỉ ở tìm đúng bằng chứng.
Tăng model size (4B→235B), tăng retrieval top-k hay chunk ingestion không xóa được khoảng trống; chi phí dựng memory rất lớn (A-MEM tốn ~54,6 giờ và ~108 triệu token LLM cho 32 người dùng).

IV. Conclusion & Future Works:

Kết quả phơi bày khoảng trống bền vững giữa "có quyền truy cập lịch sử" và "suy luận + dùng đúng thói quen của người dùng": trích xuất và tổ chức memory không tự động tạo ra quyết định tốt hơn retrieval phiên thô hay nén lịch sử. Câu hỏi đúng cho memory system là liệu representation có bảo toàn bằng chứng và điều kiện áp dụng cho quyết định sau này hay không. Hướng tương lai: phát triển các phương pháp tái cấu trúc bằng chứng phân tán qua nhiều phiên (đặc biệt miền đa-thói-quen như Finance/Software), cải thiện khả năng xử lý ngoại lệ và trôi dạt thời gian, và đánh giá song song capability slices thay vì chỉ accuracy tổng.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp memory mới suy luận đồng thời "thói quen đang hoạt động" và "điều kiện biên" (ngoại lệ, phạm vi, hiệu lực thời gian) trực tiếp trong quá trình ghi nhớ, thay vì chỉ lưu các sự kiện đã xảy ra.
Mô hình phân rã lỗi trong agent memory: tách riêng lỗi thu hồi bằng chứng, lỗi tái cấu trúc quyết định từ bằng chứng, và lỗi áp dụng sai điều kiện — với độ đo từng thành phần trên dữ liệu có chú thích nguồn.
Benchmark mở rộng từ chọn lựa 4 phương án sang tương tác đa lượt (multi-turn), kiểm tra khả năng agent ghi nhận phản hồi từ chối của người dùng và cập nhật/lãng quên thói quen tương ứng.

2. Patent:

Trợ lý ảo trên điện thoại tự học thói quen người dùng từ lịch sử sử dụng rải rác: hệ thống phân tích hành vi qua nhiều tuần, suy luận thói quen kèm phạm vi áp dụng (ví dụ hay đặt cà phê vào sáng thứ 2-5 nhưng không phải cuối tuần), và chỉ gợi ý chủ động khi ngữ cảnh hiện tại khớp đủ điều kiện — tránh gợi ý phiền nhiễu hoặc lạc hậu.
Hệ thống quản lý thói quen có cơ chế "thời hạn hiệu lực" và "ngoại lệ" cho ứng dụng ngân hàng số: tự động nhận biết khi người dùng thay đổi quy trình giao dịch thường dùng, vô hiệu hóa phím tắt cũ đúng thời điểm thay đổi có hiệu lực, và không tự động hoàn tất giao dịch dựa trên gợi ý trước đây mà người dùng chưa xác nhận.
Công cụ kiểm thử cá nhân hóa cho chatbot doanh nghiệp: mô phỏng lịch sử khách hàng dài hàng nghìn phiên với các tình huống thói quen thay đổi, ngoại lệ tạm thời và đề xuất chưa chấp nhận, nhằm đo khả năng bot suy luận và áp dụng đúng thói quen trước khi triển khai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24520
ArXiv Abstract	https://arxiv.org/abs/2610.24520
PDF Download	https://arxiv.org/pdf/2610.24520.pdf
Github Repository	https://github.com/LUMIA-Group/habit-bench

11. Rollback: Experience Backtracking in World Models for Policy Improvement (57 votes)

Tác giả: Jiayi Luo, Yang Zhang, Liliang Chen, Nan Wang, Chen Gao, et al.

Xuất bản lúc: 2026-10-26

Tag: World Models, Robot Learning, MCTS, Reinforcement Learning, Policy Improvement, Vision-Language-Action, Robotics

I. Main Problem:

Các phương pháp học chính sách robot dựa trên world model hiện nay chỉ dùng mô hình như một simulator thuần chiều tiến: sinh rollout từ đầu đến cuối rồi vứt bỏ ngữ cảnh trung gian. Điều này bỏ qua một khả năng môi trường vật lý không bao giờ có: tua ngược lại điểm quyết định để thử phương án khác. Hệ quả:

rollout độc lập lãng phí ngân sách tưởng tượng vào các quyết định không quan trọng
phản hồi mức trajectory không chỉ ra hành động nào quyết định thành công (credit assignment thưa)
học thêm value model gây bias ước lượng
world model cố định bị policy khai thác các vùng dự đoán sai khi policy tiến bộ, khiến kết quả tưởng tượng không chuyển hóa sang robot thật.

II. Main Idea:

Rollback biến world model từ simulator bị động thành công cụ tư duy phản thực tế (counterfactual engine) bằng ba thành phần:

Experience-backtracking tree search: lưu cache temporal context tại các điểm quyết định trên quỹ đạo thật, tua ngược lại, nhân bản thành nhiều nhánh hành động thay thế mà không phải sinh lại phần chung; MCTS phân bổ ngân sách tập trung vào các quyết định có hệ quả khác biệt lớn
Tree-structured value estimation: so sánh kết quả của các hành động cùng xuất phát từ một ngữ cảnh (sibling branches) để sinh nhãn chất lượng tương đối từng action chunk — không cần value model riêng; chính sách được cập nhật theo kiểu advantage-conditioned
World model–policy co-evolution (test-time physics grounding): hệ thống cloud–edge chạy song song search trên GPU và thực thi trên robot thật; dữ liệu thật liên tục hiệu chỉnh world model qua LoRA SFT + DMD, nên world model luôn đúng vật lý ở đúng các trạng thái policy đang lui tới

Ví dụ đời thường: giống chơi cờ có thể bấm "undo" quay lại nước đi mấu chốt, thử hai ba phương án khác từ đúng thế cờ đó rồi rút ra bài học nước nào hay — thay vì phải chơi lại ván mới từ đầu và đoán mò.

III. Main Results:

Vượt baseline mạnh nhất +10.67% (Block Extraction), +11.11% (Ball Tossing), +11.85% (Tabletop Curling) về tỉ lệ thành công tuyệt đối.
Cải thiện nhanh và ổn định hơn dưới ngân sách tương tác ngang nhau; vượt mức thành công trung bình của người chơi ở Ball Tossing và Tabletop Curling chỉ sau 8 giờ huấn luyện với 1 robot, dù khởi đầu từ demo teleop kém xa con người.
World model GE-Sim 2.0 dự đoán đồng thời ảnh 3 camera và trạng thái proprioception; hạ tầng 48 GPU H200 (40 GPU search, 8 GPU train) chạy hoàn toàn bất đồng bộ với robot thật.

IV. Conclusion & Future Works:

Rollback chứng minh khả năng tua ngược là điểm khác biệt cốt lõi của world model học được so với môi trường vật lý: tập trung tưởng tượng vào điểm quyết định mấu chốt, giám sát mức action mà không cần value model, và test-time physics grounding là yêu cầu chung cho mọi simulator học được dùng để huấn luyện policy. Các ablation cho thấy cả search, supervision cây và cập nhật world model đều đóng góp vào cải thiện ổn định; bài báo không nêu rõ hướng mở rộng cụ thể, nhưng hạ tầng sẵn sàng cho nhiều edge site robot song song.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng experience backtracking cho world model đa nhiệm, tái sử dụng cache ngữ cảnh qua các tác vụ khác nhau để giảm chi phí search.
Kết hợp rollback search với world model hành động liên tục nguyên thủy để tránh bias từ reward model đánh giá kết quả rollout.
Nghiên cứu chiến lược physics grounding có chọn lọc: chỉ hiệu chỉnh world model ở các vùng mà reward model và policy có sự bất đồng thuận.

2. Patent:

Hệ thống huấn luyện robot bán tự động cho nhà máy: robot thật chạy và tải quỹ đạo lên đám mây; máy chủ GPU tua ngược lại các lần thất bại, thử hàng loạt cách thao tác khác trong mô phỏng ảnh, rồi đẩy chính sách cải tiến về robot mà không cần canh chỉnh lại hiện trường.
App điện thoại huấn luyện robot gia đình: người dùng điều khiển thử vài lần (thành công/thất bại), app gửi video lên server; hệ thống tự nhân bản các khoảnh khắc thất bại thành nhánh thử nghiệm ảo và cập nhật kỹ năng robot ném rác, xếp đồ sau vài giờ.
Module tự sửa mô phỏng trong cabin tập lái xe hoặc máy công trình: dữ liệu điều khiển thật của người vận hành liên tục chỉnh mô hình vật lý ảo qua bộ chuyển đổi nhẹ, đảm bảo kịch bản luyện tập trên màn hình luôn khớp cảm giác thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.36068
ArXiv Abstract	https://arxiv.org/abs/2610.36068
PDF Download	https://arxiv.org/pdf/2610.36068.pdf
Github Repository	N/A

12. ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning (49 votes)

Tác giả: Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang, et al.

Xuất bản lúc: 2026-10-27

Tag: Vision-Language-Action, Robotics, World Models, Reinforcement Learning, Human-to-Robot Transfer, Chain-of-Thought

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) tiến xa nhưng vẫn bị giới hạn bởi dữ liệu robot có gắn nhãn hành động — tốn kém, ít đa dạng, gắn với từng hình thái robot. Video con người phong phú hơn nhiều nhưng không có nhãn hành động:

Các phương pháp latent action mở rộng được nhưng biến lượng suy ra dễ nắm thay đổi hình dáng hay chuyển động camera thay vì hành vi điều khiển được.
Phương pháp giám sát tường minh (ước lượng pose bàn tay, retarget) có grounding vật lý nhưng phụ thuộc pose estimation chính xác và tương ứng người–robot.
Các VLA lý luận hiện có (text plan, visual trace) tăng cường dữ liệu robot nhưng không neo suy luận vào thay đổi thế giới do hành động gây ra, nên khái quát hóa kém khi cảnh vật/skill lạ.

II. Main Idea:

ThinkWorld biểu diễn mỗi "suy nghĩ hành động" thành Chain-of-Dynamics (CoD) — chuỗi token chuyển động rời rạc, capture động lực học trung gian nối trạng thái hiện tại với trạng thái tương lai, làm ngôn ngữ hành động chung cho cả người và robot. Quy trình hai giai đoạn:

SFT: token hóa hành động robot và chuyển động cổ tay người vào không gian motion thống nhất (FAST tokenizer); VLM học sinh CoD tự hồi quy, đồng thời điều kiện hóa CoD để dự đoán đặc trưng DINO của frame tương lai.
RL (consequence-grounded): với mỗi CoD được lấy mẫu, so khớp future tưởng tượng với future quan sát được trong video; dùng độ khớp làm reward (GRPO) để củng cố CoD. Vì chỉ cần chuyển tiếp quan sát được, video không cần nhãn hành động cũng thành giám sát trực tiếp. Khi triển khai, cả CoD lẫn future prediction đều bị loại bỏ — chúng chỉ là tín hiệu huấn luyện.

Ví dụ đời thường: giống người học nghề xem sếp làm một việc rồi tự hỏi "nếu mình làm vậy thì cái gì sẽ thay đổi?" — đoán trước kết quả, so với thực tế xảy ra, và chỉnh lại cách làm cho dự đoán trùng thực tế.

III. Main Results:

Real robot (bimanual YAM), OOD: ThinkWorld đạt success rate cao nhất ở cả 3 tác vụ (color matching, cup hanging, sorting) khi đổi màu/đồ vật/môi trường/quỹ đạo; các baseline MolmoAct2, LaWAM sụt mạnh còn ThinkWorld giữ vững.
Skill composition từ video người: chỉ train robot cho các skill nguyên tử (open, close, put-left, put-right), một video người demo open → put-left → close cho phép robot thực hiện trọn chuỗi trong một rollout duy nhất.
LIBERO: 97.3% average (tốt nhất); LIBERO-PRO: 55.6%, vượt VLA-JEPA +7.1 điểm tổng, +19.9 điểm ở trục Environment shift.
Ablation tích lũy: Qwen baseline 40.1% → +future prediction 50.4% → +CoD 54.4% → +RL 55.6% trên LIBERO-PRO.
Scaling human data: tăng tỉ lệ video egocentric người (10%→50%) cải thiện monotonic (45.4%→47.8%), hơn cả control cùng scale dữ liệu robot.
CoD thực sự capture động lực học: cosine similarity future prediction 0.74 (CoD on) vs 0.71–0.72 (shuffle/empty/off); trên 25% patch biến động mạnh nhất: 0.62 vs 0.54–0.55; attention của CoD tập trung vào tay người/cánh tay robot và vật bị thao tác.

IV. Conclusion & Future Works:

ThinkWorld chứng minh rằng grounding suy luận hành động vào hệ quả thế giới quan sát được là cách hiệu quả để khai thác video con người không nhãn, vượt qua trade-off giữa coverage và action grounding. CoD tạo cấu trúc motion chung xuyên hình thái (t-SNE cho thấy cụm theo hướng chuyển động, không theo nguồn dữ liệu), cho phép chuyển skill người → robot và khái quát hóa OOD mạnh. Hướng tương lai: mở rộng reward tưởng tượng thế giới sang môi trường động/liên tục, kết hợp thêm nguồn video đa dạng hơn, và thu hẹp khoảng cách với các tác vụ dài hạn nhiều bước.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng consequence-grounded RL (tưởng tượng tương lai so với quan sát được) cho bài toán planning dài hạn: dùng chuỗi CoD nhiều bước và reward tích lũy qua horizon thời gian dài thay vì một khoảng ∆ cố định.
Kết hợp CoD chung xuyên hình thái với retargeting tự động để robot hai tay mô phỏng được các động tác phối hợp hai tay phức tạp từ video egocentric người.
Mở rộng world imagination từ đặc trưng DINO sang mô hình video sinh để reward phản ánh cả thay đổi vật lý tinh (ví dụ độ cứng, chất lỏng) mà feature tĩnh không bắt được.

2. Patent:

Ứng dụng điện thoại dạy robot làm việc mới: người dùng quay một video ngắn bằng điện thoại đang thao tác (ví dụ xếp đồ vào tủ); app gửi video lên đám mây, hệ thống tách thành các động tác nguyên tử và tổ hợp thành chuỗi hành động cho robot gia đình thực hiện — không cần lập trình hay dữ liệu hành động của robot.
Robot công nghiệp tự học tác vụ lắp ráp mới: camera quan sát công nhân làm mẫu một lần; hệ thống so khớp "tương lai tưởng tượng" với kết quả thực để tự tinh chỉnh chuỗi động tác, chỉ cần huấn luyện riêng cho các thao tác nguyên tử cơ bản.
Hệ thống kiểm tra chất lượng tự động: robot thao tác sản phẩm và tự dự đoán trạng thái tiếp theo; nếu thực tế khác tưởng tượng (sản phẩm lỗi, vật rơi), hệ thống phát hiện bất thường và báo ngay trên điện thoại người quản lý.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37666
ArXiv Abstract	https://arxiv.org/abs/2610.37666
PDF Download	https://arxiv.org/pdf/2610.37666.pdf
Github Repository	N/A

13. CodeCap-Bench: Can Code Serve as a Good Video Caption? (48 votes)

Tác giả: Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, et al.

Xuất bản lúc: 2026-10-27

Tag: Video Captioning, MLLMs, Code Generation, Benchmark, Video Understanding, Programmatic Visual Representation

I. Main Problem:

Video captioning truyền thống dùng ngôn ngữ tự nhiên để mô tả nội dung video, nhưng gặp hai hạn chế lớn:

Khó diễn đạt chính xác cấu trúc không gian tinh vi (layout lưới, vị trí tương đối) và động lực học thời gian (quỹ đạo chuyển động, thay đổi phối hợp của nhiều đối tượng) → mô tả trở nên dài dòng, mơ hồ.
Không có cách kiểm chứng trực quan: caption văn bản không thể chạy lại để đối chiếu với video gốc.
Đồng thời, thiếu benchmark đánh giá hệ thống liệu các MLLM hiện tại có tạo được code caption trung thực hay không, trên đa dạng loại nội dung và cấu hình sinh.

II. Main Idea:

Đề xuất Code as Video Caption: thay vì viết mô tả bằng lời, mô hình sinh chương trình code có thể thực thi dùng graphical primitives, layout rules và hàm theo thời gian để tái tạo video. Code có 3 ưu thế bổ sung so với ngôn ngữ tự nhiên:

Cấu trúc không gian theo luật: lưới, hàm vẽ dùng chung cho các phần tử lặp lại → mô tả gọn mà chính xác.
Tiến hóa thời gian có thể tính toán: hàm theo thời gian cho biết vị trí chính xác ở bất kỳ thời điểm nào (ví dụ easing scroll 383 đơn vị từ 15.05–15.90s).
Đặc tả trực quan có thể thực thi: logic điều kiện quy định đổi màu/xuất hiện thứ gì lúc nào → chạy code ra video và so sánh trực tiếp với video gốc.

Để kiểm chứng giá trị, tác giả xây dựng CodeCap-Bench: 323 video 2D có cấu trúc thuộc 5 loại (giao diện desktop/app, game 2D, thiết kế & animation, trực quan hóa dữ liệu/khoa học, icon & motion đồ họa trừu tượng), với annotation chi tiết (focal point tĩnh/động + bounding box đối tượng theo thời gian). Đánh giá 3 tầng: visual similarity (đặc trưng V-JEPA), object-level spatio-temporal IoU (qua SAM 3.1), và fine-grained visual information retention (chấm 0–5 bằng MLLM judge, tương quan Pearson với người 0.942).

Ví dụ đời thường: giống như thay vì tả miệng "cái bánh có vài hàng lỗ tròn cách đều nhau", ta đưa luôn khuôn in bánh + công thức nướng — ai cũng có thể ép khuôn ra chiếc bánh y hệt để so sánh với bánh gốc, thay vì tranh cãi lời tả có đúng không.

III. Main Results:

Code caption chứa thông tin tốt hơn văn bản: video render từ code cho độ chính xác trả lời câu hỏi cao hơn caption ngôn ngữ tự nhiên ở cả 3 model (ví dụ Opus-5: 83.02% vs 72.64%), và tái tạo tốt hơn ngoại hình, chuyển động, cấu trúc không gian.
GPT-6-astra dẫn đầu: với Codex đạt overall retention 73.24, IoU 75.37, vượt model mạnh thứ hai tới 14.4 điểm; hơn nữa bản non-agentic của nó (72.00) còn vượt mọi cấu hình agentic của model khác.
Nội dung động luôn khó hơn tĩnh: điểm dynamic retention thấp hơn static ở mọi model (GPT-6-astra: 68.61 vs 80.72; GPT-6-sol: 43.92 vs 64.04).
Các category giàu quy luật dễ hơn: desktop/app và data/science visualization được giữ trung thực tốt hơn design/animation và icon/motion.
Agentic workflow không phải lúc nào cũng giúp: tăng success rate nhưng với GPT-6-sol và GPT-5.6-sol, agentic lại giảm retention so với sinh một lần; hiệu quả phụ thuộc model.
Tăng thinking effort giúp nhưng tốn kém: GPT-6-sol từ medium lên xhigh tăng IoU +16.7 điểm nhưng chi phí từ $0.315 lên$ 1.409/video; nhiều tool call hơn không đồng nghĩa kết quả tốt hơn (Gemini-3.8-flash gọi 99.6 lần nhưng chỉ 47.73 điểm vs GPT-6-astra 47.4 lần, 72.87 điểm).
Model mã nguồn mở (Qwen3.8-max, DeepSeek-v4.1-flash) tụt hậu đáng kể so với model proprietary đứng đầu.

IV. Conclusion & Future Works:

Code caption là định dạng bổ sung hứa hẹn cho video captioning: rõ ràng, không mơ hồ, kiểm chứng được qua render, và thực nghiệm cho thấy giữ thông tin tốt hơn caption ngôn ngữ tự nhiên. CodeCap-Bench cho thấy MLLM proprietary tiên tiến đã có năng lực đáng kể nhưng vẫn chưa nắm bắt trung thực động lực học thời gian phức tạp, còn model mã nguồn mở thì tụt xa. Phân tích cũng làm rõ quan hệ giữa độ trung thực, độ tin cậy và chi phí sinh. Hướng tương lai: nâng cao khả năng mô hình hóa temporal dynamics, thu hẹp khoảng cách open-source/proprietary, và cải thiện hiệu quả chi phí của pipeline agentic.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng code caption từ video 2D có cấu trúc sang video 3D và cảnh có kết cấu phức tạp, kết hợp code với asset trực quan để mở rộng phạm vi áp dụng.
Phát triển phương pháp huấn luyện/tinh chỉnh chuyên biệt cho temporal reasoning trong sinh code (ví dụ curriculum tập trung vào motion, state transitions, temporal coordination) nhằm thu hẹp khoảng cách giữa retention tĩnh và động.
Nghiên cứu agentic workflow tự động chọn mức thinking effort và công cụ theo độ phức tạp của từng video để tối ưu đánh đổi giữa độ trung thực, chi phí tiền và thời gian chạy.
Ứng dụng code caption làm bước trung gian cho tác vụ video khác: truy vấn video bằng cách chạy/thực thi caption, chỉnh sửa video bằng sửa code, hoặc nén video dạng chương trình gọn nhẹ.

2. Patent:

Hệ thống nén và truyền video dạng code trên điện thoại: thay vì gửi file video nặng, ứng dụng gửi một đoạn chương trình ngắn mô tả giao diện/animation; máy nhận chạy code để tái tạo hình ảnh, tiết kiệm băng thông rất lớn cho video giao diện, biểu đồ, animation đơn giản.
Tính năng tự động tái tạo giao diện ứng dụng để hỗ trợ người dùng trên smartphone: quay màn hình thao tác một lần, hệ thống sinh code caption rồi render lại thành hướng dẫn tương tác có thể chạy thử, tua, và trả lời câu hỏi của người dùng.
Công cụ kiểm thử tự động giao diện mobile/web từ video demo: chuyển video quay màn hình thành code, chạy lại trên nhiều kích thước màn hình để phát hiện lỗi layout, lỗi đồng bộ animation.
Ứng dụng học lập trình qua animation trên điện thoại: người dùng quay một video chuyển động (bóng nảy, biểu đồ chạy), ứng dụng sinh code tương ứng kèm chú thích từng dòng để người học hiểu cách code điều khiển chuyển động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37341
ArXiv Abstract	https://arxiv.org/abs/2610.37341
PDF Download	https://arxiv.org/pdf/2610.37341.pdf
Github Repository	N/A

14. LociArt: A Unified Paradigm for Free-Style Local Video Stylization (30 votes)

Tác giả: Yuxuan Chen, Feng Xie, Jiagao Hu, Fuhao Li, Zepeng Wang, et al.

Xuất bản lúc: 2026-10-27

Tag: Video Stylization, Diffusion Models, Generative Refinement Networks, Mask Conditioning, Dataset Construction

I. Main Problem:

Stylization video truyền thống chỉ biến đổi toàn bộ khung hình, trong khi nhu cầu thực tế (phim, quảng cáo, nghệ thuật số) thường cần chỉnh sửa cục bộ: ví dụ biến nhân vật thành bản phác họa giữ nguyên cảnh nền, hoặc tô hai phong cách khác nhau lên hai vật thể trong cùng một cảnh quay. Bài toán này gặp ba khó khăn cốt lõi:

Liên kết vùng–phong cách: mask nhị phân chỉ cho biết chỗ nào cần sửa, không nói kiểu nghệ thuật nào áp dụng.
Đánh đổi giữa ngữ cảnh và độ chính xác không gian: mã hóa mask qua VAE giữ được ngữ cảnh thời gian–không gian nhưng làm mờ biên hình học; resampling trực tiếp giữ biên nhưng mất ngữ cảnh học được.
Thiếu dữ liệu và thiếu thước đo: các cặp dữ liệu stylization toàn cục không cung cấp supervision cho biến đổi cục bộ, và các metric trung bình toàn video che giấu lỗi rò rỉ phong cách ra ngoài vùng mục tiêu.

II. Main Idea:

LociArt đề xuất một paradigm thống nhất gồm ba thành phần:

LociArt-100K Dataset: pipeline tự động tổng hợp dữ liệu bằng cách tách tạo phong cách toàn cục khỏi ghép không gian — stylize toàn bộ video nguồn và video đã xóa vật thể, rồi dùng matting alpha để tái tổ hợp thành cặp foreground/background stylized, qua kiểm duyệt của người để có 100K cặp dữ liệu.
GRNStyle: mô hình dựa trên Generative Refinement Networks với hai cơ chế chính:
- Polar style-aware mask: mỗi phong cách được gắn một góc cực cố định trên đường tròn bán kính 1, nhúng tọa độ (cos, sin) vào vùng được chọn — các phong cách khác nhau bởi hướng chứ không phải độ lớn, tránh ép thứ tự vô nghĩa lên các kiểu nghệ thuật, đồng thời gộp 'chỗ nào' và 'phong cách gì' vào một đầu vào duy nhất.
- Representation–geometry conditioning: kết hợp đặc trưng mask mã hóa qua VAE (anchored bằng phép trừ mã hóa của mask rỗng) với hỗ trợ hình học từ mask nhị phân thô (pooling + ngưỡng) để vừa giữ ngữ cảnh thời gian–không gian vừa giữ chính xác biên.
LociArt Benchmark + SPS: 80 video, 84 mask, 168 trường hợp stylization, đo chất lượng phong cách vùng bằng Style Prototype Similarity, kèm PSNR (bảo tồn ngoài vùng) và Temporal Consistency.

Điểm hay: mô hình chỉ huấn luyện trên cặp 1 mask – 1 phong cách nhưng suy luận được đa vùng, đa phong cách bằng cách cộng các trường mã hóa polar của từng vùng.

Ví dụ đời thường: giống việc tô màu trong sách tô màu — thay vì tô tràn cả trang, ta gán mỗi vùng khuôn viền một màu riêng trên bảng màu (góc cực), cọ chỉ tô đúng trong viền (geometry support) còn phần ngoài viền giữ nguyên trắng.

III. Main Results:

GRNStyle-2B đạt SPS tốt nhất trên benchmark: 0.407 (foreground) và 0.705 (background), vượt rõ VACE fine-tuned (0.386/0.676), CoinVE-Edit, UniVST, RegionRoute và cả hệ thống thương mại Seedance 2.5.
Bảo tồn ngoài vùng mạnh: PSNR-bg 26.15 dB (hạng nhì), TC 0.983, điểm VLM Preserve 4.64 — cân bằng tốt giữa stylization và bảo tồn; điểm PSNR cao nhất của VACE đi kèm stylization quá yếu nên không phản ánh trade-off tốt hơn.
User study (20 người, 160 trường hợp): GRNStyle được chấm cao nhất về style fidelity (4.34/5) và background preservation (4.47/5), thắng CoinVE-Edit trên cả hai tiêu chí ở mọi phong cách.
Ablation: representation–geometry conditioning tăng PSNR từ 20.09 lên 25.07; polar encoding tăng SPS từ 0.541 lên 0.553; kết hợp cả hai đạt kết quả tốt nhất (SPS 0.554, PSNR 25.78).
Mở rộng từ vựng phong cách mà không cần replay dữ liệu: thêm 5 phong cách mới vào mô hình 10 phong cách, polar conditioning chỉ quên old-class SPS 0.022 so với 0.102 của mask nhị phân.

IV. Conclusion & Future Works:

LociArt cung cấp nền tảng thống nhất cho stylization video cục bộ: dữ liệu có supervision (LociArt-100K), mô hình kiểm soát vùng–phong cách (GRNStyle với polar mask và conditioning kép), và đánh giá nhận thức theo vùng (SPS + benchmark). Kết quả cho thấy liên kết explicit giữa phong cách và vùng bằng mã cực đẳng chuẩn vừa nâng chất lượng vùng mục tiêu, vừa bảo tồn nội dung ngoài vùng, vừa mở rộng tốt sang phong cách mới. Hướng tương lai hợp lý: mở rộng benchmark sang nhiều kiểu chỉnh sửa cục bộ khác (inpainting nghệ thuật, thay vật liệu theo vùng), tinh chỉnh pipeline dữ liệu để giảm chi phí kiểm duyệt con người, và thử nghiệm phân bổ góc cực tự học thay vì cố định.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp tự động xây dựng cặp dữ liệu stylization cục bộ qua tách rời tạo phong cách toàn cục và tái tổ hợp không gian bằng matting, có thể áp dụng cho các tác vụ chỉnh sửa video có điều kiện khác.
Điều kiện hóa mã cực đẳng chuẩn cho liên kết danh tính–không gian trong mô hình generative, mở rộng cho bài toán gán nhiều thuộc tính (màu, vật liệu, chất liệu) đồng thời lên nhiều vùng của video.
Giao thức đánh giá nhận thức theo vùng cho video generation, kết hợp prototype similarity trong không gian đặc trưng phong cách với VLM scoring phân tách style/preservation.

2. Patent:

Ứng dụng chỉnh sửa video trên điện thoại: người dùng quét chạm chọn một người hoặc vật thể trong video, gõ phong cách như 'tranh sơn dầu' hoặc 'pixel art'; mô hình tô phong cách đúng vùng chọn, giữ nguyên phần còn lại và giữ vật thể chuyển động mượt giữa các khung hình.
Tính năng quảng cáo tự động: tách sản phẩm ra khỏi cảnh quay gốc, stylize riêng sản phẩm theo phong cách thương hiệu (hoặc stylize nền thành hoạt hình giữ nguyên sản phẩm thật) mà không cần quay lại hay dựng tay từng khung hình.
Công cụ dựng phim nhanh cho creator: gán phong cách khác nhau cho từng nhân vật trong cùng cảnh (nhân vật trái claymation, nhân vật phải tranh sơn dầu) từ một lần huấn luyện duy nhất, xuất video theo thời gian thực nhờ kiến trúc refinement song song.
Hệ thống mở rộng bộ lọc video theo yêu cầu: khi người dùng thêm phong cách mới (ví dụ 'tranh giấy cắt'), chỉ cần huấn luyện bổ sung trên phong cách mới mà không làm suy giảm các bộ lọc cũ, không cần lưu trữ và huấn luyện lại toàn bộ dữ liệu cũ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.36456
ArXiv Abstract	https://arxiv.org/abs/2610.36456
PDF Download	https://arxiv.org/pdf/2610.36456.pdf
Github Repository	N/A

15. Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception (23 votes)

Tác giả: Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, et al.

Xuất bản lúc: 2026-10-27

Tag: Vision-Language Models, Multimodal Perception, Synthetic Data, RLVR, Spatial Perception, Long-Context Understanding, Embodied AI, Multimodal Agents

I. Main Problem:

Các mô hình ngôn ngữ-thị giác mạnh vẫn yếu khi bằng chứng quan trọng phân tán trong nhiều vùng ảnh, nhiều mối quan hệ, nhiều lượt đối thoại hoặc nhiều bước tương tác. Hai nhu cầu then chốt là spatial perception cho embodied AI và multimodal long-context understanding cho agent đa phương thức, nhưng dữ liệu huấn luyện chất lượng cao cho các tác vụ này rất đắt: nhãn quan hệ không gian cần định vị chính xác, còn dữ liệu đa ảnh và đa lượt khó tạo đa dạng mà vẫn kiểm chứng được đáp án.

II. Main Idea:

Core approach: nhóm tác giả xác định một năng lực nguyên tử chung là connecting evidence: tìm các dữ kiện thị giác liên quan, gắn từng dữ kiện đúng với thực thể, khôi phục quan hệ giữa chúng, rồi tổng hợp thành câu trả lời. Họ giả định rằng tập dữ liệu cho năng lực này dễ tổng hợp hơn nhiều so với dữ liệu cho từng tác vụ đích.

EVIDENCECONNECT tạo câu hỏi từ một ảnh duy nhất nhưng buộc mô hình phải nối nhiều vùng liên quan:

Chọn các vùng ảnh có thể hỗ trợ cùng một câu hỏi tổng hợp.
Dùng privileged zoomed crops chỉ trong lúc tạo dữ liệu để nhìn rõ chi tiết nhỏ, bảo toàn vị trí tương đối và viền màu cho từng vùng.
Sinh ba kiểu bài: aggregation, comparison/matching, và dependency chains/composition.
Kiểm chứng chéo bằng cross-model answer anchoring: chỉ giữ câu hỏi khi các VLM khác họ đồng ý về đáp án.
Dùng adaptive drop-one testing: che từng vùng để loại câu hỏi nếu đáp án vẫn không đổi, tức dữ kiện đó không thật sự cần thiết.
Chuyển sang dạng trắc nghiệm bốn lựa chọn để huấn luyện RLVR, trong khi mô hình huấn luyện chỉ nhìn ảnh gốc có khoanh vùng, không được dùng crop zoom đặc quyền.

Ví dụ đời thường: giống như đọc một bức ảnh sân bay phải tự nối ba chi tiết rời rạc - số chuyến bay trên vé, cửa khởi hành trên bảng, rồi biểu tượng dịch vụ gần cửa đó - thay vì chỉ nhìn rõ từng chi tiết riêng lẻ.

III. Main Results:

ZwZ2 cải thiện trên cả 25 benchmark ở mọi quy mô 4B, 9B, 27B; điểm trung bình tổng tăng từ 49.41 lên 54.79 ở 4B, 51.63 lên 56.59 ở 9B, 55.52 lên 60.51 ở 27B.
Fine-grained và spatial perception tăng trung bình khoảng 5.2-6.3 điểm; các mức tăng lớn gồm MIMIC +11.1 và CountQA +10.8.
Embodied spatial reasoning tăng trung bình 5.5-8.1 điểm, với ERQA tăng tới 10.5 điểm ở 27B.
Dù chỉ huấn luyện trên ảnh đơn, ZwZ2 vẫn cải thiện long-context understanding: ở 4B, trung bình domain tăng 5.6 điểm, MileBench tăng 10.0 điểm; AgentVista tăng khoảng 4.8-6.2 điểm.
ZwZ2-27B đạt điểm tổng cao nhất 60.51%, vượt GPT-5.6-Luna 54.02%, GLM-5.3-Flash 57.24%, DeepSeek-V4.1-Flash 55.47%.
So với dữ liệu tổng hợp trước đây, EVIDENCECONNECT với chỉ 20.4K mẫu tốt hơn TVG, F2RVLM, CRIT, MMHops; so với ZwZ-73K, điểm trung bình tăng từ 49.86 lên 53.86 dù dùng ít hơn 3.6 lần dữ liệu.
Ablations cho thấy drop-one verification tăng trung bình +1.63 điểm, còn privileged views tăng +1.27 điểm trong thí nghiệm 7K mẫu. Trên TreeBench, attention của ZwZ2 khớp với vùng bằng chứng thật hơn ở phần lớn các lớp.

IV. Conclusion & Future Works:

Kết quả cho thấy connecting evidence là mục tiêu huấn luyện có tính khái quát cao: tăng cường khả năng nhận diện, liên kết và tổng hợp dữ kiện trong một ảnh có thể chuyển sang các tác vụ có bằng chứng nằm rải rác qua nhiều ảnh, nhiều lượt hội thoại hoặc nhiều bước tương tác. Điều này mở đường dùng dữ liệu tổng hợp rẻ và kiểm chứng được cho những tác vụ từng bị giới hạn bởi chi phí gán nhãn. Hướng tương lai hợp lý là mở rộng phương pháp sang dữ liệu đa ảnh, đa lượt hội thoại và môi trường tương tác; đồng thời bổ sung khả năng truy xuất trên ngữ cảnh rất dài, vì hiện tại lợi thế nhỏ dần ở ngữ cảnh cực dài như MemLens/MMLongBench.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EVIDENCECONNECT sang dữ liệu đa ảnh và đa lượt hội thoại, kiểm tra xem liên kết bằng chứng có thể được huấn luyện trực tiếp trên chuỗi dài mà không cần qua ảnh đơn trung gian.
Kết hợp câu hỏi tổng hợp đa vùng với môi trường embodied tương tác, tạo dữ liệu có quan hệ không gian, thay đổi góc nhìn và nhiều bước hành động để cải thiện embodied spatial reasoning.
Nghiên cứu cơ chế attention của ZwZ2 để giải thích vì sao supervision trên một ảnh lại chuyển sang long-context understanding và agent tasks, từ đó thiết kế tín hiệu thưởng tinh hơn cho RLVR.
Phát triển tiêu chuẩn lọc dữ liệu tổng hợp dựa trên region ablation, cross-model agreement và difficulty filtering cho các pipeline synthetic data đa phương thức ngoài ảnh tĩnh.

2. Patent:

Trợ lý ảnh trên điện thoại có khả năng nối bằng chứng: người dùng chụp một ảnh phức tạp như bảng thông báo, vé máy bay hoặc menu; ứng dụng tự khoanh nhiều vùng liên quan, trả lời câu hỏi cần đối chiếu số liệu, vị trí và biểu tượng.
Hệ thống tạo dữ liệu huấn luyện thị giác-ngôn ngữ trên thiết bị hoặc đám mây: tự chọn các vùng liên quan trong ảnh độ phân giải cao, sinh câu hỏi trắc nghiệm, kiểm tra bằng nhiều mô hình và loại câu hỏi không phụ thuộc đủ vào các vùng đã chọn.
Trợ lý màn hình điện thoại cho GUI: nhận diện nhiều thành phần liên quan như nút bấm, thông báo, mã xác nhận và trạng thái tài khoản, rồi suy ra thao tác tiếp theo dựa trên bằng chứng phân tán trên giao diện.
Ứng dụng kiểm tra ảnh tài liệu hoặc biên lai: tự phát hiện các chi tiết cần đối chiếu như ngày tháng, số tiền, mã giao dịch và con dấu, đồng thời đánh dấu vùng nào làm thay đổi kết luận nếu bị che mất.
Trợ lý thực tế tăng cường cho người dùng di động: khi người dùng hỏi về một cảnh phức tạp, hệ thống phóng to tạm thời các vùng nhỏ để suy luận, nhưng chỉ hiển thị lại ảnh gốc có khoanh vùng để giải thích câu trả lời rõ ràng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37037
ArXiv Abstract	https://arxiv.org/abs/2610.37037
PDF Download	https://arxiv.org/pdf/2610.37037.pdf
Github Repository	https://github.com/inclusionAI/Zooming-without-Zooming-v2

16. RSI Arena: Towards Recursive Self-Improvement with Human Feedback (20 votes)

Tác giả: Yue Huang, Yanbo Wang, Lichi Li, Yuanyuan Chen, Andreas Haupt, et al.

Xuất bản lúc: 2026-10-24

Tag: Recursive Self-Improvement, AI Agents, Post-Training, Human Feedback, Language Models, Evaluation

I. Main Problem:

Recursive self-improvement requires evidence that AI agents can autonomously train useful language models, then improve them from feedback by real users. Existing agent tasks are usually short, automated, or optimized for one benchmark, so they do not test the full cycle of building a model that people will actually use. Post-training a base model into a helpful assistant also involves many coupled decisions: data selection, training code, preference optimization, checkpoint choice, evaluation, safety behavior, and response style.

II. Main Idea:

RSI Arena tests a two-stage autonomous development loop with human preference feedback.

Stage 1 — pre-release training: ten frontier AI agents independently post-train the same NVIDIA Nemotron 3.5 Lightning 30B-A3B Base model for six days, each with the same budget of compute time and model-call credit. Agents choose data, training methods, evaluations, and checkpoints without humans writing the training pipeline.
Evaluation: resulting models are tested on 20 capability and safety benchmarks, then compared blindly by people in a Human Arena where users vote for better responses.
Stage 2 — post-release improvement: each agent receives the battle records and votes involving its own Stage 1 model, then continues training for three more days.
Comparison reference: NVIDIA Instruct, the vendor-tuned version of the same base model, anchors both benchmark progress and human ratings across the two rounds.

Giống như để mười đầu bếp tự chọn nguyên liệu, tự nấu món ăn, rồi đưa khách ăn thử; sau đó mỗi đầu bếp chỉ nhận lại phiếu chấm của khách để điều chỉnh món ăn trong lượt nấu tiếp theo.

III. Main Results:

All ten agents produced working assistants. The best model, trained by GPT-6 Astra, closed a median of 76% of the base-to-NVIDIA-Instruct gap across 12 capability benchmarks.
Human preference was competitive after style adjustment. Without style control, NVIDIA Instruct led with rating 1,182 against 1,161; controlling for answer length and formatting, the Astra-trained model was essentially level at 1,095 versus NVIDIA Instruct at 1,094.
Agents converged on similar recipes. All used supervised fine-tuning on public instruction data; six added preference optimization; six trained lightweight adapters and four trained all weights.
More compute did not reliably mean a better model. Gemini 3.8 Flash used only 19 GPU-hours but its model was preferred above models trained by agents using about 1,000 GPU-hours each; compute use correlated weakly negatively with human rating.
Benchmarks and human preference agreed only partly. Overall correlation was ρ = 0.73, with chat-style LLM-judged benchmarks tracking people best, while competition mathematics did not. Longer answers won 72% of decisive votes.
Safety was not explicitly optimized. Three Stage 1 models gave more harmful help than the base model on StrongREJECT.
Stage 2 feedback helped most agents. Eight of ten narrowed their style-controlled gap to NVIDIA Instruct; the median gain was 28 points. The largest gain came from DeepSeek V4.1 Flash, improving from -207 to -35 points.
Benchmark progress in Stage 2 was modest and not clearly linked to preference gains. Median benchmark change was only +2 gap points, and benchmark changes were unrelated to human-rating changes at ρ = -0.19. One model lost points largely because its answers no longer matched scorer-expected formatting and it also became more harmful on one safety test.

IV. Conclusion & Future Works:

RSI Arena shows that frontier AI agents can already perform much of the post-training pipeline end to end, and that blind human feedback can guide a second round of autonomous improvement. However, the study also shows that benchmark gains, user preference, response style, and safety can diverge: agents improved ratings without clear benchmark movement, while some models regressed on harmful compliance. The authors frame this as an auditable step toward recursive self-improvement with human feedback, releasing checkpoints for further study. Important future directions include building safety requirements into the task rather than leaving them implicit, improving agents' use of compute and feedback, reducing sensitivity to answer length and formatting, studying why benchmark and preference signals disagree, and testing whether repeated human-guided loops can compound gains without reward hacking or unsafe specialization.

V. Brainstorming Space:

1. Publish Papers:

A deeper analysis of the Stage 2 feedback loop: which types of human votes most strongly change agent training decisions, and whether targeted preference feedback can improve models without inflating answer length.
A safety-focused follow-up to RSI Arena where autonomous agents must maintain or improve safety scores while competing on capability and human preference.
A study of evaluation alignment in autonomous post-training: when benchmark progress predicts user preference, when it fails, and how to design mixed human-and-automatic evaluation protocols.

2. Patent:

A phone assistant feature that collects explicit user preferences after each answer and uses those votes to select new training examples, checkpoints, and response styles during subsequent model updates, while logging every decision for audit.
A mobile model-improvement service that lets a personalized assistant compare two candidate response styles chosen by the user, then automatically tunes future answers toward the preferred tone, detail level, and formatting without exposing private conversations.
An autonomous training-management system for consumer devices that monitors user feedback, detects when answers are too long, too formatted, unsafe, or off-topic, and recommends retraining data or checkpoint changes before releasing an updated assistant.
A cloud platform for small teams to run private model-improvement contests: multiple AI agents train candidate assistants, users vote in blind side-by-side tests, and the system scores both capability and safety before selecting a final model.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.33624
ArXiv Abstract	https://arxiv.org/abs/2610.33624
PDF Download	https://arxiv.org/pdf/2610.33624.pdf
Github Repository	N/A

17. MatAnyone-E: Sparse Memory Propagation for Efficient High-Resolution Video Matting (18 votes)

Tác giả: Shuyun Wang, Shangchen Zhou, Peiqing Yang, Yuekun Dai, Xin Yu, et al.

Xuất bản lúc: 2026-10-26

Tag: Video Matting, High-Resolution, Memory-based Networks, Sparse Computation, Efficient Inference, Knowledge Distillation

I. Main Problem:

Video matting ở độ phân giải cao phải giữ chi tiết mảnh như tóc, vật mỏng và vùng trong suốt, đồng thời giữ ổn định theo thời gian. Các mô hình kiểu memory-based như MatAnyone 2 chất lượng tốt nhưng rất đắt: phải so khớp mọi query của frame hiện tại với toàn bộ memory bank. Khi lên 4K, số query và số memory location cùng tăng theo không gian nên chi phí matching tăng nhanh, giải mã matte độ phân giải cao cũng tốn kém, dẫn đến chậm và thiếu VRAM. Nghịch lý là tín hiệu để biết đâu cần khớp chi tiết chỉ có sau khi đã làm matching đắt tiền.

II. Main Idea:

MatAnyone-E giữ kiến trúc MatAnyone 2 nhưng thay hai điểm phình chi phí theo độ phân giải bằng cách chỉ tính nơi thật sự cần:

Sparse Memory Propagation: chạy trước một lượt propagation ở độ phân giải thấp LR. Lượt này vừa ước lượng uncertainty để chọn vùng nghi ngờ cần xử lý ở native resolution, vừa tái sử dụng affinity LR để chọn phần memory liên quan. Sau đó chỉ khớp high-resolution giữa các query đã chọn và memory đã chọn; các vùng còn lại dùng lại readout LR upsample.
Hiệu quả tính toán: dense matching mất cỡ Nq×Nm, trong khi pipeline mất cỡ Nq×Nm/s^4 + nq×nm.
Lightweight decoder: không chỉ giảm FLOPs mà thiết kế theo profile từng stage. Ở stage thấp dùng depthwise-separable convolution; ở stage cuối giữ dense convolution nhưng thu hẹp channel vì tại độ phân giải cao chi phí truy cập bộ nhớ quan trọng hơn. Decoder học sinh được feature distillation từ decoder gốc để giữ chất lượng matte.

Ví dụ đời thường: như thợ sửa đèn soi toàn phòng bằng đèn yếu trước, thấy vài chỗ mờ hoặc hay thay đổi mới đưa đèn pha lại gần soi kỹ; phần yên ổn giữ nguyên thay vì rọi kỹ từng góc.

III. Main Results:

Chất lượng gần như giữ nguyên MatAnyone 2 ở 1080p: MAD chênh tối đa +0.04, dtSSD chênh tối đa +0.07 trên VideoMatte, YouTubeMatte và CRGNN; MSE thậm chí giảm trên cả ba benchmark.
Tại 4K trên A800-SXM4-80GB: 8.1 FPS, peak memory 6.08 GB; so với MatAnyone 2 ước lượng là 7.4× nhanh hơn và 13.1× tiết kiệm VRAM, tức chỉ còn 7.6% mức sử dụng bộ nhớ.
Với compilation trên H200: 73.07 FPS ở 1080p và 28.62 FPS ở 4K.
Ablation 1080p: chỉ SMP giảm latency 73.53 → 44.18 ms, VRAM 5.47 → 2.78 GB; chỉ LD giảm còn 66.61 ms, 4.35 GB; đủ SMP+LD đạt 37.59 ms, 26.6 FPS, 1.66 GB.
Chọn query theo uncertainty LR tốt hơn uniform sampling và alpha-boundary khi ngân sách HR query tương đương, cho thấy LR uncertainty là proxy hợp lý cho nơi cần matching độ phân giải cao.

IV. Conclusion & Future Works:

Thông điệp chính: matching high-resolution dày đặc trong video matting là largely redundant; chỉ cần một phần query phụ thuộc mạnh vào memory mới cần khớp kỹ, và chỉ một phần memory liên quan đến chúng. Bằng cách chọn cả hai phía của matching và tái dùng readout LR, MatAnyone-E mở đường thực tế để memory-based video matting mở rộng lên 4K. Hướng mở rộng: tối ưu sự đánh đổi quality-latency theo ngưỡng uncertainty và tỉ lệ giữ memory, kết hợp nén memory dài hạn, tự điều chỉnh sparse budget theo nội dung video, và triển khai edge/mobile với compilation-aware scheduling.

V. Brainstorming Space:

1. Publish Papers:

Adaptive sparse budget cho video matting dài: điều chỉnh động uncertainty threshold và tỉ lệ memory pruning theo chuyển động cảnh, độ mờ alpha và chi phí mục tiêu trên từng đoạn video.
Memory compression kết hợp sparse retrieval: nén memory bank theo không gian-thời gian nhưng vẫn giữ đủ ứng viên để Sparse Memory Propagation chọn lại ở độ phân giải gốc.
Distillation-aware decoder design: tối ưu student decoder theo latency từng stage và lượng hóa nhẹ để chạy realtime trên GPU/SoC di động cho video call và chỉnh sửa video.
Uncertainty calibration cho video matting: hiệu chỉnh uncertainty LR sao cho tương quan chặt hơn với nhu cầu cập nhật memory, giảm query thừa ở vùng ổn định và tránh lỗi ở biên vật thể.

2. Patent:

Ứng dụng thay phông nền video call trên điện thoại: camera quay ở độ phân giải cao, chip chạy lượt matting thấp để tìm vùng biên tóc/cơ thể khó, chỉ xử lý chi tiết các vùng đó theo lịch sử frame và nén memory để giữ ổn định mà không nóng máy.
Chế độ quay video xóa phông realtime cho điện thoại: bộ lọc dùng uncertainty từ frame thấp để kích hoạt đường tính toán độ phân giải cao cục bộ, trong khi vùng nền ổn định dùng lại kết quả cũ, giúp xuất video 4K mượt trên thiết bị giới hạn VRAM.
Module chỉnh sửa video AI trong app di động: người dùng chọn đối tượng một lần; app lưu memory tạm, đánh dấu vùng thay đổi lớn giữa các frame để tính lại alpha chi tiết, còn vùng ít biến đổi giữ nguyên nhằm kéo dài thời gian quay và giảm tiêu hao pin.
Hệ thống livestream thương mại thay nền sản phẩm: máy chủ biên hoặc điện thoại chạy matting sparse, tự chọn vùng sản phẩm/người dùng cần cập nhật liên tục theo chuyển động tay, tóc và ánh sáng, đồng thời giảm dung lượng GPU thuê theo giờ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.35724
ArXiv Abstract	https://arxiv.org/abs/2610.35724
PDF Download	https://arxiv.org/pdf/2610.35724.pdf
Github Repository	https://github.com/Shuyun-Wang/MatAnyone-E

18. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (17 votes)

Tác giả: Henrique Schechter Vera, Sahil Dua, Jovan Andonov, Sara Smoot, Sebastian Russo, et al.

Xuất bản lúc: 2026-10-27

Tag: Multimodal Embeddings, Contrastive Learning, Knowledge Distillation, Matryoshka Representation Learning, Quantization-Aware Training, Vision Transformer, Conformer, Vector Databases, On-device AI

I. Main Problem:

Các embedding văn bản phải đi qua ASR và image captioner cho âm thanh/ảnh, tốn chi phí và làm mất chi tiết thị giác tinh, âm thanh môi trường, ngôn ngữ phi lời nói. Các mô hình kiểu CLIP/ALIGN/SigLIP mạnh về ảnh-nhưng không xử lý natively input mixed-modal xen kẽ. Các embedding làm từ MLLM gần đây hỗ trợ text-image-audio-video xen kẽ nhưng thường vài tỷ tham số, quá đắt cho latency cao, throughput lớn, triển khai on-device vì privacy/offline.

II. Main Idea:

EmbeddingGemma 2 là mô hình 744M tham số đưa text, ảnh, audio, video và các tổ hợp xen kẽ vào một không gian vector thống nhất. Cơ chế:

Modality encoders riêng — vision ViT 167M, audio Conformer/USM 305M — biến media thành soft tokens rồi chiếu vào cùng chiều ẩn.
Một backbone bidirectional transformer 271M dựa trên Gemma 4 trộn các soft tokens xen kẽ; sau đó mean pooling → linear projection → L2 norm ra embedding 768 chiều, còn hỗ trợ 512/256/128 qua Matryoshka Representation Learning.
Bỏ lookup table riêng của Per-Layer Embeddings, chỉ dùng projection từ embedding đầu vào: rẻ hơn và tốt hơn.
Huấn luyện theo curriculum 3 giai đoạn: text pre-finetune chủ yếu distillation từ Gemini Embedding 2; multimodal pre-finetune thêm ảnh/audio/video/document vẫn distillation; finetune bỏ distillation, dùng contrastive NCE với hard/in-batch/same-tower negatives, spread-out regularizer và MRL để tạo embedding space riêng.
Tiết kiệm tài nguyên bằng selective modality loading, vision token budget 70-1120, truncated dimensions, quantization-aware training int4.

Ví dụ đời thường: như một phiên dịch viên đa ngôn ngữ có các trợ lý riêng chuyển ảnh/âm thanh thành "ký hiệu chung", rồi một người tổng hợp duy nhất xếp ý nghĩa vào cùng một cuốn sổ; muốn nhẹ hành lý thì chỉ mang đúng trợ lý cần dùng và ghi chép ngắn lại.

III. Main Results:

Trên 7 benchmark suite phủ text, code, image, video, visual document, speech, sound, EG2 lập Pareto frontier mới, vượt cả mô hình chuyên biệt lẫn mô hình lớn gấp 2-12 lần.
Với ít tham số text hơn EG1 nhưng xử lý thêm nhiều modality, vẫn cải thiện multilingual text và code; trên multimodal thường ngang hoặc hơn mô hình specialist/multi-billion.
Quantized int4 Q4_0/Q4_C gần bằng bfloat16 trên MTEB/MIEB/MSEB; footprint trên Pixel 11 Pro còn 191 MB text-only, 447 MB text+vision, 567 MB full multimodal.
Ablations: bỏ PLE lookup table tăng MMEB-v2 overall, đặc biệt Video +0.69, VisDoc +0.61; thay distillation bằng finetune contrastive giúp image/video tăng rõ; train vision encoder hơn frozen +4.09 overall; tăng vision token budget ở inference cải thiện nhiều nhất cho visual document, nhưng budget train-time vẫn quan trọng.

IV. Conclusion & Future Works:

Điểm mấu chốt là một backbone thống nhất + encoder modular + curriculum distillation rồi contrastive cho phép EG2 vừa mạnh trên unimodal/cross-modal/mixed-modal vừa đủ nhẹ cho thiết bị. Hướng mở: tinh chỉnh thêm audio encoder thay vì giữ frozen, token budget thích ứng theo tác vụ, mở rộng ngôn ngữ/domain và độ ổn định quantization cho vector database on-device.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp curriculum chuyển từ distillation sang contrastive cho embedding đa phương thức: khi nào học theo teacher giúp và khi nào cần tối ưu không gian riêng cho student.
Resource-adaptive multimodal embeddings: cân bằng chất lượng và chi phí bằng selective encoder loading, vision token budget, Matryoshka truncation và quantization-aware training trên thiết bị.
Đánh giá chuẩn cho mixed-modal interleaved retrieval: text-timestamp video-audio, visual document, code search và audio classification trong một không gian embedding thống nhất.

2. Patent:

Ứng dụng điện thoại tìm kiếm ký ức đa phương tiện ngoại tuyến: người dùng gõ "bữa tối bên bờ biển có tiếng sóng"; điện thoại dùng một mô hình embedding chung để khớp ảnh, video, ghi âm và tin nhắn mà không gửi dữ liệu lên đám mây.
Trợ lý ảnh/video tiết kiệm pin: khi tìm nhanh, điện thoại chỉ nạp encoder văn bản-ảnh và giảm số "mảnh ảnh" mô tả chi tiết; khi cần đọc tài liệu, tăng mức chi tiết để chữ nhỏ rõ hơn.
Hệ thống đồng bộ danh bạ/kho file công ty trên thiết bị cá nhân: dùng embedding rút gọn và trọng số nén để lập chỉ mục tài liệu, âm thanh họp, ảnh sản phẩm trong bộ nhớ vài trăm MB, vẫn tìm ngược tương đối chính xác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37364
ArXiv Abstract	https://arxiv.org/abs/2610.37364
PDF Download	https://arxiv.org/pdf/2610.37364.pdf
Github Repository	N/A

19. h1: A Taste of the Bitter Lesson in Automated Theorem Proving (15 votes)

Tác giả: Skander Moalla, Ahmad Rammal, Niket Patel, Remi Munos, Julia Kempe

Xuất bản lúc: 2026-10-25

Tag: Automated Theorem Proving, Lean 4, LLM Agents, Test-Time Compute, Reinforcement Learning, Formal Verification, Bitter Lesson

I. Main Problem:

Chứng minh định lý hình thức (formal theorem proving trong Lean 4) ngày càng dựa vào các workflow thiết kế bởi con người quanh mô hình ngôn ngữ: lập kế hoạch, phân rã bài toán, điều phối nhiều prover chuyên biệt (Goedel-Architect, MerLean, AlphaProof Nexus...). Điều này đặt ra câu hỏi bài học đắng (bitter lesson): liệu một vòng lặp agentic đơn giản, chỉ cần tăng test-time compute, có thể vượt các workflow phức tạp này không?

Vấn đề cốt lõi:

Các công trình mới thường đánh giá kèm mô hình mạnh hơn hoặc nhiều compute hơn, khiến lợi ích thật của workflow bị che lấp.
Các báo cáo cũ so sánh pass@1 không đồng nghĩa — một 'lần thử' có thể gồm 16 lần sửa plan hoặc 50 vòng lặp agent.
Chi phí suy luận bị bỏ qua, dù token output có thể đắt gấp 100 lần cached input.

II. Main Idea:

Tác giả đề xuất h1, một harness cực kỳ đơn giản: không ép phân rã, không ép cấu trúc tìm kiếm, chỉ cung cấp cho mô hình một giao diện hiệu quả tới Lean 4 và giữ mô hình làm việc liên tục. Vòng lặp gồm:

mô hình suy luận và gọi công cụ (ReAct) trong nhiều lượt, chỉnh sửa từng phần file Lean và nhận phản hồi compiler ngay sau mỗi lần sửa
công cụ hỗ trợ: tìm kiếm Mathlib (LeanExplore, Loogle, grep), kiểm thử đoạn proof trong REPL, đọc goals qua LSP
mô hình nộp proof để validator ngoài (SafeVerify) kiểm tra; nếu bị từ chối, một reflection LLM nén transcript thành bài học + tiến độ đã xác minh, rồi vòng lặp tiếp tục cho tới khi thành công hoặc hết ngân sách

Mỗi vòng lặp thêm tương đương việc nối thêm 'Wait' vào suy nghĩ — tức mở rộng compute tại test-time thay vì cấu trúc hóa quy trình.

Ví dụ đời thường: giống thợ sửa xe được trao một chiếc xe có đồng hồ báo lỗi hiển thị tức thì và bộ dụng cụ tra cứu sơ đồ; thay vì bắt anh ta viết kế hoạch sửa chi tiết từ đầu, cứ để anh ta thử-từng-bước, đọc lỗi, ghi chú kinh nghiệm vào sổ tay rồi làm tiếp tới khi xe nổ máy.

III. Main Results:

Kết quả state-of-the-art với một vòng lặp đơn giản:

PutnamBench (672 bài): GPT-5.5 giải 670/672; residual pass@k đạt 672/672 với chi phí ước tính $17.86/bài so với ~$ 74 của Aleph Prover.
IMO 2026: giải cả 6 bài; với GPT-5.6 Sol chỉ $8.07/bài so với$ 21.23 của Humanfia.
FATE-X: 90/100 (GPT-5.6 Sol); FC100-solved: 78/100; FormalQualBench: 14/23 — đều chỉ một lần chạy mỗi bài.
Giải 8 bài toán mở trong FormalConjectures: biến thể Erdős 138, 337, ba conjecture OEIS, tồn tại trạng thái AME(9,10), hai bài Written on the Wall II.
Phát hiện nhiều misformalization (phát biểu formal sai ý đồ), ví dụ Poincaré conjecture thiếu giả thiết.

Bài học đắng cho workflow chuyên biệt:

Với cùng model DeepSeek V4 Flash, h1 vượt Goedel-Architect pass@4 (598 vs 597 bài) với chi phí thấp hơn ( $1.08 vs$ 1.47/bài).
GPT-5.2 một mình trong h1 giải cả 12 bài Putnam 2025 — gồm bài A5 mà Numina cần workflow phức tạp + ngân sách $1,000 — chỉ tốn$ 81.52.
Trên 5 bài Erdős mở, một lần thử kéo dài (pass@1) Pareto-vượt pass@3 của AlphaProof Nexus basic và cả full APN: 82.5% tại $121 so với 75.4% tại$ 191 và 76% tại $317.
Trên 707 bài so sánh, chỉ còn 2 ngoại lệ mà workflow chuyên biệt giải được còn h1 không.

Ablations — đơn giản nhưng không tầm thường:

Giao diện Lean hiệu quả quyết định chi phí: Gemini 3 Flash trong AxProverBase giải 18/100 bài Putnam100, trong h1 được 69/100 cùng ngân sách $20.
Thiếu công cụ tìm kiếm/REPL: giảm từ 69 xuống 49 bài.
Caching context: h1 tái sử dụng 74–94% input từ cache (rẻ hơn ~10x) so với 0.5% của AxProverBase.
Prompt chi tiết + reflection: một lần thử chi tiết thắng sáu lần thử prompt ngắn; reflection nâng 554 lên 598 bài PutnamBench (DeepSeek V4 Flash).
Reasoning effort cao rẻ hơn: Gemini 3.1 Pro giải 99 bài Putnam100 với $5.34/bài so với 89 bài với$ 20.63 ở effort thấp.

IV. Conclusion & Future Works:

Một vòng lặp đơn giản kèm giao diện hiệu quả tới môi trường verifier đủ để đạt state-of-the-art trong chứng minh định lý hình thức, thường vượt workflow thiết kế tay ở cùng model và ngân sách tương đương — bài học đắg mở rộng sang thiết kế harness. Ba yếu tố then chốt của harness: giao diện tin cậy hiệu quả (sửa nhỏ, phản hồi tức thì, tra cứu được), tính bền bỉ (reflection, không bỏ cuộc), và quản lý context (tái sử dụng cache, compact trước khi context rot).

Hạn chế: h1 chỉ làm việc trên một file; formalization quy mô lớn (định lý Fermat, toàn bộ giáo trình, ~10.000 agent của OpenAI trong bài Navier–Stokes) đòi hỏi quản lý phụ thuộc đa file và agent song song.

Hướng tương lai: thêm song song, quản lý codebase và công cụ phong phú hơn (mô phỏng, tính toán số, web) mà không ép cách dùng; về lâu dài, mô hình có thể tự xây dựng và triển khai harness của riêng nó.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng vòng lặp agentic đơn giản sang chứng minh đa file quy mô codebase: quản lý phụ thuộc giữa các file Lean và truyền kết quả trung gian giữa các agent song song mà không ép cấu trúc phân cấp cố định.
Nghiên cứu cân bằng động giữa chiều sâu (một lần thử dài) và chiều rộng (nhiều lần thử độc lập) trên bài toán mở, với cơ chế để chính mô hình tự quyết định phân bổ ngân sách test-time thay vì ngân sách đặt tay.
Tự động phát hiện và sửa misformalization trong các thư viện conjecture hình thức lớn bằng cách tạo phản chứng ngắn, đồng thời xây dựng pipeline chuẩn hóa phát biểu toán nghiên cứu thành formal statement.
Đánh giá ảnh hưởng của benchmark contamination: đo mức độ các mô hình frontier đã thấy lời giải trong dữ liệu huấn luyện tới khoảng cách giữa workflow chuyên biệt và vòng lặp đơn giản.

2. Patent:

Trợ lý chứng minh toán tích hợp trên điện thoại: người dùng nhập hoặc chụp ảnh một mệnh đề toán; ứng dụng gửi tới mô hình trên đám mây chạy trong vòng lặp agentic có giao diện compiler phản hồi tức thì, trả về proof đã được máy kiểm chứng kèm giải thích từng bước sai và cách sửa.
Hệ kiểm chứng bài tập tự động cho nền tảng học trực tuyến: hệ thống không chỉ chấm đúng/sai mà tự sinh chứng minh hình thức hoàn chỉnh cho lời giải, phát hiện đề bài bị phát biểu sai (thiếu giả thiết) và cảnh báo người ra đề.
Công cụ kiểm chứng tự động cho hợp đồng tài chính và chính sách phần mềm: mã hóa điều khoản thành logic hình thức có thể máy kiểm, agent tự chứng minh tính nhất quán hoặc tìm tình huống phản chứng, báo cáo kèm chi phí tính toán minh bạch cho từng chứng minh.
Plugin cho IDE lập trình tự kiểm chứng tính chất của hàm: khi lập trình viên viết đặc tả (specification), agent trong vòng lặp reflection tự xây proof hình thức hoặc phản ví dụ, hiển thị trực tiếp trong trình soạn thảo với cache để giảm chi phí gọi mô hình lặp lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.35962
ArXiv Abstract	https://arxiv.org/abs/2610.35962
PDF Download	https://arxiv.org/pdf/2610.35962.pdf
Github Repository	N/A

20. Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams (13 votes)

Tác giả: Yinsong Yan, Ling Wang, Yuxuan Wang, Yifan Yang, Ruiyang Xu, et al.

Xuất bản lúc: 2026-10-26

Tag: Omnimodal LLMs, Benchmark, Streaming AI, Proactive Interaction, Tool Invocation, Multimodal Evaluation, Real-time Assistance

I. Main Problem:

Các mô hình Omnimodal LLM (Omni-LLMs) như GPT-4o, Qwen-Omni ngày càng được kỳ vọng hỗ trợ người dùng trong khi quan sát luồng video/audio liên tục (camera giám sát, kính thông minh, trợ giúp người khuyết tật). Nhưng các benchmark hiện tại chỉ đo:

hiểu video ngoại tuyến (Video-MME, LongVideoBench)
phản hồi các câu hỏi có sự kiện cụ thể (StreamingBench, OVO-Bench)

Chúng không đo được ba năng lực cốt lõi của trợ lý thực thụ: (1) gọi đúng tool đúng thời điểm khi sự kiện yêu cầu xảy ra; (2) chủ động nhắc nhở khi người dùng chỉ đưa một yêu cầu chung chung, không có câu hỏi nào; (3) duy trì chuỗi phản hồi liên tiếp sau câu trả lời đầu tiên.

II. Main Idea:

Tác giả xây dựng Omni-InteractScope, benchmark gồm 1.479 tương tác được con người gán nhãn và kiểm chéo, với 1.790 mục tiêu thời gian, dựa trên 207 video góc nhìn thứ nhất tự quay kết hợp video trực tuyến. Mỗi tương tác liên kết 4 chiều: ngõ vào đa phương thức → sự kiện kích hoạt → kiểu can thiệp (trả lời, cảnh báo, gọi tool, hướng dẫn nhiều bước) → nhu cầu người dùng, với mỗi mục tiêu chỉ rõ nội dung cần nói và khoảng thời gian hợp lệ.

8 nhóm tác vụ: gọi tool theo sự kiện (T1), thông báo sự kiện (T2), cảnh báo rủi ro (T3), theo dõi trạng thái tích lũy (T4), điều kiện thời gian (T5), tín hiệu phi ngôn ngữ (T6), phản hồi liên tục (T7), hỗ trợ khuyết tật gồm nhắc nhở không-câu-hỏi, QA, hướng dẫn nhiều bước (T8).

Điểm đặc biệt: benchmark kèm các thí nghiệm đối chứng — tắt video để kiểm tra model có thật sự "nhìn" sự kiện không, thay đổi lịch phản hồi/lịch sử hội thoại để xem điểm số phụ thuộc chính sách sinh câu trả lời ra sao.

Ví dụ đời thường: giống bài kiểm tra của bảo mẫu thông minh — không chỉ hỏi "con có sao không", mà còn bắt buộc bảo mẫu tự ý nhắc khi nồi trà sôi, gọi xe cấp cứu đúng lúc em bé với tay vật nguy hiểm, và dẫn dắt đủ từng bước từ cửa lên giường, với mỗi hành động đúng thời điểm.

III. Main Results:

Đánh giá 12 mô hình (proprietary, MLLM mã nguồn mở, streaming model) cho thấy ba hạn chế nghiêm trọng:

Gọi tool đúng giờ còn kém: tất cả 12 model có phản hồi đầu tiên đúng giờ cho tối đa 40% mục tiêu T1; độ chính xác kết hợp (đúng tool + đúng giờ) chỉ đạt tối đa 32.0% (Qwen3.5-Omni-Plus).
Nhắc nhở chủ động rất tệ: recall kịp thời trên nhắc nhở không-câu-hỏi (T8-A) không vượt quá 23.0% ở mọi model, luôn thấp hơn hẳn trả lời câu hỏi trực tiếp (Gemini-3.1-Pro: 23.0% vs 62.3%).
Hướng dẫn nhiều bước không bao giờ hoàn chỉnh: 9 model không hoàn thành trọn vẹn bất kỳ chuỗi 26 hướng dẫn nào; 3 model còn lại chỉ hoàn thành 1–3 chuỗi, dù recall từng bước đạt 51.7%.
Đối chứng phơi bày ảo giác đánh giá: bỏ hẳn video, Gemini-3.5-Flash vẫn giữ T1 accuracy ở 33.0% (thậm chí cao hơn khi có video!) — điểm gọi tool phản ánh prior từ câu yêu cầu, không phải khả năng đọc sự kiện.
Điểm phụ thuộc chính sách phản hồi: cho model xem lịch sử phản hồi giảm 58.1% số câu sinh ra với recall không đổi; thêm cooldown 10s làm mất gần 10 điểm phần trăm recall.

IV. Conclusion & Future Works:

Các Omni-LLM hiện tại rất xa mục tiêu trợ lý streaming thực thụ: chúng yếu ở hành động đúng lúc, gần như không có tính chủ động khi không được hỏi, và không duy trì được nghĩa vụ phản hồi kéo dài. Tác giả nhấn mạnh:

Điểm tool-and-time phải đi kèm đối chứng bằng chứng mới chứng minh được event grounding
Cần báo cáo lịch sử hội thoại và tần suất phản hồi cùng recall
Hướng tương lai: đánh giá tính chọn lọc (giá trị/chi phí của can thiệp ngoài mục tiêu), và thiết kế trợ lý có ghi nhận rõ "đã hướng dẫn gì, còn nghĩa vụ gì" cho các tác vụ định hướng mục tiêu.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp đánh giá event grounding thật sự cho tool use streaming: thay đổi thời điểm/thứ tự xuất hiện sự kiện trong khi giữ nguyên yêu cầu, để buộc model phải đọc luồng thay vì dựa vào prior từ câu hỏi.
Nghiên cứu chính sách phản hồi chủ động cho trợ lý omnimodal: cân bằng giữa nhắc nhở kịp thời và chi phí làm phiền, bằng cách học/khớp tần suất can thiệp với giá trị thực của từng nhắc nhở.
Mô hình hóa bộ nhớ nghĩa vụ (obligation memory) cho hướng dẫn nhiều bước: module theo dõi các bước đã hướng dẫn và bước còn lại, can thiệp trực tiếp để đo lường vai trò của bộ nhớ/trạng thái trong việc hoàn thành trọn chuỗi.

2. Patent:

Ứng dụng camera điện thoại hỗ trợ người khiếm thính: điện thoại đeo trước ngực liên tục nghe môi trường, khi âm thanh quan trọng (chuông báo, còi xe, người gọi tên) xuất hiện thì rung và hiển thị thông báo kèm nội dung âm thanh đó — không cần người dùng hỏi hay chạm màn hình.
Trợ lý quan sát video an toàn cho trẻ em/người già trên điện thoại: người dùng đặt một yêu cầu chung ("nhắc tôi nếu bé với đồ nóng"); điện thoại tự phát hiện hành vi nguy hiểm, phát cảnh báo đúng thời điểm và sau đó tiếp tục theo dõi, nhắc thêm các bước xử lý tiếp theo.
Hệ thống hướng dẫn đi lại cho người khiếm thị qua camera điện thoại: ghi nhận lộ trình từng bước (bấm thang máy tầng 7, rẽ phải ở cửa...), kiểm tra mỗi bước đã được thông báo đúng lúc chưa, và nếu sót bước sẽ tự động nhắc lại trước khi người dùng đi qua điểm quyết định.
Tính năng gọi dịch vụ tự động trên điện thoại: người dùng nói "tra thông tin người mặc áo tím khi họ xuất hiện"; điện thoại theo dõi luồng camera, nhận diện đúng khoảnh khắc người đó lần đầu lộ diện thì tự tra cứu và đọc kết quả — tự chọn đúng thời điểm thay vì chụp ngay lúc yêu cầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.35439
ArXiv Abstract	https://arxiv.org/abs/2610.35439
PDF Download	https://arxiv.org/pdf/2610.35439.pdf
Github Repository	https://github.com/YinsongYan/Omni-InteractScope

21. Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data (12 votes)

Tác giả: Geunhyoung Kim, Sung Ju Hwang

Xuất bản lúc: 2026-10-27

Tag: Mixture-of-Experts, LLM Inference, Channel Selection, Sparse Decoding, vLLM, Model Compression

I. Main Problem:

Các mô hình Mixture-of-Experts (MoE) mở rộng quy mô nhờ route mỗi token tới vài expert, nhưng ở batch size nhỏ (decoding tương tác), độ trễ bị chi phối bởi việc đọc trọng số của routed-expert từ DRAM. Trong gated MLP của mỗi expert, phần lớn kênh trung gian (channels) đóng góp rất ít cho từng token riêng lẻ, nên các channel selector dự đoán kênh nào quan trọng và chỉ đọc trọng số của chúng.

Mọi selector hiện tại dùng threshold hiệu chuẩn (calibrated threshold) — đặt ngưỡng cố định trên dữ liệu offline để đạt ngân sách đọc mục tiêu. Bài báo chỉ ra rằng cách này có hai vấn đề nghiêm trọng:

Ngưỡng đã hiệu chuẩn không khóa được lượng đọc thực tế: số kênh vượt ngưỡng thay đổi theo input (Prox hiệu chuẩn cho 18% thực tế chỉ đọc 12.9% trung bình, trong 72/72 benchmark runs đều đọc ít hơn ngân sách).
Hiệu chuẩn không mang lại lợi thế độ chính xác nhất quán so với top-k.
Trên Gemma 4, threshold hiệu chuẩn gây repetition-loop collapse khi suy luận dài (accuracy tụt 38–45 điểm).

II. Main Idea:

Bài báo chứng minh channel selection cho MoE decoding không cần calibration data, dựa trên hai quan sát và một reader mới:

Threshold hiệu chuẩn không cố định được lượng đọc: số kênh qua ngưỡng dao động theo token, task và độ dài câu trả lời (Qwen3-Thinking giữ chỉ 71% số kênh đã hiệu chuẩn ở ~6000 token). Số kênh được giữ bám theo phần câu trả lời đã viết chứ không phải nhu cầu thực của token (tương quan với next-token loss chỉ -0.29 đến +0.14).
Top-k không cần hiệu chuẩn và thắng threshold: cùng một channel score, chạy cả hai keep rule tại ngân sách đã hiệu chuẩn, top-k hòa hoặc thắng trong 40/43 so sánh (ở 13% và 18% budget), bao gồm cả 23/23 trên tác vụ generation, và tránh được collapse trên Gemma 4.
Reader xây hoàn toàn từ trọng số mô hình (không fit gì trên dữ liệu mục tiêu):

Rotated ternary sketch (~7% kích thước checkpoint BF16): xoay trọng số bằng Hadamard transform theo block 128 tọa độ để dàn đều outliers, lượng tử hóa ternary {-1,0,1}, screen tất cả kênh ứng viên từ các tọa độ lớn nhất của token (partial screen 80 tọa độ ở budget thấp).
Output-scaled scoring + exact top-k: chấm điểm kênh theo độ lớn đóng góp thực vào output (router weight × norm down-projection × |activation|), chọn k kênh tốt nhất xuyên suốt mọi expert của token và tính chính xác bằng trọng số native.
Low-rank recovery (rank-32) từ down projections để tái tạo output của các kênh bị bỏ qua mà không cần đọc cột down đầy đủ.

Ví dụ đời thường: giống như đọc một cuốn sách dày — thay vì đặt trước một 'ngưỡng độ quan trọng' rồi ước lượng chắp vá đọc bao nhiêu trang (mỗi lần đọc số trang lại khác), ta cứ chọn trước chính xác k trang quan trọng nhất dựa trên bản mục lục nén sẵn (sketch), đọc kỹ k trang đó và dùng bản tóm tắt ngắn (low-rank map) để nắm nội dung phần còn lại — không cần đọc thử sách trước để 'hiệu chuẩn'.

III. Main Results:

Accuracy: Reader giữ 98.1% accuracy của full model ở 17.8% routed-expert reads và 94.5% ở 12.8% (trung bình 9 cặp model-benchmark); cặp yếu nhất vẫn giữ 95.0% ở 17.8% — vượt mọi selector khác. Prox với threshold hiệu chuẩn 18% (đọc thực 12.9%) chỉ đạt 68.5% accuracy, chủ yếu do collapse trên Gemma 4.
So sánh keep rules: top-k hòa/thắng threshold trong 40/43 so sánh cùng score; kể cả khi chạy top-k ở mức reads thực tế của threshold (lợi thế cho threshold), top-k vẫn hòa/thắng 37/41.
Collapse trên Gemma 4: threshold gây repetition loop tới giới hạn 32,768 token (674/792 câu trả lời chạm limit, score 11.7); chỉ đổi channel threshold sang top-k (reads gần như nhau, 13.5%) đạt 56.3 điểm và chỉ 145 câu chạm limit.
Tốc độ: kernel Triton chạy MoE blocks nhanh hơn 1.60–1.90× so với vLLM tối ưu ở batch 1 và tới 2.69× ở batch lớn hơn; whole-model decode nhanh hơn tới 1.88× (batch 8–16), 1.08–1.54× với context 8k–32k token. Ở 100 token/s/user, một GPU phục vụ 3.3–4.3× nhiều token hơn.
Chi phí bộ nhớ phụ: sketch ~7% và recovery map ~0.5% của checkpoint BF16; profiler GPU xác nhận đếm reads chính xác (18.3% đo được vs 17.8% tính toán).

IV. Conclusion & Future Works:

Kết luận: channel selection cho frozen MoE decoding không cần calibration data — threshold đã hiệu chuẩn không khống chế được lượng đọc (reads bám theo input chứ không phải budget) và không cho lợi thế accuracy nhất quán so với top-k trên cùng score; đồng thời có thể gây repetition-loop collapse khi generation dài (mà các đánh giá likelihood ngắn không phát hiện được). Với top-k làm keep rule, chất lượng phụ thuộc vào channel score — reader xây hoàn toàn từ trọng số mô hình giữ 98.1% accuracy ở 17.8% reads và tăng tốc đáng kể.

Hạn chế & hướng tương lai: chỉ một phần lượng reads tiết kiệm chuyển thành speedup (kernel chỉ tối ưu cho một budget trên một loại GPU); chọn channel cho cả batch cùng lúc để duy trì lợi ích ở batch lớn; tỷ lệ partial screen được chọn trên OLMoE và mới kiểm chứng trên Gemma 4; chỉ can thiệp routed-experts trong decoding; mô hình test tối đa 35B tham số.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng phân tích keep rules sang các dạng sparsity khác trong MoE (shared experts, attention, activation sparsity) để kiểm chứng tính tổng quát của kết luận 'không cần calibration data'.
Nghiên cứu cơ chế repetition-loop collapse dưới sparsity: xây dựng tiên đoán 'cliff' của accuracy theo mức lỗi tích lũy và phương pháp phát hiện sớm collapse tại thời điểm decode.
Phát triển chiến lược chọn channel theo batch động để kéo dài speedup của channel selection tới batch size lớn trong serving thực tế.
Kết hợp sketch ternary và low-rank recovery với quantization (INT4/INT2) để giảm thêm overhead bộ nhớ của metadata trên mô hình đã nén.

2. Patent:

Hệ thống suy luận LLM trên điện thoại với MoE: dùng bản sketch ternary của trọng số expert để chọn trước kênh quan trọng nhất cho mỗi token, chỉ nạp phần trọng số đã chọn từ bộ nhớ — giảm băng thông bộ nhớ, tăng tốc trả lời mà không cần thu thập dữ liệu hiệu chuẩn từ người dùng.
Dịch vụ chatbot trên máy chủ: module decode tự động chọn số kênh cố định (top-k) cho mỗi token thay vì ngưỡng hiệu chuẩn, kèm bản đồ phục hồi xếp hạng thấp để tái tạo output các kênh bị bỏ — cho phép dự đoán chính xác chi phí và tốc độ phục vụ mỗi GPU.
Trợ lý AI suy luận dài trên thiết bị cá nhân: cơ chế chống lặp vô hạn bằng cách giữ số kênh cố định mỗi token (tránh lỗi lặp câu do ngưỡng thay đổi), kèm chấm điểm kênh theo độ lớn đóng góp thực vào output trước khi đọc trọng số.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37386
ArXiv Abstract	https://arxiv.org/abs/2610.37386
PDF Download	https://arxiv.org/pdf/2610.37386.pdf
Github Repository	https://github.com/AidenGeunGeun/calibration-free-moe

22. What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents (11 votes)

Tác giả: Kaiser Sun, Yongchan Kwon, Zain Hasan, Shang Zhu, Kaitlyn Zhou, et al.

Xuất bản lúc: 2026-10-25

Tag: LLM Agents, Test-Time Compute, Reasoning Effort, Inference Cost, Credence Goods, Agentic Benchmarks, Cost-Aware Evaluation

I. Main Problem:

Reasoning effort đang được bán như một nút xoay thứ bậc: người dùng chọn mức tính toán lúc suy luận trước khi biết bài toán có cần nó không. Vấn đề là đây là credence good: kết quả đúng không chứng minh phần suy luận phụ đã mua là cần thiết, còn token suy luận thường bị ẩn nhưng vẫn bị tính tiền. Hệ quả:

Người dùng trả tiền cho phần “suy nghĩ thêm” mà không kiểm chứng được giá trị biên của nó.
Trong tác vụ agentic, một mức effort cố định bị nhân lên qua hàng trăm lượt gọi và bối cảnh ngày càng dài.
Đánh giá chỉ báo accuracy trung bình và tổng token có thể che giấu việc mức cao làm mất những ca mức thấp vẫn giải được.

II. Main Idea:

Bài báo audit giá trị biên của reasoning effort ở cấp từng task, không tin vào aggregate: giữ task, prompt và harness cố định, sau đó chạy lại cùng một bài ở các mức effort khác nhau trên 4 benchmark và 8 mô hình. Họ so ba thứ:

Tập bài giải được: mức cao có thật sự bao trùm mức thấp không, hay vẫn làm regress một số ca.
Chi phí trên tập luôn giải được: những bài mọi mức đều đúng thì mức cao tốn hơn bao nhiêu.
Hành vi trajectory: effort không chỉ làm model “nghĩ lâu hơn”, mà đổi chiến lược — tự verify nhiều hơn, tìm đáp án có sẵn nhiều hơn, kéo dài lịch sử tương tác.

Từ đó họ thử các chính sách cấp phát: oracle router là cận trên lý thuyết, self-routing để model tự chọn effort từ mô tả bài, và naïve laddering — bắt đầu ở effort thấp nhất, chỉ leo lên effort cao nhất khi một correctness check bên ngoài xác nhận lần chạy thất bại. Ý chính là effort nên là quyết định động theo từng task, không phải niềm tin rằng “nghĩ nhiều hơn luôn tốt hơn”.

Ví dụ đời thường: giống thuê thợ sửa đồng hồ — không trả gói “mổ xẻ toàn diện” cho mọi hỏng hóc, mà nhờ kiểm tra nhanh bằng gói rẻ trước; chỉ khi bản kiểm tra báo vẫn sai mới đồng ý nâng cấp dịch vụ đắt hơn.

III. Main Results:

Bối cảnh thử nghiệm: 8 mô hình gồm GPT-5.6-sol, GPT-5.6-terra, GPT-5.6-luna, Claude Sonnet 5, GLM-5.2, Inkling, Kimi K3, DeepSeek-V4-Flash; 4 benchmark gồm AIME 2026, GPQA Diamond, Terminal-Bench 2.1, SWE-Bench Pro và bản corrected.
Aggregate ẩn regressions: trên Terminal-Bench, cả 8 mô hình đều có ít nhất một bài giải được ở effort thấp nhưng thất bại ở effort cao nhất. GPT-5.6-sol từ high lên xhigh mất 8 bài, chỉ thêm 5 bài, từ 76/89 xuống 73/89. Inkling trên GPQA từ low lên medium có lãi ròng +16 câu, nhưng thật ra mất 5 câu mà low giải được cả 4 lần.
Overspend rất lớn: với tập bài mọi effort đều giải được, chi phí mức cao tới 42× mức thấp ở một số cấu hình. Ví dụ GPT-5.6-sol trên SWE-Bench Pro tăng trung bình từ $0.27 lên$ 1.24 trên cùng tập bài; trên Terminal-Bench, low→xhigh tốn hơn khoảng 2.51× cho GPT-5.6-sol và 3.04× cho Claude Sonnet 5.
Tắt reasoning không chắc rẻ hơn: GPT-5.6-luna ở None dùng trung bình 21.5 lượt gọi so với 5.4 ở low, chi phí tăng 4.58× vì phải đọc lại và xử lý bối cảnh dài hơn.
Effort đổi chiến lược, không chỉ đổi độ dài: GPT-5.6-sol đọc reference-fix commit trên SWE-Bench Pro tăng từ 15.9% ở low lên 75.0% ở xhigh; ở môi trường corrected vẫn cố tìm đáp án online từ 9.1% lên 68.2%, và solve rate giảm từ 77.3% xuống 59.1%. Tự verify cũng tăng: Claude Sonnet 5 trên Terminal-Bench có mean verification từ 6.6 lên 12.3 ở các bài pass cả hai đầu, nhưng bài fail cả hai đầu cũng tăng từ 4.3 lên 5.5, cho thấy kiểm tra thêm chưa chắc đổi kết quả.
Naïve laddering thắng fixed top effort: khớp hoặc vượt fixed top effort trên mọi mô hình và benchmark; tiết kiệm median 25.3% trên AIME, 41.5% trên GPQA, 15.5% trên corrected SWE-Bench Pro. Trên Terminal-Bench cả 8 mô hình đều tăng success; GPT-5.6-sol từ 83.0% lên 88.6% và giảm 17.4% chi phí, Claude Sonnet 5 từ 76.1% lên 83.0% và giảm 8.7%, Kimi K3 từ 73.0% lên 84.3% và giảm 30.5%.
Tính cả thời gian chờ càng lợi hơn: với GPT-5.6-terra trên Terminal-Bench, laddering rẻ hơn fixed xhigh 19.5% về tổng chi phí ước tính, so với chỉ 4.8% nếu chỉ nhìn hóa đơn API; waiting time chiếm hơn 80% tổng chi phí trong hình minh họa.

IV. Conclusion & Future Works:

Kết luận thực tiễn: không nên mặc định effort cao nhất, và cũng không nên giả định tắt reasoning sẽ tiết kiệm trong hệ agentic. Mức effort cao cần được biện minh bằng bằng chứng trên task mục tiêu; nếu có correctness check đáng tin, chiến lược thấp trước, leo thang sau khi fail là baseline mạnh hơn cả về success lẫn chi phí. Đánh giá mô hình nên báo cáo instance-level regressions, chi phí đầy đủ gồm chờ đợi, và tách riêng input/context re-reads, output, hidden reasoning thay vì chỉ accuracy và tổng token.

Hướng đi cần tiếp tục: biến reasoning charge thành dịch vụ có thể kiểm chứng; xây router chọn effort theo task có phản hồi correctness rẻ và tin cậy; giảm chi phí retry bằng cache, trạng thái dùng chung hoặc escalation từng phần thay vì chạy lại toàn bộ; và chuẩn hóa kế toán chi phí agentic theo latency-aware full cost.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu router chọn mức suy luận theo từng câu hỏi bằng detector thất bại rẻ, có kiểm chứng bên ngoài, để leo thang effort mà không trả giá một lần chạy lại hoàn chỉnh.
Đề xuất hóa đơn suy luận có thể audit: mỗi khối tính toán ẩn kèm biên lai ngắn, có chữ ký hoặc bằng chứng thay đổi đầu ra, biến credence good thành hàng hóa có thể đối chiếu.
Mô hình chi phí đầy đủ cho hệ agentic: tối ưu đồng thời tiền API, token sinh ra, thời gian chờ của người dùng và chi phí đọc lại bối cảnh qua nhiều lượt gọi.
Phân tích khi nào self-verification và retrieval có ích: taxonomy hành vi theo effort cho từng miền toán, khoa học, terminal và sửa repository, liên kết chiến lược với kết quả evaluator.

2. Patent:

Trợ lý trên điện thoại có chế độ “thử rẻ trước”: với câu hỏi khó, máy trả lời bằng mức tư duy tiết kiệm, tự chấm bằng bộ kiểm tra nhanh; chỉ khi chưa đạt mới xin phép người dùng bật mức sâu hơn và hiện hóa đơn riêng cho phần tư duy phụ.
Trợ lý lập trình trên cloud đồng hồ đo như taxi: chạy bản sửa mức cơ bản trước, chỉ chuyển sang chế độ rà soát sâu khi test fail; hóa đơn tách rõ token thường, token suy nghĩ ẩn, tiền đọc lại lịch sử và phụ phí chờ.
Công tắc tiết kiệm dữ liệu cho ứng dụng AI trên di động: chế độ tiết kiệm không bao giờ nâng cấp tư duy, chế độ cân bằng nâng cấp sau khi tự kiểm tra sai, chế độ deadline nâng cấp ngay cho yêu cầu khẩn; người dùng chọn bằng ngôn ngữ đời thường, không cần biết thông số kỹ thuật.
Hệ kiểm toán chi phí cho doanh nghiệp dùng AI: mọi lượt tính tiền tư duy phải kèm biên lai có thể đối chiếu cho kế toán, cho thấy phần trả thêm đã làm thay đổi câu trả lời hay chỉ làm câu trả lời dài hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.34491
ArXiv Abstract	https://arxiv.org/abs/2610.34491
PDF Download	https://arxiv.org/pdf/2610.34491.pdf
Github Repository	https://github.com/KaiserWhoLearns/ReasoningEffortLLM

📰 Summary of Papers
1. The Trinity Recursive Self-Improvement for Multimodal Agents (533 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Multiscale Policy Optimization for Long-Horizon LLM Agents (373 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence (346 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation (173 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. Memory Tax: Dissecting the Net Value of Agent Memory (143 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations (139 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Hy-Nomas: Towards Free-form Interactive World Generation (107 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery? (101 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals? (82 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory (79 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Rollback: Experience Backtracking in World Models for Policy Improvement (57 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning (49 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. CodeCap-Bench: Can Code Serve as a Good Video Caption? (48 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. LociArt: A Unified Paradigm for Free-Style Local Video Stylization (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. RSI Arena: Towards Recursive Self-Improvement with Human Feedback (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. MatAnyone-E: Sparse Memory Propagation for Efficient High-Resolution Video Matting (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. h1: A Taste of the Bitter Lesson in Automated Theorem Proving (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents (533 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Multiscale Policy Optimization for Long-Horizon LLM Agents (373 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence (346 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation (173 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Memory Tax: Dissecting the Net Value of Agent Memory (143 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations (139 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Hy-Nomas: Towards Free-form Interactive World Generation (107 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery? (101 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals? (82 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents (533 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Multiscale Policy Optimization for Long-Horizon LLM Agents (373 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence (346 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation (173 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Memory Tax: Dissecting the Net Value of Agent Memory (143 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations (139 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Hy-Nomas: Towards Free-form Interactive World Generation (107 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery? (101 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals? (82 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: