Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-10-06

Báo cáo được tạo tự động vào lúc 2026-10-07 10:38:33 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation (117 votes)​

Tác giả: Team Kandinsky, Julia Agafonova, Bulat Akhmatov, Mikhail Aksyutin, Grigorii Alekseenko, et al.

Xuất bản lúc: 2026-10-04

Tag: Diffusion, Video Generation, Audio-Video Generation, Flow Matching, DiT, Cross-Attention, Lip-Sync, Super-Resolution

I. Main Problem:​

Sinh video có âm thanh đồng bộ (text-to-audio-video) khó hơn hẳn sinh từng phương thức riêng lẻ, vì đòi hỏi tính nhất quán ngữ nghĩa, thời gian và cảm xúc giữa hai phương thức. Các hệ thống thương mại đóng (Veo 3.1, Sora 2, Wan 2.6) đạt kết quả ấn tượng nhưng không mã nguồn, cản trở tái lặp và nghiên cứu. Các mô hình mã nguồn mở hiện tại (ALIVE, SyncFlow, LTX-2.5, MiniMax-H3...) vẫn tụt hậu về độ dài clip, độ phân giải và độ chính xác đồng bộ hóa so với hệ đóng.

II. Main Idea:​

Kandinsky 6.0 Video là họ mô hình diffusion nền tảng sinh video 5 giây kèm âm thanh 44 kHz đồng bộ (có lip-sync) ở hai cỡ: Lite 3B và Pro 29B, hỗ trợ cả chế độ text-to-audio-video (T2AV) và image-to-audio-video (I2AV).

  • Kiến trúc CrossDiT hai luồng: kế thừa video stream của Kandinsky 5.0, thêm audio stream mới, nối hai luồng bằng cross-attention hai chiều theo từng block (video nhìn sang audio và ngược lại) để căn chỉnh thời gian + ngữ nghĩa.
  • Chiến lược pretraining liên tục: train audio stream từ đầu trên 40 triệu track audio, rồi nối vào video stream đã pretrained và train chung trên 7 triệu cặp audio-video.
  • Hậu kỳ đa tầng: supervised fine-tuning theo 11 lĩnh vực (2 giai đoạn: nâng chất lượng hình ảnh → nâng đồng bộ), reinforcement learning (kế thừa OmniNFT) với reward đa mục tiêu, và distillation 2 tầng (π-Flow + adversarial) xuống còn 10 bước lặp.
  • Super-resolution tích hợp nâng clip từ SD lên Full-HD 1920×1080; mã nguồn + trọng số + tích hợp diffusers phát hành theo MIT license.

Ví dụ đời thường: giống hai người dẫn chương trình song ngữ — một người (video) đã có kinh nghiệm, người kia (audio) được tập dẫn riêng trước, rồi hai người ngồi cạnh nhau, liên tục liếc và nghe đối phương để lời nói khớp với hình ảnh từng khoảnh khắc.

III. Main Results:​

  • VABench: vượt mô hình mã nguồn mở LTX 2.5 trên phần lớn các chỉ số.
  • Đánh giá người thật so-đọ: Pro 29B vượt rõ rệt tiền nhiệm Kandinsky 5.0 Video Pro.
  • So với các hệ thống độc quyền hàng đầu (Kling 2.6, LTX 2.5, Veo 3.1 Fast, MiniMax H3, Seedance 2.0): cạnh tranh được, nổi bật nhất ở chất lượng lời nói (speech quality).
  • Ablation: RL cho lợi ích rõ so với chỉ SFT; distillation giữ chất lượng gần mô hình đầy đủ.
  • Cả hai phiên bản sinh 5 giây video + audio 44 kHz có lip-sync, upscale lên Full-HD bằng model nội bộ.

IV. Conclusion & Future Works:​

Kandinsky 6.0 Video chứng minh chiến lược pretraining liên tục + cross-attention hai chiều + hậu kỳ đa tầng giúp mô hình mã nguồn mở bắt kịp hệ thống đóng ở sinh audio-video đồng bộ, đặc biệt chất lượng giọng nói. Giá trị lớn nhất là phát hành toàn bộ (code, checkpoint, diffusers) dưới MIT, đẩy nhanh nghiên cứu và triển khai multimedia nguồn mở. Hướng đi hợp lý: cải thiện tiếp độ dài clip, độ phân giải đầu ra và độ chính xác đồng bộ hóa; nâng cấp tối ưu suy luận cho GPU phổ thông.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khảo sát hệ thống các kiến trúc joint audio-video generation mã nguồn mở (cross-attention, flow-based, omnimodal transformer), so sánh cơ chế căn chỉnh thời gian-ngữ nghĩa trên benchmark chuẩn (VABench, T2AV-Compass, AVGen-Bench).
  2. Nghiên cứu chiến lược continuous pretraining cho nhánh mới (audio) trong mô hình đa phương thức: thứ tự train riêng → nối → train chung, và ảnh hưởng đến fidelity từng phương thức.
  3. Phân tích pipeline dữ liệu tổng thể cho T2AV: bộ lọc lip-sync (LSA, Desync), gắn nhãn bằng mô hình ngôn ngữ lớn đa cấp độ chi tiết, và tác động của dữ liệu văn hóa-cụ thể (Russian Cultural Code) lên chất lượng generation.
  4. Đánh giá phương pháp distillation π-Flow kết hợp adversarial refinement cho mô hình sinh audio-video nhiều bước, cân bằng giữa số bước suy luận và độ đồng bộ audio-video.

2. Patent:​

  1. Ứng dụng điện thoại sinh video có tiếng từ mô tả bằng lời nói: người dùng nói một câu, điện thoại tạo đoạn phim ngắn 5 giây với giọng nói khớp môi nhân vật và âm thanh nền đúng bối cảnh, rồi nâng lên độ phân giải Full-HD.
  2. Tính năng 'ảnh tĩnh thành video có tiếng' trong ứng dụng album: chọn một bức ảnh trên điện thoại, hệ thống dựng thành đoạn phim chuyển động có âm thanh phù hợp với khung cảnh trong ảnh.
  3. Hệ thống tạo video quảng cáo ngắn tự động cho cửa hàng nhỏ trên điện thoại: nhập mô tả sản phẩm, nhận clip quảng cáo có lời thuyết minh đồng bộ khẩu hình, có thể tùy chọn giọng nói theo ngôn ngữ địa phương.
  4. Module nâng chất lượng video quay thiếu sáng, thấp phân giải trên điện thoại: dùng mô hình super-resolution hai giai đoạn (DiT + latent upscaler) đưa video người dùng lên Full-HD trong khi giữ chuyển động mượt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05608
ArXiv Abstracthttps://arxiv.org/abs/2610.05608
PDF Downloadhttps://arxiv.org/pdf/2610.05608.pdf
Github Repositoryhttps://github.com/kandinskylab/kandinsky-6

2. ALoDLM: Adaptively Looped Diffusion Language Models (60 votes)​

Tác giả: Liancheng Fang, Zhuowei Li, Youngeun Kim, Tianchen Zhao, Rajat Koner, et al.

Xuất bản lúc: 2026-10-03

Tag: Diffusion Language Models, Looped Transformers, Adaptive Computation, Parallel Decoding, Test-Time Scaling, ELBO

I. Main Problem:​

Các mô hình ngôn ngữ khuếch tán (DLMs) sinh nhanh bằng cách dự đoán nhiều token song song, nhưng chất lượng vẫn thua các mô hình autoregressive (AR) cùng cỡ. Nguyên nhân gốc rễ được xác định là mismatch giữa tính toán và độ khó (computation–difficulty mismatch):

  • Trong một bước khử nhiễu, các vị trí bị che có độ khó rất khác nhau (token dễ đoán vs. token cần suy luận nhiều bước).
  • DLM hiện tại áp dụng cùng một độ sâu cố định cho mọi vị trí → lãng phí tính toán ở token dễ, thiếu tính toán ở token khó.
  • Các hướng trước (confidence-based decoding) trì hoãn token khó nhưng vẫn tính lại từ đầu, bỏ đi trạng thái latent đã xây dựng.

II. Main Idea:​

ALoDLM thay tính toán đồng đều bằng recurrence thích ứng theo token trong không gian latent. Cơ chế:

  • Mỗi bước khử nhiễu (outer loop) được tăng cường bằng một inner loop với độ sâu lặp tối đa K=4.
  • Kiến trúc chia thành 3 phần: Prelude (embedding + block đầu), Recurrent Core (các layer giữa được lặp lại), Coda (block cuối + hai đầu ra).
  • Ở mỗi vòng lặp, mỗi token đi qua hai đầu song song: LMHead cho phân phối từ vựng, và ExitGate cho xác suất dừng.
  • Token tự tin (entropy thấp) commit sớm, embedding rời rạc của nó được đưa lại làm context cho các vòng sau; token chưa chắc giữ và tinh chỉnh tiếp trạng thái latent qua các vòng lặp bổ sung.
  • Vòng trong dừng khi hết token chưa giải quyết hoặc xác suất dừng tích lũy trung bình đạt ngưỡng q.
  • Huấn luyện: lịch thoát (exit schedule) của từng token được xem là biến tiềm ẩn; tác giả dẫn xuất NELBO có điều kiện để tối ưu đồng thời dự đoán token và chính sách phân bổ tính toán, kèm ước lượng gradient score-function không chệch + kỹ thuật giảm phương sai (supervision ở các vòng trung gian, control variate).

Ví dụ đời thường: giống buổi họp nhóm giải đề — ai nắm chắc phần mình nói ngay để làm gợi ý cho cả nhóm, còn người chưa chắc giữ ý định của mình, nghe thêm vài vòng thảo luận rồi mới kết luận.

III. Main Results:​

  • Huấn luyện ALoDLM-1.7B và 8B bằng SFT trực tiếp trên 5B token từ backbone Qwen3, bỏ qua continued pretraining tốn kém.
  • Trên 11 benchmark (reasoning, toán, code): điểm trung bình 65.5 (1.7B) và 80.3 (8B) — vượt mọi DLM đánh giá và cả baseline AR Qwen3 ở cả hai cỡ mô hình.
  • ALoDLM-8B hơn WeDLM-8B +5.2 điểm trung bình, dẫn đầu 10/11 tác vụ; đặc biệt mạnh ở code generation (thắng cả 4 benchmark).
  • Tốc độ: trên GSM8K đạt ~2.7× throughput so với Qwen3-8B chạy vLLM ở độ chính xác ngang hoặc cao hơn; ở cùng accuracy 93.25% thì nhanh hơn WeDLM 8.5% và tiết kiệm 13.6% GFLOPs/token.
  • Phân tích: tăng ngưỡng q nâng số vòng/token từ 1.6 → 2.34 và điểm trung bình 77.9% → 79.1% (test-time scaling); mô hình tự học dừng ít hơn ở token số (halt prob 0.369, thấp hơn ~11.5% so với trung bình) mà không cần nhãn độ khó; K=4 là độ sâu tối ưu, recurrence ở layer giữa tốt hơn layer cuối; supervision trung gian giảm phương sai gradient tới 1.76×.

IV. Conclusion & Future Works:​

ALoDLM chứng minh recurrence latent thích ứng theo token là cách khắc phục mismatch tính toán–độ khó, cho phép DLM đồng thời đạt chất lượng vượt AR và giữ tốc độ giải mã song song. Recurrent depth là một trục scaling tại inference hiệu quả. Hạn chế: Time to First Token dài hơn AR do xây KV-cache cho toàn độ sâu lặp ở prefill, và tốc độ biến động theo domain — với dữ liệu ít gặp mô hình có thể mất lợi thế tốc độ. Hướng tương lai hợp lý: giảm overhead prefill và cải thiện độ ổn định throughput trên domain ngoài phân phối huấn luyện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng cơ chế halting thích ứng theo token sang mô hình đa phương thức (vision-language), nơi token hình ảnh và token văn bản có độ khó rất khác nhau cần lịch tính toán riêng.
  2. Kết hợp adaptive latent recurrence với speculative decoding: dùng vòng lặp sâu cho token khó nhưng khói lượng tính toán nhỏ để draft, rồi xác minh bằng mô hình lớn.
  3. Nghiên cứu chính sách prefill tiết kiệm cho looped DLM (ví dụ dựng KV-cache theo độ sâu lặp dự kiến) để khắc phục độ trỉ token đầu tiên trong ứng dụng nhạy latency.

2. Patent:​

  1. Trợ lý AI trên điện thoại sinh văn bản nhanh: ứng dụng dự đoán nhiều từ cùng lúc, các từ dễ đoán chốt ngay làm gợi ý, còn từ khó (tên riêng, con số) được hệ thống suy nghĩ thêm vài vòng nội bộ trước khi chốt — vừa nhanh vừa chính xác hơn gõ từng từ.
  2. Bàn phím thông minh tự điều chỉnh độ sâu suy luận: khi người dùng soạn tin nhắn kỹ thuật hoặc chứa nhiều số liệu, bàn phím tự kích hoạt thêm vòng lặp tinh chỉnh cho các token số và thuật ngữ thay vì tính toán đồng đều cho mọi từ.
  3. Hệ thống dịch thuật song song trên thiết bị biên: câu dịch được sinh đồng thời nhiều từ, nhưng các cụm ngữ khó dịch được giữ trạng thái ẩn và tinh chỉnh lặp lại cho tới khi chắc chắn, giúp tiết kiệm pin mà vẫn giữ chất lượng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04198
ArXiv Abstracthttps://arxiv.org/abs/2610.04198
PDF Downloadhttps://arxiv.org/pdf/2610.04198.pdf
Github Repositoryhttps://github.com/amazon-science/ALoDLM

3. In-Distribution Forcing for Long Video Generation at Test Time (34 votes)​

Tác giả: Jeongwoo Shin, Youngyoon Choi, Sangwoo Jo, Hyunmog Kim, Sungjoon Choi, et al.

Xuất bản lúc: 2026-10-02

Tag: Video Generation, Diffusion Models, Autoregressive Models, KV Cache, Test-Time Scaling, Long-Horizon Generation

I. Main Problem:​

Các mô hình video diffusion tự hồi quy (autoregressive - AR) sinh video theo từng chunk, điều kiện hóa chunk mới trên KV cache của các chunk trước. Khi sinh vượt qua training horizon (phạm vi huấn luyện), xảy ra hiện tượng drifting: màu sắc, kết cấu bị lệch dần, động lực chuyển động suy giảm theo thời gian.

  • Các phương pháp trước (Deep Forcing, ∞-RoPE, MemRoPE) chỉ can thiệp KV conditioning — kiểm soát đọc entry nào từ cache — nhưng ngầm giả định các entry cached vẫn in-distribution.
  • Bài báo chỉ ra giả định này sai: ngoài training horizon, không có gì ràng buộc cách xây dựng (caching) các KV entry. Mỗi entry được cache trong một ngữ cảnh chưa từng thấy khi huấn luyện (provenance mới) → entry đó tự thân trở thành out-of-distribution (OOD).
  • Đây là KV-provenance problem: nguồn gốc OOD được cố định ngay từ bước caching, nên không chính sách KV conditioning nào có thể cứu vãn được — lỗi tích lũy dọc theo rollout.
  • Kéo dài training horizon không giải quyết được, vì sinh video dài tùy ý luôn vượt phạm vi huấn luyện.

II. Main Idea:​

In-Distribution Forcing (ID-Forcing) — framework không cần huấn luyện lại, căn chỉnh cả hai thao tác KV với cấu hình đã thực thi trong huấn luyện, qua hai tầng kiểm soát:

  • Tầng 1 — KV caching (self-caching): với cửa sổ điều kiện dài L, ℓ entry đầu được cache chỉ tự tham chiếu (không attend entry nào trước), phần còn lại được cache tự hồi quy chồng lên entry self-cached cuối — đúng kiểu đã thấy trong training. Nhờ đó không provenance lạ nào được tạo ra, entry nào cũng in-distribution ngay từ nguồn.
  • Tầng 2 — KV conditioning: giữ chunk đầu tiên κ0 cố định trong cửa sổ (nó được mã hóa khác biệt bởi causal 3D-VAE nên không thể thay thế phân phối), cửa sổ còn lại L−1 entry gần nhất được re-rotate RoPE về dải vị trí đã huấn luyện, rồi loại entry cũ nhất. Self-caching khiến rolling window này khớp chính xác phân phối training.

Kết quả là một rolling window rất đơn giản: mỗi thao tác KV đều là thao tác training đã chạy, mở rộng mô hình 5 giây lên video phút mà không drift.

Ví dụ đời thường: giống như viết nhật ký mà mỗi trang mới phải được viết trong đúng bối cảnh đã quen — phương pháp cũ chỉ chọn lại đọc trang nào, còn để cách viết trang mới lệch chuẩn; ID-Forcing bắt cả việc viết lẫn việc đọc đều đúng 'gu' ngày đầu tiên, nên cả cuốn nhật ký dài vẫn đồng nhất.

III. Main Results:​

  • Đánh giá trên 2 backbone (Self-Forcing, LongLive, kiến trúc Wan2.1-T2V-1.3B), sinh video 120s và 240s (480×832), prompt từ MovieGen.
  • Drift metrics: ID-Forcing đạt color drift và motion drift cao nhất mọi cấu hình — ví dụ 120s/Self-Forcing: color drift 72.37 so với MemRoPE 59.25, motion drift 89.06 so với 82.81.
  • Dynamic Degree cao nhất mọi setting (65.65/64.76 trên Self-Forcing): chuyển động vẫn sống động đến cuối, trong khi base model bị 'đóng băng khung hình' (chỉ ~30).
  • Chất lượng tổng thể (Aesthetic, Imaging, Subject Consistency) cạnh tranh hoặc vượt baselines; chỉ Motion Smoothness thấp hơn chút — metric này thiên lệch về video ít chuyển động.
  • User study (2AFC, 20 người, 20 prompt): tỷ lệ thích ID-Forcing vượt mọi baseline ở mọi tiêu chí — so với Self-Forcing: 100% Overall Preference; so với MemRoPE (baseline mạnh nhất): 86%.
  • Ablation: chỉ giữ sink hoặc thêm re-rotation vẫn còn lệch màu/kết cấu; chỉ khi có self-caching (cả 3 thành phần đủ) mới triệt tiêu drift — xác nhận caching là nguồn gốc vấn đề.

IV. Conclusion & Future Works:​

Bài báo định nghĩa KV-provenance problem — chế độ lỗi OOD nguồn gốc từ tầng caching — và chứng minh rằng giảm drift đòi hỏi kiểm soát đồng thời cả KV caching lẫn KV conditioning, không phải chỉ chính sách đọc cache. ID-Forcing là framework training-free, cực kỳ gọn (một rolling window với một quy tắc cho mỗi thao tác), cho phép mô hình ngắn hạn sinh video ổn định ở quy mô phút với chất lượng và động lực chuyển động bền vững, tương thích mọi backbone AR video diffusion.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết sâu hơn về KV-provenance: định lượng mối liên hệ giữa độ lệch provenance và tốc độ tích lũy drift qua chiều dài rollout.
  2. Kết hợp self-caching với fine-tuning streaming dài hạn (dạng LongLive) để kiểm tra tính bổ sung giữa huấn luyện tốt hơn và quy tắc test-time.
  3. Mở rộng nguyên tắc in-distribution forcing cho các tác vụ tự hồi quy khác ngoài video: sinh âm thanh dài, chuỗi hành động robot, world models tương tác.
  4. Tự động học cấu hình cửa sổ (L, ℓ) tối ưu cho từng backbone thay vì chọn tay, dựa trên đo lường độ lệch phân phối KV.

2. Patent:​

  1. Công cụ sinh video dài trên điện thoại từ mô hình video ngắn: ứng dụng áp dụng self-caching + giữ chunk đầu + hiệu chỉnh vị trí thời gian trong cache, giúp video dài phút giữ nguyên màu sắc nhân vật và chuyển động mượt mà không cần huấn luyện lại mô hình trên máy chủ.
  2. Dịch vụ streaming video AI theo thời gian thực: khi phát trực tiếp nội dung tạo sinh liên tục, máy chủ duy trì cửa sổ bộ nhớ có giới hạn trong đó khung đầu tiên được ghim cố định và các khung mới được lưu theo cơ chế chỉ tự tham chiếu, tránh hiện tượng nhấp nháy và đổi màu khi phát lâu.
  3. Trình biên tập video tự động kéo dài cảnh quay: người dùng cung cấp clip gốc vài giây, hệ thống sinh tiếp hàng phút cảnh tương tự với nhân vật, phông nền và ánh sáng không đổi, phù hợp dựng trailer hoặc nội dung mạng xã hội dài.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.03120
ArXiv Abstracthttps://arxiv.org/abs/2610.03120
PDF Downloadhttps://arxiv.org/pdf/2610.03120.pdf
Github Repositoryhttps://github.com/In-Distribution-Forcing/ID-Forcing

4. Memadapter: Counterfactual Adaptation Against Memory-induced Sycophancy (31 votes)​

Tác giả: Ruqing Ning, Haibo Meng, Zhishang Xiang, Zerui Chen, Jinsong Su, et al.

Xuất bản lúc: 2026-10-04

Tag: Long-term Memory, LLM Agents, Sycophancy Mitigation, Counterfactual Reasoning, Memory Reliability, Self-Reflection, Evidence Grounding

I. Main Problem:​

Agent dùng bộ nhớ dài hạn có thể bị sycophancy do bộ nhớ: nó chiều theo niềm tin, sở thích hoặc phán đoán cũ của người dùng ngay cả khi thông tin đó sai, lỗi thời hoặc mâu thuẫn với bằng chứng hiện tại.

  • Các phương pháp trước chủ yếu lọc, chặn hoặc tái cấu trúc bộ nhớ trước khi suy luận, giả định rằng bộ nhớ xấu mới gây hại.
  • Bài báo chỉ ra hai lỗ hổng lớn:
    • Bộ nhớ đúng và liên quan vẫn gây nhiễu: thí nghiệm cho thấy độ chính xác giảm từ 96.0% xuống 77.3% khi chỉ thêm các memory đúng, phù hợp; 19.4% câu đúng khi không có memory bị đổi sai theo memory.
    • Cùng một memory có mức ảnh hưởng khác nhau theo ngữ cảnh: ví dụ biết người dùng là bác sĩ tim mạch có thể giúp điều chỉnh cách giải thích, nhưng không được dùng để chọn phác đồ điều trị khi bằng chứng bệnh nhân nghiêng về phương án khác.

II. Main Idea:​

MemAdapter là lớp thích ứng sau khi đã truy xuất memory, giúp quyết định memory này được dùng để làm gì, ảnh hưởng tới phần nào của lập luận và ở mức nào, thay vì chỉ quyết định có nên đưa memory vào hay không.

  • Counterfactual Induction: giữ cố định từng memory, tạo ra nhiều tình huống công việc khác nhau mà memory đó có thể tham gia, rồi so sánh memory được dùng đúng ở đâu và gây thiên lệch ở đâu để tìm ranh giới sử dụng có điều kiện.
  • Context-Aware Reflection: tự phản tỉnh theo yêu cầu hiện tại và bằng chứng hiện có để chuyển ranh giới đó thành chỉ dẫn cụ thể: memory có thể hỗ trợ điều gì, không thể biện minh kết luận nào, và nên ảnh hưởng mạnh hay yếu.
  • Evidence-Based Reasoning: sinh câu trả lời cùng một support trace nội bộ, gắn từng phần trả lời với bằng chứng hoặc memory phù hợp; kiểm tra memory không bị thổi phồng thành bằng chứng khách quan trước khi trả kết quả cho người dùng.

Ví dụ đời thường: giống như trước khi tư vấn cho một khách quen, người tư vấn không chỉ nhìn hồ sơ cũ mà thử đặt hồ sơ đó vào nhiều tình huống khác nhau: với việc chọn cách trình bày thì hồ sơ hữu ích, nhưng với việc quyết định dựa trên tình trạng hiện tại thì không được lấy hồ sơ ấy làm bằng chứng.

III. Main Results:​

  • Trên ba benchmark MemSyco-Bench, PersistBench, MemTrapBench, MemAdapter cải thiện độ tin cậy sử dụng bộ nhớ so với sinh trực tiếp và so với các phương pháp can thiệp như Anti-Sycophancy, Self-ReCheck, Dynamic Partition, MemGate.
  • Với hệ bộ nhớ A-MEM, MemAdapter đạt 91.22% ở When to Use Memory và 89.39% ở How to Use Memory, vượt các phương pháp cạnh tranh mạnh nhất lần lượt khoảng 0.44 và 2.33 điểm phần trăm.
  • Hiệu quả duy trì trên năm hệ thống memory khác nhau: A-MEM, Mem0, NaiveRAG, MemoryBank, LightMem; ví dụ với LightMem, điểm sử dụng memory tăng từ 32.11 lên 88.78 và độ chính xác cách dùng memory tăng từ 43.85 lên 84.31.
  • Thử nghiệm với các mô hình nền khác nhau cho thấy MemAdapter không phụ thuộc một backbone duy nhất; đặc biệt với Qwen3-8B, độ chính xác trung bình tăng mạnh ở nhiều hệ memory, có cấu hình tăng khoảng +61 điểm phần trăm.
  • Ablation cho thấy cả ba thành phần đều đóng góp: chỉ thêm Counterfactual Induction đã nâng điểm trung bình NaiveRAG từ 70.25 lên 84.26; thêm Evidence-Based Reasoning ở cuối nâng từ 85.16 lên 89.94.

IV. Conclusion & Future Works:​

Kết luận chính là rủi ro của bộ nhớ không nằm hoàn toàn trong nội dung memory, mà nằm ở cách memory được dùng trong ngữ cảnh suy luận. MemAdapter cho thấy có thể cải thiện độ tin cậy của agent bằng cách hiệu chỉnh vai trò suy luận của memory sau khi truy xuất, mà không phải sửa đổi hệ thống trích xuất hay truy xuất bộ nhớ phía trước.

  • Điểm mạnh: giữ lại giá trị cá nhân hóa hợp lý của memory, đồng thời giảm thiên lệch khi memory không có cơ sở cho quyết định khách quan.
  • Hạn chế gợi mở: mức cải thiện phụ thuộc vào tổ hợp giữa mô hình nền, hệ thống bộ nhớ và từng chiều đánh giá; một số chỉ số vẫn có đánh đổi theo hệ memory.
  • Bài báo không nêu một hướng tương lai cụ thể; hướng mở tự nhiên là tối ưu chi phí của các bước suy luận bổ sung và mở rộng sang nhiều loại agent dài hạn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách chọn ngữ cảnh đối lập hiệu quả hơn cho bước Counterfactual Induction, nhằm giảm số lượt gọi mô hình nhưng vẫn phát hiện đầy đủ trường hợp memory bị lạm dụng.
  2. Mở rộng MemAdapter cho agent đa lượt hội thoại, nơi nhiều memory có thể xung đột lẫn nhau và vai trò của từng memory thay đổi theo thời gian thực.
  3. Phát triển phiên bản nhẹ cho thiết bị đầu cuối, trong đó ranh giới sử dụng memory được học hoặc lưu trước để giảm độ trễ và chi phí suy luận trên điện thoại.
  4. Kết hợp kiểm chứng bằng công cụ bên ngoài với support trace nội bộ, để không chỉ kiểm tra memory có được dùng đúng phạm vi hay không mà còn kiểm tra bằng chứng có thật và mới hay không.

2. Patent:​

  1. Trợ lý cá nhân trên điện thoại có chế độ chống chiều theo lịch sử: trước khi trả lời, ứng dụng xem lại sở thích và niềm tin đã lưu, thử đặt chúng trong vài tình huống tương tự khác nhau, rồi chỉ dùng thông tin đó để điều chỉnh cách trình bày khi nó không đủ cơ sở làm bằng chứng cho khuyến nghị.
  2. Hệ thống tư vấn y tế hoặc pháp lý trên thiết bị di động: khi người dùng đưa ra quan điểm cũ, ứng dụng tách rõ phần cá nhân hóa giải thích và phần kết luận dựa trên hồ sơ hiện tại, đồng thời ghi vết nội bộ để kiểm tra không dùng thân phận hay sở thích người dùng thay thế bằng chứng chuyên môn.
  3. Bộ lọc bộ nhớ hành vi cho ứng dụng học tập hoặc mua sắm: hệ thống tự xác định thói quen cũ của người dùng chỉ nên ảnh hưởng tới gợi ý phù hợp sở thích, còn các quyết định nhạy cảm như sức khỏe, tài chính hoặc an toàn phải ưu tiên dữ liệu hiện tại đã được xác minh.
  4. Cơ chế kiểm toán câu trả lời cho chatbot doanh nghiệp: mỗi đoạn trả lời được gắn nguồn hỗ trợ là tài liệu hiện tại, hồ sơ khách hàng hoặc lịch sử tương tác; nếu phần cá nhân hóa bị dùng như bằng chứng khách quan, hệ thống tự chặn hoặc yêu cầu xem xét lại trước khi gửi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05162
ArXiv Abstracthttps://arxiv.org/abs/2610.05162
PDF Downloadhttps://arxiv.org/pdf/2610.05162.pdf
Github Repositoryhttps://github.com/DEEP-JLU/MemAdapter

5. LMBuild: Evaluating LLM Agents for Generating Buildable and Functional Structures (27 votes)​

Tác giả: Jiateng Liu, Rushi Wang, Cheng Qian, Xuejun Zhang, Sun Li, et al.

Xuất bản lúc: 2026-10-03

Tag: LLM Agents, 3D Generation, Benchmark, CAD, Structural Evaluation, Functional Affordance, Physical Assembly, Robotics

I. Main Problem:​

Các mô hình LLM ngày càng tạo được hình học 3D đẹp, nhưng trông giống thật khác hoàn toàn với có thể đóng và dùng được thật. Các benchmark hiện tại chủ yếu đo chất lượng hình học / thẩm mỹ / độ khớp với văn bản, bỏ qua ba khía cạnh cốt lõi của vật thể thực:

  • Tính vững chắc cấu trúc: các bộ phận có kết nối, không va chạm, đứng vững không?
  • Khả năng thực hiện chức năng (functional affordance): có đủ bộ phận chức năng, khớp nối (joints) và động học đúng không?
  • Khả năng hiện thực vật lý: vật có thể gia công với vật liệu cụ thể, lắp ráp theo trình tự và vận hành được trong mô phỏng không?

Thiếu một cách đánh giá thống nhất khiến không ai biết LLM agents thực sự đang ở đâu trên con đường "nói một câu ra một vật thể làm được thật".

II. Main Idea:​

LMBuild là benchmark đánh giá LLM agents ở mức: tạo cấu trúc buildable (lắp ráp được) và functional (dùng được), gồm 3 thành phần:

  • Môi trường tương tác: agent nhận chỉ một nhãn đối tượng + ảnh tham chiếu, rồi tự gọi công cụ qua nhiều lượt: retrieve bộ phận từ kho, create bộ phận mới, place/move từng mảnh, sau đó quyết định joints/động học, vật liệu, trình tự lắp ráp. Có thêm các biến thể retrieval-only, creation-only, và sửa lỗi nhiều vòng với báo cáo chẩn đoán (va chạm, mất kết nối, thiếu bộ phận chức năng...).
  • Bộ dữ liệu: tái sử dụng ~368K đối tượng từ BrickNet, BrickComposer, PartNeXt, Fusion 360 Gallery, Artiverse và 27 dự án CAD open-source cấp sản phẩm (robot, thiết bị y tế, máy 3D printer...), lọc thành 2,549 vật, chọn lõi 200 vật, bổ sung tri thức thật từ Wikipedia (bộ phận chức năng, joints, quan hệ động học).
  • Khung chấm điểm 4 tầng, 12 tiêu chí: Structural Soundness → Functional Affordance → Design Quality → Physical Realization (bao gồm kiểm tra mô phỏng khả năng vận hành).

Ví dụ đời thường: giống người thợ làm nội thất: lấy phụ kiện có sẵn trong xưởng hoặc tự chế mảnh thiếu, ráp lại, rồi mới tính tiếp dùng ốc gì, ván gì, và thứ tự lắp thế nào để tủ không chỉ đẹp mà kéo ngăn chạy được thật.

III. Main Results:​

Đánh giá 30 hệ thống (6 API closed-source, 13 LLM open-source, 11 mô hình chuyên ngành 3D) trên 200 vật lõi:

  • Soundness và visual alignment không còn là nút thắt với mô hình frontier: GPT-6 Astra, Claude Opus 5, Claude Fable 5.1 đạt gần như hoàn hảo về kết nối/không va chạm và điểm design cao — cho thấy các lab frontier đang hội tụ về mặt này.
  • Functional affordance và physical operability là hố sâu nhất: joints/động học (A.3) cực khó — hầu hết mô hình open-source dưới 25, mạnh nhất chỉ hơn 50; operability mô phỏng (R.3) thấp trên toàn bộ hệ thống, tốt nhất chỉ quanh 20 (GPT-6 Astra 19.2, Claude Opus 5 22.1).
  • Mô hình mạnh thích tự tạo, mô hình yếu phụ thuộc tìm kiếm: khi bắt tự create toàn bộ, Qwen3-VL-32B tụt từ 61.7 xuống 34.1; ngược lại frontier models giữ hoặc tăng điểm khi bị cấm retrieve.
  • Prompt có đặc tả chức năng rõ ràng giúp rất lớn: completeness bộ phận chức năng +10.3 điểm, operability +12.0 điểm (p<0.001), cải thiện cả kinematics.
  • Sửa lỗi vòng lặp chỉ lợi ~2% — vấn đề nằm ở suy luận nền tảng, không phải thiếu cơ hội thử lại.
  • Phân tích lỗi: open-source thành công chỉ 51.7% lệnh tạo bộ phận (closed-source 95.7%) — sai quy ước CAD kernel, cấu trúc chương trình vô hiệu; và mất dấu trạng thái scene: 7.2 lỗi/100 calls tham chiếu bộ phận chưa đặt (closed-source 0.3).

IV. Conclusion & Future Works:​

LMBuild cho thấy tạo vật thể vững và đẹp đã tương đối dễ, còn suy luận về chức năng, cơ học, ràng buộc vật lý và tự thiết kế bộ phận mới mới là thách thức thật. Hướng đi hứa hẹn: phát triển agents tự suy luận/truy xuất/đặt câu hỏi để làm rõ yêu cầu chức năng trước khi dựng, thay vì kỳ vọng người dùng mô tả chi tiết từng bộ phận. Giới hạn: kết quả benchmark cần được kiểm chứng thêm với ràng buộc sản xuất, lắp ráp thật và thử nghiệm chức năng vật lý trước khi nối với đời thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu agents tự động elicit (hỏi đàm thoại) hoặc truy xuất đặc tả chức năng của đối tượng từ tri thức bên ngoài trước khi sinh cấu trúc, thay vì nhận một nhãn ngắn gọn.
  2. Phương pháp cải thiện năng lực part creation của LLM open-source: huấn luyện/học tăng cường tuân thủ quy ước CAD kernel và kiến trúc chương trình hợp lệ.
  3. Kỹ thuật scene-state tracking cho agents dựng cấu trúc dài hạn: duy trì biểu diễn nội bộ nhất quán về các bộ phận đã đặt, joints và vật liệu qua hàng chục lượt tool call.
  4. Mở rộng đánh giá từ LMBuild-Core (200 vật) sang bộ đầy đủ 2,549 vật và bổ sung kiểm chứng với ràng buộc sản xuất, lắp ráp robot thật và thử vận hành vật lý.

2. Patent:​

  1. Ứng dụng điện thoại "nói một câu ra bản thiết kế lắp được": người dùng mô tả vật dụng (ví dụ xe lăn, kệ sách), ứng dụng dùng LLM agent gợi ý danh sách bộ phận, tự thiết kế mảnh thiếu, chọn vật liệu và xuất trình tự lắp ráp từng bước để in 3D hoặc đặt gia công.
  2. Trợ lý thiết kế đồ chơi LEGO/ghép mô hình trên điện thoại: chụp ảnh vật thật, ứng dụng phân rã thành các mảnh, kiểm tra mảnh nào có trong kho phụ kiện của người dùng, mảnh nào phải đặt in, rồi hiển thị hướng dẫn ráp từng lớp với cảnh báo chỗ không vững.
  3. Hệ thống tạo hướng dẫn lắp ráp nội thất cá nhân hóa qua AR: sinh trình tự lắp tối ưu, gợi ý vật liệu thay thế theo ngân sách, và mô phỏng trước trên điện thoại xem sản phẩm có vận hành được (ngăn kéo trượt, cửa xoay) trước khi mua vật liệu.
  4. Module kiểm thử khả năng vận hành cho phần mềm thiết kế 3D trên di động: sau khi người dùng ghép xong mô hình, hệ thống tự gán khớp nối, vật liệu và chạy mô phỏng vật lý để báo ngay "thiết kế này sẽ gãy/đổ/không chạy được" cùng gợi ý sửa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04292
ArXiv Abstracthttps://arxiv.org/abs/2610.04292
PDF Downloadhttps://arxiv.org/pdf/2610.04292.pdf
Github Repositoryhttps://github.com/Lumos-Jiateng/LMBuild

6. Foundations of Proactive Agents: Principles, Technical Layers, and Proactivity-Gym (26 votes)​

Tác giả: Jio Oh, Seunghyun Do, Young-Jun Lee, Steven Euijong Whang, Dongyeop Kang

Xuất bản lúc: 2026-09-29

Tag: LLM Agents, Proactive AI, Trust Calibration, Human-Agent Interaction, Agent Evaluation, Simulation Testbed

I. Main Problem:​

Các agent LLM hiện nay hoạt động hầu hết theo kiểu reactive: làm việc khi và chỉ khi người dùng yêu cầu, bỏ lỡ cơ hội hỗ trợ khi người dùng đang bận. Ngược lại, việc chủ động (proactive) không tự động mang lại lợi ích:

  • gợi ý không liên quan, can thiệp sai lúc, kết quả kém chất lượng tạo chi phí rà soát/sửa chữa lớn hơn lợi ích
  • lặp lại sai sót làm niềm tin (trust) của người dùng sụt giảm
  • đánh giá hiện tại đánh đồng thành công của tác vụ với niềm tin của người dùng, khiến lỗi khó chẩn đoán riêng lẻ
  • chưa có testbed đánh giá hậu quả của hỗ trợ chủ động xuyên suốt nhiều ngày tương tác.

II. Main Idea:​

Bài báo đề xuất nền tảng thiết kế agent chủ động dựa trên 3 nguyên tắc song song (3T) được tối ưu cùng lúc, không tách rời:

  • Task Capability (TC): đoán đúng nhu cầu của người dùng và thực hiện đúng việc hữu ích
  • Temporal Allocation (TA): phân bổ tài nguyên tính toán theo lúc nào rảnh (interaction time vs sleep time — ví dụ chạy thí nghiệm thiếu vào ban đêm khi GPU và người dùng đều rảnh) và theo lúc nào kết quả thật sự cần
  • Trust (TR): duy trì niềm tin, thể hiện qua mức độ can thiệp (intervention depth: prepare → suggest → execute) hợp với sự cho phép của người dùng

Các nguyên tắc này được nối với không gian thiết kế 5 chiều (task scope, anticipation horizon, activation trigger, processing timing, intervention depth) và với mô hình hóa tình huống + hệ thống (user model, environment state, backbone LLM, harness). Đi kèm là Proactivity-Gym: testbed mô phỏng gồm 10 kịch bản đa ngày, môi trường có trạng thái, người dùng giả lập theo persona, có đồng hồ thời gian ảo.

Ví dụ đời thường: giống như một trợ lý giỏi không phải người làm việc xuất sắc nhất, mà là người biết việc gì nên làm, làm lúc nào (để không chen lúc sếp đang bận), và được phép làm tới đâu — như lễ tân nhà hàng biết chuẩn bị món trước khi khách gọi, nhưng chỉ dám mang ra khi khách đồng ý.

III. Main Results:​

  • Cả agent mạnh nhất cũng còn hổng lớn: Claude Opus 5 đạt TC cao nhất 65.1 nhưng chỉ 51.7% về TA và 52.4% về TR-D; các model khác dưới 20% về TA. Test trên 23 cấu hình model-harness.
  • TC không đồng nghĩa TA/TR: tương quan TC–TA chỉ r=0.31, TC–TR-D r=0.34; model giỏi hơn về tác vụ không tự động phân bổ thời gian hay can thiệp tốt hơn.
  • LLM-as-judge nhầm lẫn TC với trust: TR-J của các model frontier khá cao (ví dụ 4.72/5) dù TR-D thấp (52.4%) — LLM chấm điểm khoan dung với việc can thiệp quá mức, trong khi người thật thì không.
  • Nghiên cứu 30 người tham gia: chấp nhận hỗ trợ đúng nhưng cạnh tranh việc đang làm chỉ 26.7%, so với 97.8% chấp nhận hỗ trợ ban ngủ kể cả khi sáng hôm sau phải sửa; 64.4% vẫn thích hỗ trợ giờ ngủ dù việc ngay chỉ mất 10 phút xem lại.
  • Trust mất nhanh, khó lấy lại: một lần can thiệp sai lúc dù kết quả đúng làm trust giảm 1.86 điểm, trong khi quay lại hành vi đúng chỉ tăng lại 1.27; chuỗi A→M→A chỉ hồi phục tới 3.43 so với mức đầu 4.43.

IV. Conclusion & Future Works:​

Thực hiện đúng tác vụ không đủ: hỗ trợ chủ động hữu ích phải đồng thời xét khi nào thực hiện (TA) và được can thiệp tới đâu (TR), và phải đánh giá hậu quả xuyên suốt nhiều lượt tương tác chứ không phải từng phản hồi riêng lẻ. Agent hiện tại yếu nhất ở khả năng hoãn việc cạnh tranh sang lúc rảnh tài nguyên. Hướng tương lai: tối ưu hóa 3T chung trong thiết kế agent, mở rộng Proactivity-Gym (ràng buộc tài nguyên và mô hình người dùng phức tạp hơn), và đánh giá dài hạn trong môi trường thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp tối ưu hóa đồng thời 3T trong huấn luyện/reinforcement learning cho agent chủ động, với reward shaping tách biệt cho task capability, temporal allocation và trust.
  2. Mô hình dự đoán trạng thái niềm tin (trust state estimation) ẩn của người dùng từ lịch sử ủy quyền can thiệp, để agent tự điều chỉnh intervention depth theo thời gian.
  3. Thuật toán lập lịch proactive work động dựa trên dự báo availability của người dùng và tài nguyên (GPU, token budget), cân bằng giữa chạy ngay và chạy giờ ngủ.
  4. Đánh giá chênh lệch giữa LLM-as-judge và nhận định con người về trust, xây dựng bộ chấm điểm trust nhạy hơn với intervention misalignment.

2. Patent:​

  1. Trợ lý AI trên điện thoại tự chạy tác vụ nền vào ban đêm: phân tích lịch ngủ và mức pin của người dùng, tự sắp xếp chạy các việc nặng (dọn ảnh trùng, tóm tắt email, render video) khi máy sạc pin và người dùng không dùng, sáng hôm sau chỉ gửi kết quả để duyệt.
  2. Hệ thống kiểm soát mức độ tự động của trợ lý trên điện thoại: mỗi loại hành động (đặt lịch, gửi tin nhắn, thanh toán) gắn một mức ủy quyền do người dùng đặt; trợ lý theo dõi lịch sử sửa đổi của người dùng để tự điều chỉnh mức này, thu hẹp quyền tự làm khi phát hiện người dùng hay sửa lại.
  3. Ứng dụng quản lý thời gian có agent dự báo nhu cầu: agent theo dõi lịch và công việc đang diễn ra, tự chuẩn bị tài liệu/tóm tắt cho cuộc họp sắp tới nhưng chỉ hiện thông báo ở thời điểm người dùng rảnh, tránh chen vào lúc đang họp hay đang tập trung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.37267
ArXiv Abstracthttps://arxiv.org/abs/2609.37267
PDF Downloadhttps://arxiv.org/pdf/2609.37267.pdf
Github RepositoryN/A

7. Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation (23 votes)​

Tác giả: Cheng Luo, Bing Li, Bernard Ghanem

Xuất bản lúc: 2026-10-04

Tag: Test-Time Training, Fast Weights, Long-Context Language Models, Self-Generated Data, Causal Analysis, Model Adaptation

I. Main Problem:​

Test-time training (TTT) cho phép mô hình ngôn ngữ cập nhật trọng số trong lúc suy luận, giúp lưu thông tin sau khi ngữ cảnh rời khỏi attention. Tuy nhiên, khi mô hình tự sinh văn bản rồi học từ chính văn bản đó, mỗi lần cập nhật không chỉ làm thay đổi mô hình mà còn làm thay đổi dữ liệu huấn luyện tương lai.

Trên các chuỗi dài 128K token, việc giữ lại các cập nhật từ văn bản tự sinh làm mô hình dự đoán văn bản thật kém đi, xuất hiện ở nhiều quy mô và cả khi dùng Adam thông thường trên Qwen3-4B. Vấn đề không phải do văn bản tự sinh luôn xấu, mà nằm ở vòng lặp phản hồi khép kín: trọng số mới sinh dữ liệu mới, rồi dữ liệu mới tiếp tục làm lệch trọng số.

II. Main Idea:​

Bài báo tách đường nhân quả gây hỏng bằng ba phép so sánh được kiểm soát:

  • Fixed Generation: một mô hình cố định sinh toàn bộ văn bản, trong khi mô hình khác vẫn học từ văn bản đó. Phép này phá vỡ liên kết “cập nhật làm thay đổi dữ liệu huấn luyện tương lai”.
  • Recorded Replay: cho cùng một bộ văn bản kém chất lượng đã lưu sẵn, tách riêng tác hại của việc đọc token trong attention và tác hại lưu cập nhật vào trọng số.
  • Paired one-update branches: từ cùng trọng số, attention và văn bản, một nhánh giữ cập nhật còn một nhánh bỏ đi để đo trực tiếp hiệu ứng của một cập nhật duy nhất.

Từ đó, tác giả đề xuất Settlement: trước khi chấp nhận một cập nhật, tạo trạng thái thử nghiệm và kiểm tra nó trên văn bản thật độc lập; chỉ giữ cập nhật nếu nó làm giảm loss trên văn bản đó.

Ví dụ đời thường: giống như tự soạn bài tập ôn theo chính kiến thức đang mơ hồ của mình — mỗi lần làm sai lại viết tiếp đề mới theo cách hiểu chưa đúng, khiến lỗi càng lặp lại; nếu có một bộ đề ngoài để kiểm tra trước khi ghi nhận bài học, ta có thể chặn việc ôn theo lỗi.

III. Main Results:​

  • Retaining generated-text updates làm tăng NLL trên văn bản thật: +3.01 nats ở 125M, +6.00 nats ở 760M, +0.40 nats ở 3B.
  • Hiện tượng không giới hạn ở TTT-E2E: với Qwen3-4B dùng Adam, learning rate (10^{-4}) cho mức tăng +1.231 nats; cùng cơ chế cập nhật lại cải thiện 0.168 nats khi học từ văn bản thật.
  • Fixed Generation loại bỏ 98.3% và 98.8% tác hại ở 125M và 760M, cho thấy phản hồi đến dữ liệu tương lai là nguyên nhân chính.
  • Recorded Replay cho thấy cả hai con đường đều có tác hại: đọc văn bản suy giảm làm tăng 1.606 nats, còn ghi cập nhật vào trọng số thêm 2.268 nats ở 125M; ở 3B chi phí ghi thêm khoảng 0.193 nats.
  • Một cập nhật có thể vừa khớp với đoạn nguồn vừa làm tệ đoạn thật tiếp theo. Sau lịch sử Closed Loop, mức tăng loss trên văn bản thật là +0.0381 nats, cao hơn đáng kể so với Writes Off.
  • Tác hại tập trung ở ít quỹ đạo: trong 72 so sánh cuối, chỉ 12 trường hợp vượt ngưỡng 0.5 nats và đến từ 4/24 chuỗi nguồn.
  • Chen văn bản thật vào đều đặn giúp ngắt vòng lặp: 33 đoạn thật chia đều chỉ còn khoảng 6% tác hại, trong khi gom cụm vẫn giữ khoảng 60%.
  • Settlement giảm endpoint gap còn 0.07 nats ở 125M và -0.02 nats ở 760M, gần tương đương Writes Off, đồng thời vẫn giữ khả năng thích ứng trên văn bản thật.
  • Trong WebShop, Settlement đạt 0.1853 exact success, so với 0.1053 của Closed Loop và 0.1600 của Writes Off.

IV. Conclusion & Future Works:​

Kết luận chính là không nên giữ một cập nhật chỉ vì nó giảm loss trên chính đoạn đã tạo ra cập nhật đó. Source fit, mức lặp từ, hay nguồn gốc tự sinh đều không đủ để đánh giá chất lượng cập nhật; tiêu chí đáng tin hơn là kiểm tra toàn bộ trạng thái mô hình sau cập nhật trên bằng chứng độc lập.

Settlement cho thấy có thể giữ lại lợi ích của thích ứng test-time mà không để vòng lặp tự sinh phá hủy khả năng dự đoán văn bản thật. Hướng mở rộng hợp lý gồm tìm cách rẻ hơn để ước lượng transfer, giảm phụ thuộc vào nhãn nguồn văn bản, và mở rộng nguyên tắc kiểm chứng độc lập sang các tác tử dài hạn cập nhật từ hành động của chính mình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các tiêu chí kiểm chứng cập nhật test-time không cần nhãn nguồn, dùng tín hiệu bên ngoài hoặc văn bản tin cậy để quyết định nên giữ hay loại bỏ một cập nhật.
  2. Nghiên cứu chiến lược chọn thời điểm cập nhật trong mô hình dài hạn: xác định khi nào nên ghi vào trọng số, khi nào chỉ nên giữ trong attention, và cách kết hợp nhiều cập nhật an toàn.
  3. Mở rộng Settlement cho tác tử đa phương thức và môi trường tương tác, nơi mô hình học từ văn bản, hình ảnh, và hậu quả hành động do chính nó tạo ra.

2. Patent:​

  1. Hệ thống trợ lý gõ phím trên điện thoại tự thích ứng an toàn: khi người dùng gõ, mô hình trên máy đề xuất cập nhật nhỏ để cá nhân hóa văn phong; trước khi lưu, hệ thống thử nghiệm trạng thái mới trên các đoạn văn bản chuẩn hoặc lịch sử tin cậy để tránh học theo lỗi gõ tạm thời.
  2. Ứng dụng dịch thuật ngoại tuyến trên điện thoại có cơ chế chống tự làm nhiễu: sau mỗi phiên dịch, mô hình có thể cập nhật từ ngữ liệu do người dùng tạo ra, nhưng chỉ giữ những cập nhật làm cải thiện dịch thuật trên kho văn bản kiểm chứng độc lập.
  3. Trợ lý soạn thảo tài liệu trên thiết bị di động kiểm tra trước khi ghi nhớ phong cách cá nhân: khi người dùng sửa nhiều lần theo một xu hướng mới, hệ thống mô phỏng trạng thái cập nhật trên bài viết mẫu khác để đảm bảo thay đổi thật sự hữu ích trước khi lưu vào trọng số.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05076
ArXiv Abstracthttps://arxiv.org/abs/2610.05076
PDF Downloadhttps://arxiv.org/pdf/2610.05076.pdf
Github Repositoryhttps://github.com/lingjivoo/ttt-ouroboros

8. OSWorld-Pro: Process-based Evaluation for Computer Use Agents (22 votes)​

Tác giả: Zhilin Wang, Shaokun Zhang, Yifan Zhang, Hao Zhang, Jin Xu, et al.

Xuất bản lúc: 2026-09-21

Tag: Computer-Use Agents, LLM-Judge, Benchmark, Process-based Evaluation, GUI Agents, Vision-Language Models

I. Main Problem:​

Các benchmark đánh giá Computer-Use Agents (CUAs) như OSWorld chỉ nhìn vào kết quả cuối cùng (file đầu ra) qua functional verifier, gây ra ba hạn chế lớn:

  • Không phân biệt được mức tiến bộ: agent thất bại ở subgoal đầu hay subgoal thứ chín đều nhận 0 điểm, dù mức hoàn thành rất khác nhau — vô cùng tệ với tác vụ hàng trăm bước.
  • Dễ bị reward hacking: agent mạnh có thể đạt kết quả đúng bằng đường vòng không mong muốn (vụ bê bối bảo mật của OpenAI cho thấy agent có thể hack server để lấy đáp án).
  • Thiếu thông tin chi tiết: không biết agent sai ở loại hành động nào (click, gõ phím, kéo-thả), không đo được hiệu quả từng bước.

II. Main Idea:​

OSWorld-Pro: benchmark đánh giá dựa trên quy trình (process-based) thay vì chỉ kết quả. Thay vì chấm file cuối, người ta bóc tách mỗi tác vụ thành chuỗi subgoal phụ thuộc tuần tự (subgoal sau chỉ làm được khi subgoal trước xong) và chấm từng bước của agent.

  • Quy mô: 305 tác vụ, 2.814 subgoal (trung bình 9,2 subgoal/tác vụ), 67.264 annotation cấp bước do người gán (>5.000 giờ-người), với độ tin cậy cao (Cohen's κ > 0,8).
  • Ba nhóm tác vụ: Diversity (app hiếm như Videos, LibreOffice Draw), Coordination (phối hợp ≥4 app, trung bình 3,45 app/tác vụ vs 1,34 của OSWorld), Robustness (19 bản phân phối Linux + 13 giao diện đồ họa khác Ubuntu/GNOME).
  • Mỗi bước của trajectory được gán nhãn: subgoal nào được nhắm tới, có khả thi không, có tiến triển không, hoàn thành chưa; sau đó LLM-Judge (GPT-5.6-Sol) tự động chấm, đạt độ khớp ~94% với người.

Ví dụ đời thường: giống thầy giáo chấm bài không chỉ xem đáp án cuối mà chấm từng bước làm — biết học sinh sai ngay dòng tính đầu tiên chứ không kết luận chung chung là 'làm sai', và thấy cả trường hợp làm đúng kết quả nhưng đường đi vòng vo.

III. Main Results:​

  • LLM-Judge hiệu quả: GPT-5.6-Sol (max reasoning) khớp người 97,0% ở việc xác định subgoal được nhắm tới và ~94% ở dự đoán hoàn thành; yếu nhất ở đánh giá tính khả thi (61,9% vs người 91,6%) vì tiêu chí này chủ quan. Model nhỏ + reasoning cao thường rẻ hơn mà hiệu quả ngang model lớn + reasoning thấp.
  • Benchmark rất khó: model tốt nhất (Claude Opus 4.8) chỉ đạt 77,7%, trong khi cùng model đạt 83,4% trên OSWorld. Top model khác (Claude Opus 5, GPT-5.6-Sol) quanh 74–77%. Model open-weight đỉnh chỉ 55,1% (Qwen 3.8 Flash Next), khi cùng model đạt >80% trên OSWorld — cho thấy OSWorld gần bão hòa còn OSWorld-Pro vẫn còn dư địa cải thiện.
  • Phân tích hành động: model yếu (Minimax M3, Kimi K3) thất bại nhiều ở click sai tọa độ (39–42% tiến triển vs 72–93% của model mạnh); Claude vượt trội ở Keyboard và Scroll (≥84–89%). Qwen 3.8 nổi bật ở GUI manipulation dù chỉ 27–125B.
  • Hiệu quả cấp subgoal: OSWorld-Pro phơi bày lãng phí mà đánh giá kết quả không thấy — Claude Opus 5 Max từng mắc kẹt 59 bước làm hành động không liên quan subgoal dù cuối cùng hoàn thành tất cả; các model khác nhau rõ ở tốc độ nhận ra subgoal bất khả thi (9,5 bước vs gần 40 bước) và chi phí/task chênh tới 20 lần (0,51vs0,51 vs 9,56).

IV. Conclusion & Future Works:​

OSWorld-Pro là benchmark đầu tiên đánh giá CUA dựa trên quy trình, bổ sung cho đánh giá kết quả kiểu OSWorld, giúp phát hiện các failure mode trước đây bị che giấu (hành động không liên quan subgoal, lỗi click, kém hiệu quả) nhờ 67.000+ annotation cấp bước và LLM-Judge khớp người ~94%. Benchmark đặc biệt khó với model open-weight nên phù hợp làm mục tiêu cải thiện. Hướng tương lai: dùng tín hiệu process reward để hướng dẫn học tăng cường (RL), tối ưu harness, và nâng cao hiệu suất lẫn hiệu quả của CUA.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Huấn luyện CUA bằng reinforcement learning với phần thưởng dựa trên subgoal của OSWorld-Pro (process reward) thay vì chỉ thưởng kết quả cuối, kiểm chứng khả năng giảm reward hacking và hành vi lãng phí bước.
  2. Nghiên cứu LLM-Judge chuyên biệt cho đánh giá tính khả thi của subgoal — mặt mà judge hiện tại yếu nhất (61,9% vs người 91,6%) — bằng cách bổ sung thông tin cấu trúc menu và trạng thái hệ thống vào prompt chấm.
  3. Phân tích và cải thiện khả năng khái quát hóa của model open-weight sang các bản phân phối Linux và giao diện đồ họa hiếm (nhóm Robustness, điểm thấp nhất) qua dữ liệu huấn luyện đa môi trường.

2. Patent:​

  1. Trợ lý điều khiển máy tính trên điện thoại có chấm điểm từng bước: hệ thống giám sát từng thao tác của agent, tự động phát hiện khi agent đi lạc mục tiêu (lặp hành động không liên quan nhiều bước) và nhắc hướng lại, thay vì chỉ báo thất bại cuối cùng.
  2. Công cụ kiểm thử tự động cho phần mềm: tự bóc tách kịch bản test dài thành các mốc kiểm tra tuần tự, chấm từng mốc khi robot thao tác giao diện, báo cáo chính xác chức năng nào hỏng và ở bước nào thay vì chỉ 'test fail'.
  3. Hệ thống tối ưu chi phí chạy agent AI: đo số bước, token và tiền cho từng subgoal, tự động chọn model rẻ hơn cho các subgoal đơn giản và model mạnh hơn cho subgoal khó, cắt giảm chi phí mỗi tác vụ tới mức tối thiểu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.24890
ArXiv Abstracthttps://arxiv.org/abs/2609.24890
PDF Downloadhttps://arxiv.org/pdf/2609.24890.pdf
Github RepositoryN/A

9. OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning (20 votes)​

Tác giả: Junming Lin, Yuxuan Wang, Zhenxin Lei, Yuxin Liu, Ruixun Liu, et al.

Xuất bản lúc: 2026-09-30

Tag: Omni-LLMs, Audio-Visual Reasoning, Multimodal Learning, Reinforcement Learning, Self-Distillation, Benchmark

I. Main Problem:​

Các mô hình omni-modal hiện tại chưa thể lập luận đồng thời trên cả âm thanh và hình ảnh một cách đáng tin cậy, vì:

  • Các benchmark cũ (WorldSense, Daily-Omni, OmniVideoBench, JointAVBench) không thật sự bắt buộc dùng cả hai phương thức: chỉ cần hình ảnh, Qwen3.5-Plus vẫn đạt 44.9–68.8% accuracy — phần lớn câu hỏi trả lời được mà không cần audio.
  • Dữ liệu huấn luyện chỉ ghép tùy tiện audio + visual + text, không giữ lại các quan hệ phụ thuộc bằng chứng giữa hai phương thức.
  • Phương pháp RL (GRPO, RLSD) gán điểm ở mức outcome hoặc clue thô, không phân biệt câu trả lời đến từ bằng chứng audio, visual, hay tương tác chéo giữa chúng — nên câu trả lời "ăn gian" một phương thức vẫn được thưởng như lập luận joint thật.

II. Main Idea:​

Bộ ba thành phần khớp với nhau qua bằng chứng phân theo phương thức:

  • OmniReasoningBench: 1.150 câu hỏi (750 reasoning over video — nối manh mối audio/visual trong video; 400 reasoning beyond video — áp kiến thức rút ra từ video sang tình huống/đồ thị mới). Câu hỏi được kiểm tra: chỉ giữ lại nếu không phương thức nào tự trả lời được riêng lẻ (question-only, audio-only, visual-only đều sai; joint mới đúng). Khi bỏ audio, accuracy sụt từ ~60% xuống 17.2% (MCQ) / 8.7% (OE).
  • OmniQA data engine: tự động segment video → sinh caption audio/visual có timestamp → tạo câu hỏi + chuỗi dependency nối manh mối với suy luận trung gian → kiểm chứng (gate clue hợp lệ + loại shortcut) → tổng hợp thinking cho SFT. Sinh ra OmniReasoning-SFT-112K và OmniReasoning-RL-19K (đã kiểm tra thủ công).
  • MFSD (Modality-Factored Self-Distillation): với mỗi câu trả lời mẫu, mô hình chấm lại likelihood của từng token dưới 4 ngữ cảnh manh mối: không clue, chỉ audio, chỉ visual, joint. Hiệu joint trừ hai hiệu riêng lẻ (S_t = ΔAV − ΔA − ΔV) cho biết token đó có được nâng bởi tương tác chéo phi cộng tính hay chỉ bởi một phương thức; tín hiệu này kết hợp với joint-support để tạo trọng số advantage cấp token, thưởng các bước suy luận bắt buộc cả hai phương thức.

Ví dụ đời thường: giống việc chấm bài bằng cách thử xem thí sinh giải có cần "cả tai lẫn mắt" không — che tai thì sai, che mắt cũng sai, chỉ khi mở cả hai mới làm đúng; điểm chỉ trao cho các bước giải thật sự phải ghép thông tin từ cả hai nguồn.

III. Main Results:​

  • OmniReasoningBench: OmniReasoning-30B-A3B đạt 42.5%, hơn base Qwen3-Omni-30B-A3B-Thinking +9.3 điểm (base chỉ 33.2%); vẫn còn khoảng cách với Gemini-3.7-Flash (57.6%).
  • Tổng quát sang benchmark công khai: OmniVideoBench 50.0% (+12.8), LVOmniBench 44.7% (+7.0), Video-MMMU 74.4% (+6.1), Video-MME-v2 44.0% (+7.5) — cải thiện đồng đều qua mọi loại audio (music/sound/speech) và mọi độ dài video, chứng tỏ không overfit.
  • Ablaction RL (cùng SFT checkpoint, cùng budget): SFT 36.1% → GRPO 38.3% → RLSD 39.2% → MFSD 42.5%; trên benchmark cũ GRPO/RLSD còn thua cả SFT, trong khi MFSD luôn vượt SFT +0.7 đến +4.5 điểm → tương tác cross-modality là yếu tố quyết định.
  • Bằng chứng joint thật: joint input vượt cả "oracle đơn phương thức" (đếm câu đúng nếu audio-only hoặc visual-only đúng) +9.9 đến +26.7 điểm — lập luận joint có giá trị vượt ngoài cộng của hai phương thức riêng lẻ.

IV. Conclusion & Future Works:​

Thừa nhận rằng cần mô hình hóa tường minh phụ thuộc bằng chứng cross-modal trong cả đánh giá lẫn huấn luyện mới khai phá được khả năng lập luận joint của Omni-LLMs; cách tiếp cận bằng benchmark chặt chẽ + data engine có cấu trúc + RL gán điểm theo phương thức giúp cả tác vụ joint lẫn hiểu video nói chung. Hướng tương lai (ngầm): thu hẹp khoảng cách với proprietary model, mở rộng sang các cặp phương thức khác và tác vụ lập luận omni-modal phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng tư tưởng factored credit assignment của MFSD cho các cặp phương thức khác (video-text, image-audio-touch), tách đóng góp từng phương thức và tương tác chéo để huấn luyện robot đa giác quan.
  2. Mở rộng OmniQA sang dữ liệu lập luận nhiều bước dài hạn với dependency graph qua nhiều video, kết hợp kiểm chứng shortcut tự động cho dữ liệu quy mô triệu mẫu.
  3. Kết hợp clue có timestamp với cơ chế attention nhân quả để mô hình tự học cách "quay lại đúng giây" trong video khi suy luận, thay vì chỉ nhận clue dưới dạng văn bản.

2. Patent:​

  1. Trợ lý video thông minh trên điện thoại: khi người dùng hỏi về một video (ví dụ "nhẫn trong phim khắc năm nào"), ứng dụng tự rút các manh mối âm thanh (lời thoại) và hình ảnh (chữ trên vật thể) có mốc thời gian, ghép lại để trả lời mà không cần xem hết video.
  2. Hệ thống đào tạo nội bộ từ video bài giảng: tự động sinh câu hỏi trắc nghiệm buộc người học kết hợp lời nói giảng viên với nội dung trên slide, kèm chuỗi gợi ý bước suy luận để chấm điểm và giải thích đáp án.
  3. Module kiểm tra chất lượng câu hỏi khảo sát/hội thảo: tự động sàng loại câu hỏi trả lời được chỉ bằng một nguồn thông tin, đảm bảo mọi câu hỏi đòi hỏi tổng hợp dữ liệu từ ít nhất hai kênh (ví dụ âm thanh ghi âm + ảnh chụp hiện trường trong điều tra sự cố).

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.39490
ArXiv Abstracthttps://arxiv.org/abs/2609.39490
PDF Downloadhttps://arxiv.org/pdf/2609.39490.pdf
Github Repositoryhttps://github.com/PKU-VaLuE-Lab/OmniReasoning

10. Optimizing the Optimizer: Language Models Discover Faster Molecular Relaxation (20 votes)​

Tác giả: Artem Tsypin, Vladimir Deshchenya, Kuzma Khrabrov, Denis Potapov, Maxim Radchenko, et al.

Xuất bản lúc: 2026-10-05

Tag: Autoresearch, LLM, Molecular Geometry Optimization, DFT, Algorithm Discovery, Computational Chemistry, GFN2-xTB, Sella

I. Main Problem:​

Tối ưu hình học phân tử là thao tác tốn kém nhất trong hóa học lượng tử: mỗi bước tối ưu cần một lần đánh giá lực liên nguyên tử (force evaluation), và ở mức DFT việc này chiếm gần hết thời gian tính toán. Số bước cần thiết quyết định giá thành. Các thách thức cụ thể:

  • Không thể tìm kiếm trực tiếp ở mức DFT — quá đắt để đánh giá hàng trăm ứng viên optimizer.
  • Dễ hack phần thưởng: optimizer có thể giảm số lần gọi force chỉ bằng cách dừng sớm (thư giãn nông hơn).
  • Dễ overfit: cải tiến chỉ hiệu quả trên phân tử đã thấy, không khái quát hóa được.

II. Main Idea:​

Autoresearch có gating: một LLM agent lặp lại việc chỉnh sửa code của optimizer (một file duy nhất), commit, rồi được chấm điểm trên benchmark. Mỗi ứng viên phải qua hai cổng kiểm:

  • Validity gate: loại ứng viên có lỗi hoặc energy recovery thấp hơn Sella — chặn hành vi "nhanh nhưng nông".
  • Generalization gate: ứng viên phải tiết kiệm force calls trên tập validation gồm phân tử chưa thấy — chặn overfit.

Tìm kiếm chạy trên GFN2-xTB (rẻ, đủ chính xác), rồi chứng minh cải tiến transfer sang DFT (r2SCAN-3c) dù agent chưa từng thấy gradient DFT nào. Xuất phát từ Sella 2.5.0 — optimizer nhanh nhất trong 27 cấu hình được benchmark — hai run độc lập (Claude Fable 5.1 và GPT-6 Astra) sinh ra AutoSella-F và AutoSella-A.

Ví dụ đời thường: giống thợ máy tinh chỉnh động cơ trên băng chạy thử giá rẻ trước, chỉ giữ lại bản sửa nào chạy tốt cả trên đường thử lẫn đường đua thật — chứ không phải sửa xong chạy một vòng sân nhà rồi tuyên bố thắng.

III. Main Results:​

  • AutoSella-F trên GFN2-xTB: chỉ cần 39.86–73.25% số lần gọi force của Sella trên 4 tập test held-out, với energy recovery cao hơn baseline trên cả 4 (r̄ > 1).
  • Transfer sang r2SCAN-3c DFT (chưa từng thấy khi tìm kiếm): AutoSella-F cần 40.2–77.2% force calls của Sella, energy recovery còn cao hơn — tức tiết kiệm 23–60% chi phí mỗi phân tử.
  • Transfer sang GFN-FF cũng giữ được mức tiết kiệm tương tự → cơ chế cải tiến là tổng quát, không bám vào potential dùng để tìm kiếm.
  • AutoSella-A kém ổn định hơn: 78–92% trên 3 tập đầu nhưng regress trên Solvated PubChem (118.77%, r̄ < 1).
  • Nhịp nghiên cứu khác biệt: Fable commit 108 ứng viên / chấp nhận 37 (giãn cách ~36 phút, phân tích sâu từng thất bại); Astra commit 672 / chấp nhận 29 (~6 phút, nhiều lỗi và bị gate loại hơn).
  • Ablation (AutoSella-F): ba nhóm thay đổi quan trọng nhất là model Hessian + coordinates (+18.7 điểm % khi gỡ), fragment handling (+11.3), Hessian updates tái sử dụng gradient cũ (+10.2).

IV. Conclusion & Future Works:​

Kết quả cho thấy potential thay thế rẻ (surrogate) có thể kích hoạt phát triển thuật toán tự động ngay cả khi tìm kiếm trực tiếp ở mức mục tiêu quá tốn kém — một con đường mới cho thiết kế thuật toán hóa học lượng tử. Hai admission gate là cơ chế chống reward hacking hiệu quả cho autoresearch. Hướng tương lai: áp dụng autoresearch có gating cho các bài toán tối ưu khác (tìm transition state, SCF convergence), kết hợp nhiều agent, và mở rộng sang potential mục tiêu đắt hơn theo lộ trình surrogate dần dần.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng autoresearch có gating cho saddle point search / transition state optimization — bài toán còn đắt hơn relaxation thông thường và hiện thiếu optimizer tối ưu.
  2. Mở rộng phương pháp surrogate-then-transfer sang thiết kế integrator cho molecular dynamics hoặc thuật toán hội tụ SCF, nơi mỗi bước đánh giá cũng rất đắt.
  3. Nghiên cứu multi-agent autoresearch: các agent chuyên biệt đề xuất, critique và kiểm chứng cơ chế, thay vì một trajectory đơn lẻ, để tăng tỉ lệ chấp nhận ứng viên trên hệ phân tử phức tạp (solvated, multi-fragment).

2. Patent:​

  1. Dịch vụ đám mây tự tinh chỉnh optimizer cho công ty dược: khách hàng tải lên bộ phân tử đặc thù, hệ thống chạy autoresearch trên potential rẻ để tạo bản optimizer riêng, rồi dùng cho các lần tính DFT đắt tiền sau này — giảm hóa đơn tính toán hàng tháng.
  2. Ứng dụng điện thoại cho sinh viên/nhà nghiên cứu hóa học: trước khi gửi job lên hệ thống siêu máy tính, người dùng chạy thư giãn sơ bộ bằng optimizer đã được tự động tối ưu hóa; cấu trúc đầu vào tốt hơn giúp job DFT chạy ít bước hơn, tiết kiệm credit tính toán.
  3. Plugin tự động cắt giảm chi phí mô phỏng cho phần mềm hóa học thương mại: module phát hiện phân tử có nhiều fragment rời nhau (như thuốc + nước) và tự áp dụng chiến lược xử lý fragment, giảm số bước tối ưu mà không cần người dùng canh chỉnh tham số.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06577
ArXiv Abstracthttps://arxiv.org/abs/2610.06577
PDF Downloadhttps://arxiv.org/pdf/2610.06577.pdf
Github Repositoryhttps://github.com/vdeshchenya/autosella

11. Representation-Space MMD for Diffusion Language Models (20 votes)​

Tác giả: Ilya Drobyshevskiy, Ilia Sudakov, Maksim Semenov, Denis Kuznedelev, Maksim Ignatov, et al.

Xuất bản lúc: 2026-10-05

Tag: Diffusion Language Models, Maximum Mean Discrepancy, Post-Training, Representation Learning, Policy Gradient, OpenWebText, GSM8K

I. Main Problem:​

Diffusion language models generate text by iteratively refining masked or noisy states, but the standard token cross-entropy or latent mean-squared-error objective mainly learns local denoising corrections; it does not directly guarantee that few-step generated samples match the reference text distribution. Existing acceleration methods often need teacher-generated multi-step targets, jointly trained auxiliary models, or full sampling trajectories, making post-training costly and complex. The paper asks whether a useful distribution-matching signal can be computed directly from generated and reference samples by comparing them in a learned representation space rather than in raw high-dimensional token/latent space.

II. Main Idea:​

Core approach: post-train the generator by minimizing Maximum Mean Discrepancy between generated and reference samples using contextual token features from a frozen pretrained diffusion language model.

  • Instead of pooling each sequence into one embedding, keep features at individual token positions, so one forward pass gives many local observations for distribution matching.
  • Use a Gaussian RBF kernel over token features, average token-level similarities between sequences, and avoid same-sequence pairs to keep the estimator unbiased.
  • The loss pulls generated features toward reference features and pushes generated samples apart, reducing collapse.
  • For discrete models, sample several independent sequences from one denoiser pass and optimize the reward with grouped REINFORCE plus a leave-one-out baseline; instantiations include masked-token models and hybrid masked-uniform DMax training.
  • For continuous latent models, initialize from Embedded Language Flows, train a one-step latent generator by backpropagating through generated latents and the frozen feature extractor, then refine predictions with self-conditioning; an optional distillation step reduces inference cost further.

Ví dụ đời thường: giống pha cà phê theo ly chuẩn: không chỉ ngửi mùi cà phê sau khi pha xong, mà so nhiều điểm nhỏ ở từng ngụm — vừa kéo vị gần ly chuẩn, vừa tránh các ly tự pha bị trùng một vị nhạt.

III. Main Results:​

  • OpenWebText: MDLM-MMD beats DiDi-Instruct, IDLM, and IDLM-REINFORCE at matched entropy; at the reference-data entropy it gives about 17–21% lower generative perplexity than IDLM across 8, 16, and 32 sampling steps.
  • Continuous unconditional generation: ELF-MMD improves most sampling budgets for both T5 and GPT-2 latent spaces; adding iterative refinement distillation lowers generative perplexity at 4 steps by about 30 points with T5 and 10 points with GPT-2 compared with ELF-MMD alone.
  • GSM8K math reasoning: MDLM-MMD reaches about 54% accuracy at ~49 decoding steps. ELF-MMD improves over ELF at every evaluated budget and over ELF-PD at most budgets; after distillation, 4-step and 8-step accuracy rise from 14.2% to 20.8% and 27.5% to 32.5%, and 64-step accuracy reaches 36.3% versus 31.6% for ELF.
  • 16B DMax models: with only 400 post-training steps (~1.7–2.5 GPU-hours), DMax-Math-MMD increases tokens generated per forward by 10.3–16.5% on math benchmarks with similar or higher accuracy; DMax-Coder-MMD improves code accuracy by 2.4 points on HumanEval-Instruct and 3.8 points on MBPP-Instruct.
  • Ablation: token-level Gaussian RBF gives the best accuracy-compute trade-off; mean-only matching, pooled sequence kernels, attraction-only matching, and feature regression are worse, with attraction-only training causing rapid collapse in continuous models.

IV. Conclusion & Future Works:​

The main message is that a frozen pretrained diffusion language model can supply both the generator being tuned and the feature ruler for judging samples, enabling efficient post-training without full sampling trajectories or jointly trained critic models. The method is simple, but performance depends on the representation space and kernel bandwidth. Future work should explore features from multiple layers, noise levels, or extractor ensembles; combine representation-space distribution matching with other objectives for discrete models; and test alternative multi-step samplers for continuous latent generators.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Study which layers, noise states, or combinations of frozen extractors give the most informative feature space for distribution matching in diffusion language models.
  2. Combine representation-space distribution matching with reinforcement-learning or preference objectives for discrete diffusion language models to improve both quality and controllability.
  3. Extend one-step continuous latent text generators with better self-conditioning, adaptive refinement depth, and uncertainty-aware stopping rules for mobile or low-latency deployment.
  4. Apply the same token-level feature matching idea to code, multilingual, and reasoning models where reference answers exist but full reasoning trajectories are expensive to generate.

2. Patent:​

  1. A phone writing assistant using a small diffusion text model: after each draft update, the system compares local internal features of the draft with trusted human examples, rewards closeness to high-quality text, and penalizes repetitive drafts, allowing fewer refinement passes with lower battery cost.
  2. A mobile code-completion engine: a compact code diffusion generator is post-trained by matching its internal representations to approved code solutions, so the keyboard or IDE app can produce useful completions with fewer network evaluations.
  3. An on-device summarization or translation feature: a few-step text diffusion model is tuned by comparing hidden states of its outputs with human-written summaries or translations, improving style and reliability while keeping data private on the phone.
  4. A math-tutoring app that generates worked solutions and uses representation matching against educator-approved solutions to avoid repetitive wrong reasoning and to reveal more tokens per decoding step when confidence is high.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06648
ArXiv Abstracthttps://arxiv.org/abs/2610.06648
PDF Downloadhttps://arxiv.org/pdf/2610.06648.pdf
Github Repositoryhttps://github.com/yandex-research/dlm-mmd

12. Towards Looped Models Done Right, Part II: Rethinking at Fixed Points (20 votes)​

Tác giả: Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, et al.

Xuất bản lúc: 2026-10-05

Tag: Looped Language Models, Fixed-Point Training, Truncated Backpropagation, KV Cache, Knowledge Distillation, Reinforcement Learning, Depth Priors

I. Main Problem:​

Các mô hình ngôn ngữ lặp khối trọng số chung trả giá cho mỗi vòng lặp ở cả bốn giai đoạn:

  • huấn luyện: phải lưu hoạt động và lan gradient qua mọi vòng lặp
  • giải mã: bộ nhớ KV cache tăng gần tuyến tính theo độ sâu logic
  • prefill: mỗi prompt phải chạy lại nhiều vòng lặp
  • RL: chấm điểm rollout thường phải phát lại toàn bộ quỹ đạo rồi backprop qua nó

Ngoài ra, hai thành phần định hình fixed point hiện chưa tối ưu: huấn luyện cố định một độ sâu làm hỏng khả năng chia sẻ KV cuối; prior độ sâu rộng kiểu Huginn giúp chia sẻ nhưng pha loãng supervision ở độ sâu mục tiêu; cơ chế đưa input vào mỗi vòng lặp để thành phần trạng thái dọc theo input khuyếch đại hoặc triệt tiêu input.

II. Main Idea:​

Bài báo lập luận rằng gần fixed point (z^\star=F_\theta(z^\star;x)), điểm cuối thay thế được toàn bộ đường đi. Từ đó cứ mỗi chi phí phụ thuộc độ sâu có một lối tắt:

  • Truncated BPTT: chỉ lan gradient qua khoảng b vòng cuối; ổn định từ đầu và tiệm cận gradient cân bằng khi trạng thái hội tụ
  • Terminal KV sharing: mỗi token prefix chỉ giữ KV ở trạng thái cuối, cắt cache khi loop sâu
  • Distilled prefill: student nhẹ học thẳng dự đoán trạng thái cuối, thay cho việc lặp nhiều vòng khi nạp prompt
  • Rollout-state reuse cho RL: lưu trạng thái cuối khi sinh rollout, rồi dùng chuỗi Neumann ngắn để tính gradient mà không phát lại toàn bộ vòng lặp

Sau đó paper cải tiến chính hai “bàn tay” định hình fixed point:

  • Learned depth prior: thay phân phối độ sâu cố định bằng phân phối categorical học được từ phản hồi CE/perplexity, có entropy regularization giữ độ sâu đủ rộng cho KV sharing và ràng buộc giữ ngân sách độ sâu trung bình
  • Orthogonal input injection: chiếu phần trạng thái mang sang vuông góc với input, loại bỏ thành phần có thể làm input bị khuếch đại/triệt tiêu, để mỗi vòng lặp nhận input ở cường độ ổn định

Ví dụ đời thường: giống ngồi vào một chiếc ghế đã hết lắc: khi tư thế đã ổn, người ta không cần nhớ mình đã chỉnh lưng, nghiêng hông hay đạp chân thế nào; chỉ cần tư thế cuối cùng là đủ để biết ngồi có thoải mái không.

III. Main Results:​

  • KV sharing nhờ fixed point: với Huginn-style training, chia sẻ KV cuối gần như không đổi GSM8K; fixed-depth training lại sụt từ 50.6 xuống 21.2 GSM8K tại 1.6B. Truncated backprop b=2 giữ perplexity chỉ tăng khoảng 2–3% trong khi full BPTT fixed-depth vỡ ngoại suy và sharing.
  • Learned depth prior: từ 100M tới 1.6B, giảm perplexity và nâng downstream average so với prior PLN cố định; tại 1.6B, learned prior với KV cache nhỏ hơn 3× ngang downstream average của fixed-depth full-cache. Entropy term rất quan trọng ở 1.6B: bỏ nó làm GSM8K rơi 47.92 → 36.47.
  • So với baseline cùng tham số/cache: learned prior vượt Untied-4 ngày càng rõ theo scale, dẫn +2.2, +5.0, +8.9 downstream points ở S/M/L; vẫn thua Untied-12 nhưng khoảng cách PPL thu hẹp từ 13.6% xuống 6.3%.
  • OrthoInj: so với injection baseline mạnh nhất Parcae, giảm loss huấn luyện, giảm validation perplexity khoảng 0.3–1.4%, và nâng downstream average ở mọi scale.
  • Distilled prefill: student học trên khoảng một phần tư token pretraining của teacher, nhanh tới 1.79× trên prompt 8K, thua teacher khoảng 1.0–4.5 downstream points; khi so cùng latency, vượt teacher-prefill-2-loop +0.5–0.9.
  • RL rollout-state reuse: giảm khoảng 2× thời gian scoring + backward so với replay full BPTT, trong khi GSM8K pass@1 chỉ lệch trong khoảng 1.6 points.

IV. Conclusion & Future Works:​

Fixed point không chỉ giải thích vì sao hai trick cũ — truncated backprop và terminal KV sharing — hoạt động, mà còn mở ra hai lối tắt mới cho prefill và RL. Điểm mấu chốt là phải huấn luyện sao cho fixed point “dung nạp” được cách dùng suy ra, nên learned depth prior cần entropy để không tự bóp nghẹt supervision, còn injection cần loại bỏ thành phần trạng thái song song với input.

Hướng tương lai trong paper: thử student đã distill làm mô hình ngôn ngữ độc lập hoặc drafter cho speculative decoding, và khám phá liên hệ giữa tinh chỉnh trạng thái lặp với mô hình ngôn ngữ dạng flow.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ý tưởng “điểm cuối thay thế quỹ đạo” sang mô hình đa phương thức: ảnh, âm thanh hoặc video được lặp qua một khối trọng số chung, rồi dùng trạng thái hội tụ cuối để cắt bộ nhớ suy luận dài.
  2. Kết hợp prior độ sâu học được với adaptive computation time: mỗi token, đoạn văn hoặc yêu cầu tự chọn số vòng lặp dựa trên độ khó, thay vì một ngân sách lặp chung cho cả chuỗi.
  3. Nghiên cứu student prefill thành mô hình standalone hoặc drafter cho speculative decoding, kiểm chứng xem trạng thái cuối có đủ thông tin để giữ chất lượng sinh khi bỏ phần lớn vòng lặp.
  4. Áp dụng rollout-state reuse cho RL trên tác tử dài hạn: lưu trạng thái hội tụ cuối của mỗi bước để cập nhật chính sách mà không phát lại toàn bộ lịch sử tương tác.

2. Patent:​

  1. Trợ lý AI trên điện thoại dùng một khối suy luận lặp lại: thay vì lưu bộ nhớ cho từng vòng lặp, hệ thống chỉ giữ bộ nhớ cuối cùng của mỗi từ đã nạp, giảm RAM khi đọc tài liệu dài hoặc chat dài mà độ chính xác gần như không đổi.
  2. Tăng tốc nhập liệu dài trên smartphone bằng mô hình nhỏ “đoán trước” trạng thái cuối: khi người dùng dán một văn bản dài, mạng nhẹ học trước ước lượng kết quả sau nhiều vòng lặp, rồi chỉ cần một vòng kiểm chứng của mô hình lớn để bắt đầu trả lời nhanh hơn.
  3. Tiết kiệm pin cho chatbot có cơ chế tự phản biện: hệ thống tự chọn độ sâu lặp linh hoạt theo phản hồi — câu dễ dùng ít vòng, câu khó tăng vòng — đồng thời giữ phân phối độ sâu đủ rộng để bộ nhớ cuối vẫn dùng chung được khi mở rộng hội thoại.
  4. Huấn luyện tác tử điện thoại bằng cách tái sử dụng trạng thái cuối: khi tác tử đã thử một chuỗi hành động, thiết bị lưu trạng thái cuối thay vì phát lại toàn bộ chuỗi, giúp cập nhật chính sách nhanh gần hai lần trên các tác vụ gợi ý, đặt lịch hoặc soạn tin tự động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06833
ArXiv Abstracthttps://arxiv.org/abs/2610.06833
PDF Downloadhttps://arxiv.org/pdf/2610.06833.pdf
Github Repositoryhttps://github.com/ifm-ai/xllm-loop

13. Data Unlearning via Inverse Distillation (19 votes)​

Tác giả: Aleksei Leonov, Nikita Kornilov, Zhenhe Zhang, Evgeny Burnaev, Iaroslav Koshelev, et al.

Xuất bản lúc: 2026-09-28

Tag: Machine Unlearning, Diffusion Models, Flow Matching, Knowledge Distillation, One-Step Generators, Generative Models

I. Main Problem:​

Các mô hình sinh multi-step (diffusion, flow matching) tạo ảnh chất lượng cao nhưng:

  • Tốn kém khi suy luận (nhiều bước lặp)
  • Có thể ghi nhớ và tái tạo dữ liệu huấn luyện không mong muốn (khuôn mặt, ảnh vi phạm bản quyền) gây rủi ro pháp lý và đạo đức.

Machine unlearning nhằm xóa ảnh hưởng của một phần dữ liệu huấn luyện mà không phải train lại từ đầu. Bài toán khó:

  • Dữ liệu cần quên (forget set) đã hòa trộn sâu trong tham số mô hình, không thể 'gọi ra' bằng prompt
  • Dữ liệu giữ lại (retained set) thường không có sẵn để bảo vệ chất lượng
  • Các phương pháp cho mô hình one-step gần như vắng bóng, hoặc cần thêm classifier/feature extractor riêng.

II. Main Idea:​

Inverse Distillation Unlearning (IDU) — khung thống nhất vừa distill mô hình multi-step thành generator one-step, vừa xóa dữ liệu không mong muốn trong cùng một quy trình:

  • Xuất phát từ bài toán inverse distillation: tối ưu min-max để 'khôi phục' phân phối dữ liệu ẩn trong teacher f* bằng cách so khớp loss UM của teacher với fake model tốt nhất
  • Ý tưởng cốt lõi: thay vì distill toàn bộ phân phối gốc, IDU biểu diễn phân phối cần tối ưu là hỗn hợp p_mix = ρ·p_F + (1−ρ)·p_θ, gồm mẫu forget thật (p_F) và mẫu do generator sinh ra (p_θ)
  • Khi ρ = π (tỉ lệ dữ liệu quên thật), định lý chứng minh generator tối ưu chỉ còn học phần dữ liệu được giữ lại — vì 'phần quên' đã được mẫu forget bù trừ sẵn, mọi ảnh sinh ra giống forget sẽ khiến fake model lệch khỏi teacher và bị phạt
  • Huấn luyện luân phiên 2 bước: (1) cập nhật fake model trên cả hai nhánh forget + generated, (2) cập nhật generator bằng loss dạng SiD (Score identity Distillation)
  • Chỉ cần teacher đã train sẵn + mẫu forget; không cần dữ liệu retained, không cần classifier hay feature extractor; chỉ có 1 hyperparameter ρ

Ví dụ đời thường: giống việc dạy học sinh vẽ lại bộ sưu tập tranh nhưng 'cấm đề cập' một chủ đề — thay vì kiểm tra từng bức vẽ xem có lỡ vẽ chủ đề cấm không, ta cứ cho học sinh xem sẵn mẫu chủ đề cấm trước; khi so bài với bộ gốc, phần nào trùng với mẫu cấm đã có sẵn thì không cần vẽ lại, nên học sinh chỉ còn bù vào phần tranh được phép.

III. Main Results:​

  • Thử nghiệm trên MNIST và CIFAR-10 với hai teacher: Flow Matching (FM) và score-based (SiD/EDM-VP).
  • Tỉ lệ sinh ảnh lớp bị quên (FGR) giảm mạnh: FM đạt ≤ 0.56%, SiD ≤ 1.25% (teacher gốc ~10%)
  • Chất lượng retained (Retain FID) ngang hoặc tốt hơn baseline 'retrain từ đầu rồi distill' ở 3/4 cài đặt
  • Quên từng lớp riêng lẻ ổn định trên cả 10 lớp: trung bình FGR 0.16% (FM-MNIST), 0.84% (FM-CIFAR), 0.75% (SiD-CIFAR)
  • So với UOT-Unlearn (baseline one-step gần nhất): Retain FID tốt hơn rõ rệt (vd. 2.96 vs 9.90), FGR cũng thấp hơn, dù không cần feature extractor
  • Ablation ρ: ρ quá nhỏ → quên không sạch; ρ quá lớn → FID giảm (FM ρ=0.9 divergence), cần chọn cân bằng
  • Hạn chế: với FM, tỉ lệ sinh lớp quên có thể tăng lại sau ~20k bước — cần chọn checkpoint; SiD không gặp hiện tượng này

IV. Conclusion & Future Works:​

IDU là khung đầu tiên thống nhất unlearning + distillation cho unconditional flow matching và score-based models, chỉ dùng teacher và forget data mà vẫn giữ chất lượng retained tốt. Khác các phương pháp tối ưu forget/remain loss đối lập nhau, IDU mô hình hóa hai phân phối như một mixture nên tránh được multi-objective optimization.

Hướng mở rộng: kiến trúc FM lớn và ổn định hơn để ρ tiến gần tỉ lệ thật; áp dụng cho mô hình sinh quy mô lớn (ảnh/text-to-image); phân tích lý thuyết về độ hội tụ và ranh giới ρ an toàn khi không có retained data đánh giá.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng IDU cho mô hình sinh điều kiện text-to-image quy mô lớn: unlearning đồng thời concept/style bằng cách mixture hóa forget prompts và ảnh sinh trong quy trình distillation one-step.
  2. Nghiên cứu chiến lược chọn ρ tự động không cần retained data: ước lượng π từ phân phối teacher và mẫu forget kết hợp early-stopping dựa trên độ lệch fake model.
  3. Áp dụng inverse distillation unlearning cho bài toán tuân thủ GDPR/copyright: xóa khuôn mặt hoặc artwork cụ thể khỏi generator one-step trên thiết bị biên với ngân sách tính toán thấp.

2. Patent:​

  1. Ứng dụng camera điện thoại có chức năng xóa dữ liệu sinh ảnh: khi người dùng yêu cầu quên một bộ ảnh (vd. ảnh cũ bị lộ), ứng dụng chạy quy trình IDU để tinh chỉnh mô hình sinh ảnh cá nhân một bước, loại bỏ phong cách/khuôn mặt đó mà không làm giảm chất lượng ảnh còn lại.
  2. Dịch vụ đám mây 'quên dữ liệu theo yêu cầu' cho mô hình sinh ảnh: khách hàng gửi danh sách ảnh cần xóa bản quyền; hệ thống chỉ cần mô hình teacher và bộ ảnh đó để sản xuất generator one-step mới sạch bản quyền, giảm chi phí suy luận nhiều bước.
  3. Bộ lọc an toàn nội dung tích hợp sẵn trong quy trình tạo ảnh AI trên điện thoại: trong lúc nén mô hình diffusion nhiều bước thành mô hình một bước chạy local, đồng thời mixture thêm mẫu ảnh NSFW để mô hình cuối tự động không bao giờ sinh nội dung tương tự.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.36099
ArXiv Abstracthttps://arxiv.org/abs/2609.36099
PDF Downloadhttps://arxiv.org/pdf/2609.36099.pdf
Github RepositoryN/A

14. CANOPY: Adaptive-Granularity Evidence Compression for Multimodal RAG (19 votes)​

Tác giả: Hyojeong Yun, Jueun Kim, Wook-Shin Han

Xuất bản lúc: 2026-10-01

Tag: RAG, Multimodal RAG, Retrieval-Augmented Generation, Evidence Compression, Hierarchical Selection, Iterative Retrieval, LLMs

I. Main Problem:​

Multimodal RAG truy xuất văn bản, bảng, ảnh, video, nhưng chọn granularity khi retrieve không quyết định giữ lại bao nhiêu nội dung bên trong từng item:

  • Giữ nguyên item (paragraph, cả bảng, cả video) → tốn context, thêm nhiễu làm giảm chất lượng trả lời.
  • Cắt đều theo grain nhỏ (câu, ô, frame) → mất ngữ cảnh cần để hiểu evidence.
  • Các vùng khác nhau trong cùng item có thể cần mức chi tiết khác nhau → không thể fix một granularity cho cả item.

Các phương pháp nén evidence hiện có đều theo từng modality riêng (lọc câu cho text, chọn cell cho bảng, chọn frame cho video), thiếu một cơ chế chung thích ứng grain từng vùng trên item dị biệt, và thường tốn kém vì gọi LLM hoặc sinh summary.

II. Main Idea:​

CANOPY (Canonical Projection over Hierarchy) — nén evidence sau retrieve với grain thích ứng, chung cho mọi modality:

  • Xây hierarchy cho từng item: root = toàn item, lá = mảnh nhỏ nhất (câu cho text, hàng cho bảng, đoạn 30s cho video; ảnh giữ nguyên 1 node). Bảng với câu hỏi aggregate được giữ nguyên.
  • Node encoder fine-tune bằng gold evidence (LoRA, ranking loss pairwise) để điểm tương đồng query–vùng so sánh được cha–con với nhau.
  • Parent-relative refinement: tại mỗi node, nếu có con nào điểm ≥ cha thì đi xuống các con đó, cắt các nhánh còn lại; nếu không con nào đạt thì giữ cha. Các nhánh dừng độc lập ở độ sâu khác nhau → giữ nhiều vùng ở grain khác nhau trong cùng item, không cần gọi LLM khi prune từng node.
  • Critic-guided iterative retrieval: một LLM critic kiểm tra evidence đã nén; nếu thiếu thì phát hiện fact còn thiếu và tạo query bổ sung; item mới retrieve về được nén rồi mới thêm vào. Nén không hồi phục được evidence chưa từng retrieve, nên hai thành phần bổ trợ nhau.

Ví dụ đời thường: giống người đọc một cuốn sách dày tra cứu thông tin — không đọc trọn cuốn, cũng không xé rời từng dòng, mà lật mục lục, mở rộng đúng chương có liên quan, rồi chỉ đọc kỹ đúng đoạn cần thiết; nếu thấy thiếu thông tin thì lại tra thêm một cuốn khác.

III. Main Results:​

  • Đánh giá trên 5 benchmark (NQ, HotpotQA, OTT-QA, MMQA, LVBench) với corpus thống nhất ~33M item text/bảng/ảnh/video: CANOPY đạt average accuracy cao nhất so với Vanilla RAG, UniversalRAG, IRCoT.
  • Với Qwen3-VL-8B-Instruct: EM/F1 tốt nhất trên 4 benchmark không video (VD HotpotQA EM 49.6 so với 38.9 của Vanilla RAG, 47.4 của IRCoT).
  • Ablation: mức tăng accuracy chủ yếu đến từ iterative retrieval (bỏ nó, HotpotQA -10.1 EM, OTT-QA -14.9 EM); còn compression giảm 14.2–27.7% evidence token so với cùng pipeline không nén, accuracy tương đương (CI 95% chứa 0).
  • Fine-tuning encoder nâng tỷ lệ prune item từ ~30–40% lên 85–96%, tăng độ tách biệt vùng gold/non-gold; quyết định refine cha–con đúng tăng từ 28–43% lên 34–72%.
  • So với phương pháp nén theo modality (RECOMP, LongLLMLingua, AKS): tốt hơn ở budget token tương đương; S2G-RAG đạt F1 ngang với ít token hơn nhưng 5.6 LLM calls/câu so với 2.8 của CANOPY — CANOPY đánh đổi nhiều token hơn lấy ít lời gọi LLM hơn.

IV. Conclusion & Future Works:​

CANOPY chứng minh một quy trình nén evidence chung, thích ứng grain từng vùng có thể giảm đáng kể input cho reader trên kết quả retrieve đa modality, trong khi giữ accuracy nhờ kết hợp với retrieve bổ sung có định hướng. Điểm then chốt: cách huấn luyện node encoder bằng so sánh cha–con dựa trên gold evidence khớp với luật refine cố định, và prune chỉ cần so sánh embedding, không gọi LLM. Phần tăng accuracy chủ yếu đến từ iterative retrieval chứ không phải nén; nén giúp pipeline lặp không bị phình to evidence.

Hướng tương lai (suy luận): cải thiện critic để đánh giá sufficiency chính xác hơn, thuật toán cắt tỉa thay thế cho aggregate question, và mở rộng hierarchy cho ảnh (phân vùng không gian).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng parent-relative refinement cho ảnh bằng cách xây hierarchy không gian (vùng → patch) thay vì giữ nguyên node đơn, để nén được cả visual evidence ở grain địa phương.
  2. Nghiên cứu cách huấn luyện critic tự đánh giá sufficiency tốt hơn (calibrated confidence, học từ gold answer) thay vì dùng LLM zero-shot, nhằm giảm vòng retrieve thừa.
  3. Kết hợp adaptive compression với query routing/granularity selection ở tầng retrieve, tối ưu đồng thời 'retrieve cái gì' và 'giữ bao nhiêu trong đó' thành một bài toán chung.

2. Patent:​

  1. Trợ lý hỏi-đáp trên điện thoại cho tài liệu hỗn hợp (PDF, bảng, video): sau khi tìm được tài liệu liên quan, hệ thống tự cắt đúng đoạn văn, đúng hàng bảng hoặc đúng khoảnh khắc video liên quan đến câu hỏi, chỉ gửi phần đó lên mô hình trên đám mây — tiết kiệm dữ liệu, giảm pin và tăng tốc trả lời.
  2. Tính năng tóm tắt video thông minh trên ứng dụng di động: người dùng hỏi một câu về video dài, ứng dụng tự định vị và chỉ phát/đọc các đoạn 30 giây liên quan ở mức chi tiết khác nhau thay vì xử lý cả video.
  3. Hệ thống tra cứu cho doanh nghiệp có vòng hỏi lại tự động: khi evidence đã cắt vẫn chưa đủ trả lời, hệ thống tự sinh câu hỏi phụ, tìm thêm tài liệu mới rồi nén trước khi đưa vào câu trả lời cuối — giảm chi phí gọi mô hình lớn so với gửi toàn bộ tài liệu mỗi lượt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.00923
ArXiv Abstracthttps://arxiv.org/abs/2610.00923
PDF Downloadhttps://arxiv.org/pdf/2610.00923.pdf
Github RepositoryN/A

15. SearchJev: A Fast and Calibrated System-1 Model for Search Agents (18 votes)​

Tác giả: Congfeng Cao, Lipeng Zuo, Konstantinos Papakostas, Qiwei Xu, Songwei Xu, et al.

Xuất bản lúc: 2026-10-04

Tag: Search Agents, LLMs, System-1/System-2, Calibration, Retrieval-Augmented Generation, Efficiency

I. Main Problem:​

Các tác tử tìm kiếm dựa trên LLM phải liên tục ra những quyết định ngắn: đoạn văn này có liên quan không, đủ bằng chứng chưa, mở link nào tiếp theo? Hiện tại có hai hướng kém hiệu quả:

  • Mô hình riêng cho từng tác vụ (reranker, bộ phân loại độ phức tạp truy vấn): cần huấn luyện và giám sát riêng cho từng loại quyết định.
  • Dùng LLM sinh tự hồi quy để tạo phán đoán ngắn: chậm do giải mã tuần tự từng token, và độ tin cậy (confidence) thường bị lệch chuẩn (miscalibrated) — trong khi độ tin cậy đáng tin là cần thiết để quyết định khi nào chấp nhận phán đoán, khi nào cần suy luận sâu hơn.

II. Main Idea:​

SearchJev tách các quyết định ngắn trong tìm kiếm (System 1) khỏi suy luận và sinh văn bản (System 2), với ba thành phần:

  • Mô hình quyết định System-1: với mỗi quyết định được mô tả bằng một schema (câu hỏi + tập hợp lựa chọn hợp lệ), mô hình đọc trực tiếp logit của token nhãn tại vị trí đầu ra đầu tiên rồi chuẩn hóa softmax trên các lựa chọn — không cần sinh tự hồi quy, không cần phân tích JSON. Một mô hình duy nhất phục vụ nhiều loại quyết định.
  • SLCD (Soft-Label Learning for Calibrated Decisions): học phân phối xác suất từ nhãn mềm phản ánh độ không chắc chắn của giám sát, kết hợp cross-entropy + Brier loss (đều là proper scoring rules), rồi hiệu chuẩn nhiệt độ theo từng loại đầu ra (Choice/Score/Noul) trên tập validation.
  • Tác tử hai hệ thống: SearchJev xử lý các quyết định ngắn; cổng confidence chuyển các phán đoán không chắc chắn (dưới ngưỡng δ) sang System 2 (giữ vai trò lập kế hoạch, sinh truy vấn, viết câu trả lời cuối).

Kèm theo SearchDecision-Bench, benchmark thống nhất 6 loại quyết định tìm kiếm (routing, rewriting, relevance, sufficiency, navigation, verification) từ nhiều nguồn dữ liệu dị biệt.

Ví dụ đời thường: giống người thợ lành nghề nhìn qua là biết ngay 'cái này dùng được, cái này cần hỏi thêm' — quyết nhanh phần chắc chắn, chỉ nhờ chuyên gia tư vấn cho phần khó, thay vì mỗi lần đều hội ý đầy đủ.

III. Main Results:​

  • Trên SearchDecision-Bench (ID): SearchJev vượt các mô hình Qwen3.5 cùng cỡ dùng giải mã JSON tự hồi quy ở cả 6 nhóm quyết định; nhanh hơn 5.2–5.3× mỗi quyết định; giảm ECE trung bình 74.4% (bản 0.8B) và 40.7% (bản 4B); nhanh hơn Jev 1.13 đóng khoảng 7.2–9.6×.
  • Tổng thể tác tử (BrowseComp-Plus): tác tử hai hệ thống với SearchJev-0.8B/4B đạt độ chính xác 46%/54% so với 45% của System-2-only (27B) và 46% của Jev; nhanh hơn 3.7–4.7× thời gian tìm kiếm, giảm 3.3–4.8× token đầu ra của System 2, giảm số lần gọi System 2.
  • Khái quát hóa (OOD): vượt Qwen3.5 AR cùng cỡ ở routing (+11.9–12.1 điểm), rewriting, relevance; vẫn giữ lợi thế tốc độ 5.3–5.5×; tuy nhiên độ hiệu chuẩn chuyển giao phụ thuộc từng tác vụ, Jev vẫn chuẩn hơn ở navigation và verification.

IV. Conclusion & Future Works:​

Tách quyết định tìm kiếm ngắn ra khỏi quá trình sinh suy luận là cách hiệu quả để xây tác tử tìm kiếm chính xác hơn, nhanh hơn và có độ tin cậy đáng tin hơn. Việc đọc trực tiếp logit thay cho giải mã tự hồi quy loại bỏ overhead sinh chuỗi, còn SLCD + hiệu chuẩn theo loại đầu ra cho phép cổng confidence điều tiết sự phân chia công việc giữa hai hệ thống.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SearchJev sang các quyết định ngắn của tác tử đa phương thức (hình ảnh, bảng biểu, video), với schema điều kiện hóa trên trạng thái đa dạng và hiệu chuẩn confidence cho từng phương thức.
  2. Học cách tự điều chỉnh ngưỡng delegation δ theo ngữ cảnh tác vụ thay vì giữ cố định, cân bằng động giữa chi phí System 2 và chất lượng phán đoán.
  3. Kết hợp SearchJev với học tăng cường để tác tử học chuỗi quyết định tìm kiếm tối ưu end-to-end, thay vì chỉ đánh giá từng quyết định độc lập.

2. Patent:​

  1. Trợ lý tìm kiếm trên điện thoại với bộ não 'phản xạ': một mô hình nhỏ chạy ngay trên máy đọc trực tiếp xác suất các lựa chọn (đoạn này hữu ích không, đủ thông tin chưa) để quyết tức thì; chỉ khi độ tin cậy thấp mới gọi mô hình lớn trên đám mây, tiết kiệm pin và giảm độ trễ trả lời.
  2. Hệ thống duyệt web tự động cho doanh nghiệp: mô hình System-1 chấm điểm liên quan của từng trang kết quả và tự tin dừng tìm kiếm khi đủ bằng chứng, cắt mạnh chi phí gọi API mô hình lớn trong các pipeline thu thập thông tin.
  3. Cơ chế kiểm chứng tin tức trên điện thoại: mỗi khẳng định trong bài báo được chấm xác suất 'được bằng chứng hỗ trợ' ngay lập tức bằng mô hình cục bộ, các trường hợp mập mờ được chuyển cho công cụ suy luận sâu trước khi gắn nhãn tin thật/tin giả cho người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05107
ArXiv Abstracthttps://arxiv.org/abs/2610.05107
PDF Downloadhttps://arxiv.org/pdf/2610.05107.pdf
Github Repositoryhttps://github.com/EvoScientist/SearchJev

16. ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience (17 votes)​

Tác giả: Haodong Lu, Dong Gong

Xuất bản lúc: 2026-10-04

Tag: Test-Time Training, LLM Agents, Self-Distillation, Online Learning, LoRA, Reinforcement Learning, ALFWorld, WebShop, AppWorld

I. Main Problem:​

Agent dùng LLM khi triển khai thường gặp chuỗi tác vụ dài hạn liên tục, mỗi tác vụ chỉ cho một lần thực thi và một tín hiệu xác minh rất thưa ở cuối episode. Cách thích ứng kiểu in-context lưu reflection, memory hoặc skill dưới dạng text ngoài model, nên hiệu quả phụ thuộc vào truy xuất đúng kinh nghiệm và vào policy đã đóng băng thực thi đúng qua nhiều turn. Ngược lại, học trực tiếp hoặc tăng/cường hóa token từ một lần thử duy nhất làm policy drift, sinh nhiều action không hợp lệ, mất hành vi khả thi và cuối cùng tỉ lệ thành công thấp hơn cả base model.

II. Main Idea:​

ASCENT cho phép agent tự cải thiện ngay trong lúc test-time bằng cách chưng cất kinh nghiệm đã được môi trường xác minh. Với mỗi tác vụ, agent chỉ chạy một lần; nếu thành công, một bản sao LLM đóng băng ở checkpoint ban đầu đóng vai teacher, nhìn lại toàn bộ trajectory đã được chấp nhận như privileged hindsight và dự đoán phân phối token kế tiếp tại các vị trí giống student. Student chỉ cập nhật LoRA fast weights bằng forward KL để khớp toàn bộ phân phối từ vựng của teacher; trajectory thất bại thì bỏ qua. ASCENT còn lọc các turn có action không được môi trường thực thi khỏi thông tin privileged, giúp teacher thấy đường đi sạch hơn trong khi student vẫn học tại mọi vị trí phản hồi. Không cần teacher mạnh hơn, không cần reference solution, không cần critic, replay buffer hay nhiều attempt.

Cơ chế khác với imitation thuần: imitation chỉ đẩy token đã sinh lên/xuống, còn ASCENT khớp toàn phối token, nên các lựa chọn teacher ưu tiên được nâng lên ngay cả khi khác token agent đã chọn.

Ví dụ đời thường: giống người thợ sau khi làm xong một món ăn được khách chấp nhận, ngồi nhìn lại toàn bộ quy trình từ đầu với kết quả đã rõ, gạt bỏ những bước hỏng, rồi ghi nhớ vào tay nghề cho lần nấu tiếp theo.

III. Main Results:​

  • ALFWorld seen stream: với Qwen3.5-4B, ASCENT đạt 69.5% success vs base 46.4%, vượt online mạnh nhất MemP 63.6%; với 9B đạt 77.4% vs base 55.0% và MemP 67.9%. ASCENT cũng giảm số turn trung bình xuống còn 26.3 và 21.0 turn.
  • WebShop: ASCENT đạt strict-SR 41.9% với 4B và 41.5% với 9B, trong khi base chỉ 17.8% và 17.2%; mean-score đạt 62.4% và 56.8%, đồng thời giảm mạnh số turn xuống 17.8 và 26.7.
  • ASCENT vượt các baseline online adaptation như MemP, ACE, A-Mem, MemRL, Dynamic Cheatsheet, ReasoningBank và cả biến thể TT-OPSD dùng self-distillation nhưng teacher chỉ thấy turn hiện tại, cho thấy lợi ích của hindsight từ toàn bộ trajectory.
  • Các baseline imitation/reinforcement trực tuyến bị phá vỡ policy: entropy đầu phản hồi sụt, KL so với policy ban đầu tăng, valid-action rate giảm, sinh phản hồi dài và thành công kém hơn base về sau.
  • ASCENT cải thiện rõ các task khó như Heat/Cool, tích lũy lợi ích theo stream, transfer sang unseen scenes khi đóng băng trọng số và có thể tiếp tục học khi cho cập nhật tiếp; kết quả mở rộng được báo cáo thêm trên AppWorld ở appendix.

IV. Conclusion & Future Works:​

ASCENT chứng minh agent triển khai có thể củng cố kinh nghiệm đã xác minh vào trọng số policy trong một lần duyệt qua stream tác vụ, mỗi tác vụ chỉ một attempt, mà không cần giai đoạn train riêng, truy xuất memory lúc inference, teacher mạnh hơn hay nhiều lần thử. Điểm then chốt là dùng frozen initial model làm teacher ổn định để chưng cất hindsight từ trajectory được verifier chấp nhận, tránh drift của học trực tiếp trên token tự sinh.

Hướng mở: làm rõ lý thuyết về population target của distillation và giới hạn của sparse outcome selection; hiểu cơ chế tiết kiệm turn dưới ngân sách dài hạn; cân bằng giữa teacher đóng băng và teacher refresh theo policy đang tiến hóa; nghiên cứu đồng tiến hóa giữa memory dạng text và adapter tham số; mở rộng sang môi trường ứng dụng thật và tín hiệu xác minh nhiễu hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết Online Agentic Test-Time Training: đặc trưng population target của self-distillation từ verified trajectories, điều kiện ổn định khi batch size bằng 1 và giới hạn của binary outcome selection.
  2. Teacher refresh cho agentic test-time training: điều tra khi nào nên cập nhật bản sao teacher để bám policy tiến hóa mà không reintroduce drift, với ngưỡng KL, trusted regions hoặc trigger theo verifier failure.
  3. Co-evolution của textual memory và LoRA fast weights: kết hợp retrieval ngoài model với cập nhật tham số ASCENT, chẩn đoán khi nào lỗi do retrieval và khi nào do execution, có kiểm chứng trên ALFWorld/WebShop/AppWorld.
  4. Turn-efficiency cho long-horizon agents: chứng minh hoặc phản biện cơ chế mà hindsight-conditioned distillation làm giảm detour dưới turn budget, mở rộng sang sparse credit assignment không cần verifier từng bước.
  5. Từ môi trường mô phỏng tới deployment thật: ASCENT cho assistant điện thoại và workflow doanh nghiệp có xác minh cuối tác vụ, đánh giá robustness trước reward hacking và phân phối task lệch.

2. Patent:​

  1. Trợ lý điện thoại tự học sau mỗi tác vụ hoàn thành: khi người dùng xác nhận một chuỗi thao tác đã đúng, hệ thống cho bản sao đóng băng của trợ lý đọc lại chuỗi thành công, loại bỏ các bước bị ứng dụng từ chối, rồi tinh chỉnh một bộ adapter nhỏ để các lần tương tự sau nhanh và ít thao tác hơn.
  2. Agent chăm sóc khách hàng cập nhật ngay trong phiên làm việc: ticket được đánh dấu resolved trở thành mẫu học; các lệnh gọi công cụ thất bại bị loại khỏi phần gợi ý nội bộ; adapter mới áp dụng cho ticket tiếp theo mà không cần đưa toàn bộ lịch sử vào prompt hay tái huấn luyện hệ thống.
  3. Ứng dụng di động điều khiển ứng dụng khác: sau khi hoàn tất một quy trình nhiều bước như đặt hàng, đổi lịch hoặc sửa cài đặt, điện thoại dùng kết quả được xác nhận để cập nhật mô hình cục bộ/đám mây, ghi nhớ cách thao tác hợp lệ và bỏ qua đường đi dẫn tới màn hình lỗi.
  4. Robot gia đình tự cải thiện theo ca hoạt động: nhiệm vụ hoàn thành được xác nhận bằng trạng thái cuối, ví dụ đồ vật đã đúng vị trí; hệ thống chiếu lại quỹ đạo thành công, giữ các hành động môi trường chấp nhận và cập nhật trọng số nhỏ để lần sau giảm số bước thử.
  5. Hệ thống học nghề cho nhân viên vận hành phần mềm: mỗi ca xử lý thành công tạo thành một ví dụ đã xác minh; bản sao ổn định của trợ lý giải thích lại từng quyết định với kết quả cuối cùng làm đã rõ, rồi cập nhật khuyến nghị cho ca kế tiếp theo cùng một quy trình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05303
ArXiv Abstracthttps://arxiv.org/abs/2610.05303
PDF Downloadhttps://arxiv.org/pdf/2610.05303.pdf
Github RepositoryN/A

17. World Editing: Intervening on Executable Worlds at Increasing Depth (14 votes)​

Tác giả: Max Ku, Nok-Kan Law, Yu-Chien Tang, Shih-Ying Yeh, Ping Nie, et al.

Xuất bản lúc: 2026-10-01

Tag: World Models, Game Modding, LLM Agents, Coding Agents, Benchmark, Minecraft, Agent Evaluation

I. Main Problem:​

Nghiên cứu về AI và thế giới tương tác chủ yếu tập trung vào hai khả năng: tạo thế giới mới (world generation) và hành động trong thế giới (gameplay). Khả năng chỉnh sửa có chủ đích một thế giới đã tồn tại — đổi entity, đổi luật, đổi hệ thống mà vẫn giữ nguyên những phần không liên quan — hầu như chưa được nghiên cứu. Thiếu:

  • một định nghĩa hình thức cho bài toán này
  • một thang đo cho độ khó của can thiệp
  • một benchmark thực thi được để đánh giá các agent hiện tại.

II. Main Idea:​

Bài báo đề xuất world editing — can thiệp vào một thế giới thực thi sẵn có W để thu được W′ thỏa yêu cầu chỉnh sửa, đồng thời bảo toàn tính chất không liên quan. Trục cốt lõi là intervention depth — 4 mức can thiệp ngày càng ăn khớp (coupling) sâu với thế giới:

  • L1 Property: sửa tham số/tạo hình thành phần có sẵn (tăng damage vũ khí)
  • L2 Entity: thêm entity/nội dung mới tuân theo cơ chế cũ (thêm item, quái vật, NPC)
  • L3 Dynamics: sửa luật hành vi và tương tác (thêm cơ chế air-dash, hệ status-effect)
  • L4 System: sửa nhiều subsystem liên kết (thêm cây kỹ năng, thay đổi hệ kinh tế)

Độ sâu đo mức phối hợp giữa các phần của thế giới, không phải số dòng code. Tác giả hiện thực hóa bằng modding game thương mại: IGMWorld (môi trường agent sửa repo mod → build → chạy game → quan sát log → lặp, 3600s/task) và IGMBench (110 tác vụ, 1,161 tiêu chí state/hành vi, trên Minecraft + Terraria). Đánh giá 3 tầng: executability (build + load), world-edit correctness (check state, hành vi, regression so sánh thế giới gốc), visual consistency (TPIPS — so khớp ngữ nghĩa và phong cách nghệ thuật với asset gốc).

Ví dụ đời thường: giống thợ sửa nhà được giao 'đổi bếp nhưng giữ nguyên phòng khách' — vặn một cái vòi nước dễ, nhưng thay hệ ống nước chung cho cả nhà mà các phòng khác vẫn xài bình thường thì khó hơn nhiều, vì phải hiểu mọi đường ống móc nối vào nhau thế nào.

III. Main Results:​

  • Frontier agents đã có năng lực world editing đáng kể: cấu hình mạnh nhất (GPT-5.6 Sol) giải 78.2% tác vụ theo tiêu chí nghiêm ngặt (WSR), 94.8% theo từng tiêu chí riêng lẻ (CPR).
  • Độ tin cậy giảm theo độ sâu can thiệp: GPT-5.6 Sol tụt từ 96.3% WSR ở L1 xuống 48.1% ở L4; Claude Opus 4.8 từ 92.6% xuống 55.6%. Xu hướng này vẫn giữ nguyên khi kiểm soát số lượng tiêu chí → độ sâu không chỉ là 'nhiều yêu cầu hơn'.
  • Phần lớn thất bại xảy ra SAU khi build/load thành công → nút thắt chính là khiến thế giới hoạt động đúng như yêu cầu, không phải code biên dịch được.
  • Cơ cấu lỗi thay đổi theo độ sâu: ở L1 gần như chỉ sai ngữ nghĩa cơ chế; từ L2 trở đi, lỗi tương tác/tiến trình (nội dung mới xung đột hệ thống cũ) tăng lên 43% ở L4.
  • Visual consistency là điểm yếu riêng biệt: mọi cấu hình đều dưới 50% pass cả style lẫn semantics (asset gốc đạt ~0.80), và xếp hạng visual không tương quan với xếp hạng functional → world editing là năng lực đa chiều.
  • Phân tích trajectory: GPT/Claude tra cứu source game gốc trong 91–99% lượt chạy; Gemini dựa nhiều hơn vào tìm kiếm online.

IV. Conclusion & Future Works:​

World editing là một năng lực tách biệt với world generation và gameplay: biến đổi thế giới đã có mà vẫn giữ sự mạch lạc của nó. Intervention depth là trục tự nhiên để tổ chức các biến thể có kiểm soát — hữu ích cho huấn luyện agent, robustness, khái quát hóa trong tương lai. Game thực thi là testbed thực tế, và taxonomy áp dụng được cho các game khác (PEAK, Palworld, Starbound). Hạn chế/Hướng đi tiếp theo: kiểm chứng mở rộng cho can thiệp sâu (regression coverage còn tập trung ở L1), mở rộng sang game khác ngoài Minecraft/Terraria, thêm các phương thức chưa đánh giá (âm thanh, animation, narrative), và đánh giá lặp lại nhiều lần để ước lượng phương sai (hiện mỗi cặp model-task chỉ chạy 1 lần).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tăng cường regression testing và kiểm chứng preservation cho các can thiệp L3/L4 nhiều hệ thống tương tác, bao gồm kịch bản multiplayer và tương tác dài hạn.
  2. Mở rộng IGMBench sang các hệ sinh thái modding khác (PEAK, Palworld, Starbound) để kiểm chứng tính tổng quát của taxonomy intervention depth.
  3. Nghiên cứu mô hình agent có cơ chế lập kế hoạch theo độ sâu: tự phân rã yêu cầu L4 thành chuỗi can thiệp L1–L3 có thứ tự phụ thuộc, nhằm cải thiện độ tin cậy ở mức hệ thống.
  4. Phát triển module tạo asset thống nhất phong cách game (style-conditioned generation) để khép khoảng cách visual consistency hiện còn dưới 50%.

2. Patent:​

  1. Công cụ chỉnh sửa game trên điện thoại bằng ngôn ngữ tự nhiên: người chơi nói 'thêm quái vật rớt vật phẩm khi bị đánh', hệ thống tự tạo mod, build, chạy kiểm thử hành vi trong game và chỉ áp dụng khi mọi kiểm tra đạt.
  2. Hệ thống test tự động cho mod game thương mại: sau khi modder sửa code, hệ thống khởi động game, thực hiện các hành động kiểm thử có kiểm soát, so sánh trạng thái với bản gốc để phát hiện thay đổi ngoài ý muốn trước khi phát hành.
  3. Trình tạo nội dung game hỗ trợ AI trong app di động: người dùng vẽ/phác nội dung mới, ứng dụng tự so khớp phong cách nghệ thuật với hình ảnh có sẵn trong game và tạo texture/entity tương thích cơ chế chơi sẵn có.
  4. Nền tảng biến thể thế giới cho huấn luyện agent: tự động sinh hàng loạt phiên bản game với các mức can thiệp khác nhau (đổi luật, đổi hệ thống) nhưng bảo toàn phần còn lại, dùng làm dữ liệu huấn luyện/đánh giá agent chơi game.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.02331
ArXiv Abstracthttps://arxiv.org/abs/2610.02331
PDF Downloadhttps://arxiv.org/pdf/2610.02331.pdf
Github Repositoryhttps://github.com/vinesmsuic/IGMWorld

18. RobotUse: Allocating Computation, Context, and Decisions (14 votes)​

Tác giả: Junhoo Lee, Injun Baek, Seungyeon Kim, Suhyun Jeon, Minkyu Kim, et al.

Xuất bản lúc: 2026-10-04

Tag: Robotics, Robot Learning, LLM Agents, Agent Harness, Subagents, Motion Planning, Continual Learning

I. Main Problem:​

Các tác nhân robot hiện tại khó vừa giao việc thi hành phức tạp vừa giữ quyền quyết định vật lý cần sửa đổi. Giao diện kiểu skill/tool thường giấu các lựa chọn như điểm cầm, hướng tiếp cận, tư thế đặt; trong khi code-as-policy bắt mô hình tự viết và gỡ lỗi chương trình điều khiển. Hậu quả:

  • thất bại khó được nối với đúng lựa chọn gây ra thất bại
  • lịch sử tương tác dài làm ngữ cảnh quá tải
  • kinh nghiệm chạy thật khó được giữ lại thành hướng dẫn cho lần sau

II. Main Idea:​

RobotUse là một agent harness cho robot, tổ chức lại việc phân chia tính toán - ngữ cảnh - quyết định xung quanh việc đặt ý định và sửa hành động vật lý.

  • Main agent quyết định bằng ngôn ngữ: dựa trên mục tiêu, trạng thái hiện tại, playbook và các báo cáo trả về để chọn mục tiêu con tiếp theo.
  • Subagent làm việc trên ảnh: chỉ điểm mục tiêu, chọn candidate grasp, xem preview pose card rồi điều chỉnh tịnh tiến/xoay trước khi yêu cầu chuyển động.
  • Robot backend nhận spec đã chọn và lo phần hình học, motion planning, điều khiển; phản hồi khả thi hoặc kết quả thực thi.
  • Context handoff: chi tiết quan sát/chỉnh sửa giữ lại trong ngữ cảnh cục bộ của subgoal; main agent chỉ nhận báo cáo gồm kết quả, nguyên nhân, ảnh hiện tại và vấn đề chưa giải quyết.
  • Playbook + refiner: sau mỗi episode, refiner chỉ đọc lượt quyết định của main agent để cập nhật sổ tay hướng dẫn; model và backend điều khiển giữ nguyên.

Ví dụ đời thường: giống quản lý nhà hàng nói “dọn bàn 5”, nhân viên nhìn bàn chọn điểm nhấc khay và chỉnh tư thế, còn máy/bếp lo quỹ đạo di chuyển; quản lý chỉ nhận báo cáo “đã xong/vì sao trượt” và ghi vào sổ tay để lần sau phân công nhanh hơn.

III. Main Results:​

  • RoboLab: RobotUse đạt 45.00% success, cao hơn CaP-X 6.67 điểm phần trăm, và vượt mini-SWE 20.83%, Open Robot Skill 20.00%, π0.5 30.75%, Cosmos 3 42.25%. RobotUse dẫn nhóm overall, Simple và Complex; Cosmos 3 dẫn nhóm Moderate.
  • Robustness khi mất grasp tool: RobotUse giữ 75% hiệu suất gốc, từ 50.00% xuống 37.50%; CaP-X rơi từ 45.00% xuống 17.50%.
  • Tiết kiệm ngữ cảnh: so với single-agent cùng tools, RobotUse giảm mean input/call 4.2×, peak input 3.5×, tổng token 4.9×, API cost 2.4×; success tăng từ 40.8% lên 45.0%.
  • Học từ trải nghiệm: qua các lần sửa harness/playbook, success tăng từ 19/40 lên 22/40 trên cùng 40 tác vụ.
  • Robot thật Franka Panda: sau khi playbook đóng băng ở lần thành công đầu tiên của từng tác vụ, RobotUse đạt 100/100 trong 25 trial đánh giá cho Pick and Place, Stack Cube và Press Button; nó cũng chuyển bài học sang tác vụ mới rất nhanh.

IV. Conclusion & Future Works:​

Kết luận: robot agent được cải thiện mạnh khi harness delegate geometric computation/control, nhưng vẫn phơi bày các lựa chọn vật lý quan trọng để tác nhân có thể kiểm tra và sửa; đồng thời giữ chi tiết thực thi ở ngữ cảnh cục bộ và lưu kinh nghiệm thành playbook điều chỉnh hành vi sau này. Phần trích xuất không nêu hướng tương lai cụ thể; hướng mở rõ nhất là mở rộng cách học playbook từ phản hồi thật còn nhiễu và kiểm tra giới hạn chuyển giao quyết định cho tác vụ robot dài hạn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế phân bổ quyết định không gian giữa tác nhân ngôn ngữ và backend robot: khi nào nên để mô hình chọn điểm/tư thế, khi nào nên giao hoàn toàn cho motion planner.
  2. Phát triển phương pháp continual harnessing cho robot thật với phản hồi không hoàn hảo, tập trung vào cách ghi điều kiện thất bại, cách sửa grasp/approach và cách tránh ghi nhầm nguyên nhân.
  3. Đánh giá tiết kiệm token và chi phí API trong agent robot nhiều tầng, so sánh report ngôn ngữ, ảnh kết quả và lịch sử tương tác cục bộ để tìm dạng bàn giao ngữ cảnh tối ưu.

2. Patent:​

  1. Ứng dụng điện thoại điều khiển robot gia đình bằng chạm-chọn trên ảnh: người dùng chạm vật, chọn tư thế trên preview và kéo mũi tên chỉnh góc; điện thoại gửi lựa chọn đó cho robot, robot tự tính quỹ đạo và trả về ảnh kết quả cùng nguyên nhân nếu thất bại.
  2. Hệ thống tự sửa lỗi cho robot kho hoặc bếp thương mại: sau mỗi lần cầm/nhặt thất bại, phần mềm ghi lại điều kiện vật thể, điểm đã chọn và cách chỉnh vào sổ tay vận hành; lần sau hệ thống đề xuất điểm cầm hoặc hướng đặt khác mà không cần sửa code điều khiển.
  3. Module huấn luyện nhanh trên robot thật cho cửa hàng, nhà máy nhỏ hoặc trợ lý gia đình: robot làm thử một lần, hệ thống rút bài học để chuyển sang tác vụ mới như xếp hộp, ấn nút, đặt cốc; ứng dụng trên điện thoại hiển thị báo cáo ảnh và cho người vận hành duyệt trước khi cập nhật sổ tay.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04929
ArXiv Abstracthttps://arxiv.org/abs/2610.04929
PDF Downloadhttps://arxiv.org/pdf/2610.04929.pdf
Github Repositoryhttps://github.com/robotuse-team/RobotUse

19. Noise Out, Bias In: Targeted Bias Injection in Diffusion Language Models via Closed-Loop Activation Steering (14 votes)​

Tác giả: Sarim Hashmi, Mukul Ranjan, Abdelrahman Elsayed, Muhammad Umer Sheikh, Fahad Shamshad, et al.

Xuất bản lúc: 2026-10-05

Tag: Diffusion Language Models, Activation Steering, Bias Injection, Feedback Control, LLM Safety, AI Auditing, Benchmark Evaluation

I. Main Problem:​

Mô hình ngôn ngữ khuếch tán masked (dLLM) sinh văn bản bằng cách khử nhiễu nhiều lần trên các vị trí còn mask, nên một câu trả lời có thể được dự đoán lại nhiều lần trước khi bị chốt. Khác với mô hình autoregressive chỉ lộ phân phối đáp án đúng tại bước commit token, dLLM lộ xác suất đáp án ở mọi bước khử nhiễu, tạo ra kênh phản hồi mà kẻ tấn công có thể lợi dụng. Vấn đề bảo mật nghiêm trọng vì:

  • kẻ tấn công chỉ cần gray-box access qua forward hooks trên residual stream của serving stack
  • trọng số, prompt và sampler đều không đổi, nên audit checkpoint hoặc prompt pipeline không phát hiện
  • steering cường độ cố định kiểu open-loop không biết mỗi câu cần đẩy mạnh bao nhiêu: một giá trị quá yếu với câu “kháng”, quá mạnh với câu dễ bị vỡ output.

II. Main Idea:​

Targeted bias injection dùng một hướng steering cố định kết hợp phản hồi trong lúc decode. Offline, hướng steering được fit từ các cặp câu hỏi held-out hoàn thành bằng text của nhóm mục tiêu và nhóm comparator, lấy hiệu trung bình residual activation tại block rồi chuẩn hóa. Online, bộ điều khiển PI controller đọc xác suất đáp án mục tiêu sau mỗi forward pass và chỉnh cường độ α cho bước kế tiếp: thành phần proportional phản ứng sai lệch hiện tại, thành phần integral tích lũy lỗi quá khứ để đạt setpoint, có clipping và anti-windup. Khi xác suất còn thấp, tín hiệu đẩy mạnh; khi gần setpoint, tín hiệu giảm dần. Ví dụ đời thường: giống như lái xe không đạp ga cố định mà liên tục nhìn đồng hồ tốc độ rồi chỉnh ga/phanh cho xe đạt đúng vận tốc mong muốn.

III. Main Results:​

  • Trên LLaDA-8B-Instruct, Black-target BBQ nâng khoảng cách target–comparator từ 1.8 lên 16.7 điểm phần trăm; baseline fixed-strength mạnh nhất chỉ đạt gap 4.6. Tỷ lệ chọn target tăng từ 12.8% lên 30.4%, abstention giảm từ 76.3% xuống 48.1%, invalid output tăng từ 0% lên 7.8%.
  • Ablations cho thấy feedback là nguồn gây tăng chính: open-loop matched to PI mean chỉ đạt gap 3.5 nhưng corrupt 20.8% output; static α per item từ probe unsteered đạt 4.8; hindsight oracle đạt 8.4; PI vẫn vượt oracle 8.3 điểm với ít output hỏng hơn.
  • Trên SocialStigmaQA, attack nâng tỷ lệ chọn câu trả lời stigmatizing từ 17.6% lên 58.1%; strict parser ghi Δg +83.8 điểm, semantic parser +99.9 điểm, nhưng invalid output ở strict parser là 17.4% và kết quả phụ thuộc parser/rotation.
  • Chuyển giao: Arab đạt gap 22.3 (+22.5), Old đạt gap 31.8 (+37.2); Dream-7B chỉ cải thiện modest +4.2; LLaDA-MoE có tuned constant thắng feedback 2.3 điểm. Asian, Latino, White bị coi là failure vì vượt ngưỡng invalidity.
  • Phòng thủ: cùng loop với setpoint 0 giữ Black-target BBQ gap ở 0.2, invalidity 1.8%; cho thấy sign-inverted control ổn định nhưng chưa chứng minh đảo được bias lớn. Vị trí đáp án ảnh hưởng mạnh: PI gap 39.5 khi target ở vị trí A nhưng trung bình 5.3 ở B/C.

IV. Conclusion & Future Works:​

Bài báo chỉ ra denoising trajectory là một control channel mới trong dLLM: bias không chỉ nằm trong checkpoint mà là thuộc tính của hệ thống deployed, gồm cả serving stack và runtime hooks. Feedback thắng khi không có một cường độ cố định nào phục vụ mọi câu, nhưng mô hình lý thuyết là local, tuyến tính và chỉ áp dụng trước khi token commit. Hướng tương lai: mở rộng sang free-form generation nơi không có một token đáp án duy nhất để đo; kiểm tra serving-layer defenses; chuẩn hóa audit bằng cách xoay vị trí đáp án, thống nhất parser và theo dõi abstention/invalid output như tín hiệu cảnh báo sớm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Benchmark runtime bias audits cho dLLM: đánh giá endpoint đã deploy bằng câu hỏi ambiguous có rotation vị trí đáp án, báo cáo đồng thời target/comparator/abstention/invalid để phát hiện can thiệp dưới text interface.
  2. Control-theoretic analysis của decoding interventions: mô hình hóa phản hồi xác suất đáp án theo cường độ steering để dự đoán khi nào feedback vượt fixed-strength steering và khi nào một hằng số đã đủ.
  3. Adaptive debiasing bằng sign-inverted feedback: dùng cùng nguyên lý bộ điều khiển để kìm đáp án thiên lệch trong lúc sinh, kèm giới hạn rõ ràng về miền áp dụng và rủi ro evaluation bias.

2. Patent:​

  1. Ứng dụng audit trên điện thoại cho trợ lý AI: gửi các câu hỏi mập mờ mà đáp án đúng là “không đủ thông tin”, xoay thứ tự lựa chọn, rồi cảnh báo nếu mô hình đột ngột nghiêng về một nhân khẩu học hoặc tăng câu trả lời sai định dạng.
  2. Hệ thống tin cậy cho endpoint suy luận trên thiết bị/mobile gateway: chỉ cho phép các module đã ký được gắn hook vào luồng kích hoạt, đồng thời so sánh danh sách hook và dấu vết can thiệp với chính sách an toàn để chặn chỉnh sửa ngầm mà không đổi trọng số hay prompt.
  3. Bảng điều khiển giám sát chất lượng cho chatbot khách hàng dùng mô hình khuếch tán: liên tục đo mức chọn “không đủ thông tin”, tỷ lệ output hỏng, và độ lệch giữa hai nhóm đáp án để phát hiện hành vi thao túng phân biệt đối xử ngay tại thời điểm phục vụ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05894
ArXiv Abstracthttps://arxiv.org/abs/2610.05894
PDF Downloadhttps://arxiv.org/pdf/2610.05894.pdf
Github Repositoryhttps://github.com/Sarim-MBZUAI/dlm_bias

20. SEER: Self-Evolving Event Reasoning and Retrieval for Time Series Forecasting (13 votes)​

Tác giả: Mingtian Tan, Palash Goyal, Mihir Parmar, Sarkar Snigdha Sarathi Das, Chun-Liang Li, et al.

Xuất bản lúc: 2026-10-02

Tag: Time Series Forecasting, Retrieval-Augmented Generation, LLM Agents, Self-Reflection, Causal Reasoning, Event Retrieval

I. Main Problem:​

Dự báo chuỗi thời gian thực tế bị chi phối bởi các sự kiện bên ngoài (địa chính trị, chính sách, cú sốc cung ứng), nên các mô hình chỉ dựa vào số liệu lịch sử về cơ bản là không đủ. Cách tiếp cận RAG tĩnh dùng LLM để truy xuất tin tức ngoài gặp ba lỗi nghiêm trọng:

  • Tỷ lệ nhiễu cao: dòng tin thô chứa đầy bài viết lệch chủ đề, trùng lặp, gây hiểu lầm
  • Thiếu suy luận nhân quả: RAG chuẩn chọn tài liệu theo độ gần ngữ nghĩa, không theo tác động nhân quả đến chuỗi số liệu
  • Vòng hở: không tận dụng sai số dự báo để điều chỉnh cách truy xuất và lập luận ở lần sau

II. Main Idea:​

SEER đóng vòng lặp: sau mỗi lần dự báo, hệ thống so sánh kết quả với giá trị thật và biến sai số thành phản hồi để tự cải thiện ngữ cảnh đưa vào LLM (mô hình backbone được giữ đóng băng, chỉ tối ưu ngữ cảnh). Có hai cơ chế phản hồi tách rời:

  • Reflective Retrieval Memory: gồm retrieval memory (rút kinh nghiệm để viết lại truy vấn tìm kiếm, thu thập thông tin còn thiếu) và selection memory (lọc nhiễu khỏi tập sự kiện truy xuất được)
  • Persistent Causal Knowledge Base: chắt lọc từ các lần dự báo sai thành quy luật nhân quả khái quát của lĩnh vực (ví dụ cơ chế 'HBM cannibalization' khiến giá RAM tăng), tái sử dụng cho các mục tiêu khác nhau
  • Toàn bộ cập nhật bị chặn nghiêm ngặt theo thời gian (chỉ dùng dữ liệu đến mốc t), qua cơ chế fact-checking của LEAF, để loại look-ahead bias

Ví dụ đời thường: giống một nhà phân tích thị trường mỗi ngày ghi chép lại — hôm nào tìm tin sai kênh thì sửa cách tìm, hôm nào phán đoán sai nguyên nhân thì rút ra quy luật kinh nghiệm, để ngày mai hỏi đúng người, đọc đúng tin và suy luận đúng hơn.

III. Main Results:​

  • Vượt 15 baseline thuộc 3 nhóm (mô hình deep learning như PatchTST, LLM-based như Time-LLM, TSFM zero-shot như TimesFM 3.0, Chronos-2) trên 6 tập dữ liệu: giá RAM/SSD, điện, thời tiết, cổ phiếu, Polymarket
  • Giảm MSE tới 50.2% so với baseline tốt nhất (RAM 6 tháng), giảm 16.4% trên điện; cải thiện MSE vượt MAE cho thấy SEER đặc biệt hiệu quả trong các cú sốc đột ngột
  • Ưu thế giữ vững ở horizon dài (9 tháng): giảm MSE 24.3% (RAM), 19.6% (SSD)
  • Bất biến với backbone: cải thiện +10.5% (Claude 4.8 Opus) và +11.4% (Gemini 3.1 Flash) so với LLM + Event RAG thuần; tri thức nhân quả là thành phần quyết định
  • Đánh giá chất lượng lập luận bằng LLM-as-a-judge: SEER thắng 55.6% so với RAG baseline (net win +38.7%)
  • Khái quát hóa ngoài chuỗi thời gian: Polymarket (Brier score 0.2167 so với 0.3115) và Selective Stock Forecasting (accuracy 51.39% so với 37.82%), nhờ tự biết lúc nào nên kiêng dự báo khi tín hiệu quá nhiễu

IV. Conclusion & Future Works:​

SEER chứng minh rằng điều kiện hóa sự kiện cho dự báo nên là quá trình vòng kín tự tiến hóa, không phải truy xuất một lần: phản hồi sai số tách rời thành trí nhớ truy xuất (tìm đúng tin) và cơ sở tri thức nhân quả (suy luận đúng cơ chế), đồng thời cho dự báo có thể giải thích được. Khuôn kháp mô hình-agnostic và chuyển được sang các bài toán dự báo hướng sự kiện rộng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách tự động chắt lọc quy luật nhân quả lĩnh vực từ chuỗi các lần dự báo sai, thay vì lưu trữ nguyên văn các tình huống đã gặp, để nâng cao khả năng khái quát hóa giữa các lĩnh vực chuỗi thời gian khác nhau.
  2. Mở rộng cơ chế reflective retrieval sang các nguồn dữ liệu phi văn bản (báo cáo tài chính, hình ảnh vệ tinh, dữ liệu cảm biến) để dự báo sự kiện trong nông nghiệp và logistics.
  3. Kết hợp cơ chế tự kiêng dự báo (abstention) của SEER với hiệu chuẩn độ tin cậy để xây dựng hệ thống cảnh báo rủi ro tài chính chỉ đưa ra khuyến nghị khi tín hiệu nhân quả đủ mạnh.

2. Patent:​

  1. Ứng dụng dự báo giá linh kiện điện tử trên điện thoại: người dùng chọn sản phẩm (RAM, SSD); ứng dụng tự động tìm tin tức thị trường, ghi nhớ những lần dự báo lệch để lần sau tìm đúng nguồn tin và áp dụng quy luật cung-cầu đã học, đưa ra khuyến nghị 'nên mua hay đợt' kèm giải thích.
  2. Trợ lý dự báo hóa đơn điện sinh hoạt: ứng dụng trên điện thoại theo dõi tin thời tiết, tin điều chỉnh giá điện; sau mỗi tháng đối chiếu hóa đơn thật, tự học quy luật ảnh hưởng của nắng nóng/chính sách để cảnh báo trước các đợt tiêu thụ tăng đột biến.
  3. Hệ thống gợi ý thời điểm giao dịch cổ phiếu cá nhân: ứng dụng mỗi ngày chọn ra tối đa vài mã cổ phiếu có tín hiệu sự kiện rõ ràng, tự biết kiêng không khuyến nghị khi thị trường quá nhiễu, đồng thời giải thích bằng ngôn ngữ đời thường lý do đằng sau từng gợi ý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04109
ArXiv Abstracthttps://arxiv.org/abs/2610.04109
PDF Downloadhttps://arxiv.org/pdf/2610.04109.pdf
Github Repositoryhttps://github.com/BennyTMT/SEER

21. PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training (13 votes)​

Tác giả: Mingyu Liu, Chonghao Sima, Tianjian Feng, Hanqing Wang, Cong Chen, et al.

Xuất bản lúc: 2026-10-03

Tag: Vision-Language-Action, Robotics, Shortcut Learning, Imitation Learning, Behavior Cloning, Data Augmentation, Robot Manipulation, Model Evaluation

I. Main Problem:​

Các chính sách Vision-Language-Action (VLA) có thể hoàn thành tác vụ mà bỏ qua bằng chứng thật sự cần thiết cho quyết định, nhờ các modality shortcuts — quy tắc thống kê có sẵn trong bộ dữ liệu demo thành công khiến một dấu hiệu đơn lẻ đủ để dự đoán hành động:

  • Salience capture (chọn vật nào): vật gần camera cổ tay lấn át vật được chỉ định trong lệnh.
  • Noun lock-in (ngữ nghĩa nào áp dụng): danh từ quen thuộc kích hoạt động tác từng ghép với nó, dù động từ đã đổi ("push the bowl" vẫn nắm lấy bát).
  • Motor inertia (di chuyển thế nào): gập kẹp xong là nhấc lên, dù kẹp hụt.

Điểm nghẽn: thêm dữ liệu cùng loại không gỡ được shortcut — vì tương quan shortcut/evidence vẫn bảo toàn, Behavior Cloning chỉ thưởng khớp hành động, không thưởng dùng đúng bằng chứng. Task success không phân biệt được hai chính sách này.

II. Main Idea:​

PerturBot là ba can thiệp dữ liệu lúc training, không đổi mô hình hay inference, mỗi cái nhắm vào một mắt xích của cơ chế shortcut:

  • V — wrist-view perturbation: chèn vật gây nhiễu hợp lý ngoài đường gắp vào ảnh camera cổ tay, làm dấu hiệu nổi bật không còn đủ để quyết định, trong khi hành động ghi nhận vẫn đúng (label miễn phí). Chỉnh sửa nào đổi mục tiêu hoặc hình học tiếp xúc thì bị loại.
  • C — caption enrichment: dùng VLM tách demo thành kỹ năng nguyên tử (grasp, lift, move, put down) và viết lại lệnh chi tiết hóa thuộc tính vật, quan hệ không gian, điểm gắp, thao tác yêu cầu — biến bằng chứng thành dễ dùng; không bịa động tác chưa có trong dữ liệu.
  • R — trajectory expansion: cắt các đoạn chuyển động ngẫu nhiên và thực thi thất bại đã ghi hình, gán lại nhãn mô tả hành vi cục bộ thật của đoạn đó (không phải mục tiêu ban đầu), làm quyết định thật sự có biến thiên trong dữ liệu — nhưng không tự tạo được kỹ năng phục hồi.

Kèm theo GroundFscore: điểm chẩn đoán offline, ghép từng đầu vào với hai kiểu chỉnh sửa — null edit (hành động không được đổi) và causal edit (hành động phải đổi một lượng đã biết) — rồi lấy F-score giữa "không nhúc nhích khi không cần" và "phản ứng đúng khi cần"; chính sách phớt lờ đầu vào bị chấm 0.

Ví dụ đời thường: giống huấn luyện nhân viên thu ngân — đặt thêm vài món hàng trưng bày cạnh máy quét nhưng giữ nguyên hóa đơn đúng (V), đọc rõ lệnh "gói chiếc cốc xanh bên trái khay, bằng thân cốc" thay vì "lấy cốc" (C), và cho tập cả những đoạn ngắn thực tế như mở ngăn kéo, trả hàng lại (R) — để buộc người đó phải đọc đơn hàng thật thay vì phản xạ với thứ sáng nhất trước mặt.

III. Main Results:​

  • General PnP trên robot thật (backbone π0.5, 50 ca kiểm thử): success 42% → 84% (gấp đôi baseline), GroundFscore ba họ đều tốt nhất (0.62 / 0.57 / 0.53); tỉ lệ lỗi salience capture 68% → 20%, motor inertia 82% → 24%.
  • Hiệu ứng từng thành phần đúng mục tiêu: V nâng GF-visual 0.28→0.51, C nâng GF-language 0.24→0.47, R nâng GF-action 0.19→0.44; bỏ bất kỳ thành phần nào mất 16–20 điểm success.
  • RoboTwin 2.0: cải thiện mọi cột; mạnh nhất ở cảnh randomized khi train chỉ trên clean (+12.2 điểm, 46.0→58.2), kết quả randomized tốt nhất trong các hệ thống được liệt kê.
  • Scaling: PerturBot tăng 16.2 điểm/mỗi lần gấp đôi dữ liệu so với 6.0 của fine-tuning; chỉ cần 1/4 dữ liệu đã ngang fine-tuning với gấp đôi dữ liệu. Tương quan success–GroundFscore: ρ=0.93 (PerturBot) vs 0.41 (fine-tuning — thêm data chỉ thêm thành thạo, không thêm dùng bằng chứng).
  • GroundFscore dự đoán lỗi online tốt nhất: ρ=0.72, vượt task success (0.31); hai thành phần riêng lẻ của điểm đều kém hơn hẳn.
  • Đối chứng: bỏ camera cổ tay giảm lỗi salience capture nhưng mất 16 điểm success và GF-visual tụt xuống 0.16; các control cùng ngân sách (noise, paraphrase, decoy đặt bừa, demo thành công thêm) không di chuyển chỉ số mục tiêu — chứng tỏ lợi ích đến từ cơ chế, không phải lượng data.

IV. Conclusion & Future Works:​

Bài học cốt lõi: muốn scaling robot data lành mạnh phải đổi thứ được scale — mở rộng không chỉ số lần lặp hành vi quen thuộc mà cả phạm vi các quyết định phụ thuộc vào cảnh, lệnh và kết quả quan sát được. GroundFscore bổ sung task success bằng cách chẩn đoán offline chính sách có đang cải thiện vì đúng lý do hay không.

Hạn chế: cần caption chi tiết và đoạn segment gán nhãn khớp hành vi thật; dữ liệu ngẫu nhiên/thất bại phải được ghi hình; relabeling không tạo được hành vi chưa từng ghi (như phục hồi sau thất bại).

Hướng mở: phục hồi sau lỗi đòi hỏi các đoạn corrective continuation được ghi thật và đánh giá dưới lệnh gốc — là bước tiếp theo để nối PerturBot với khả năng tự sửa lỗi.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung perturbative training sang navigation và mobile manipulation: xác định các họ shortcut riêng của bài toán di chuyển (dấu hiệu đường đi, mệnh đề địa danh quen thuộc, quán tính vận tốc) và thiết kế can thiệp dữ liệu tương ứng.
  2. Thuật toán thu thập chủ động dữ liệu thất bại: chọn đoạn segment ngẫu nhiên/thất bại nào mang lại mức tăng dùng bằng chứng lớn nhất, thay vì thu bừa — curriculum cho dữ liệu R.
  3. GroundFscore cho huấn luyện robot đa nền tảng và học liên tục: điểm chẩn đoán offline thống nhất giữa các embodiment, theo dõi sự suy giảm dùng bằng chứng khi chính sách liên tục gặp tác vụ mới.

2. Patent:​

  1. Ứng dụng điện thoại tạo dữ liệu huấn luyện robot: quay video từ góc camera cổ tay, ứng dụng tự chèn vật thể ảo hợp lý ngoài đường gắp rồi xuất bộ dữ liệu tăng cường, giúp robot gia đình học cách bỏ qua vật gây nhiễu mà không cần sửa phần mềm điều khiển.
  2. Dịch vụ đám mây tự viết lại lệnh điều khiển cho video demo robot: tải video lên, hệ thống cắt thành các động tác nguyên tử và sinh chỉ dẫn chi tiết nêu rõ vật nào (màu sắc, vị trí, điểm cầm) và thao tác nào, làm đầu vào huấn luyện chuẩn hóa.
  3. Hệ thống tái chế lần chạy hỏng của robot: ghi lại các lần thất bại, tự cắt thành đoạn ngắn, tự gán nhãn mô tả hành vi thực sự của từng đoạn và đưa ngược lại quá trình huấn luyện, biến dữ liệu vứt đi thành dữ liệu có giá trị.
  4. Ứng dụng điện thoại kiểm tra sức khỏe chính sách robot: gửi các phiên bản chỉnh sửa ghép cặp của cảnh (thêm vật nhiễu, đổi một từ trong lệnh, giả lập kẹp hụt) cho chính sách đang chạy và chấm điểm xem nó có phản ứng đúng hay không — như xét nghiệm máu định kỳ cho robot trước khi bàn giao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04616
ArXiv Abstracthttps://arxiv.org/abs/2610.04616
PDF Downloadhttps://arxiv.org/pdf/2610.04616.pdf
Github Repositoryhttps://github.com/aim-uofa/PerturBot

22. Certification of Real Images through Calibrated Content Authentication (13 votes)​

Tác giả: Sarim Hashmi, Abdelrahman Elsayed, Mohammed Talha Alam, Samuele Poppi, Nils Lukas

Xuất bản lúc: 2026-10-05

Tag: Deepfake Detection, Generative Models, Content Provenance, AI Image Forensics, Certified Detection, Calibration, Adversarial Robustness

I. Main Problem:​

Deepfake detector truyền thống suy giảm nghiêm trọng theo thời gian khi các generator mới mạnh hơn liên tục ra đời:

  • Đánh giá 20 detector với 10 generator phát hành 2022–2026: độ chính xác tốt nhất tụt từ 99.5% xuống 76%.
  • Chỉ cần nhiễu đối kháng nhỏ (ℓ∞, ε=8/255), cả 20 detector đều dưới 2% — detector mạnh nhất (D3) chỉ còn 1.75%.
  • Vấn đề căn bản hơn: content đơn thuần không thể quyết định provenance, vì một generator đủ mạnh có thể tái tạo chính xác nội dung thật (ví dụ qua memorization). Nhãn dự đoán sai còn nguy hiểm hơn không dự đoán — mỗi lỗi đều nuôi liar's dividend (nội dung thật bị bác bỏ là giả).

II. Main Idea:​

Thay vì hỏi "ảnh này thật hay giả?", tác giả hỏi ngược lại: "generator đã biết có tái tạo được ảnh này một cách trung thực không?" (resynthesis/inversion qua RF-Inversion):

  • Nếu tái tạo được trung thực → ai cũng có thể tạo ra ảnh này → độ tin cậy của nó có thể bị phủ nhận (plausibly deniable) → detector từ chối phán quyết (abstain), trả về reconstruction làm bằng chứng công khai.
  • Nếu mọi generator đều tái tạo thất bại → ảnh được certify là thật đối chiếu bộ generator G.
  • Độ trung thực reconstruction được đo bằng hợp 4 tín hiệu bổ trợ (PSNR, SSIM, 1−LPIPS, CLIP similarity) gộp thành A-index, qua hàm logistic.
  • Ngưỡng được calibrate sao cho ≤1% ảnh do generator tạo bị certify nhầm; có hai ngưỡng: safety (người dùng thường) và security (bị tấn công ℓ∞, chặt hơn) — tính bằng cách chạy chính các cuộc tấn công PGD lên mẫu calibration trước khi triển khai.
  • Generator mới chỉ cần recalibrate (không cần retrain), giúp chứng chỉ có ngày hết hạn và có thể thu hồi.

Ví dụ đời thường: giống cách xác minh một tờ giấy có phải bản in của xưởng in hay không — không cố phân biệt giấy thật/giấy giả bằng mắt, mà đưa lại cho chính xưởng in "in lại thử theo đúng công thức của anh"; nếu in ra giống hệt thì không ai dám bảo đó là giấy thật, còn xưởng nào cũng in khác xa thì có thể đóng dấu xác thực, và mức "khác xa" đến đâu được hiệu chuẩn trước để biết tỉ lệ sai tối đa là 1%.

III. Main Results:​

  • Tại FPR cố định 1%: phương pháp giữ được recall (TPR) trên ảnh thật; hầu hết baseline 20 detector rơi về near-zero recall dù default accuracy tới 93%. Nhiều baseline như UFD, FatFormer phân loại đúng chỉ 1/1000 ảnh giả.
  • Robustness tấn công: PGD ℓ∞ (ε=8/255) đánh sập mọi baseline xuống 0–1.75%, nhưng chỉ nâng ngưỡng security từ 0.0365 lên 0.038 (SD3-Medium) và vẫn giữ bound 1%. 23/24 biến đổi ngữ nghĩa thông thường (crop, overlay, JPEG, nhiễu) không vượt ngưỡng.
  • Attacker best-of-100 + PGD (mất ~19.5 phút): chỉ nâng điểm ảnh từ 0.0148 lên 0.0154, vẫn xa ngưỡng 0.0365 — chứng chỉ không bị đánh cắp.
  • Erosion của post-hoc verifiability: trên 3.000 ảnh Reddit, SD2.1 (2022) không tái tạo được 1.116 ảnh; generator 2024 chỉ không tái tạo được 55–79 ảnh — phần ảnh có thể certify giảm hơn 14 lần trong 2 năm.
  • Video: trung bình điểm theo frame (k=8) giữ tín hiệu reconstruction, vượt mọi baseline video (≤0.615 AUC).
  • Chi phí: 11.67 giây/ảnh/generator (1 GPU) — phù hợp xác minh pháp y, không phải sàng lọc quy mô lớn.

IV. Conclusion & Future Works:​

Công trình cho thấy sound detection (có kiểm chứng với tỉ lệ lỗi đo được) khả thi hơn là detector hoàn hảo: chấp nhận abstain để đổi lấy chứng chỉ thật có thể tin cậy. Phương pháp double duty như công cụ đo sự xói mòn của khả năng xác thực post-hoc: mỗi generator mới giảm mạnh tập nội dung còn certify được, và việc recalibrate trước sai lầm cho phép dự báo xu hướng này. Hạn chế thừa nhận: ngưỡng chỉ chịu được đúng lớp tấn công calibration; optimizer mạnh hơn, lớp tấn công mới hay generator vượt khỏi trắc quyền truy cập (white-box) có thể vượt ngưỡng — hướng đối phó là recalibrate liên tục theo từng tấn công mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp certification hình ảnh không cần white-box access toàn bộ, kết hợp suy luận qua các giao diện đen (black-box) hoặc API để mở rộng phạm vi bộ generator trong tập G.
  2. Mở rộng calibration sang lớp tấn công chung quát hơn (biến đổi không gian, tấn công theo ngữ nghĩa, chuỗi xử lý thực tế trên mạng xã hội) thay vì chỉ ℓ∞, xây dựng lý thuyết bound cho mọi lớp biến đổi.
  3. Nghiên cứu tối ưu tính toán cho pipeline inversion–resynthesis (ví dụ kỹ thuật gần đúng một lần qua, model rút gọn, caching) để certification đạt tốc độ sàng lọc hàng loạt trên nền tảng mạng xã hội.

2. Patent:​

  1. Ứng dụng điện thoại/ nền tảng kiểm chứng ảnh 'có khả năng bị làm giả hay không': người dùng đăng ảnh viral; server chạy lại ảnh qua từng mô hình tạo ảnh hiện có, chấm độ giống nhau, và chỉ đóng dấu 'xác thực' khi không mô hình nào tái tạo được — kèm tỉ lệ lỗi tối đa 1% đã hiệu chuẩn trước.
  2. Hệ thống cảnh báo nội dung tin giả cho mạng xã hội: ảnh bị gắn cờ sẽ được đưa qua pipeline resynthesis; nếu tái tạo được thì hiển thị cảnh báo 'có thể do AI tạo' kèm ảnh tái tạo làm bằng chứng công khai cho người xem tự đánh giá.
  3. Module dấu thời gian hết hạn cho chứng chỉ xác thực ảnh trên điện thoại: mỗi chứng chỉ ghi rõ bộ mô hình đã kiểm tra và ngày phát hành; khi có mô hình tạo ảnh mới, hệ thống tự thu hồi và cấp lại chứng chỉ sau khi chạy lại hiệu chuẩn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05870
ArXiv Abstracthttps://arxiv.org/abs/2610.05870
PDF Downloadhttps://arxiv.org/pdf/2610.05870.pdf
Github Repositoryhttps://github.com/Sarim-MBZUAI/content-authentication

23. When to Switch: Reliable Action-Chunk Extension for Vision-Language-Action Models (13 votes)​

Tác giả: Seonghoon Yu, Dongwon Kim, HyungRok Jung, Yoonjae Baek, Byung-kwan Lee, et al.

Xuất bản lúc: 2026-10-05

Tag: Vision-Language-Action, Robotics, Flow Matching, Action Chunking, Robot Manipulation, Imitation Learning

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) như π0.5 hay GR00T suy luận rất tốn kém, khiến robot phải dừng lại chờ giữa các lần gọi chính sách — hiện tượng stop-and-go làm gián đoạn chuyển động và kéo dài thời gian hoàn thành tác vụ.

Cách giải quyết tự nhiên là kéo dài action chunk (dự đoán nhiều hành động liên tiếp mỗi lần suy luận), nhưng dự đoán càng xa về tương lai thì càng mất độ tin cậy do thiếu phản hồi trung gian (open-loop), và tỉ lệ thành công giảm dần khi chunk vượt ngưỡng nhất định.

II. Main Idea:​

Phân tích cho thấy lỗi hành động không phân bố đều trong chunk mà tập trung bùng lên tại các điểm chuyển tiếp giữa các subskill (tiếp cận → nắm → nâng → di chuyển), và đỉnh lỗi này càng cao khi chunk càng dài. Từ đó, tác giả đề xuất RACE (Reliable Action-Chunk Extension) gồm hai giai đoạn:

  • Dự đoán transition timing: một lượt khử nhiễu phụ một bước (one-step denoising) trích xuất đặc trưng từ action expert, qua cross-attention với đặc trưng VLM để dự đoán xác suất điểm chuyển tiếp trong chunk (nhãn tự động lấy bằng thuật toán PELT change-point detection từ demonstration).
  • Sinh hành động điều kiện hóa theo timing: đưa prior này vào mọi bước khử nhiễu qua token-wise modulation của các lớp adaptive RMSNorm, với cổng học được αk kiểm soát độ mạnh từng bước.

Chỉ action expert được huấn luyện nhẹ, VLM đóng băng; truyền suy luận chỉ thêm một lượt phụ và một prediction head.

Ví dụ đời thường: giống như một tài xế đi qua đoạn đường giao nhau nhiều — thay vì dán mắt vào toàn bộ đường dài, anh ta chỉ cần nhớ trước đâu có ngã rẽ để chuẩn bị giảm ga, còn đoạn thẳng trơn thì chạy thoải mái.

III. Main Results:​

  • Trên VLABench: RACE vượt fine-tuning cùng chunk length ở mọi độ dài (H=10/15/20); với chunk 2× dài hơn vượt các VLA state-of-the-art gần đây (ACoT-VLA, AutoHorizon, PACE, GridS...); với 4× dài hơn vẫn cạnh tranh, đạt tốc độ suy luận nhanh hơn ~2-4× so với π0.5 gốc.
  • Trên RoboCasa-H50: RACE cao hơn fine-tuning ở mọi H exec (66.8% vs 65.0% ở H=10; 64.0% vs 60.8% ở H=20), và thắng ACoT-VLA fine-tuned cùng độ dài.
  • Trên LIBERO: vượt fine-tuning ở mọi chunk length và thắng PolicyTrim.
  • Robot thật (pick-and-place): dùng chunk 4× dài hơn giảm idle time ~5× (2.11s → 0.41s), success rate 66% vs 48% so với fine-tuning cùng chunk length.
  • Ablation: mỗi thành phần (prediction head, timing loss, conditioning, auxiliary loss) đều đóng góp; lợi ích tăng theo số lượng transition trong tác vụ; dịch prior sai 1 bước cũng làm giảm độ chính xác → mô hình thực sự dựa vào vị trí transition, không chỉ vào sự hiện diện của prior.

IV. Conclusion & Future Works:​

Bài báo chỉ ra timing của điểm chuyển subskill là rào cản cốt lõi khi kéo dài action chunk, và RACE giải quyết bằng cách vừa học để action expert nhạy với transition, vừa điều kiện hóa quá trình sinh theo timing dự đoán. Kết quả là thực thi chunk dài hơn 4× với độ tin cậy cao hơn fine-tuning, cắt idle time trên robot thật ~5×, và tương thích bổ sung với asynchronous execution cũng như các kỹ thuật suy luận VLA hiệu quả khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp RACE với asynchronous execution để cân bằng động giữa độ dài chunk và độ trễ suy luận trong triển khai robot thời gian thực đa tác vụ.
  2. Mở rộng transition-timing prediction cho chính sách điều khiển đa tay robot và các tác vụ có tương tác tiếp xúc phức tạp, nơi cấu trúc subskill mờ và nhiều tầng.
  3. Tự động phát hiện transition end-to-end thay vì dùng PELT offline, cho phép mô hình tự học định nghĩa subskill trong quá trình huấn luyện.

2. Patent:​

  1. Hệ điều khiển robot công nghiệp tự dự báo điểm chuyển động tác: trước mỗi chu kỳ điều khiển, mô hình chạy một lượt phân tích ngắn để xác định bước nào robot sẽ đổi hành động (nắm → nâng → đặt), từ đó lập trình chuyển động trơn tru hơn, giảm thời gian robot đứng im chờ tính toán trên điện thoại/dây chuyền.
  2. Ứng dụng trợ lý robot gia đình điều khiển qua điện thoại: robot dự đoán trước chuỗi hành động dài (đi tới bàn, nắm cốc, mang tới bếp) trong một lần xử lý duy nhất, giảm số lần gửi dữ liệu lên đám mây, tiết kiệm pin và đường truyền, đồng thời chuyển động mượt hơn không bị khựng giữa các động tác.
  3. Module phần mềm cắm thêm vào chính sách robot hiện có (dạng plug-in) tự học thời điểm đổi kỹ năng từ dữ liệu mẫu của nhà máy, giúp kéo dài chuỗi lệnh thực thi liên tục mà không cần huấn luyện lại toàn bộ hệ thống, cắt đáng kể thời gian chu kỳ sản xuất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05719
ArXiv Abstracthttps://arxiv.org/abs/2610.05719
PDF Downloadhttps://arxiv.org/pdf/2610.05719.pdf
Github Repositoryhttps://github.com/Seonghoon-Yu/RACE-VLA

24. Base Models Can Reason By Taking a Cue From Training Data (12 votes)​

Tác giả: Sophie L. Wang, Amil Dravid, Rulin Shao, Kevin Farhat, Sewon Min, et al.

Xuất bản lúc: 2026-10-05

Tag: Token Cues, Base Models, Reinforcement Learning, Chain-of-Thought, Training Data, LLM Safety, Interpretability

I. Main Problem:​

Câu hỏi trung tâm: RL thật sự dạy năng lực suy luận mới, hay chỉ khai thác khả năng vốn có của base model?

  • Các hành vi như tự kiểm tra (reflection, verification) được cho là xuất hiện sau RL — nhưng thấy hành vi sau post-training không chứng minh base model thiếu nó.
  • Base model thường trả lời ngắn và sai trên toán/coding; cần biết can thiệp tối thiểu nào để kích hoạt suy luận.
  • Chưa rõ vì sao vài token mở đầu tưởng vô nghĩa lại bật/tắt được hành vi suy luận, và liên kết đó có bắt nguồn từ dữ liệu training hay không.

II. Main Idea:​

Chỉ cần ghim (prefill) 1–2 token đầu tiên của câu trả lời — 'token cue' — là base model suy luận ngang bản RL-trained, dù cue không chứa chỉ dẫn hay ví dụ nào.

  • Tìm cue: beam search theo xác suất model tự sinh, chọn cue có độ đồng thuận câu trả lời cao (entropy thấp) — không cần đáp án chuẩn.
  • Ví dụ cue: ".\n\n Okay" cho OlmO-3-7B, "Alright ," cho Qwen3-14B.
  • Cơ chế kiểu Pavlov: hành vi bật lên nhờ liên kết học được từ dữ liệu training — cue như tiếng chuông, suy luận như phản xạ. Vì vậy có thể điều kiện hóa từ bất kỳ: thay "okay" bằng "chicken" trong dữ liệu mid-training thì "chicken" cũng thành cue suy luận; thay "step by step" bằng "duck duck goose" thì câu lệnh mới kích hoạt suy luận tương đương.
  • Phân tích hidden state cho thấy mỗi cue đẩy trạng thái nội tại về phía loại tài liệu training khác nhau (reasoning traces, short Q&A, refusal text).

Ví dụ đời thường: giống như mùi cà phê buổi sáng — nó không chứa hướng dẫn pha cả, nhưng vì lặp lại đi kèm cả quy trình, chỉ cần ngửi thấy mùi là tay tự bắt đầu cả chuỗi thao tác; công tắc chỉ kích hoạt, công thức đã nằm sẵn trong trí nhớ.

III. Main Results:​

  • Suy luận ngang RL chỉ bằng 2 token: OlmO-3-7B MATH-500 pass@1 42% → 78% (RL-Zero: 75%); Qwen3-14B 72% → 87% (bằng RL). Cải thiện 1.1×–3× trên GSM8K, AMC 23, AIME 2024, HumanEval.
  • RL làm cue dễ xuất hiện hơn: xác suất ".\n\n Okay" tăng 0.14 → 0.65 sau RL; KL divergence giữa base và RL đỉnh tại 2 token đầu. Ghim sẵn cue trước khi RL tiết kiệm ~100 bước GRPO.
  • Vị trí cue quyết định hiệu quả: chèn Okay ở đoạn 1–2 đạt 69–71%, đoạn 3–6 còn thua cả không-cue (23–30%); chỉ vị trí sớm duy trì được độ tương đồng hidden state với reasoning traces.
  • Chiều dài phản hồi không giải thích được lợi ích: cue làm phản hồi dài gấp đôi vẫn kém hơn không-cue; cue suy luận vượt baseline từ ngân sách 1k token.
  • Can thiệp nhân quả vào dữ liệu training:
    • Đổi "okay" → "chicken" trong 10B token mid-training: MATH-500 với cue ".\n\n Chicken" tăng 2.4% → 37.2%, ngang cue gốc (38.3%); GSM8K 2.2% → 60.6%.
    • Gắn "Okay," vào đầu tài liệu short-Q&A: cue ".\n\n Okay" bị phá, model sinh câu hỏi thay vì giải (accuracy 0.2%).
    • Đổi "step by step" → "duck duck goose": "Think duck duck goose" đạt 17% ≈ "Think step by step" 15%.
  • Hidden states: cue hiệu quả làm trạng thái phản hồi giống reasoning traces trong dữ liệu training hơn; các cue khác kéo về short Q&A, refusal text, code/science.
  • Case study an toàn: "I'm sorry" khiến model từ chối cả yêu cầu vô hại; "Okay," làm 42.4% yêu cầu nguy hiểm được đáp ứng có hại; còn ".\n\n Okay" tạo từ chối có chọn lọc giống bản Instruct (0.2% harmful).

IV. Conclusion & Future Works:​

Kết luận: khả năng suy luận đã tồn tại trong base model; RL chủ yếu làm tăng xác suất các token mở đầu đã liên kết với suy luận, chứ không dạy năng lực mới. Token cue là công tắc hành vi được điều kiện hóa từ dữ liệu training — và nguyên lý này áp dụng cả cho suy luận lẫn từ chối/tuân thủ.

Hướng tương lai (suy ra từ kết quả):

  • Kiểm tra cue cho các hành vi khác ngoài toán/coding và an toàn.
  • Kỹ thuật kiểm soát hành vi qua chèn token ở vị trí thích hợp như phương án rẻ hơn RL.
  • Data curation có chủ đích: thiết kế liên kết token–hành vi trong training data để 'cấy' hoặc 'gỡ' hành vi mong muốn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng nghiên cứu token cue sang mô hình đa phương thức (vision-language, audio): kiểm tra các token/token đặc trưng đầu ra có đóng vai trò công tắc hành vi tương tự không, và liên kết đó hình thành từ loại dữ liệu huấn luyện nào.
  2. Phát triển phương pháp tự động phát hiện và chèn token cue ở vị trí tối ưu trong suốt quá trình sinh, để kiểm soát độ dài và chất lượng suy luận tại test-time mà không cần fine-tune hay RL.
  3. Nghiên cứu cơ chế an toàn qua lăng kính token cue: phân tích vì sao cùng từ 'Okay' với chút khác biệt định dạng lại kích hoạt tuân thủ nguy hiểm, từ đó đề xuất kỹ thuật can thiệp dữ liệu training chống cue vô tình 'cấy' hành vi bất lợi.

2. Patent:​

  1. Ứng dụng trợ lý AI trên điện thoại: hệ thống tự phát hiện 'token cue' hiệu quả cho từng tác vụ (giải toán, viết email, dịch thuật) bằng cách đo độ đồng thuận câu trả lời, rồi tự động ghim vài token đầu để nâng độ chính xác mà không cần huấn luyện lại mô hình trên máy.
  2. Công cụ kiểm soát an toàn chatbot cho doanh nghiệp: bộ lọc phát hiện cụm từ mở đầu phản hồi có xu hướng kích hoạt tuân thủ yêu cầu nguy hiểm, tự động thay bằng cụm từ an toàn trước khi hiển thị — chống 'jailbreak' bằng chính cơ chế token cue.
  3. Hệ thống cá nhân hóa mô hình ngôn ngữ trên thiết bị: cho phép người dùng 'điều kiện hóa' từ khóa riêng (tên riêng, thuật ngữ công ty) thành cue kích hoạt phong cách trả lời mong muốn qua bản tinh chỉnh dữ liệu nhỏ trên thiết bị, giữ nguyên cách dùng thông thường của từ khóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06851
ArXiv Abstracthttps://arxiv.org/abs/2610.06851
PDF Downloadhttps://arxiv.org/pdf/2610.06851.pdf
Github Repositoryhttps://github.com/sophicle/cues

25. Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency (12 votes)​

Tác giả: Sixun Dong, Wei Li, Andong Deng, Qi Qian, Victor Zhu, et al.

Xuất bản lúc: 2026-10-03

Tag: Long-Video Understanding, Vision-Language Models, Token Efficiency, Frame-Resolution Allocation, Keyframe Selection, Training-Free

I. Main Problem:​

Các phương pháp hiệu quả cho hiểu video dài bằng Vision-Language Models (VLMs) đều xem bài toán là chọn token thông tin ở độ phân giải nguyên bản cố định: giữ frame nào, giữ token thị giác nào dưới một ngân sách token. Cách tiếp cận này bỏ qua hai trục quan trọng:

  • Độ phân giải mỗi frame có thể đánh đổi lấy mật độ thời gian — giảm resolution sẽ giải phóng ngân sách cho nhiều frame hơn — nhưng mặc định vẫn dùng độ phân giải native.
  • Front-end latency (thời gian giải mã video và tiền xử lý frame trước khi vào VLM) tăng theo độ dài video, có thể vượt cả thời gian suy luận của VLM, nhưng hầu như không được đo đếm.

II. Main Idea:​

Bài báo định khung hiệu quả video dài như bài toán phân bổ đồng thời ngân sách cho ba trục: số frame, độ phân giải mỗi frame, và độ trễ front-end. Qua nghiên cứu thực nghiệm, tác giả rút ra 3 bài học: (i) với cùng ngân sách token, chọn dày ở độ phân giải thấp (256 frame @ 0.25×) vượt xa chọn thưa ở độ phân giải native (16 frame @ 1.0×); (ii) độ nhạy với độ phân giải phụ thuộc tác vụ — OCR và nhận diện thuộc tính cần ảnh nét, còn nhận diện hành động/suy luận thời gian thì không; (iii) latency giải mã tăng tuyến tính với độ dài video nên đến video giờ sẽ thống trị tổng thời gian chạy.

Từ đó ra đời LoHi (Low-resolution video + High-resolution images), framework không cần training, một lần forward:

  • Lo-V: luồng video độ phân giải thấp, chọn dày khung hình để bao phủ toàn bộ timeline — đi qua video pathway của VLM.
  • Hi-I: vài ảnh độ phân giải cao được chọn thưa để khôi phục chi tiết không gian — đi qua image pathway, được nối với luồng video bằng một marker ngôn ngữ tự nhiên.
  • Ba cách chọn Hi-I: LoHi-Uniform (đều đặn theo index, chi phí ~0), LoHi-Anchor (dùng metadata I-frame của codec — biểu thị thay đổi cảnh sẵn có, miễn phí), và LoHi-SemDiv (dùng DPP với thành phần quality–similarity trên embedding CLIP để chọn frame vừa liên quan đến query vừa không trùng lặp về mặt thị giác).
  • Biến thể thích ứng: kích hoạt Hi-I chỉ khi entropy của câu trả lời từ Lo-V vượt ngưỡng.

Ví dụ đời thường: giống xem một buổi bóng đá dài bằng bản livestream nén mờ toàn trận để nắm diễn biến, rồi chỉ chụp nét vài khoảnh khắc then chốt (bàn thắng, thẻ đỏ) để xem chi tiết — vừa không bỏ sót mạch trận, vừa có ảnh rõ đúng lúc cần, lại xem xong nhanh hơn.

III. Main Results:​

  • Trên VideoMME, MLVU, LVBench với Qwen3-VL-4B: LoHi-SemDiv đạt 66.81 / 74.38 / 45.90%, hơn baseline native-resolution +10.6% trung bình và hơn phương pháp hiệu quả mạnh nhất trước đó (BOLT) +5.2% với cùng ngân sách token.
  • Giảm front-end decoding latency tới 7× trên video dài giờ (chỉ giải mã 128 frame thay vì 256+).
  • Thời gian ViT giảm ~12× so với token pruning (195 ms vs 2,486 ms) vì tránh encode frame độ phân giải native; TTFT giảm từ 5,963 xuống 3,906 ms.
  • Chỉ riêng Low-Res-Base (256F@0.25) đã vượt mọi baseline keyframe-selection và token-pruning, xác nhận L1.
  • LoHi đồng thời thắng trên cả hai nhóm tác vụ resolution-sensitive và insensitive, trong khi mọi cấu hình đơn lẻ (N, r) đều thua ở một nhóm.
  • Resize đơn giản vượt mọi phương pháp token pruning (VisionZip, FlashVid, MMTok) ở cùng ngân sách token, cho thấy pruning token trên video phá hỏng tính liên tục không gian–thời gian.
  • Ablation: Lo-V và Hi-I bổ sung lẫn nhau một cách chặt chẽ (kết hợp 128 Lo-V + 8 Hi-I = 66.81% > từng luồng riêng); mọi cấu hình selector và K đều ổn định quanh 65–67%.

IV. Conclusion & Future Works:​

Bài báo chuyển nhìn hiệu quả video dài từ "chọn token nào" sang phân bổ đồng thời frame–resolution–latency, và chứng minh giải pháp đơn giản: video nét thấp chọn dày làm nền + vài ảnh nét cao chọn thưa bổ sung chi tiết, chạy một lần duy nhất qua hai pathway native của VLM, không cần training. Kết quả tăng độ chính xác và giảm độ trễ đồng thời. Hướng tương lai: phát triển selector giàu hơn và cơ chế phân bổ thích ứng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân bổ đồng thời cho hiểu video streaming trực tuyến: điều chỉnh độ phân giải và số frame theo thời gian thực dựa trên ngân sách tính toán và độ dài video đến liên tục.
  2. Học bộ selector thích ứng: huấn luyện mô hình nhỏ dự đoán số lượng và vị trí ảnh độ phân giải cao cần thiết cho từng loại câu hỏi, thay vì dùng heuristic như entropy hoặc metadata codec.
  3. Áp dụng tư tưởng phân tách luồng nét thấp/nét cao cho mô hình đa phương thức khác: audio dài, tài liệu nhiều trang, hoặc video y tế/pháp y cần độ chính xác chi tiết cao.

2. Patent:​

  1. Ứng dụng xem video dài trên điện thoại tiết kiệm pin: phát toàn bộ video ở chất lượng thấp để nắm nội dung, tự động tải nét vài frame quan trọng (khi có thay đổi cảnh hoặc liên quan đến câu hỏi của người dùng) để hiển thị chi tiết, giảm thời gian xử lý và tốn kém tải dữ liệu.
  2. Hệ thống tra cứu camera an ninh bằng câu hỏi tự nhiên trên điện thoại: quét video giám sát giờ dài ở độ phân giải thấp để định vị thời điểm, rồi chỉ giải mã nét vài giây tại các điểm đó, giúp tìm sự kiện nhanh gấp nhiều lần mà không cần phần cứng đắt tiền.
  3. Trợ lý học tập từ video bài giảng dài: xử lý toàn bộ bài giảng ở chất lượng nén để trả lời câu hỏi tổng quát, nhưng tự động trích frame nét cao ở các khoảnh khắc quan trọng (bảng viết, công thức, slide chi tiết) khi người dùng hỏi về nội dung cần độ nét.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04318
ArXiv Abstracthttps://arxiv.org/abs/2610.04318
PDF Downloadhttps://arxiv.org/pdf/2610.04318.pdf
Github RepositoryN/A

26. LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches (11 votes)​

Tác giả: Shaokun Zhang, Yifan Zhang, Jian Hu, Yueying Li, Hao Zhang, et al.

Xuất bản lúc: 2026-10-05

Tag: Reinforcement Learning, LLMs, Gradient Compression, Low-Rank, Memory Efficiency, Post-Training, PPO

I. Main Problem:​

Reinforcement learning là giai đoạn post-training then chốt giúp LLM tự cải thiện qua phản hồi, nhưng chi phí bộ nhớ quá lớn khiến phần lớn cộng đồng nghiên cứu không tiếp cận được:

  • Với mô hình 7B, trọng số BF16 cần ~14 GB, nhưng hai moment buffer FP32 của Adam thêm ~56 GB, chưa kể gradient và activations.
  • Hệ quả: GPU chạy được inference vẫn không đủ bộ nhớ để RL — hardware chạy được model chưa chắc cải thiện được model.
  • Các hướng hiện có (FSDP sharding, gradient checkpointing, CPU offloading, LoRA) hoặc chỉ chia sẻ bộ nhớ, hoặc đóng băng trọng số gốc, không giải quyết triệt để vấn đề lưu trữ gradient/optimizer state của full-model training.

II. Main Idea:​

LoGRA (Low-Rank Gradient Sketches) thay thế gradient đầy đủ bằng biểu diễn nén hạng thấp trong suốt vòng lặp RL, dựa trên trực giác rằng học từ reward (thường chỉ là một tín hiệu đúng/sai) cần ít thông tin hơn nhiều so với một full gradient:

  • Với mỗi ma trận trọng số W ∈ R^{d×k}, chọn ma trận chiếu ngẫu nhiên cố định A ∈ R^{r×k} (r ≪ d, k) và chỉ lưu sketch S = G·Aᵀ ∈ R^{d×r} — bộ nhớ giảm từ dk xuống dr (ví dụ 4096×4096: 64 MiB → 1 MiB ở r=64).
  • Sketch được tích lũy trực tiếp trong backpropagation mà không hề vật lý hóa gradient đầy đủ; update khôi phục bằng ŜA (hạng ≤ r) và cộng thẳng vào trọng số gốc — không có adapter branch.
  • Cùng biểu diễn nén được tái sử dụng để đồng bộ policy giữa trainer và rollout engine (chỉ gửi O(dr) giá trị + seed thay vì full d×k update), giảm cả bộ nhớ lẫn communication.
  • Bổ sung predicted-KL step control: ước lượng trước mức thay đổi phân phối next-token của update đề xuất (xấp xỉ bậc hai q(D)), rồi chọn hệ số α = min(α_max, √(δ/q(D))) để bước update nằm trong ngân sách KL δ, tránh update quá lớn phá vỡ policy đã học (động cơ trust-region kiểu TRPO).

Ví dụ đời thường: giống như ghi chép lịch trình du lịch không chép toàn bộ bản đồ thành phố mà chỉ phác vài nét gợi ý hướng đi (sketch hạng thấp) — đủ để đi đúng đường mà tập giấy nhỏ gọn; kèm thêm "giới hạn bước chân" (KL budget) để mỗi bước không đi quá xa khỏi lộ trình quen thuộc.

III. Main Results:​

  • Tiết kiệm bộ nhớ không đánh đổi hiệu năng: giảm 21.8% bộ nhớ trung bình ở 1.5B (9.18 → 7.18 GiB) và 45.7% ở 7B (31.82 → 17.29 GiB), Pass@1 tương đương hoặc tốt hơn (1.5B: 67.87% vs 63.77% của Dense; 7B: 72.33% vs 72.48%).
  • Mở khóa quy mô trước đây bất khả thi: Dense Adam OOM ngay bước đầu với 27B trên node 8×H100, còn LoGRA train ổn định ở ~51.5 GiB, đạt 71.52% Pass@1 / 81.87% Pass@4.
  • Training dài hạn ổn định: Qwen3.8-27B trên Reasoning-Gym Hard được hơn 1,100 bước trên một node 8 GPU, held-out score tăng 39.7% → 62.9%, tỉ lệ cắt bớt response giảm 34.7% → 13.0%, không có sụp đổ.
  • Throughput gần như không đổi: 55.44 vs 54.28 updates/h (1.5B), 25.73 vs 25.28 (7B) — lợi ích chính là bộ nhớ và khả năng train model lớn.
  • Ablation: rank của projection là yếu tố quyết định (rank 4→256 cải thiện Pass@1 3–4 điểm; cosine tái tạo gradient 0.046→0.348), còn làm mới basis hay dạng phân phối chiếu ảnh hưởng không đáng kể. So với LoRA cùng rank: LoGRA dùng ít bộ nhớ hơn rõ rệt (7.2 vs 13.2 GiB) nhưng không vượt về accuracy/tốc độ.
  • KL budget: ngân sách nhỏ hoặc annealed giữ stable và đạt tail accuracy cao nhất (71.47%), ngân sách lớn gây suy giảm hiệu năng — ủng hộ kiểm soát bước bảo thủ.

IV. Conclusion & Future Works:​

LoGRA cho thấy biểu diễn gradient nén là một đòn bẩy thực tiễn để hạ rào cản phần cứng của RL post-training: gradient hạng thấp đủ giữ tín hiệu học từ reward, đồng thời lan tỏa lợi ích từ bộ nhớ sang đồng bộ policy. Predicted-KL step control bổ sung cơ chế giới hạn thay đổi policy, cần thiết cho học dài hạn ổn định.

Hướng mở: nghiên cứu thêm về sketch optimizer có trạng thái, kết hợp với kỹ thuật asynchronous/overlap rollout-training, và mở rộng sang các dạng reward và thuật toán RL phức tạp hơn PPO hiện tại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nén gradient hạng thấp thích ứng theo từng lớp: tự điều chỉnh rank của sketch theo mật độ thông tin gradient từng ma trận trọng số để tối ưu hơn nữa tỉ lệ nén/bảo toàn hiệu năng.
  2. Kết hợp LoGRA với asynchronous RL: dùng payload đồng bộ policy nén O(dr) để giảm độ trễ và chi phí truyền thông trong kiến trúc trainer–rollout phân tán đa node.
  3. Predicted-KL step control cho các môi trường reward liên tục và thuật toán RL ngoài PPO (ví dụ GRPO, actor-critic nhiều bước), kiểm chứng giới hạn ổn định của ngân sách KL annealed.

2. Patent:​

  1. Hệ thống huấn luyện AI trên điện thoại/server nhỏ: thay vì lưu toàn bộ gradient của mô hình ngôn ngữ, thiết bị chỉ lưu ma trận nén dạng tích hai ma trận mỏng, giúp fine-tune bằng phản hồi người dùng ngay trên thiết bị mà không tốn bộ nhớ lớn.
  2. Phương pháp cập nhật mô hình giữa máy chủ huấn luyện và máy chủ tạo câu trả lời: chỉ truyền ma trận cập nhật nén kèm mã seed để máy bên kia tự dựng lại và áp dụng, giảm mạnh băng thông đồng bộ cho dịch vụ AI trực tuyến.
  3. Cơ chế kiểm soát bước học an toàn cho chatbot: trước khi áp dụng mỗi lần cập nhật, hệ thống ước lượn

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06647
ArXiv Abstracthttps://arxiv.org/abs/2610.06647
PDF Downloadhttps://arxiv.org/pdf/2610.06647.pdf
Github RepositoryN/A

27. Video2Skill: From Streaming Experience to Reusable Embodied Skills (11 votes)​

Tác giả: Jianshu Zhang, Ce Zhang, Xiyuan Yang, Chenwei Xu, Haoran Lu, et al.

Xuất bản lúc: 2026-09-29

Tag: Vision-Language Models, Skill Discovery, Embodied AI, Video Understanding, Robot Manipulation, Benchmark

I. Main Problem:​

Mô hình Vision-Language (VLM) mô tả tốt từng sự kiện thao tác riêng lẻ, nhưng không thể tổ chức một luồng video liên tục thành thư viện kỹ năng tái sử dụng (ví dụ: nhấc nắp nồi và nhấc miếng vải đều là grasp, dù khác vật thể/cảnh). Bài toán mới được đặt tên là Streaming Embodied Skill Discovery (SESD): mô hình phải (i) định vị sự kiện thao tác trong thời gian, (ii) nhóm các sự kiện cùng bản chất chuyển đổi thành một schema kỹ năng (dạng grasp(object, source)), và (iii) quyết định khi nào tái dùng schema cũ, khi nào tạo mới — trong khi thư viện do chính dự đoán trước của mô hình xây nên và ảnh hưởng đến quyết định sau.

II. Main Idea:​

Video2Skill là benchmark (xây từ robot tabletop ROBOINTER và video nhà bếp egocentric HD-EPIC) đo khả năng SESD qua 3 trục: coverage (tìm đúng sự kiện), grouping bất biến với tên gọi (nhóm đúng bản chất chuyển đổi), và quyết định CREATE vs REUSE. Tác giả thử 2 cách xử lý:

  • Unified: một VLM vừa nhận diện sự kiện vừa cập nhật thư viện trong một lượt duy nhất
  • Factorized: VLM mô tả sự kiện thành văn bản, rồi một meta-policy chỉ trên text cập nhật thư viện

Kết quả zero-shot cho thấy hai khuynh hướng sai lầm đối lập: unified gộp nhầm các chuyển đổi khác nhau vào một schema (overmerge), factorized tách rời — tạo schema trùng lặp cho chuyển đổi đã gặp (fragmentation); to nhỏ model không giải quyết được. Sau đó, 3 chiến lược fine-tune được so sánh: oracle-history SFT (lịch sử thư viện chuẩn), CLARE (chỉnh sửa counterfactual trạng thái thư viện), và on-policy correction (dạy lại trên lịch sử do chính model sinh ra).

Ví dụ đời thường: giống người đầu bếp mới xem video dạy nấu: unified như người cứ gom mọi thao tác thành "làm gì đó với đồ", còn factorized như người đặt tên công thức mới cho món đã nấu chục lần — cả hai đều không biết khi nào thêm một mục mới thật sự cần thiết vào sổ tay.

III. Main Results:​

  • 19 VLM mã nguồn mở được đánh giá; nhiều model nhóm sự kiện ở mức ngẫu nhiên, và tăng kích thước model không cải thiện ổn định (ARI ≤ 27 ở mọi cấu hình).
  • Hai paradigm sai ngược nhau: chuyển Qwen3.5-2B từ unified sang factorized trên HD-EPIC làm pair precision tăng 9.2→48.0 nhưng pair recall sụt 53.8→2.4 — tách tốt hơn nhưng mất khả năng tái dùng.
  • Coverage cao không đồng nghĩa grouping tốt: LLaVA-OneVision-2-8B factorized đạt coverage 71.7% nhưng ARI chỉ 0.1; bản unified có pair recall 100% nhưng precision 22.5.
  • Supervision giúp grouping: oracle-history SFT nâng ARI của Qwen3.5-4B unified trên ROBOINTER từ 19.4→60.0; nhưng coverage giảm, nên các chỉ số phải đọc cùng nhau.
  • Nút thắt cốt lõi lộ ra: reuse recall giữ ở 97–99% nhưng creation recall chỉ 19–40%; thư viện dừng ở ~21–22 schema so với 46 class chuẩn, dù thứ tự video ưu tiên đổi mới (innovation-heavy) cũng không làm thư viện lớn hơn.
  • Kỹ năng chưa thấy trong training: coverage thời gian tốt (57.6–66.1%) nhưng hầu như không bao giờ được gán schema mới (0–1/10–11 class); lợi ích training tập trung ở các class tần suất cao.

IV. Conclusion & Future Works:​

Tổ chức kinh nghiệm thành thư viện kỹ năng mạch lạc khác hẳn với mô tả từng sự kiện; supervision cải thiện grouping nhưng không giải quyết ranh giới novelty-vs-reuse. Thách thức trung tâm là nhận ra khi nào kỹ năng hiện có không đủ — tức mô hình cần vừa củng cố chuyển đổi lặp lại vừa dám mở rộng thư viện. Hạn chế: chỉ thử nghiệm robot manipulation và nhà bếp egocentric; schema mô tả chuyển đổi quan sát được chứ chưa kiểm chứng khả năng lập kế hoạch hoặc điều khiển thực thi phía downstream.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp tự động cân bằng trạng thái thư viện kỹ năng trong quá trình fine-tune mở rộng CLARE sang interventional learning tổng quát hơn, giúp model nhận biết novelty khi kỹ năng chưa thấy xuất hiện trong luồng video.
  2. Kiến trúc hybrid: kết hợp nhận diện sự kiện trực quan (unified) với reasoning trên mô tả văn bản (factorized) để đồng thời tránh overmerge và fragmentation khi cập nhật thư viện kỹ năng dạng streaming.
  3. Mở rộng Video2Skill sang video ngoài trời và hoạt động đa người, đồng thời liên kết thư viện schema ký hiệu với planner robot để đánh giá giá trị downstream của kỹ năng tự phát hiện.

2. Patent:​

  1. Ứng dụng điện thoại quay video nấu ăn tự xây sổ tay kỹ năng: điện thoại quay luồng video bếp, app tự định vị từng thao tác (cắt, xào, đổ), nhóm các thao tác cùng bản chất thành kỹ năng đặt tên thống nhất, và thêm kỹ năng mới khi gặp thao tác lạ — để người dùng tra cứu và tái sử dụng công thức theo kỹ năng thay vì theo video.
  2. Hệ thống robot nhà bếp học dần từ camera: robot xem luồng video dài, tự xây thư viện động tác dạng "cầm vật từ A đặt xuống B", tự quyết định khi nào tái dùng động tác đã biết và khi nào phải học động tác mới khi thấy chuyển đổi chưa gặp, rồi dùng thư viện đó để lập kế hoạch nấu món mới.
  3. Trợ lý video dạy nghề trên điện thoại cho kỹ thuật viên: quay quy trình sửa chữa dài, app tự chia thành các sự kiện thao tác có mốc thời gian, gom các lần thao tác giống nhau thành một kỹ năng chung và gợi ý kỹ năng mới khi phát hiện bước chưa có trong sổ tay, giúp doanh nghiệp tích lũy thư viện kỹ năng từ video thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.36691
ArXiv Abstracthttps://arxiv.org/abs/2609.36691
PDF Downloadhttps://arxiv.org/pdf/2609.36691.pdf
Github RepositoryN/A

28. ProgressCompass: Embodied Progress Reward Models Are Lost Without the Right Context (11 votes)​

Tác giả: Jianshu Zhang, Keliang Wu, Chengxuan Qian, Xiyuan Yang, Ce Zhang, et al.

Xuất bản lúc: 2026-09-29

Tag: Embodied AI, Progress Reward Models, Vision-Language Models, Robotics, Agentic Loop, Benchmark, Dense Rewards

I. Main Problem:​

Các Progress Reward Models (PRMs) — mô hình chấm điểm mức độ hoàn thành của robot tại mỗi bước — hoạt động tốt với tác vụ ngắn nhưng thất bại nặng với tác vụ dài, vì khung hình hiện tại không chứa đủ thông tin để suy ra tiến độ. Nhóm tác giả gọi là context-dependent progress estimation, với ba dạng:

  • State Recall: thông tin cần thiết từng xuất hiện trước đó nhưng đã biến mất khỏi khung hình (khối gỗ đến từ tấm thảm nào).
  • Sequence Tracking: các bước phải làm theo thứ tự, cần biết bước nào đã xong để biết đang ở đâu.
  • Recurrence Disambiguation: các khung hình trông giống hệt nhau nhưng ở mức tiến độ rất khác nhau (bấm nút lần 3 hay lần 7).

Các benchmark hiện có chỉ tập trung tác vụ ngắn, nên khả năng này của PRM chưa được khảo sát — việc đưa toàn bộ lịch sử cũng không giải quyết được, vì PRM cần một fact cụ thể được diễn giải từ lịch sử, chứ không phải dòng dữ liệu thô.

II. Main Idea:​

Tiếp cận: Tác giả xây dựng CONTEXTPROGRESS-BENCH (24 tác vụ, 120 episode, 552 đoạn con được chọn lọc và gán nhãn thủ công từ RMBench, RoboDojo, LIBERO-Mem) cô lập ba dạng phụ thuộc ngữ cảnh trên. Chẩn đoán từng đôi (paired diagnosis) cho thấy: cùng một PRM, chỉ thêm đúng context vào instruction, mà MAE giảm 77–82% — tức PRM không kém năng lực mà bị 'lạc' thiếu context.

Từ đó đề xuất ProgressCompass: vòng lặp agentic giữ PRM đóng băng, dùng VLM đa dụng cung cấp context:

  • Orienter (VLM): đọc khung hình + lịch sử, suy ra bước hiện tại, xuất context c_t và chuyển tiếp kỳ vọng τ_t
  • PRM đóng băng: chấm điểm tiến độ cục bộ trong bước đó
  • Verifier (VLM riêng): kiểm tra bước đã xong chưa, tách khỏi Orienter để tránh tự chấm tự phê
  • Navigator (chỉ text): điều phối vòng lặp orient → estimate → verify → reorient

Tách biệt dựa trên quan sát: PRM chấm tốt nhưng không hiểu nhiệm vụ; VLM hiểu nhiệm vụ nhưng chấm tiến độ kém — mỗi bên làm phần bên kia yếu.

Ví dụ đời thường: giống như người kiểm tra chất lượng trên dây chuyền — khi sản phẩm đến vị trí của mình, họ không cần xem lại cả dây chuyền mà chỉ cần đồng nghiệp báo 'đây là đơn hàng thứ 3, khách đã trả tiền chưa' đúng một câu thông tin, rồi chấm phần việc trước mặt thật chuẩn.

III. Main Results:​

  • Chẩn đoán: không context, 5 PRM có MAE 15.6–31.0 (thang 0–100); kể cả mô hình đọc toàn bộ lịch sử vẫn lạc. Với đúng context, MAE giảm 77–82% xuống 3.4–6.7, lợi ích giữ trên 93.3% các đoạn từng đôi.
  • Ba kiểu lỗi điển hình: State Amnesia (quên trạng thái đã rời khung hình), Phase Drift (trôi vị trí bước trong chuỗi), Occurrence Confusion (cho 8 lần bấm nút cùng một giá trị).
  • ProgressCompass (RoboMeter-4B đóng băng + Qwen3.5 làm Orienter/Verifier/Navigator): MAE giảm 63% (25.4 → 9.3), rank agreement tăng 76% (0.53 → 0.93), thu hẹp 78% khoảng cách tới oracle context; tốt nhất trên cả ba dạng context, vượt cả R2VLM.
  • Robustness trên 15 tình huống âm tính: video dừng sớm (lệch 7.3 so với 32.7 của backbone), làm thừa bước, hoặc instruction không khớp hành động (giữ đúng 0%).
  • Ablation: bỏ expected transition τ_t khiến lỗi cuối bước tăng gấp đôi; parallel hóa vòng lặp giảm thời gian chạy 65.6% (114.7 → 39.5s/episode) mà không đổi độ chính xác.

IV. Conclusion & Future Works:​

PRM hiện tại không mù mà bị lạc: tiến độ của tác vụ dài là phụ thuộc ngữ cảnh, và cung cấp đúng context cho một PRM đóng băng qua vòng lặp VLM là đủ để cắt lỗi hơn một nửa mà không cần huấn luyện lại. Định lý đi kèm chứng minh mọi estimator chỉ đọc khung hiện tại đều chịu một cận dưới lỗi không thể vượt, và ProgressCompass triệt ba thành phần cận dưới đó. Hướng phát triển tự nhiên: mở rộng benchmark sang tác vụ dài hơn, nhiều dạng phụ thuộc ngữ cảnh hơn, và tích hợp context management tinh hơn cho PRM trong các tác vụ thực tế liên tục.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CONTEXTPROGRESS-BENCH sang tác vụ thao tác nhiều giai đoạn trên robot thật, với annotation context động thay vì thủ công để đánh giá PRM ở quy mô dài hơn.
  2. Nghiên cứu Orienter tự học từ dữ liệu robot lớn để suy ra context chính xác hơn, thay vì dựa vào VLM đa dụng zero-shot hiện tại.
  3. Kết hợp ProgressCompass với học tăng cường: dùng tiến độ ước lượng có context làm dense reward để huấn luyện chính sách cho tác vụ dài hạn có thưởng thưa.
  4. Áp dụng khung paired diagnosis (chỉ thay đổi context, giữ nguyên input format) để kiểm tra các mô hình reward/verifier khác trong robot học.

2. Patent:​

  1. Hệ thống giám sát tiến độ cho robot dịch vụ (khách sạn, bệnh viện): một mô-đun trên điện thoại hoặc camera quan sát robot, tự xác định robot đang ở bước nào của lệnh (ví dụ 'dọn phòng 305 đang tới bước thay khăn'), báo tiến độ thời gian thực cho người quản lý qua ứng dụng.
  2. Trợ lý lắp ráp hướng dẫn bằng camera điện thoại: người dùng quay video quá trình làm (ví dụ lắp nội thất), ứng dụng dùng mô hình tiến độ có ngữ cảnh để nhắc 'bạn đã xong bước 2/6, bước tiếp theo là...' kể cả khi các bước trông giống nhau và phải lặp lại nhiều lần.
  3. Điều khiển robot nhà bếp thông minh: camera nhận diện robot đang ở lần thực hiện thứ mấy của một thao tác lặp (như bóc từng lát rau, xếp từng đĩa) để điều chỉnh lệnh tiếp theo và phát cảnh báo khi robot bỏ sót hoặc làm thừa bước theo đúng yêu cầu món ăn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.36684
ArXiv Abstracthttps://arxiv.org/abs/2609.36684
PDF Downloadhttps://arxiv.org/pdf/2609.36684.pdf
Github RepositoryN/A

29. UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents (11 votes)​

Tác giả: Dolly Sah, Tanmay Sah, Harshul Jain, Tanya Sah

Xuất bản lúc: 2026-10-04

Tag: LLM Agents, Tool-Using Agents, Fault Tolerance, Benchmark, Idempotency, Distributed Systems, Agent Evaluation

I. Main Problem:​

Các benchmark hiện tại cho AI agent dùng công cụ (SWE-bench, ToolBench, WebArena...) chỉ đo task completion dưới điều kiện bình thường, không phân biệt:

  • Task Competence: agent có làm được việc khi không lỗi không?
  • Recovery Capability: agent có phục hồi an toàn khi hệ thống gặp sự cố giữa chừng không?

Vấn đề thực tế nghiêm trọng nhất là lost acknowledgment — server đã ghi thay đổi thành công nhưng gói phản hồi bị rơi, agent không biết thao tác đã commit chưa. Retry mù sẽ thực hiện lại giao dịch, gây hậu quả thật ngoài đời (ví dụ: trừ tiền thuê bao hai lần). Benchmark cũ không bao giờ bắt lỗi này vì chúng không chèn lỗi và không quan sát side effect ở tầng wire.

II. Main Idea:​

UndoBench — benchmark gồm 36 workflow cơ bản và 36 kịch bản lỗi trên 8 domain doanh nghiệp (Cloud, CRM, Database, Git, Messaging, Payments, Storage, Ticketing). Cơ chế cốt lõi:

  • Paired counterfactual trials: mỗi chạy có lỗi được ghép với một chạy control cùng seed, tách bạch planning (Ci) và phục hồi (Fi)
  • CRSR (Conditional Recovery Success Rate): chỉ đo phục hồi trên các trial mà agent vốn làm được nhiệm vụ, loại trừ nhiễu từ task failure
  • Dual oracles: kiểm tra invariants trạng thái môi trường + theo dõi lịch sử effect ở tầng wire, đo Duplicate Effect Rate (DER), Missing Effect Rate (MER), Exactly-Once Rate (EOR)
  • Lỗi được chèn tại 5 ranh giới thực thi (trước mutation, giữa mutation, sau commit mất ACK, sau checkpoint, trong compensation)

Ví dụ đời thường: giống bạn chuyển tiền qua app, màn hình báo "timeout", bạn không biết tiền đã trừ chưa — thay vì kiểm tra sao kê (xác minh trước khi thử lại), bạn bấm chuyển lại ngay và bị trừ tiền hai lần. UndoBench chính là bài kiểm tra xem AI agent có khôn hơn cách làm mù đó không.

III. Main Results:​

  • Khoảng cách competence–recovery khổng lồ: nominal success 83.54% nhưng CRSR chỉ 46.72% (2,880 paired trials, mô hình mở Llama); retry mù sinh duplicate effect trong 53.33% trial.
  • Idempotency (B2) cải thiện +10.72pp (53.49% vs 42.77%) nhưng chỉ hiệu quả ở endpoint hỗ trợ dedup; EvoUndo zero-privilege (B5) gần như ngang naive retry (+1.12pp).
  • Mô hình API thương mại cũng sụt: Gemini 3.8 Flash và GLM-5.2 đạt ~80% nominal nhưng CRSR dưới naive retry chỉ ~21%, với gap tới 60pp; lý luận tốt không cứu được retry không điều phối.
  • Phục hồi phụ thuộc pha: trước mutation cả 4 phương pháp ngang nhau (78% CRSR, 0 duplicate); giữa mutation B0/B2/B5 sụt về 0% (chỉ Verify-Retry đạt 25.89%); sau commit mất ACK thì verification và idempotency server-side giúp đáng kể.
  • Intervention B2-K (idempotency server-side toàn benchmark): CRSR tăng từ 33.20% lên 97.24%, DER về 0% — chứng minh nhiều thất bại do contract endpoint, không phải thuật toán.
  • Hai framework (Direct Tool Calling vs LangGraph) tương đương thống kê; mô hình 3B thậm chí ngang 8B trên tập chung.

IV. Conclusion & Future Works:​

Đánh giá agent phải đo khả năng phục hồi vận hành song song với task completion — một metric end-to-end duy nhất che giấu lỗ hổng recovery nghiêm trọng và phụ thuộc pha. Recovery là tính chất hệ thống theo pha, không phải năng lực vô hướng: cần cơ chế khác nhau cho từng ranh giới (redispatch an toàn trước mutation; reconciliation trạng thái trung gian giữa mutation; xác minh + dedup sau commit). Hướng tương lai: nghiên cứu các ranh giới còn lại (POST_ACK_PRE_CHECKPOINT, DURING_COMPENSATION), lỗi cascading/đồng thời, môi trường production có độ trễ và concurrency thật, và sweep ngân sách retry.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng UndoBench sang lỗi cascading và đồng thời trong multi-step workflows, đo khả năng phục hồi dây chuyền khi nhiều dịch vụ hạ nguồn cùng gặp sự cố.
  2. Nghiên cứu cơ chế reconciliation trạng thái trung gian cho pha DURING_MUTATION: kết hợp write-ahead journaling client-side với compensating transaction (Saga) do chính LLM tổng hợp.
  3. So sánh hệ quả của Verify-Before-Retry ở quy mô benchmark đầy đủ, định lượng đánh đổi giữa độ trễ thêm do xác minh và độ an toàn của exactly-once semantics.

2. Patent:​

  1. Cơ chế chống giao dịch trùng cho trợ lý thanh toán trên điện thoại: khi giao dịch bị timeout, ứng dụng tự gắn một khóa định danh duy nhất cho yêu cầu và hỏi máy chủ "giao dịch này đã thực hiện chưa" trước khi gửi lại, tránh trừ tiền người dùng hai lần.
  2. Hệ thống giám sát side effect cho chatbot doanh nghiệp: một lớp trung gian ghi lại mọi lệnh gửi tới hệ thống bên ngoài (cơ sở dữ liệu, email, hóa đơn), phát hiện lệnh gửi trùng lặp và tự chặn, đồng thời báo cáo tỉ lệ lệnh trùng qua bảng điều khiển quản trị.
  3. Chế độ an toàn cho trợ lý AI tự động: khi một thao tác thay đổi dữ liệu bị lỗi mạng, trợ lý chuyển sang trạng thái "xác minh trước khi thử lại" — kiểm tra trạng thái thật trên server bằng lệnh chỉ-đọc rồi mới quyết định tiếp tục, hoàn nguyên hay dừng, thay vì tự động gửi lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05622
ArXiv Abstracthttps://arxiv.org/abs/2610.05622
PDF Downloadhttps://arxiv.org/pdf/2610.05622.pdf
Github Repositoryhttps://github.com/tradertanmay/undobench

30. QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code (11 votes)​

Tác giả: Alexey Chernysh, Orkhan Ekhtibarov, Dmitry Zmitrovich

Xuất bản lúc: 2026-09-30

Tag: Code Generation, LLMs, Algorithmic Trading, Continued Pretraining, Supervised Fine-Tuning, Agentic Evaluation, Domain Specialization, Tool-Call Recovery

I. Main Problem:​

Các LLM tổng quát giỏi viết code Python nhưng vẫn thất bại hệ thống khi phải sinh chiến lược giao dịch thuật toán khả thi (ví dụ bằng Backtrader). Lỗi không nằm ở cú pháp mà ở: không hiểu API/framework, sai vòng đời indicator, quản lý trạng thái/order lỗi, sinh chiến lược chạy được nhưng không giống yêu cầu. Tiêu chí thành công là rất nghiêm ngặt:

  • Backtest: code chạy được trong môi trường backtest
  • Trades: chiến lược thực sự sinh ít nhất một lệnh giao dịch
  • Judge: LLM judge xác nhận code đúng ngữ nghĩa với yêu cầu

II. Main Idea:​

Bài báo nghiên cứu hai cơ chế bổ sung để chuyên môn hóa LLM cho executable algorithmic trading code, đo trên QuantCode-Bench (400 tác vụ sinh chiến lược Backtrader) và một track SWE-bench-like cấp repository:

  • Continued pretraining trên ~5–6B token mã nguồn GitHub thuộc hệ sinh thái algorithmic trading (lọc theo sao/độ mới, khử trùng MinHash), giúp mô hình học API, lifecycle method, indicator, order handling, idiom của framework.
  • SFT trên ~800 cặp request→code đã được kiểm chứng chạy được trong môi trường Backtrader thật, giúp căn chỉnh “yêu cầu tự nhiên → chiến lược đúng ngữ nghĩa”.

Điểm mấu chốt là hai tầng tác động khác nhau: pretraining cải thiện kiến thức framework, SFT cải thiện khả năng nghe lệnh và khớp yêu cầu; đồng thời specialization có thể làm suy giảm tool-calling / instruction-following, cần can thiệp recovery riêng.

Ví dụ đời thường: giống thợ cơ khí không chỉ đọc sách về máy, mà phải xem nhiều máy thật, rồi luyện theo đơn đặt hàng cụ thể; nếu chỉ học máy mà không luyện làm theo yêu cầu khách, vẫn dễ làm sai hoặc không hiểu phản hồi để sửa tiếp.

III. Main Results:​

  • Continued pretraining cải thiện Judge Pass: Qwen3.5-397B-A17B tăng từ 41.5% → 47.5%; Qwen3.6-35B-A3B tăng từ 27.8% → 33.0%. Backtest và Trades cũng tăng nhẹ.
  • SFT sau pretraining tạo cú nhảy lớn nhất trên Qwen3.6-35B-A3B: Backtest 53.8% → 83.5%, Trades 36.8% → 60.0%, Judge Pass 33.0% → 58.2%.
  • Agentic evaluation cho thấy SFT giúp cả vạch xuất phát lẫn sửa lỗi nhiều lượt: first-turn tăng 22.3% → 58.3%, final success sau tới 10 turns tăng 47.5% → 79.5%.
  • Nghịch lý: pretraining thuần làm first-turn tốt hơn nhưng final agentic success xấu hơn (32.3% ở turn 1 nhưng chỉ 32.5% ở turn 10, thấp hơn cả base 47.5%), gợi ý suy giảm instruction following / xử lý phản hồi hội thoại.
  • Phát hiện thêm capability-retention failure: specialization làm hỏng định dạng tool-call có cấu trúc; weight merging và recovery SFT khôi phục được parser-conformance nhưng không phục hồi hết hiệu năng repository-level agent của checkpoint gốc.

IV. Conclusion & Future Works:​

Kết luận chính là không có một phép huấn luyện đơn lẻ nào giải quyết hết các failure mode của executable domain-specific code generation:

  • Continued pretraining giúp mô hình quen framework/API
  • SFT trên target đã được execution-validated giúp request→code đúng ngữ nghĩa và tăng khả năng agentic sửa lỗi
  • Cần đánh giá retention riêng vì chuyên môn hóa có thể làm mất tool-use hoặc kỹ năng agent khác

Hướng tương lai hợp lý: phát triển cách huấn luyện domain specialization giữ lại instruction-following và tool-use, đồng thời mở rộng evaluation sang repository-level và deployment-centric protocols thay vì chỉ benchmark code đơn lẻ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế bảo toàn instruction-following trong continued pretraining trên code chuyên ngành, tránh tình trạng tăng one-shot coding nhưng suy giảm khả năng sửa lỗi qua nhiều lượt phản hồi.
  2. Phát triển phương pháp recovery sau domain specialization có thể phục hồi đồng thời parser-conformant tool calling và repository-level agent performance.
  3. Mở rộng QuantCode-Bench sang các framework algorithmic trading khác ngoài Backtrader để kiểm tra tính khái quát của pretraining và validated SFT.
  4. Xây dựng benchmark executable code generation có tách riêng technical executability, trading behavior và semantic compliance ở cả mức file lẫn repository.
  5. Nghiên cứu training mixture cho agentic executable-code settings, cân bằng giữa domain code familiarity, chat alignment và native tool-call formatting.

2. Patent:​

  1. Trợ lý lập trình chiến lược giao dịch trên điện thoại: người dùng mô tả bằng giọng nói hoặc văn bản, hệ thống tạo code Backtrader tương ứng, tự chạy backtest kiểm tra, báo lại code có chạy được, có phát sinh lệnh và có đúng ý đồ giao dịch hay không.
  2. Hệ thống huấn luyện mô hình AI chuyên cho một thư viện phần mềm tài chính: kết hợp giai đoạn học từ mã nguồn thật của thư viện và giai đoạn học từ các yêu cầu người dùng đã được kiểm chứng chạy được, giúp mô hình sinh chương trình đúng cách dùng thư viện hơn.
  3. Cơ chế tự sửa code giao dịch trên điện thoại hoặc máy tính bảng: khi chiến lược chưa chạy hoặc không phát sinh giao dịch, hệ thống tự đọc phản hồi lỗi, chỉnh code và chạy lại nhiều vòng cho đến khi đạt điều kiện hoạt động.
  4. Module bảo vệ khả năng gọi công cụ cho mô hình AI đã được tinh chỉnh chuyên ngành: kiểm tra định dạng lệnh gọi công cụ sau mỗi đợt chuyên môn hóa và tự phục hồi bằng dữ liệu hội thoại có cấu trúc trước khi đưa vào sản phẩm thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.39420
ArXiv Abstracthttps://arxiv.org/abs/2609.39420
PDF Downloadhttps://arxiv.org/pdf/2609.39420.pdf
Github RepositoryN/A

31. RealtimeWAM: One-Step Asynchronous World Action Models (11 votes)​

Tác giả: Chengtao Lv, Jinyang Du, Shuyi Feng, Yang Yong, Shiqiao Gu, et al.

Xuất bản lúc: 2026-10-05

Tag: World Action Models, Robot Manipulation, Consistency Distillation, Diffusion Models, Flow Models, Mixture-of-Transformers, CUDA Streams, Real-Time Inference

I. Main Problem:​

  • Các World Action Models dạng MoT đã tính video representation một lần để action expert tái sử dụng, nhưng vẫn chậm vì hai nút thắt.
  • Intra-expert iteration: action expert phải denoise nhiều bước, chiếm gần 90% độ trễ.
  • Inter-expert waiting: action expert chờ video expert tạo toàn bộ KV cache, dù mỗi action block thật ra chỉ cần KV của video block tương ứng.
  • Hệ quả: Fast-WAM vẫn cần hơn 300 ms cho một lần suy luận trên H100, khó đạt điều khiển robot thời gian thực.

II. Main Idea:​

RealtimeWAM là khung post-training cho bất kỳ MoT-based WAM nào, nhắm đúng hai nút thắt bằng hai cơ chế bổ sung:

  • Teacher-Anchored Consistency Distillation (TACD): thay vì chỉ ép student khớp điểm cuối cục bộ như consistency distillation thường, TACD dùng điểm cuối rollout nhiều bước của frozen teacher làm mốc gần đúng cho clean endpoint. Student học consistency loss cộng thêm teacher-anchored loss, khớp velocity dự đoán với velocity trung bình của teacher trên khoảng nhiễu. Cách này khắc phục local-global error gap: sai lệch cục bộ nhỏ chưa chắc làm action cuối đúng.
  • Cross-Expert Wavefront Pipelining (CEWP): chạy video expert và action expert trên hai CUDA stream, chỉ đồng bộ sự kiện ngay sau khi video block hoàn thành projection KV và ngay trước khi attention block tương ứng của action expert cần dùng KV đó. Phần projection của action block vẫn chạy song song thay vì chờ cả video expert.
  • Triển khai thực tế: đóng băng video expert, chỉ huấn luyện LoRA rank-128 của action expert; teacher dùng 10 bước rollout, trọng số teacher-anchored λ = 0.2.

Ví dụ đời thường: giống hai người làm một dây chuyền: người sau không cần đợi người trước làm xong toàn bộ lô hàng, chỉ cần nhận từng kiện đúng lúc cần lắp ráp; đồng thời có một giáo viên chạy thử đầy đủ để nói rõ thành phẩm cuối phải trông thế nào, thay vì chỉ khen học sinh khớp từng nhịp nhỏ.

III. Main Results:​

  • RoboTwin 2.0: RealtimeWAM* đạt 90.84% so với Fast-WAM 10 bước 91.51%; RealtimeWAM† đạt 92.64% so với Faster-WAM 10 bước 92.93%, chỉ giảm 0.29%.
  • LIBERO: RealtimeWAM* đạt 97.0%, ngang Fast-WAM; RealtimeWAM† đạt 99.0%, nhỉnh hơn Faster-WAM 98.9%.
  • LIBERO-Plus: RealtimeWAM† đạt 73.0%, chỉ thua Faster-WAM 73.6% khoảng 0.6%; độ bền out-of-distribution cơ bản được giữ.
  • Tốc độ: trên H100, Fast-WAM giảm từ 299.7 ms xuống 12.2 ms (24.55×); Faster-WAM từ 218.9 ms xuống 16.1 ms (13.56×). TACD chiếm phần lớn lợi ích; CEWP cộng thêm khoảng 1.17–1.34× sau CUDA Graph.
  • Ablation: thêm teacher anchor nâng RoboTwin overall từ 89.85% lên 90.84%; fine-tune video expert không giúp và tốn hơn; số bước teacher rollout K = 10 cân bằng nhất.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng tăng tốc WAM không chỉ cần giảm số bước denoise, mà còn phải phá rào cách ly giữa hai expert bằng pipelining mức block. TACD cho thấy distillation một bước vẫn giữ được action endpoint nhờ giám sát điểm cuối từ teacher; CEWP cho thấy nhiều phần của action expert có thể bắt đầu trước khi video expert hoàn tất. Hướng mở theo hàm ý của kết quả: tối ưu tiếp kernel/CUDA Graph cho nhiều phần cứng, kiểm chứng dài hạn trên robot thật và điều kiện OOD khác, và mở rộng cách đồng bộ mức block cho các kiến trúc expert không chỉ video-action.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu giới hạn của teacher rollout trong distillation một bước cho robot: số bước rollout, lỗi tích phân số và độ nhạy của tỷ lệ thành công theo tần số điều khiển.
  2. Phương pháp tự động chọn điểm đồng bộ block-wise giữa world expert và action expert để cân bằng độ trễ, mức tiêu thụ bộ nhớ KV và độ chính xác trên nhiều GPU.
  3. Bản mở rộng cho điều khiển robot thời gian thực kết hợp action chunking, làm mượt quan sát cũ và hiệu chỉnh trạng thái khi policy chạy quá nhanh so với vòng lặp cảm biến.

2. Patent:​

  1. Module điều khiển cánh tay robot trên điện thoại: điện thoại gửi ảnh và câu lệnh lên mô hình trên đám mây hoặc chip điện thoại; mô hình dự đoán hành động trong một bước, đồng thời chạy lớp nhận diện cảnh và lớp hành động theo từng khối để giảm độ trễ xuống mức phản hồi gần thời gian thực.
  2. Hệ thống mô phỏng-điều khiển cho xe nâng hoặc robot kho: mô hình tạo video kết quả tương lai và xuất lệnh lái một bước, với bộ đệm khóa-giá-trị chia theo từng khối để lệnh điều khiển không phải chờ toàn bộ video dự báo render xong.
  3. Bộ tăng tốc thương mại cho cụm robot công nghiệp: một teacher offline chạy nhiều bước để tạo mốc hành động chuẩn, sau đó nhiều student nhẹ chạy một bước trên card đồ họa tại chỗ, cho phép điều khiển 30 Hz trên robot nhiều trục mà gần như không giảm tỷ lệ hoàn thành tác vụ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06617
ArXiv Abstracthttps://arxiv.org/abs/2610.06617
PDF Downloadhttps://arxiv.org/pdf/2610.06617.pdf
Github Repositoryhttps://github.com/ModelTC/LightX2V

32. What Matters for Latent Reasoning with Flow Matching (10 votes)​

Tác giả: Yassine Ouali, Adrian Bulat, Georgios Tzimiropoulos

Xuất bản lúc: 2026-10-05

Tag: Latent Reasoning, Flow Matching, LLMs, Chain-of-Thought, Diffusion Models, Test-Time Compute

I. Main Problem:​

Các LLM hiện đại dùng chain of thought (CoT) rõ ràng — sinh từng token một — có ba hạn chế lớn:

  • Chi phí tăng theo độ dài chuỗi suy luận, phần lớn là văn xuôi vô ích.
  • Cam kết sớm: một rollout đã viết không còn đổi được, muốn thử hướng khác phải sinh lại từ đầu.
  • Các phương pháp suy luận ngầm (latent reasoning) hiện có (Coconut, CODI, PCCoT) học shortcut từ câu hỏi, chỉ chép CoT vào trọng số hoặc bắt chước từng token, nên suy nghĩ ngầm thường không thật sự giúp trả lời đúng, khó giải thích, và ngân sách suy luận bị khóa cố định lúc huấn luyện.

II. Main Idea:​

Bài báo đề xuất FLaRe (Flow-based Latent Reasoning) — một công thức huấn luyện đơn giản cho flow matching trong không gian latent đã học, đảm bảo suy nghĩ ngầm đáp ứng 5 yêu cầu: hữu ích, đa dạng, giải thích được, tinh chỉnh được, hiệu quả. Các thành phần chính:

  • VAE: nén CoT ký hiệu (bỏ văn xuôi, chỉ giữ bước tính + kết quả trung gian) thành mã nhỏ 8×512, với decoder kép (viết lại được cả dạng ký hiệu lẫn ngôn ngữ tự nhiên).
  • Làm mượt latent space bằng nhiễu: thay token đầu vào, thêm nhiễu vào mã, latent dropout — vì tái tạo quá chính xác khiến flow khó sinh (mỗi chi tiết mã hóa là thêm một chi tiết phải dựng lại).
  • Flow matching huấn luyện lệch về phía nhiễu (nơi inference bắt đầu), với nhiều CoT khác nhau cho cùng một câu hỏi để mỗi câu hỏi có nhiều mode hợp lệ.
  • Answer reader huấn luyện trên hỗn hợp 50/50 mã nhiễu và thought do chính model dự đoán (detach) để đọc được thought không hoàn hảo như lúc test.
  • Stage 2 self-training: model tự sinh K=8 thought từ nhiễu thuần, giữ lại thought nào decode ra đáp án đúng (verified), rồi huấn luyện với answer loss backprop xuyên suốt toàn bộ quá trình denoise.

Ví dụ đời thường: giống người giải toán không viết lời giải dài dòng mà chỉ ghi tóm tắt các phép tính trên giấy nháp, và quan trọng là khi nghiệm chưa chuẩn thì phác lại nguyên trang nháp từ đầu vài lần (self-training trên nghiệm đúng) thay vì sửa từng chữ.

III. Main Results:​

  • 5 yêu cầu đều cải thiện so với Coconut, CODI, PCCoT: useful 37–40% (twin test, cao nhất trong các phương pháp ngầm, CoT rõ ràng 97%), diverse +15–17 điểm pass@16, explainable ~47–49% câu hỏi khôi phục đúng các giá trị trung gian, refinable +18–24 điểm khi tăng compute, efficient 3.9× nhanh hơn CoT rõ ràng.
  • Độ chính xác: đạt 97% của explicit CoT với chỉ 1/4 độ trễ (S=2 Euler steps).
  • GSM8K: vượt mọi phương pháp ngầm ở mô hình 0.5B và 1B (hơn KaVa +6.9 và +2.6 điểm), tương đương ở 3B; dẫn đầu hoặc ngang trên GSM8K-Hard mọi quy mô. Stage 2 cải thiện mọi cột 2.7–3.8 điểm trên GSM8K.
  • Ablation then chốt: tái tạo VAE cao không đủ (tương quan -0.12 với accuracy downstream); corruption, dữ liệu đa dạng, và answer loss xuyên rollout là bắt buộc.
  • Điểm yếu: SVAMP kém hơn do gần nửa câu hỏi có số gây nhiễu, hiếm trong GSM8K-Aug.

IV. Conclusion & Future Works:​

FLaRe chứng minh latent reasoning bằng flow matching khả thi và vượt trội khi các lựa chọn thiết kế đúng: latent space mượt và giàu thông tin, flow huấn luyện gần nhiễu với nhiều lời giải mỗi câu hỏi, reader đọc được thought thật, và self-training trên rollout đã kiểm chứng với backprop xuyên suốt. Hướng tương lai hợp lý: mở rộng sang CoT ngôn ngữ tự nhiên và các tác vụ không chỉ số học (logic, khoa học), tích hợp reward/RL vào vòng self-training, và tối ưu hơn nữa số bước denoise để tăng tốc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FLaRe cho suy luận ngầm đa bước dài trong toán nâng cao (MATH, olympiad) bằng cách tăng số slot latent và kết hợp self-training với reward model.
  2. Kết hợp latent thought với reinforcement learning (GRPO trên thought) để khám phá có định hướng không gian lời giải thay vì chỉ lọc rollout đúng.
  3. Latent reasoning cho đa phương thức: nén chuỗi suy luận hình ảnh-văn bản thành thought liên tục rồi denoise bằng flow matching để giảm chi phí suy luận đa模态.

2. Patent:​

  1. Trợ lý toán học trên điện thoại: thay vì gõ lời giải dài từng chữ (tốn pin, chậm), app dùng mô hình suy luận ngầm để suy nghĩ trong không gian nén rồi chỉ hiển thị đáp án + lời giải tóm tắt, nhanh gấp 4 lần.
  2. Tính năng 'kiểm tra lại' thông minh: người dùng bấm một nút, app sinh nhiều suy nghĩ ngầm khác nhau từ cùng câu hỏi và tự bỏ phiếu để tăng độ tin cậy của đáp án mà không tốn thêm thời gian hiển thị.
  3. Hệ thống học tự cải thiện trên thiết bị: mô hình tự sinh lời giải cho câu hỏi mới, tự kiểm tra đáp án đúng, và tự cập nhật để dần chính xác hơn theo thời gian mà không cần gửi dữ liệu lên máy chủ huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.06666
ArXiv Abstracthttps://arxiv.org/abs/2610.06666
PDF Downloadhttps://arxiv.org/pdf/2610.06666.pdf
Github RepositoryN/A

33. Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction (10 votes)​

Tác giả: Som Sagar, Shasha Li, Hejie Cui, Ransalu Senanayake, Sercan Ö. Arık

Xuất bản lúc: 2026-10-02

Tag: Multi-Agent Systems, LLM Agents, Monte Carlo Tree Search, Agent Workflow Optimization, Query-Adaptive Routing, Value Prediction, Prompt Optimization

I. Main Problem:​

Khi xây dựng hệ thống multi-agent, harness (bộ khung: vai trò agent, chỉ dẫn, công cụ, cấu trúc giao tiếp) phù hợp phụ thuộc vào từng query — một câu hỏi tra cứu đơn giản chỉ cần một agent, còn việc đối chiếu workbook cần planner, solver, verifier phối hợp.

  • Giá trị của mỗi lựa chọn thiết kế chỉ quan sát được khi chạy thật, nên việc tuỳ biến harness theo query trước đây buộc phải thực thi nhiều phương án tại inference (tốn token/latency) hoặc thiết kế thủ công tốn kém.
  • Các thành phần harness tương tác lẫn nhau: verifier chỉ hữu ích nếu solver và chỉ dẫn kiểm tra phù hợp; tool chỉ giúp khi agent dùng nó hiệu quả — không thể tối ưu từng phần riêng lẻ.
  • Các phương pháp hiện có bị hạn chế: workflow optimization tìm cấu trúc cố định tái sử dụng, prompt optimization chỉ tinh chỉnh chỉ dẫn trong chương trình cố định, router chỉ chọn trong các lựa chọn định sẵn.

II. Main Idea:​

SHIFT (Searching Harnesses In Forward-pass Trees) dịch việc thực thi ra khỏi vòng lặp tìm kiếm per-query: thay vì chạy thử từng thiết kế, một mô hình nhỏ cục bộ (architect — Gemma-2-2B với LoRA) học cả policy đề xuất hành động xây harness lẫn value function dự đoán utility (cân bằng độ chính xác với chi phí thực thi) từ kết quả thực thi đã đo. Với mỗi query, Monte Carlo tree search dùng các dự đoán này để khám phá tổ hợp agent, chỉ dẫn, quyền dùng tool — không gọi executor nào trong vòng lặp tìm kiếm; chỉ harness được chọn mới được chạy một lần duy nhất.

  • Không gian tìm kiếm: harness là đồ thị có hướng (ai làm gì, ai chuyển kết quả cho ai), bắt đầu từ một Coder tối thiểu; mỗi action thêm agent, cạnh feedback, directive hoặc công cụ — mọi trạng thái trung gian đều có thể chạy được.
  • Học từ thực thi: reward nhận biết chi phí (trừ phí token, độ trễ, timeout, số agent/tool); policy học theo phân phối visit count của MCTS, value học utility đo được cộng thêm ranking loss giữa các harness cùng query.

Ví dụ đời thường: giống thợ sửa xe có kinh nghiệm nhìn chiếc xe và yêu cầu của khách rồi 'đoán' trong đầu bộ dụng cụ cần mang, thay vì mang hết mọi thứ ra thử — chỉ khi quyết định xong mới bắt tay sửa thật.

III. Main Results:​

  • SHIFT-search đạt mean accuracy cao nhất: 79,9% trên 6 benchmark (9.193 tác vụ, từ toán đến document/assistant, executor Gemini 3.5 Flash), vượt 17 baselines và hơn baseline mạnh nhất (Trace, 72,7%) +7,2 điểm phần trăm.
  • Lợi ích tập trung ở tác vụ dài hạn, nhiều tool: OfficeQA +30,0 điểm (59,3% vs 29,3%) và GAIA +15,0 điểm (68,6% vs 53,6%); trên 4 benchmark còn lại vẫn trong 1,2 điểm của phương pháp tốt nhất.
  • SHIFT-value (chọn theo utility dự đoán): 74,5% mean — vượt mọi baseline với ít hơn 32% token thực thi so với baseline mạnh nhất; cả hai biến thể đều nằm trên Pareto frontier accuracy–cost.
  • Tối ưu đồng thời cấu trúc + chỉ dẫn + tool vượt chỉ tối ưu một thành phần tới +9,1 điểm (69,4% full search vs 67,9% chỉ tool vs 60,3% chỉ instruction trên HotpotQA).
  • Value head học được chọn đúng: chọn harness có utility dự đoán cao nhất đạt 49,6% trên HotpotQA vs 39,1% chọn ngẫu nhiên, với ít hơn nửa chi phí; các 'công thức cố định' (nhiều agent nhất, nhiều tool nhất...) thậm chí tệ hơn ngẫu nhiên.
  • Search giảm ~30% token thực thi so với greedy cùng accuracy; chi phí tìm kiếm không đáng kể (<1 giây/query) so với thực thi; architect huấn luyện trên GSM8K chuyển zero-shot sang MATH-500 khó hơn (83,6% vs 81,2% của single agent cố định).

IV. Conclusion & Future Works:​

SHIFT chứng minh ước lượng utility học được có thể thay thế việc thực thi trong vòng tìm kiếm harness per-query, biến thiết kế agent từ nghệ thuật thủ công thành quy trình tự động có kiểm soát chi phí — và một architect duy nhất có thể cho cả chế độ chính xác cao nhất lẫn chế độ rẻ hơn 32% token.

  • Điểm then chốt: lookahead qua dự đoán là cần thiết — chỉ dùng value greedy một bước sụt xuống 60,2% vì không ghi nhận được lợi ích của agent chỉ xuất hiện sau các action sau đó.
  • Hướng mở rộng hợp lý (không nêu cụ thể trong paper): tinh chỉnh reward/utility cho các mục tiêu khác (độ trễ chặt, ngân sách token cứng), mở rộng không gian action (tự tạo vai trò/chỉ dẫn mới thay vì chọn từ thư viện), và huấn luyện architect vượt miền để chuyển giao cho những tác vụ chưa thấy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng value function để dự đoán cả phân phối kết quả (thay vì một utility vô hướng), cho phép tìm kiếm harness theo tiêu chí rủi ro — ví dụ chọn thiết kế chắc chắn đạt ngưỡng tối thiểu cho truy vấn quan trọng thay vì kỳ vọng cao nhất.
  2. Kết hợp SHIFT với bộ nhớ liên query: architect ghi nhớ harness đã chọn và kết quả thực thi theo chủ đề, để tái sử dụng và tinh chỉnh gián tiếp cho các query tương tự mà không cần tìm kiếm lại từ đầu.
  3. Tự động sinh thư viện vai trò và directive trong quá trình tìm kiếm (thay vì chọn từ thư viện cố định do người dùng định nghĩa), mở rộng không gian thiết kế harness lên các cấu trúc multi-agent chưa từng được con người hình dung.

2. Patent:​

  1. Trợ lý AI trên điện thoại tự ráng 'đội hình' theo yêu cầu: trước khi trả lời, ứng dụng chạy một mô hình nhỏ cục bộ để quyết định cần mấy agent (tra cứu, tính toán, kiểm tra) và mở những quyền nào (đọc file, tính toán, duyệt web) — giảm chi phí gọi mô hình lớn trên mạng và tăng độ chính xác cho câu hỏi phức tạp.
  2. Hệ thống hỏi-đáp tài liệu doanh nghiệp cân bằng chất lượng và chi phí: máy chủ dùng hàm giá trị đã học để chọn cấu trúc xử lý (một bước đọc hay chuỗi đọc–tính–kiểm chứng) cho từng câu hỏi, tự động tiết kiệm token cho câu đơn giản và mạnh tay chi cho câu khó.
  3. Bộ công cụ xây chatbot đa tác vụ trên thiết bị biên: một mô-đun 'kiến trúc sư' nhỏ chạy ngoại tuyến duyệt cây các lựa chọn thiết kế (agent, hướng dẫn, quyền công cụ) bằng dự đoán điểm lợi ích/chi phí, chỉ khi chốt thiết kế mới gọi mô hình lớn thực thi — tiết kiệm pin và băng thông di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04137
ArXiv Abstracthttps://arxiv.org/abs/2610.04137
PDF Downloadhttps://arxiv.org/pdf/2610.04137.pdf
Github RepositoryN/A