🤗 Daily Hugging Face Paper Digest - 2026-08-05
Báo cáo được tạo tự động vào lúc 2026-08-06 10:20:24 bằng mô hình hermes-agent.
📰 Summary of Papers
1. MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations (89 votes)
Tác giả: Qiming Shi, Yulong Tao, Linbo Jin, Zhaolu Kang, Yibo Dou, et al.
Xuất bản lúc: 2026-07-31
Tag: LLM Agents, Benchmark, Long-Horizon, POMDP, E-Commerce, Tool Use, Simulation, Agent Evaluation
I. Main Problem:
Hầu hết benchmark đánh giá agent ở tác vụ có ranh giới rõ ràng và tiêu chí thành công tức thì, không phản ánh thực tế triển khai. Thực tế đòi hỏi Long-Term Coherence — giữ hành vi có mục đích xuyên suốt thời gian dài và điều chỉnh quyết định theo bằng chứng tích lũy. Các benchmark thương mại hiện có chỉ tập trung vào giao dịch, hội thoại, hoặc tập sản phẩm tĩnh, thiếu hai yếu tố cùng lúc: (1) phản hồi sinh ra qua vòng đời từng đơn hàng với độ trễ khác nhau, (2) nhu cầu không tĩnh từ dữ liệu thực để buộc agent phải liên tục cập nhật danh mục.
II. Main Idea:
MerchantBench mô hình hóa vận hành cửa hàng online như một POMDP 365 ngày (8.760 bước, agent hành động mỗi 12 bước) dựa trên 98.843 bản ghi sản phẩm thực từ 1688 và 26 công cụ. Cơ chế cốt lõi:
- Upstream Supplier Events (đổi giá, gỡ hàng, chậm giao) hiện ra sớm qua tra cứu catalog.
- Downstream Order Outcomes (hủy, hết hàng, hoàn tiền, đánh giá xấu) chỉ lộ ra muộn khi đơn đi qua vòng đời Placed→Procured→Shipped→Delivered→Settled.
- Đơn mới trừ tiền ngay, nhưng hậu quả xấu về sau mới ảnh hưởng rating cửa hàng → agent phải nhớ quyết định cũ và tự sửa.
- Bốn thành phần quyết định: Product Sourcing, Listing/Pricing Control, Cash-Flow Management, Mixed-Latency Feedback Adaptation.
- Đánh giá 8 LLM dưới 2 framework (ReAct, Hermes), mỗi cặp 3 lượt, tổng 48 lượt.
Ví dụ đời thường: giống chủ tiệm tạp hóa trả tiền sỉ cho nhà cung cấp ngay khi khách đặt, nhưng phải đợi vài tuần mới biết khách trả hàng hay chê dở; để không lỗ, chủ tiệm phải nhớ món nào từng bán dở mà gỡ khỏi kệ, chứ không thể chỉ nhìn tiền vào lúc đó.
III. Main Results:
- Cấu hình LLM tốt nhất (Qwen3.7-Max + Hermes) chỉ đạt 27,3% tài sản ròng trung bình của người thật; GPT-5.6 Sol cao nhất nhánh ReAct.
- Framework Hermes hơn ReAct trung bình +53,3% tài sản ròng, +71,5% GMV, +71,2% đơn; 7/8 mô hình lợi hơn dưới Hermes.
- Operational Coherence sụt: SWR người thật 100%, LLM chỉ 10,6–99,4% (ReAct) và 17,8–66,1% (Hermes); Qwen3.7-Max giảm từ 62% xuống 37% theo quý.
- Strategic Coherence lệch: nhiều agent thu hẹp vòng lặp phản ứng thụ động, hoặc bỏ cuộc sớm (Kimi K2.6 ngưng hành động 355/523 cửa sổ còn lại từ ngày 104).
- Con người mở rộng giá thu mua theo thanh khoản và duy trì độ rộng danh mục; LLM giữ quỹ đạo giá phẳng hoặc co hẹp kệ hàng.
- Biến động lớn giữa các lượt lặp: Qwen3.7-Max + Hermes CV tới 55,1%.
IV. Conclusion & Future Works:
MerchantBench chứng minh khoảng cách lớn giữa LLM agent và người thật trong vận hành dài hạn, do suy giảm hoạt động, bỏ cuộc sớm và chiến lược không theo bằng chứng tích lũy. Hướng tương lai: thiết kế cơ chế nhắc/duy trì mục tiêu dài hạn, bộ nhớ tốt hơn để liên kết hậu quả muộn với quyết định cũ, và khung đánh giá coherence sát thực tế hơn cho agent thương mại.
V. Brainstorming Space:
1. Publish Papers:
- Xây dựng môi trường mô phỏng vận hành shop online 1 năm cho thu nhỏ, giúp người bán thử chiến lược nguồn hàng/giá trước khi bỏ vốn thật.
- Công cụ đánh giá tự động coherence của agent thương mại, cảnh báo khi agent ngưng can thiệp hoặc trôi khỏi mục tiêu lợi nhuận.
- Bộ dữ liệu nhu cầu 365 ngày và xác suất rủi ro đơn hàng từ 1688 dùng huấn luyện/kiểm thử mô hình dự báo rủi ro bán lẻ.
2. Patent:
- App điện thoại hỗ trợ chủ shop nhỏ: AI agent tự đề xuất nguồn hàng, đặt giá, cảnh báo khi đơn hoàn tiền tăng, và nhắc thay sản phẩm rủi ro — như 'trợ lý cửa hàng' chạy trên smartphone.
- Tính năng trên sàn TMĐT: khi đơn bị đánh giá xấu hoặc hoàn tiền, hệ thống tự gắn cờ sản phẩm và gợi ý tìm mặt hàng tương tự giữ nguyên nhu cầu, giúp người bán phản ứng nhanh trên app.
- Module quản lý dòng tiền cho seller trên điện thoại: theo dõi tiền cam kết, tiền về sau, phạt nền tảng và cảnh báo nếu ký quỹ cạn, tránh bị đóng cửa hàng bất ngờ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.28956 |
| ArXiv Abstract | https://arxiv.org/abs/2607.28956 |
| PDF Download | https://arxiv.org/pdf/2607.28956.pdf |
| Github Repository | https://github.com/KhanCold/merchantbench |
2. JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion (79 votes)
Tác giả: Yicheng Xiao, Wenxun Dai, Xinran Qin, Lin Song, Maoquan Zhang, et al.
Xuất bản lúc: 2026-08-04
Tag: Video Editing, Autoregressive Diffusion, Diffusion Models, MLLM, Distribution Matching Distillation, Real-Time, Causal Generation, KV-Cache, FP8 Quantization
I. Main Problem:
Chỉnh sửa video theo thời gian thực (streaming) đòi hỏi sinh khung hình nhân quả (causal) với độ trễ thấp, tài nguyên tính toán/bộ nhớ có giới hạn, trong khi vẫn giữ trung thành nguồn và nhất quán dài hạn — mà không được xem trước các khung hình tương lai và không biết độ dài video.
Các trình biên tập video offline chất lượng cao hiện tại:
- xử lý toàn clip bằng tương tác thời gian hai chiều (bidirectional), phụ thuộc khung tương lai → không sinh được causal.
- bộ nhớ attention/activation tăng theo độ dài đầu vào, không tái dùng trạng thái cache.
Hai lỗ hổng cốt lõi:
- Train–inference mismatch: lúc huấn luyện mô hình thấy lịch sử sạch, lúc chạy nó phải dùng chính dự đoán imperfect của mình → lỗi màu sắc, hình dạng lan truyền và trôi dạt (drift) dồn tụ theo thời gian.
- Nút thắt vài-bước (few-step) sinh: để đạt throughput real-time phải rút gọn denoising về 2 bước, tạo khoảng cách giữa mục tiêu huấn luyện lặp nhiều bước và mô hình một nhánh lúc triển khai.
II. Main Idea:
JoyAI-Video-Edit là framework autoregressive diffusion 16B tham số gồm 3 khối: MLLM mã hóa điều kiện, causal video VAE, và multimodal Diffusion Transformer (MM-DiT). Bộ ba kỹ thuật giải quyết đồng thời causal generation, drift nguồn, tăng tốc vài-bước, và ổn định dài hạn:
- Chunk-wise Autoregressive Adaptation: chia video thành các chunk 8 khung, attention hai chiều trong chunk và nhân quả giữa các chunk; cửa sổ trượt giữ số chunk gần đây cố định + chunk đầu làm 'global sink' → bound compute/memory bất kể độ dài. Huấn luyện bằng Resampling Forcing (thay lịch sử sạch bằng dự đoán tái sinh bị detach) để thu hẹp mismatch.
- Source-Anchored DMD (SA-DMD): chưng cất denoising lặp thành generator 2 bước. Neo teacher vào chunk nguồn tương ứng qua classifier-free guidance trên hai trục độc lập: text-condition và source-fidelity → kéo phân phối sinh về sát nguồn, chống drift.
- Long-Horizon Autoregressive Distillation: tối ưu phân đoạn trên rollout dài (chia clip ngắn, cộng dồn gradient, xóa đồ thị giữa các đoạn) để huấn luyện dưới lỗi dồn tụ mà không tràn bộ nhớ.
Triển khai: FP8 quantization, operator fusion, graph compilation, bounded KV-cache → 720p ~30 FPS trên 1 GPU B200.
Ví dụ đời thường: giống thợ sửa ảnh nhận từng tấm ảnh khách gửi liên tục, thay vì chờ cả cuốn album; mỗi tấm ông soi ngay tấm gốc bên cạnh để giữ đúng diện mạo, chỉ sửa đúng chỗ khách dặn, rồi lưu 'bản nháp' tấm trước làm chuẩn cho tấm sau — nhờ neo vào gốc và tái dùng bản nháp mà cả bộ sưu tập dài vẫn đồng bộ, không bị lệch màu dần.
III. Main Results:
- Short-video (OpenVE-Bench): tổng điểm 3.60, vượt SANA-Streaming (+0.98), LiveEdit (+1.60), XMax-X2.0 (+1.73), StreamDiffusionV2 (+2.37); đứng đầu streaming ở 4/5 hạng mục, ngang ngửa offline mạnh (Kiwi-Edit, Kling-3.0 Omni, Kling-O1).
- Long-video (LongV2VBench — 229 task, 1 phút): tổng 3.30, đứng nhất cả 5 hạng mục, vượt baseline mạnh nhất XMax-X2.0 tới +1.59 điểm.
- Tốc độ: VAE encode 22ms + DiT 185ms + VAE decode 19ms + cache/pseudo-encode 40ms → chu kỳ 266ms ≈ 30.1 FPS, độ trễ request-to-response 226ms trên 1 B200.
- SA-DMD rút denoising còn chỉ 2 bước vẫn giữ chất lượng và nhất quán thời gian.
IV. Conclusion & Future Works:
JoyAI-Video-Edit thu hẹp đáng kể khoảng cách chất lượng giữa streaming và offline video editing, lần đầu đạt 720p real-time ~30 FPS trên 1 GPU nhờ kết hợp causal chunk adaptation, SA-DMD và long-horizon distillation. Hướng tương lai: mở rộng sang live camera inference đa dạng thiết bị, tối ưu thêm chi phí trên GPU phổ thông, và nâng cao khả năng theo dõi danh tính dài hạn cho video rất dài hoặc nhiều biến đổi phức tạp.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Source-Anchored DMD sang tác vụ video generation thuần (không có source video) bằng cách neo vào điều kiện văn bản và lịch sử sinh, thay vì chunk nguồn, để chống drift trong sinh video dài hạn mở.
- Nghiên cứu chiến lược dynamic mirror looping kết hợp với attention cửa sổ trượt để tối ưu huấn luyện long-horizon khi video nguồn ngắn hơn rollout mục tiêu, áp dụng cho cả V2V và T2V.
- Phân tích lý thuyết về trade-off giữa trọng số w_src (source fidelity) và w_txt (history continuity) trong SA-DMD để tự động cân bằng chống drift mà không cần grid-search.
2. Patent:
- Ứng dụng di động: app chỉnh sửa video livestream trên điện thoại — người dùng bật camera, chọn hiệu ứng ('đổi background thành biển', 'thêm áo len cho mèo'), app tự động áp dụng real-time từng khung hình đến khung đến, không cần quay xong rồi xử lý, nhờ cơ chế chunk-wise causal và KV-cache nhẹ.
- Tính năng gọi video AR: trong cuộc gọi, nền phía sau người dùng được thay thế theo thời gian thực (như họp ở văn phòng ảo) mà không bị giật hoặc lệch màu qua thời gian dài, dùng SA-DMD neo vào khung gốc để giữ hình dạng người.
- Camera hành trình / phát trực tiếp: hệ thống gắn trên drone hoặc xe phát sóng trực tiếp, áp dụng stylization hoặc thay đổi thời tiết/bối cảnh toàn cảnh ngay khi hình vào, duy trì nhất quán trên stream không giới hạn độ dài nhờ global-sink và cửa sổ trượt.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03974 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03974 |
| PDF Download | https://arxiv.org/pdf/2608.03974.pdf |
| Github Repository | https://github.com/jd-opensource/JoyAI-Video-Edit |
3. AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling (74 votes)
Tác giả: Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, et al.
Xuất bản lúc: 2026-08-03
Tag: Continuous-Latent Diffusion, Diffusion Language Models, Flow Matching, Autoencoder, Block-Causal Generation, Text Generation
I. Main Problem:
Ngôn ngữ là ngoại lệ trong mô hình sinh hiện đại: ảnh, video, audio đã dùng không gian ẩn liên tục, nhưng văn bản vẫn dùng token rời rạc. Hai bài toán kép chưa giải được:
- Xây dựng biểu diễn liên tục của văn bản vừa giải mã lại thành token chính xác được, vừa tổ chức theo thứ tự nhân quả để sinh từ trái sang phải.
- Thiết kế mô hình sinh học được phân bố của biểu diễn đó mà không phải nén nó (vì nén thì dễ sinh nhưng mất khả năng phục hồi từ ngữ).
Các phương pháp cũ bị thắt cổ chai biểu diễn: hoặc mượn embedding token không thiết kế cho sinh/giải mã, hoặc nén latent làm mất độ trung thực cấp token. AURORA-LM chối bỏ sự thỏa hiệp này.
II. Main Idea:
Tách rời hai khâu: xây dựng biểu diễn văn bản có thể giải mã (stage 1) và mô hình hóa phân bố sinh của nó (stage 2).
Stage 1 — Query-based Encoder-Decoder:
- Encoder dùng N truy vấn (query) sinh dần các vị trí latent từ tiền tố token dài dần, tạo chuỗi latent căn chỉnh tiền tố, có thứ tự nhân quả.
- Decoder ánh xạ tiền tố latent về logits token, huấn luyện chỉ bằng tái tạo văn bản (cross-entropy). Sau đó đóng băng autoencoder để cố định biểu diễn.
Stage 2 — Block-causal Diffusion Transformer:
- Học phân bố latent bằng flow matching, sinh từng khối (block) trái→phải đồng thời khử nhiễu các vị trí trong một khối song song.
- Thắt nút chỉ ở đường vào nhiễu: áp dụng phép chiếu low-rank cho latent nhiễu, nhưng vẫn dự đoán toàn bộ latent sạch (giữ nguyên dung lượng kênh cho decoder).
- Hiệu chỉnh mức nhiễu theo bề rộng latent: latent rộng cần ưu tiên nhiễu cao hơn khi huấn luyện.
- Self-trajectory consistency: căn chỉnh dự đoán latent sạch tại các trạng thái kề nhau trên quỹ đạo khử nhiễu, sinh chất lượng cao với ít bước hơn.
Ví dụ đời thường: giống thợ sửa máy học cách máy chạy bằng cách lần lượt tháo xem từng bộ phận (tiền tố dài dần) rồi lắp lại nguyên vẹn; còn thợ mới sửa thì không bóp méo bộ phận để dễ đoán, mà giữ nguyên cấu trúc gốc và học cách nhận ra hình dạng chuẩn dù bộ phận đang bị bôi bẩn (nhiễu), chỉ lọc đường vào chứ không đổi thiết kế gốc.
III. Main Results:
- OpenWebText (sinh tự do) và XSum (tóm tắt có điều kiện): AURORA-LM đạt kết quả tốt nhất among các mô hình ngôn ngữ liên tục và dựa diffusion được so sánh.
- Scaling lên 1B tham số với ~1.500 EFLOPs tổng tính toán: tiếp tục cải thiện và vượt một mô hình latent-diffusion công khai lớn hơn dưới cùng giao thức đánh giá.
- 9 benchmark ngôn ngữ (HellaSwag, MMLU, ARC-C, WinoGrande, StoryCloze, SIQA, OBQA, RACE, SQuAD EM): vượt mô hình latent-diffusion lớn hơn theo Fig. 1(b).
- Ablation xác nhận: giữ dung lượng latent rộng + low-rank input + hiệu chỉnh nhiễu + self-trajectory consistency đều cần thiết.
IV. Conclusion & Future Works:
Kết luận: biểu diễn văn bản liên tục, dung lượng cao, có cấu trúc nhân quả và giải mã được là cầu nối hiệu quả giữa mô hình sinh dựa diffusion và giải mã token rời rạc, miễn là diffusion được thiết kế để học trực tiếp phân bố của nó. Hướng tương lai (suy luận từ thiết kế): mở rộng block size tự thích ứng, kết hợp self-trajectory consistency với ít bước suy luận hơn nữa cho suy diễn thực tế, và áp dụng khung hai-stage này cho hệ thống đa phương thức thống nhất (nơi văn bản và ảnh cùng chia một không gian ẩn liên tục).
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng AURORA-LM thành khung đa phương thức thống nhất: một autoencoder chung biểu diễn liên tục cho cả văn bản và ảnh/video, giúp bỏ bước chuyển đổi modalities về token rời rạc như các hệ thống hiện tại.
- Nghiên cứu luật scaling (scaling law) riêng cho latent-diffusion language model: xác định quan hệ giữa bề rộng latent D, tỷ lệ nén N, và compute để tối ưu cấu hình trước khi huấn luyện quy mô lớn.
- Kết hợp self-trajectory consistency với consistency distillation để đạt sinh ít bước (one-/few-step) trên thiết bị biên mà vẫn giữ độ trung thực cấp token.
2. Patent:
- Bàn phím gợi ý thông minh trên điện thoại: thay vì dự đoán token tiếp theo, máy sinh đồng thời cả một khối từ liên tục trong không gian latent rồi giải mã, cho phép gợi ý cụm từ trôi chảy hơn và sửa lỗi toàn cục thay vì từng chữ.
- Tóm tắt tin nhắn/hội thoại trên điện thoại chạy offline: mô hình latent-diffusion nhỏ gọn sinh tóm tắt từ khối latent, không cần autoregressive từng token nên nhanh và ít tốn pin hơn khi xử lý văn bản dài.
- Trợ lý viết văn bản trên mobile: người dùng gõ ý thô, hệ thống sinh văn bản trôi chảy qua block-causal diffusion (sinh song song trong khối) rồi giải mã ra token, cho tốc độ soạn thảo nhanh hơn cả autoregressive truyền thống.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02602 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02602 |
| PDF Download | https://arxiv.org/pdf/2608.02602.pdf |
| Github Repository | https://github.com/fyv587/AURORA-LM |
4. Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing (73 votes)
Tác giả: Junliang Ye, Kenkun Liu, Guocun Wang, Yang Li, Yansong Qu, et al.
Xuất bản lúc: 2026-08-03
Tag: 3D Generation, 3D Editing, 3D Understanding, Multimodal, Vision-Language Model, Diffusion, DiT, Part Generation, Data Pipeline
I. Main Problem:
Mô hình 3D hiện tại bị phân mảnh: hiểu, sinh, và chỉnh sửa 3D được phát triển thành các hệ thống riêng biệt vì thiếu dữ liệu đa phương thức quy mô lớn. Đặc biệt:
- Dữ liệu chỉnh sửa 3D nhất quán về hình học cực kỳ khan hiếm, khiến khó huấn luyện mô hình sửa tài sản 3D mà vẫn giữ nguyên cấu trúc và vùng không sửa.
- Không rõ liệu hiểu, sinh, chỉnh sửa 3D có thể củng cố lẫn nhau dưới một khuôn khổ huấn luyện thống nhất hay không.
II. Main Idea:
Hunyuan3D-Buffalo 1.0 xây dựng một kiến trúc duy nhất kết hợp mô hình ngôn ngữ-thị giác 3D (Hunyuan3D-VLM) với mạng khuếch tán 3D (Hunyuan3D DiT) để làm cả 4 việc: hiểu 3D, sinh 3D từ văn bản, chỉnh sửa 3D theo lệnh, và sinh từng phần 3D theo văn bản.
Quy trình cốt lõi:
- Xây kho dữ liệu 87M mẫu gồm 25M mẫu hiểu, 50M cặp văn bản-3D, 12M cặp chỉnh sửa (tạo bằng công cụ Nano3D-v2).
- Nano3D-v2: thuật toán tạo dữ liệu chỉnh sửa 3D theo tác nhân — chọn góc nhìn neo, định vị vùng sửa 3D bằng mô hình học, chỉnh voxel, tinh chỉnh hình học/kết cấu, rồi lọc bằng VLM.
- Hunyuan3D-VLM cung cấp điều kiện ngữ nghĩa đa phương thức; khi chỉnh sửa/sinh phần thì thêm điều kiện từ biểu diễn vật thể gốc để giữ nguyên cấu trúc và vùng không sửa.
Ví dụ đời thường: giống thợ sửa xe nhận chiếc xe cũ, chụp từ góc nhìn rõ nhất rồi dán nhãn 'chỉ thay lazang, giữ nguyên thân xe' — thợ vừa nhìn ảnh vừa bám sát bản vẽ gốc để gõ sửa đúng chỗ, không làm hỏng phần còn lại.
III. Main Results:
- Đạt SOTA hoặc dẫn đầu trên benchmark sinh 3D từ văn bản và chỉnh sửa 3D (Edit3D-Bench Add/Remove).
- Hiển thị năng lực hiểu 3D và sinh phần 3D mạnh mẽ trong cùng một mô hình.
- Phát hiện hai hiệu ứng cộng hưởng: (1) sinh 3D tốt hơn → chỉnh sửa tốt hơn (ưu tiên sinh trước giúp hình học sửa đầy đủ tự nhiên hơn); (2) hiểu 3D tốt hơn → chỉnh sửa tốt hơn (lý luận ngữ nghĩa/không gian giúp định vị vùng sửa và giữ vùng không sửa).
- Kho dữ liệu lớn gấp 100 lần Nano3D và 12 lần Omni123.
IV. Conclusion & Future Works:
Huấn luyện đa phương thức 3D thống nhất không chỉ gộp nhiều tác vụ, mà kích hoạt chuyển giao năng lực giữa hiểu, sinh, chỉnh sửa. Hướng tương lai: mở rộng quy mô dữ liệu, cải thiện độ trung thực hình học/kết cấu, và khám phá thêm sự hiệp đồng giữa các tác vụ 3D dưới kiến trúc native.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu sâu hơn về cơ chế chuyển giao năng lực giữa hiểu và sinh/chỉnh sửa 3D để tối ưu hóa phân bổ dữ liệu giữa các tác vụ trong huấn luyện thống nhất.
- Mở rộng Nano3D-v2 thành công cụ tự động xây dựng dữ liệu chỉnh sửa 3D đa dạng hơn (vật lý, cảnh động, tương tác phức tạp) duy trì nhất quán đa góc nhìn.
- Khám phá kiến trúc native hơn gộp VLM và DiT vào một Transformer duy nhất cho 3D thay vì thiết kế tách rời như hiện tại.
2. Patent:
- Ứng dụng điện thoại: tính năng 'chỉnh sửa mô hình 3D bằng lời' — người dùng chụp vật thể, gõ 'thêm tai mèo' hoặc 'đổi màu ghế', mô hình giữ nguyên phần còn lại và xuất mesh 3D ngay trên thiết bị cho in 3D hoặc AR.
- Công cụ thiết kế nội thất di động: từ ảnh phòng, người dùng yêu cầu 'thêm kệ sách góc trái' — hệ thống sinh phần 3D neo đúng vị trí theo lệnh văn bản, hỗ trợ xem trước thực tế tăng cường.
- App tạo game/avatar: người dùng mô tả 'tạo chiến binh samurai cầm kiếm' — hệ thống sinh asset 3D từ văn bản rồi cho phép 'bỏ khiên, giữ kiếm' chỉ bằng câu lệnh, không cần phần mềm dựng hình chuyên sâu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02711 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02711 |
| PDF Download | https://arxiv.org/pdf/2608.02711.pdf |
| Github Repository | N/A |
5. Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent (45 votes)
Tác giả: Zhen Fang, Yu Zeng, Wenxuan Huang, Yiming Zhao, Shiting Huang, et al.
Xuất bản lúc: 2026-08-04
Tag: Video-DeepResearch, Multimodal Agent, Vision-Language Model, GRPO, RL, Tool-Augmented, Video Understanding, Benchmark, Deep Research Agent
I. Main Problem:
Các agent đa phương thức hiện tại mới chỉ xử lý ảnh tĩnh hoặc văn bản, chưa làm chủ được video liên tục — nơi cần neo thời-gian-không-gian dày đặc kết hợp khám phá web mở. Khảo sát sơ bộ trên các mô hình đại diện bộc lộ hai lỗi hệ thống:
- Thiên kiến phương thức (modality bias): agent lười gọi công cụ thị giác, thích tìm kiếm văn bản — mô hình open-source mạnh nhất chỉ gọi công cụ thị giác trung bình 0.10 lần/tác vụ, trong khi gọi text tới 1.27 lần.
- Rò rỉ tri thức tham số (parametric knowledge leakage): GPT-5 đạt 57% mà gần như không gọi công cụ nào (0.00 thị giác, 0.12 text), tức chỉ dùng 'học thuộc lòng' để đoán đáp án, né luôn quy trình grounding nhiều bước.
Hai lỗi này khiến benchmark hiện tại không đo được năng lực hiểu video thực sự, và không có pipeline dữ liệu/training phù hợp cho video.
II. Main Idea:
Video-DeepResearch (Video-DR) coi video là chuỗi các thực thể di chuyển theo thời gian, rồi giải bài toán bằng quy trình nhận thức–khám phá tách rời (decoupled perception-exploration) với mở khóa công cụ theo giai đoạn (stage-wise tool unlocking):
- Giai đoạn 1 (chỉ thị giác): agent bị khóa trong không gian hành động chỉ gồm
Select_Keyframe(chọn khung hình then chốt) vàCrop_Search(cắt thực thể để tìm kiếm ảnh) — ép nó phải quét kỹ nhiều khung, nhiều thực thể trước. - Giai đoạn 2 (mở rộng web): khi đủ ngữ cảnh thị giác, mới mở khóa
Search/Visitđể tìm tri thức bên ngoài và tổng hợp đáp án.
Dữ liệu: engine sinh 30K cặp QA video + 7K trajectory huấn luyện; lọc bỏ mọi câu hỏi mô hình trả lời đúng không cần công cụ (chống rò rỉ tri thức). Training hai giai đoạn: SFT để 'khởi động lạnh' quy trình, rồi GRPO (reinforcement learning không cần value network) đẩy agent vượt trần bắt chước, tự chủ thám hiểm.
Ví dụ đời thường: giống thám tử bị bắt buộc phải đi hiện trường chụp và đối chiếu từng tấm ảnh trước khi được mở laptop tra hồ sơ — thay vì ngồi đoán tên nghi phạm từ trí nhớ, anh ta phải 'soi' kỹ rồi mới lướt web xác minh.
III. Main Results:
- Video-DeepResearch-35B-A3B đạt 64.0% trung bình — SOTA mới, vượt Claude-4.5-Sonnet (59.0%) +5.0 điểm, bỏ xa GPT-5 (52.5%) và Gemini 2.5 Pro (57.5%).
- Biến thể 30B-A3B đạt 59.3%, ngang Claude-4.5-Sonnet, vượt GPT-5 và Gemini 2.5 Pro — chứng tỏ pipeline hiệu quả ngay ở quy mô nhỏ.
- So với base model: 35B cải thiện +21.2% (từ 42.8% lên 64.0%); 30B cải thiện +18.8% (từ 40.5% lên 59.3%).
- Công cụ: model của tác giả tăng mạnh lượt gọi thị giác (0.10 → 2.33 trên VideoDR), khắc phục thiên kiến phương thức; 30B dùng công cụ đa dạng hơn cả base 397B.
- Ablation (30B): Base 40.5% → 7K-SFT 53.0% → +7K text-SFT 56.8% → +2K-RL 59.3%, xác nhận mỗi thành phần (visual grounding, text skill, RL) đều cần thiết.
- VIDEODR-BENCH: 200 câu multi-hop, mọi câu đều buộc dùng cả thị giác và tri thức ngoài.
IV. Conclusion & Future Works:
Video-DR là framework thống nhất đầu tiên gộp sinh dữ liệu – huấn luyện agent – đánh giá cho video. Kết quả thách thức niềm tin 'scale là đủ': mô hình 30B qua pipeline chuyên biệt đánh bại base 397B, cho thấy năng lực Video-DR là tính chất nổi lên nhờ thiết kế lộ trình (curriculum), không chỉ kích thước. Hạn chế: tốn GPU lớn (4 node H800) và benchmark vẫn cần annotation thủ công nên khó mở rộng nhanh. Hướng tương lai: pipeline nhẹ hơn, kiến trúc gọn, và metric đánh giá tự động bằng LLM để giảm phụ thuộc con người.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng decoupled perception-exploration sang video dài hàng giờ / phát trực tiếp, với cơ chế tự động chọn keyframe thay vì CLIP cố định để giảm nhiễu khung hình.
- Nghiên cứu thiên kiến phương thức như artifact phân bố dữ liệu: so sánh pipeline tách rời với mixed-training để tìm liều lượng tối ưu giữa dữ liệu thị giác và văn bản.
- Xây dựng benchmark video-DR tự động hóa hoàn toàn bằng multi-agent (Drafting/Generation/Ranking) không cần người gán nhãn, kèm metric LLM-judge chống rò rỉ tri thức.
2. Patent:
- Tính năng 'tra cứu thông minh' trên app video điện thoại: khi xem clip, người dùng khoanh một vật/thực thể trên màn hình, hệ thống tự cắt khung, tìm kiếm ảnh ngược và trả về tên sản phẩm/diễn viên/địa điểm kèm nguồn web — không cần gõ chữ.
- Trình duyệt tin tức video tự động fact-check: AI tách khung hình quan chức/bối cảnh từ clip, đối chiếu với tư liệu web mở để gắn chú thích xác minh ngay dưới video trên mạng xã hội.
- Trợ lý mua sắm qua video livestream: nhận diện giày/túi xuất hiện trong stream, cắt crop thực thể, tra ngược để hiện link mua hàng và giá — tích hợp trực tiếp vào app thương mại điện tử trên điện thoại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03979 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03979 |
| PDF Download | https://arxiv.org/pdf/2608.03979.pdf |
| Github Repository | N/A |
6. Knowledge-Geometry Decoupling: Refreshable Pretrained Transfer for Streaming Recommendation (38 votes)
Tác giả: Zixuan Wang, Yuhong Chen, Yuxuan Zhu, Guidong Lei, Zhiluohan Guo, et al.
Xuất bản lúc: 2026-08-03
Tag: Recommender-Systems, Sequential-Recommendation, Transformer, Pretrain-then-Transfer, Streaming-Learning, Knowledge-Distillation, CTR-Prediction
I. Main Problem:
Hệ thống gợi ý công nghiệp dùng mô hình tiền huấn luyện rồi chuyển giao, nhưng phân bố hành vi người dùng thay đổi liên tục (drift) gây hai lỗi nghiêm trọng:
- Lọc nhiễu sai khi học: dự đoán token tiếp theo coi hai món liền kề là có quan hệ nhân quả. Thực tế chuỗi hành vi là nhiều phiên quan tâm rời rạc nối lại (vd: xe đạp rồi quần áo), nên dạy mô hình "món sau nối món trước" chèn nhiễu giả vào biểu diễn.
- Xung đột tham số khi làm mới: tri thức tiền huấn luyện và hình học riêng của tác vụ kéo chung một bộ trọng số theo hai hướng trái ngược. Làm mới mô hình mỗi ngày sẽ ghi đè lên tri thức cũ; đóng băng thì tác vụ không được uốn nắn biểu diễn. Không cách nào vừa giữ tri thức vừa thích nghi.
II. Main Idea:
KGD (Knowledge–Geometry Decoupling) tách tri thức hành vi khỏi hình học tác vụ thành hai lớp sở hữu riêng biệt.
1. Học cái gì — BMTP (Behavioral Multi-Token Prediction): thay vì dạy mọi cặp liền kề, chỉ giữ các món tương lai liên quan theo trục cộng tác (hay mua cùng nhau, như bia và tã) hoặc trục ngữ nghĩa (cùng nội dung, như váy đỏ này sang váy đỏ kia). Hai độ tương đồng tính offline, lọc nhiễu biên phiên.
2. Chuyển giao thế nào — sở hữu đọc-viết tách rời:
- Một encoder làm mới được giữ tri thức hành vi, luôn cập nhật hàng ngày.
- Tác vụ có mô hình học riêng đọc trạng thái encoder qua cross-attention một chiều (read-only) — gradient không bao giờ chạm vào encoder.
- Tác vụ viết hình học riêng qua ACR (Anchored Calibration Residual): cộng một phần dư hạng thấp vuông góc với embedding tiền huấn luyện, nới rộng theo hướng phân biệt mà không xoay ngược tri thức gốc.
Nhờ hai giao diện một chiều, làm mới encoder và thích nghi tác vụ là hai thao tác độc lập: encoder cập nhật mỗi ngày, lớp residual của tác vụ vẫn giữ nguyên giá trị.
Ví dụ đời thường: giống một trợ lý lâu năm nắm rõ thói quen khách (encoder) viết báo cáo mỗi ngày; nhân viên mới (tác vụ) đọc báo cáo qua kính một chiều rồi ghi chú riêng lên tờ giấy trong suốt đặt chồng lên — không được sửa bản gốc. Mỗi ngày trợ lý sửa báo cáo mới, tờ giấy ghi chú của nhân viên vẫn dùng được, không bị hỏng.
III. Main Results:
- 8 bộ benchmark công khai: KGD vượt mọi baseline tiền huấn luyện–chuyển giao mạnh nhất 4–12% (NDCG@50, Recall@50).
- Chỉ BMTP đã sạch hơn: giữ BMTP, under frozen transfer lợi thế +6.5~13% so với next-token; nhưng under full fine-tune lợi thế biến mất hoặc đảo dấu — chứng tỏ task gradient ghi đè chính cấu trúc BMTP tạo ra.
- Sở hữu tách rời quyết định: cùng encoder BMTP, KGD vẫn hơn baseline chung tham số 0.4–7.0%. Loại bỏ ACR + read-only thì S3 sụp xuống 0.7785, thấp hơn cả Scratch.
- 90 ngày production: frozen transfer (GPSD) xuống dốc theo thời gian, KGD giữ vững; buffer replay tệ nhất (0.7732) vì nhớ pattern lỗi thời.
- A/B Shopee Homepage Search: GMV/người +1.75%, doanh thu quảng cáo +1.53%, CTR +0.95%, CVR +0.72% (significant p<0.01). Chi phí khiêm tốn: huấn luyện 2h/ngày, latency 120ms, bộ nhớ gấp đôi.
IV. Conclusion & Future Works:
KGD giải quyết hai lỗi cốt lõi của tiền huấn luyện dưới drift: nhiễu từ next-token và xung đột hình học trên tham số chung, bằng cách tách tri thức và hình học thành hai lớp sở hữu riêng, cho phép làm mới hàng ngày mà không phá adaptation. Đã deploy toàn bộ lưu lượng Shopee.
Hướng mở rộng: áp dụng cơ chế decoupling cho các mô hình LLM4Rec; mở rộng ACR sang nhiều tác vụ chia sẻ một encoder dưới stream; tự động điều phối dung lượng encoder/task-learner theo ngân sách; nghiên cứu drift đa phân phối (item + audience) chủ động hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng KGD sang đa tác vụ chia sẻ một encoder làm mới: nghiên cứu cách nhiều task-learner cùng đọc một encoder qua cross-attention mà residual vuông góc của từng tác vụ không giao thoa, phục vụ hệ thống gợi ý đa mục tiêu (click + order + thời gian ở lại).
- Kết hợp BMTP với học chủ động theo drift: thay vì ngưỡng cố định, để hệ tự điều chỉnh tiêu chí lọc cộng tác/ngữ nghĩa theo tốc độ thay đổi phân phối item thực tế, giảm tích lũy nhiễu khi catalogue lật nhanh.
- Áp dụng nguyên lý decoupled ownership cho bài toán streaming ngoài recommendation (phân loại tài liệu, phát hiện gian lận) nơi tiền huấn luyện và tác vụ cũng kéo tham số trái ngược dưới dữ liệu đến liên tục.
- Nghiên cứu scaling độc lập: phân bổ dung lượng riêng cho encoder (tri thức) và task-learner (hình học) để tối ưu chi phí huấn luyện dưới ngân sách GPU cố định trong production.
2. Patent:
- Ứng dụng điện thoại Shopee/Lazada: màn hình tìm kiếm gợi ý sản phẩm dùng mô hình nền tảng cập nhật mỗi ngày theo xu hướng mua sắm, còn lớp cá nhân hóa của từng người dùng được giữ riêng biệt không bị ghi đè — khi app cập nhật xu hướng chung, gợi ý cá nhân vẫn chính xác, không cần huấn luyện lại từ đầu.
- Feed đề xuất trên ứng dụng mua sắm di động: thay vì trộn lẫn tri thức xu hướng chung và sở thích riêng vào một mô hình (dễ bị nhiễu khi xu hướng đổi nhanh), app tách biệt hai lớp — một lớp học xu hướng từ đám đông, một lớp ghi chú sở thích cá nhân vuông góc với xu hướng — giúp gợi ý vừa bắt trend vừa đúng gu người dùng.
- Hệ thống quảng cáo trong app: mỗi chiến dịch quảng cáo là một tác vụ riêng đọc báo cáo hành vi người dùng chung qua giao diện một chiều, tự thêm tiêu chí ưu tiên của chiến dịch mà không sửa dữ liệu hành vi gốc, cho phép chạy đồng thời nhiều quảng cáo khác nhau trên cùng một luồng dữ liệu.
- Gợi ý nội dung trên ứng dụng video/thương mại xã hội: mô hình nền tảng làm mới tri thức giải trí mỗi ngày, trong khi bộ lọc nội dung an toàn (không phản cảm) của từng vùng được giữ riêng, đảm bảo khi xu hướng đổi, quy tắc lọc vẫn không bị phá.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02738 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02738 |
| PDF Download | https://arxiv.org/pdf/2608.02738.pdf |
| Github Repository | https://github.com/FuCongResearchSquad/KGD4REC |
7. PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning (37 votes)
Tác giả: Chunji Lv, Yangguang Wei, Junlin Liu, Yang Gao, Ming Liu, et al.
Xuất bản lúc: 2026-08-03
Tag: Agentic RL, Self-Distillation, GRPO, LLM Agents, Token-level Weighting, ALFWorld, WebShop, Reward Sparsity
I. Main Problem:
Huấn luyện agent LLM bằng Reinforcement Learning (RL) gặp khó khăn lớn vì phần thưởng thưa thớt: một chuỗi tương tác dài nhiều chục lượt chỉ nhận đúng một tín hiệu kết quả ở cuối, khiến việc phân bổ công trạng (credit assignment) cho từng quyết định rất khó.
On-policy self-distillation (OPSD) dùng một "teacher" đặc quyền (bản sao student được cung cấp thêm ngữ cảnh) để cho giám sát dày đặc ở mức token, nhưng teacher không đáng tin ở mọi vị trí (truy xuất nhiễu, ngữ cảnh sai lệch). Hai hướng xử lý hiện có đều lệch:
- Mức token: tính trọng số từ độ lệch cô lập tại 1 vị trí → nhạy cảm với nhiễu lấy mẫu, dễ nhầm dao động ngẫu nhiên với ưu thế thật.
- Mức step: gộp chung một trọng số cho cả bước → vững hơn với nhiễu nhưng làm mờ sự khác biệt theo vị trí giữa các token.
II. Main Idea:
PCSD (Persistent Consistency Self-Distillation) ước lượng độ tin cậy của teacher từ sự kiên trì (persistence) của tín hiệu thiên vị teacher quanh một vị trí, thay vì chỉ nhìn một điểm. Cách tiếp cận:
- tính độ lệch log-xác-suất teacher–student tại mỗi token (δ)
- cửa sổ thích ứng: vùng nhiễu rộng dùng cửa sổ dài, vùng ổn định dùng cửa sổ ngắn, nội suy mượt theo phương sai cục bộ
- tích lũy suy giảm mũ: vị trí gần token hiện tại được ưu tiên hơn, giữ tính cục bộ theo vị trí
- điều biến xu hướng một phía: nếu độ hỗ trợ teacher đang giảm dần thì hạ trọng số (lọc tín hiệu thoáng qua)
- cổng sigmoid: ánh xạ độ tin cậy sang trọng số token liên tục (wk,i)
Mục tiêu PCSD được tối ưu chung với GRPO: GRPO cho phần thưởng thưa ở mức chuỗi, PCSD bổ sung hướng dẫn teacher dày đặc ở mức token.
Ví dụ đời thường: giống người học nghề không tin ngay một lời góp ý lẻ loi của sếp, mà chỉ làm theo khi thấy sếp nhắc đi nhắc lại cùng một ý nhiều lần liền và ý đó vẫn đang được ủng hộ; còn lời góp ý vừa nói xong đã bị sếp bỏ qua thì coi như nhiễu mà bỏ qua.
III. Main Results:
- ALFWorld (Qwen2.5-3B): Overall 90.6%, cao hơn GRPO +15.6 điểm và SDAR +6.2 điểm.
- ALFWorld (Qwen3-1.7B): Overall 59.4%, cao hơn GRPO +13.3 điểm và SDAR +5.5 điểm.
- WebShop: đạt Score cao nhất (85.0 với Qwen2.5-3B), ngang SDAR về Acc; cạnh tranh mạnh trên cả hai backbone.
- Unseen split ALFWorld: 86.7%, vượt xa GRPO (70.9%) và SDAR (72.7%) — khái quát hóa tốt mà không cần kỹ năng tại inference.
- Không dùng kỹ năng lúc suy luận, tức kết quả đến từ chính policy đã học, không nhờ teacher hỗ trợ lúc test.
- Ablation: bỏ cửa sổ thích ứng / điều biến xu hướng / suy giảm mũ đều làm giảm Overall; λ_PCSD=0.01 là tốt nhất (quá 0.05 thì yếu đi vì distillation lấn át reward).
IV. Conclusion & Future Works:
PCSD chứng minh bằng chứng kiên trì cục bộ giúp nhận diện tín hiệu teacher đáng tin và lọc nhiễu hiệu quả, vượt RL chỉ dùng kết quả và các phương pháp tự chắt lọc hiện có trên cả hai quy mô mô hình. Hạn chế/hướng tương lai: giữ teacher đóng băng và siêu tham số cố định để cô lập hiệu ứng — tương lai nên học tham số cửa sổ/cổng theo thống kê chuỗi và độ bất định của teacher, cùng hướng self-evolving distillation để student–teacher–bộ ước lượng–kho kỹ năng cùng tiến hóa qua tương tác.
V. Brainstorming Space:
1. Publish Papers:
- Học tham số cửa sổ thích ứng và độ sắc cổng theo thống kê cục bộ của chuỗi, độ bất định của teacher và phản hồi môi trường thay vì fix cứng.
- Self-evolving distillation: student, teacher, bộ ước lượng độ tin cậy và kho kỹ năng cùng tiến hóa trực tuyến qua tương tác đa vòng.
- Mở rộng persistent-consistency weighting sang agent đa lượt khác (mã nguồn, GUI, web navigation) và sang teacher không đối xứng (mô hình lớn hơn làm teacher).
2. Patent:
- Trợ lý trên điện thoại hướng dẫn thao tác app: thay vì tin một gợi ý đơn lẻ, hệ thống chỉ theo gợi ý khi mô hình 'chuyên gia' lặp lại ủng hộ cùng hành động qua vài bước liền, tự lọc gợi ý nhiễu từ truy xuất sai.
- Chức năng 'học nhanh' cho robot gia đình: robot tự ghi nhận chuỗi hướng dẫn từ kho kỹ năng, chỉ áp dụng bước nào được 'teacher' nội bộ ủng hộ kiên trì cục bộ, tránh làm sai do lệnh nhiễu tại một bước.
- Hệ thống gợi ý hành động cho người lái xe/người khiếm thị: chỉ đưa cảnh báo khi mô hình trợ lý duy trì cùng một đề xuất qua nhiều khung hình liên tiếp, giảm báo động giả từ nhiễu thoáng qua.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.01837 |
| ArXiv Abstract | https://arxiv.org/abs/2608.01837 |
| PDF Download | https://arxiv.org/pdf/2608.01837.pdf |
| Github Repository | N/A |
8. Quo Vadis, World Modeling? (29 votes)
Tác giả: Yu Yang, Xuemeng Yang, Licheng Wen, Lingdong Kong, Xiaobin Hu, et al.
Xuất bản lúc: 2026-08-03
Tag: World Modeling, Agents, Continual Learning, World Proxy, Simulation, Reinforcement Learning, In-Context Learning
I. Main Problem:
Các agent muốn tự cải thiện liên tục (explore, lấy feedback, học từ sai sót) nhưng bị kẹt ở huấn luyện tĩnh (dữ liệu offline, trajectory chuyên gia) nên trần năng lực bị giới hạn bởi phân phối huấn luyện.
Tương tác trực tiếp với môi trường thật gặp 4 nút thắt:
- Tốn kém & kém hiệu quả: thử-sai hàng nghìn lần, robot/web agent ngốn tài nguyên và thời gian.
- Không thể rollback & rủi ro: sai lầm gây hỏng vật lý (xe đâm người) hoặc sai thao tác (xóa/gửi nhầm).
- Feedback chỉ nhìn lại: chỉ biết kết quả sau khi đã thực thi, khó dự đoán trước đa bước.
- Khó song song hóa: robot vật lý hay môi trường user không nhân bản được như sim.
Thêm nữa, world model cổ điển chỉ dự đoán trạng thái vật lý kế tiếp (s_t → s_{t+1}), quá hẹp so với feedback agent thực sự cần (kết quả thực thi, kỹ năng, xác minh, reward).
II. Main Idea:
Đề xuất Agent-Centric Interactive World Proxies: chuyển từ dự đoán chuyển tiếp trạng thái vật lý sang dự đoán chuyển tiếp thông tin có thể hành động do agent tự khởi tạo.
Công thức: ŝ_{ℓ+1} = 𝒲𝒫(s_ℓ, u^ℱ_ℓ), trong đó ℓ là bước tương tác (không nhất thiết là thời gian vật lý), s_ℓ thuộc không gian trạng thái thông tin tổng quát, u^ℱ_ℓ là truy vấn/tác động do agent chủ động đưa ra.
Sáu hình thức proxy theo phương thức feedback:
- Dynamics Proxy (dự đoán trạng thái tương lai)
- Spatial Proxy (tổng hợp góc nhìn không gian)
- Execution Proxy (mô phỏng kết quả lệnh/API/tool call)
- Memory/Experience Proxy (truy xuất kinh nghiệm cũ)
- Skill Proxy (gợi ý kỹ năng/con-policy tái dùng)
- Reward/Verification Proxy (đánh giá, xác minh an toàn)
Ba cấp độ trao quyền cho agent:
- L.1 Inference-Time Guidance: output proxy làm giàu context suy luận → quyết định tốt hơn.
- L.2 Training-Time Optimization: output làm reward/critique/rollout sinthetic → tối ưu policy.
- L.3 Agent-Proxy Co-Evolution: bằng chứng môi trường thật cập nhật liên tục cả proxy và agent.
Vòng lặp khép kín: Agent → đề xuất tương tác → World Proxy dự đoán → feedback → Agent cải thiện.
Ví dụ đời thường: giống người mới vào làm thay vì vác hàng thật đi thử rủi ro, họ hỏi sếp cũ ('tôi làm thế này có ổn không?'), mượn sổ tay kinh nghiệm, chạy thử bản nháp trên giấy trước khi thao tác thật — mỗi câu trả lời rẻ và an toàn giúp họ tránh hỏng việc rồi dần giỏi lên.
III. Main Results:
Đây là bài quan điểm (position paper) tổng hợp, không có benchmark số. Đóng góp cốt lõi là:
- Tái định nghĩa từ World Model sang World Proxy mở rộng theo 3 trục: bước thời gian vật lý → bước tương tác; chuyển tiếp trạng thái → chuyển tiếp thông tin; điều kiện ngoại sinh → tương tác do agent khởi tạo.
- Bản đồ hệ thống hóa không gian thiết kế thành 6 hàm proxy + 3 cấp độ trao quyền.
- Đưa ra tiêu chí proxy tốt: grounded, controllable, actionable, scalable, forward-looking.
- Cung cấp project page và repo tổng hợp (awesome-agentic-world-model) làm lộ trình cho cộng đồng.
IV. Conclusion & Future Works:
Bài viết tái khung world modeling thành paradigm lấy agent làm trung tâm, biến nó từ công cụ dự đoán trạng thái thành lớp proxy tương tác cung cấp feedback đa dạng cho agent học nhanh, lập kế hoạch tốt và tiến hóa liên tục. Hướng tương lai: hiện thực hóa 6 hàm proxy cụ thể, xây dựng benchmark (WorldBench) đo lường mức độ proxy giúp agent cải thiện, và nghiên cứu cơ chế co-evolution L.3 giữa agent và proxy qua bằng chứng môi trường thật.
V. Brainstorming Space:
1. Publish Papers:
- Xây dựng WorldBench: benchmark định lượng xem các world proxy khác nhau (dynamics, execution, skill, verification) giúp agent cải thiện policy bao nhiêu phần trăm trên tác vụ embodied và digital.
- Nghiên cứu Execution Proxy mô phỏng kết quả lệnh/tool call cho web agent để giảm chi phí thử-sai thực thi trên dịch vụ thật.
- Cơ chế Agent-Proxy Co-Evolution L.3: quy tắc cập nhật proxy từ bằng chứng môi trường thật sao cho cả agent và proxy cùng tiến hóa mà không drift khỏi grounding.
- Memory/Experience Proxy truy xuất case thất bại quá khứ để agent tránh lặp lại lỗi tương tự trong tác vụ dài hạn.
2. Patent:
- App điện thoại hỗ trợ web agent: trước khi thao tác thật (gửi form, xóa dữ liệu), app chạy Execution Proxy mô phỏng kết quả lệnh trong sandbox và hiển thị cảnh báo nếu sai, giúp người dùng tránh thao tác không thể rollback.
- Trợ lý robot gia đình dùng Skill Proxy: khi gặp tác vụ mới, robot truy vấn kho kỹ năng đã học để ghép sub-policy tái dùng thay vì học lại từ đầu, giảm time-to-task và rủi ro hỏng đồ.
- Hệ thống xác minh an toàn cho xe tự lái dùng Reward/Verification Proxy: trước khi thực thi maneuver, proxy dự đoán xác suất va chạm theo góc nhìn counterfactual và chặn hành động nguy hiểm trước khi chạy thật.
- IDE tích hợp Verification Proxy cho agent viết code: agent chạy thử nghiệm mã trong môi trường ảo để lấy feedback lỗi trước khi commit lên repo thật, tiết kiệm chi phí thực thi và tránh break hệ thống.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02713 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02713 |
| PDF Download | https://arxiv.org/pdf/2608.02713.pdf |
| Github Repository | https://github.com/worldbench/awesome-agentic-world-model |
9. PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents (28 votes)
Tác giả: Shuhan Xue, Zixin Ding, Yichen Shen, Yinjie Wang, Zhenfei Yin, et al.
Xuất bản lúc: 2026-08-04
Tag: Personal Agents, Recursive Self-Improvement, Online Self-Evolution, Memory, Benchmark, Agent Frameworks, Mechanism Attribution, LLMs
I. Main Problem:
Các agent AI cá nhân hiện nay giữ lại ký ức, kỹ năng, lịch sử phiên qua nhiều ngày, nhưng chưa ai kiểm chứng có hệ thống xem kinh nghiệm tích lũy thực sự giúp chúng làm tốt hơn theo thời gian hay không.
Các benchmark hiện có đều có lỗ hổng:
- benchmark tương tác (GAIA, OSWorld...) chỉ chấm một lần trên phiên mới, không theo dõi quỹ đạo dài hạn
- benchmark ký ức/kỹ năng riêng lẻ thiếu cặp đối chứng có/không giữ trạng thái nên không tách được sự cải thiện do kinh nghiệm giữ lại hay do mô hình nền, runtime, prompt, hay nhiễu chấm điểm
Hậu quả: một agent có thể lưu sai bằng chứng, truy xuất nhầm, tái dùng quy trình giòn, hoặc áp dụng trạng thái lỗi thời mà vẫn được cộng điểm.
II. Main Idea:
PAST-Bench là benchmark phân bổ nguyên nhân (performance-attribution) đánh giá quỹ đạo của agent qua một task family (chuỗi phiên mới, context bị xóa sạch giữa các phiên). Cách hoạt động:
- episode sớm (Learn/Update) cho cơ hội lưu kinh nghiệm tái dùng được
- episode sau (Evaluation) kiểm tra agent có tái dùng trạng thái đó không, với từ khóa kích hoạt bị xóa khỏi prompt
- episode đối chứng (control) gồm: không giữ trạng thái, nhiễu, trạng thái lỗi thời, sai cơ chế — để bất kỳ mức tăng nào cũng phải so với baseline không-persistence
Phủ 4 năng lực: Memory (5/41), Procedural reuse (8/64), Information gathering (6/48), Update (7/51) = 26 scenarios, 204 episodes. Giữ nguyên mô hình, task family, giao diện chấm, chỉ bật/tắt persistence → hiệu số Δ đo được trực tiếp. Đi kèm Mechanism-Evidence Score từ artifact lưu và telemetry runtime để biết agent có đi đúng đường save→retrieve→update không.
Ví dụ đời thường: giống một trợ lý mới nhận việc, mỗi ca được giao nhiệm vụ mới nhưng được phép ghi chú vào sổ tay chung; cuối ngày sếp kiểm tra xem ca sau trợ lý có mở sổ ra đọc đúng chú thích xưa không, chứ không phải làm bừa rồi đoán — và có một ca đối chứng bị thu sổ tay đi để biết chắc sự giỏi lên là nhờ ghi chú chứ không phải do trời phú.
III. Main Results:
- Mọi mô hình nền đều có lợi từ persistence (Overall Δ từ +0.13 đến +0.24), nhưng năng lực được hưởng lợi phụ thuộc hồ sơ từng mô hình: GPT-5.4 chia đều Memory/Update; GLM-5.1 dồn 46% vào Update; Kimi K2.6 dồn 49% vào Memory.
- Cùng một headline Δ có thể che giấu hai cách đạt được hoàn toàn khác nhau: Hermes và nanobot đều Δ=+0.13 nhưng Mech lần lượt 0.64 vs 0.57 (nanobot chỉ lợi từ một năng lực, thiếu vết write-then-read).
- Các framework khác nhau rõ: ZeroClaw mạnh Memory nhưng yếu Procedural; nanobot mạnh Update nhưng kém Memory; Agent-Zero thụt lùi ở 3/4 năng lực.
- Hermes+ (cải tiến Hermes) nâng Overall Δ từ +0.13→+0.15 và Mech từ 0.64→0.73; mạnh nhất trên Update (Δ=+0.24, cao hơn cộng gộp từng cơ chế: closeout +0.16, retrieval gate +0.06). Tuy nhiên hiệu ứng vẫn phụ thuộc năng lực và mô hình.
IV. Conclusion & Future Works:
PAST-Bench cung cấp nền tảng đánh giá và chẩn đoán để nghiên cứu cách agent bền bỉ tiến từ 'giữ kinh nghiệm' sang 'cải thiện có hệ thống nhờ nó'. Phát hiện cốt lõi: cải thiện là có thật nhưng không đều, và cùng mức tăng điểm có thể thiếu bằng chứng cơ chế.
Hướng tương lai: mở rộng sang cải thiện tham số/bộ học/thiết kế agent mạnh hơn (RSI đầy đủ); kiểm tra khái quát hóa cơ chế sang mô hình nền khác; và tinh chỉnh thêm 5 cơ chế của Hermes+ cho các năng lực còn yếu (như Procedural reuse bị sụt nhẹ).
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng PAST-Bench sang cấu trúc thiết lập liên tục nhiều ngày với nhiễu thực tế và lịch sử người dùng thật để kiểm chứng cơ chế tự tiến hóa ngoài phòng thí nghiệm.
- Nghiên cứu liệu cơ chế save-retrieve-update có khái quát sang các mô hình nền chưa thử (như mô hình mã nguồn mở nhỏ) hay chỉ giới hạn ở các LLM lớn.
- Xây dựng thang đo attribution chặt hơn kết hợp can thiệp gây nhiễu (causal probing) để chứng minh nhân quả thay vì chỉ tương quan giữa persistence và hiệu suất.
2. Patent:
- Trợ lý ảo điện thoại tự học thói quen người dùng: sau vài tuần nhắc lịch, máy tự ghi 'người dùng thích họp sáng thứ Hai' và ca sau tự đề xuất khung giờ đó mà không hỏi lại; kèm nút 'quên' để xóa khi sở thích đổi.
- App quản lý công việc tự cập nhật quy trình: khi người dùng làm sai rồi sửa, app lưu 'quy trình đúng' và lần sau tự chạy đúng bước thay vì làm lại từ đầu, đồng thời ghi đè bản cũ để không rò rỉ thao tác sai.
- Trình duyệt/tin nhắn tự tra cứu ký ức đúng lúc: khi người dùng hỏi 'mật khẩu wifi nhà' mà không nhắc tên, máy chủ động mở kho lưu trữ cũ thay vì đoán bừa, tránh trả lời sai do mặc định chung.
- Hệ thống đồng nghiệp ảo tự ghi chú kỹ năng: sau khi giải quyết xong một lỗi kỹ thuật, nó lưu 'SOP sửa lỗi X' vào thư viện; lần sau gặp lỗi tương tự tự rút quy trình ra chạy, không cần người dùng hướng dẫn lại từng bước.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04003 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04003 |
| PDF Download | https://arxiv.org/pdf/2608.04003.pdf |
| Github Repository | https://github.com/Gen-Verse/PAST-Bench |
10. LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models (25 votes)
Tác giả: Fengqi Zhu, Shaoxuan Xu, Jingyang Ou, Zebin You, Yipeng Xing, et al.
Xuất bản lúc: 2026-08-04
Tag: Diffusion-Language-Models, Mixture-of-Experts, Scaling-Laws, LLMs, IsoFLOP, MoE-dLLMs
I. Main Problem:
Các mô hình ngôn ngữ khuếch tán (dLLMs) là hướng thay thế cho mô hình tự hồi quy (AR), nhưng quy luật mở rộng của MoE dLLMs hầu như chưa được hiểu rõ. Các nghiên cứu scaling trước đó chỉ xét kiến trúc dense hoặc mô hình AR. Vì dLLM huấn luyện bằng mục tiêu khử nhiễu có mặt nạ (chỉ giám sát trên các vị trí bị che, điều kiện hóa trên chuỗi nhiễu loạn hai chiều) nên kinh nghiệm AR không thể mặc định áp dụng trực tiếp — batch size, learning rate, phân bổ compute và thiết kế expert đều cần hiệu chuẩn riêng.
II. Main Idea:
Công trình hệ thống hóa quy luật mở rộng cho MoE dLLMs qua 3 bước, rồi dùng kết quả huấn luyện LLaDA MoE v2.
1. Siêu tham số tối ưu: tìm batch size và learning rate tốt nhất theo compute bằng power-law fit. 2. Phân bổ compute: dùng IsoFLOP (cố định FLOPs, quét mô hình vs. token) để tìm điểm cân bằng giữa activated model compute (M) và số token huấn luyện (D), với C = M·D. 3. Phân rã kiến trúc MoE: cố định M, quét 3 chiều — tỉ lệ kích hoạt A (độ thưa routing), độ hạt expert G, tỉ lệ expert chia sẻ S.
Phát hiện chính (khác AR):
- Batch size tối ưu tăng nhanh hơn, learning rate giảm nhanh hơn theo compute (do mỗi token danh nghĩa chỉ cung cấp nửa số mục tiêu giám sát).
- Phân bổ hơi thiên về dữ liệu: token budget tăng nhanh hơn compute phía mô hình (D∗∝C^0.525 vs M∗∝C^0.475).
- Quy mô lớn càng thích kích hoạt thưa (expert pool lớn hơn ở capacity cố định).
- G = 8–16 bền vững mọi quy mô; S = 33.3% (1 shared : 2 routed) tối ưu ổn định.
Ví dụ đời thường: giống một nhóm dịch thuật, thay vì gõ từng từ nối tiếp trái sang phải, họ xóa ngẫu nhiên nhiều chỗ trống rồi cùng lúc đoán lại các từ bị che qua nhiều lượt dựa vào ngữ cảnh hai chiều; và mỗi chỗ trống chỉ giao cho vài chuyên gia thích hợp (MoE) chứ không hỏi cả đội, nên làm nhanh mà vẫn chất lượng.
III. Main Results:
- LLaDA MoE v2 (30B tổng / 3B kích hoạt) huấn luyện từ đầu trên 23.5T token (chỉ ~65% token của Qwen3).
- Đạt trung bình 58.60 trên 15 benchmark — cao nhất among dLLMs, hơn SDAR Sci +3.78, hơn các dLLM nhỏ ≥ +12.44.
- Vượt trội trên coding: HumanEval +16.46, BigCodeBench +7.98 so với SDAR Sci (dù train từ đầu, không kế thừa checkpoint AR).
- Sát Qwen3 trên nhiều bài reasoning/coding (OlympiadBench −2.22, HumanEval −2.44) dù ít token hơn.
- Sau SFT (không RL): thắng SDAR Chat trên 7/8 benchmark reasoning & code; sát Qwen3 (có thêm RL) trên AIME24/25, MBPP, LiveCodeBench, vượt trên MultiPL-E.
- So với LLaDA MoE 7B-A1B (không guided): đạt hiệu năng tương đương/vượt tại <50% compute (HellaSwag <10% compute).
IV. Conclusion & Future Works:
Kinh nghiệm AR là prior hữu ích nhưng cần hiệu chuẩn riêng cho dLLM trên mọi chiều scaling. Nguyên tắc thiết kế dẫn dắt huấn luyện 30B-A3B đạt chất lượng sát AR mạnh với ít token hơn, và SFT đơn thuần tạo instruct model mạnh. Hạn chế: các chiều scaling được quét riêng biệt nên chưa nắm bắt tương tác giữa chúng. Hướng tương lai: tích hợp RL sau SFT; nghiên cứu tương tác đa chiều giữa siêu tham số, phân bổ và kiến trúc.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng scaling law MoE dLLM sang chế độ block-diffusion lai giữa AR và diffusion để cân bằng tốc độ sinh và chất lượng.
- Nghiên cứu tương tác giữa các chiều scaling (batch size × allocation × kiến trúc) thay vì quét đơn biến, dùng multi-dimensional IsoFLOP.
- Áp dụng quy luật MoE dLLM để thiết kế mô hình on-device nhỏ gọn kết hợp RL sau SFT nhằm thu hẹp khoảng cách với AR MoE.
- Khảo sát shared-expert ratio tối ưu cho dLLM trên quy mô lớn hơn (hàng trăm tỷ tham số) để xác nhận S=33.3% giữ ổn định.
2. Patent:
- Trình sinh văn bản trên điện thoại dùng dLLM + MoE: nhờ sinh nhiều token song song và chỉ kích hoạt vài expert mỗi token, chạy mượt trên chip di động mà không cần GPU đám mây, tiết kiệm pin khi soạn tin nhắn/email dài.
- Tính năng gợi ý nháp thông minh (smart compose) cho bàn phím: mô hình điền đồng thời nhiều từ bị che trong câu thay vì dự đoán tuần tự, cho phản hồi gợi ý nhanh hơn gấp bội trên thiết bị cấu hình thấp.
- Công cụ dịch离线 cho thiết bị cầm tay: MoE giữ chất lượng cao ở tham số tổng lớn nhưng tính toán mỗi token thấp, cho phép dịch đa ngôn ngữ kín đáo không cần mạng, phù hợp bảo mật và du lịch.
- Trợ lý viết code trên IDE di động: tận dụng khả năng coding mạnh của dLLM MoE để gợi ý cả khối code song song, giúp lập trình viên sửa lỗi nhanh ngay trên điện thoại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03457 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03457 |
| PDF Download | https://arxiv.org/pdf/2608.03457.pdf |
| Github Repository | N/A |
11. OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models (24 votes)
Tác giả: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, et al.
Xuất bản lúc: 2026-08-04
Tag: Omni-LLM, Token Compression, Audio-Visual Understanding, Training-Free, Multimodal, Inference Efficiency
I. Main Problem:
Các Omni-LLM (mô hình ngôn ngữ đa phương thức xử lý cả hình ảnh, video, âm thanh, văn bản) tốn rất nhiều tính toán vì chuỗi token video/âm thanh dài và dư thừa. Khi ép xung lượng token cực thấp, hai hướng nén hiện có đều hỏng:
- Nén trước LLM: chỉ dựa vào độ quan trọng cục bộ hoặc độ相似 → bỏ sót bằng chứng nằm rải rác xa nhau (đoạn video dài, sự kiện âm thanh thoáng qua), mất thông tin không thể cứu.
- Nén trong LLM: chủ yếu theo dõi văn bản, không tận dụng được sự hợp tác âm thanh–thị giác đã trưởng thành sau khi các modality tương tác đủ nhiều.
Hậu quả: hiệu năng sụt mạnh khi giữ lại rất ít token.
II. Main Idea:
OmniPack là khung không cần huấn luyện, nén token làm hai giai đoạn phối hợp theo đặc thù từng giai đoạn:
Giai đoạn 1 – Nén trước LLM (theo cấu trúc từng modality):
- Importance Selection: chấm điểm token bằng attention của encoder cộng biến thiên cấu trúc (ảnh: thay đổi giữa khung hình & độ khác biệt không gian; âm thanh: biên âm học giữa các token).
- Coverage Selection: dùng DPC-KNN trên khoảng cách đặc trưng + vị trí để giữ đại diện trải đều khắp thời gian/không gian, tránh dồn vào vài vùng nổi bật.
- Similarity-Aware Merging: token bị loại không bị vứt bỏ mà gộp thông tin vào token giữ lại (cân trọng theo độ quan trọng & gần vị trí).
Giai đoạn 2 – Nén trong LLM (theo ngữ nghĩa, sau tương tác đa phương thức):
- Sau lớp Transformer thứ ℓ, dùng văn bản làm câu hỏi + nguyên mẫu modality kia để chấm điểm liên quan và hợp tác âm–thị giác.
- Chọn token cân bằng giữa độ liên quan và độ đa dạng, rồi gộp token còn lại vào đại diện gần nhất.
Cơ chế: giai đoạn 1 dọn bớt rác cấu trúc sớm (tiết kiệm tính toán), giai đoạn 2 tinh lọc theo đúng ý nghĩa câu hỏi sau khi mô hình đã 'hiểu' đủ.
Ví dụ đời thường: giống thư ký nhận một cuộn băng ghi âm và video dài — trước hết tự gạch bỏ các đoạn lặp/im lặng và chọn đều các đoạn quan trọng trải suốt buổi (giai đoạn 1), rồi sau khi đọc lướt thấy sếp hỏi 'ai chịu trách nhiệm con số này', quay lại chỉ giữ những đoạn thực sự trả lời câu hỏi đó (giai đoạn 2), vừa nhẹ vừa không sót ý.
III. Main Results:
- Trên Qwen2.5-Omni-7B, giữ 98.0% hiệu năng gốc với chỉ 16.7% FLOPs (tỉ lệ giữ 25%/12.5%).
- Nén cực gắt (giữ 10%/5%, 6.8% FLOPs) vẫn còn 92.9% hiệu năng gốc.
- Tại 15%/7.5%: 95.6% hiệu năng, giảm 10.0× FLOPs, tăng tốc prefill 4.5×.
- Vượt mọi phương pháp so sánh (FastV-om, VisionZip-om, OmniZip, OmniSIFT, SEATS) trên 5 benchmark (AVUT, WorldSense, DailyOmni, VideoMME, LVOmniBench).
- Khái quát tốt trên 3 backbone: Qwen2.5-Omni-3B (92.7%) và MiniCPM-o-2.6 (100.8% hiệu năng).
IV. Conclusion & Future Works:
OmniPack chứng minh nén theo hai giai đoạn chuyên biệt (cấu trúc trước LLM + ngữ nghĩa trong LLM) cho hiệu năng–hiệu suất tốt nhất khi giữ cực ít token, không cần huấn luyện. Hướng tương lai: tối ưu tự động vị trí lớp nén ℓ và tỉ lệ giữ theo từng loại video/âm thanh; mở rộng sang các mô hình sinh đa phương thức thời gian thực.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu tự động hóa siêu tham số OmniPack (tỉ lệ giữ, lớp nén, trọng số phủ) theo độ dài và nội dung video–âm thanh để tối ưu trade-off trên thiết bị biên.
- Kết hợp nén token OmniPack với cơ chế truy xuất theo câu hỏi để xử lý video cực dài vượt ngưỡng ngữ cảnh LLM.
- Mở rộng OmniPack sang mô hình Omni sinh (text-to-audio/video) nhằm giảm chi phí suy luận khi tạo nội dung đa phương thức.
2. Patent:
- Tính năng tiết kiệm pin cho trợ lý giọng nói trên điện thoại: trước khi xử lý video+âm thanh dài, app tự gọt bớt các khung hình lặp và đoạn im lặng, chỉ giữ đoạn thực sự liên quan câu hỏi người dùng, giúp chạy mượt trên máy yếu mà không phải gửi lên đám mây.
- Camera an ninh thông minh: thiết bị gộp các đoạn video lặp (tường không đổi, im lặng) ngay tại chỗ, chỉ truyền phần có chuyển động/âm thanh lạ kèm tóm tắt token cho điện thoại người dùng xem.
- Phụ đề/video tóm tắt tự động trên app di động: người dùng hỏi 'ai nói con số này', hệ thống nén trước rồi chỉ trích xuất và hợp nhất các đoạn âm–hình chứa câu trả lời, xuất kết quả trong vài giây thay vì xử lý toàn bộ video.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03812 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03812 |
| PDF Download | https://arxiv.org/pdf/2608.03812.pdf |
| Github Repository | https://github.com/RowanSu/OmniPack |
12. Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging (23 votes)
Tác giả: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, et al.
Xuất bản lúc: 2026-08-04
Tag: Flow-Matching, On-Policy Distillation, Knowledge Distillation, Text-to-Image, DINOv2, Latent Diffusion, Model Compression
I. Main Problem:
Các phương pháp on-policy distillation (giáo viên sửa mẫu do chính học sinh tự sinh ra) từ trước đến nay chỉ hoạt động khi giáo viên và học sinh đồng nhất: chung VAE, chung kiến trúc, chung lưới timestep. Thực tế ta muốn chưng cất giữa các mô hình khác họ (khác VAE, kiến trúc, noise schedule) — ví dụ FLUX.1-dev (12B) sang SD3.5-Medium (2.5B) — thì phương pháp cũ vỡ hai trục:
- Không gian chung: latent của giáo viên không phải là target hợp lệ trong tọa độ của học sinh; so sánh pixel cũng thất bại vì giáo viên tái tổng hợp ngẫu nhiên chi tiết cục bộ, làm hàm MSE kéo về trung bình mờ và sập training.
- Đồng hồ chung: hai noise schedule khác hàm shift nên cùng chỉ số solver tương ứng mức nhiễu khác nhau, ghép chỉ số là ghép sai chế độ nhiễu.
II. Main Idea:
Any-OPD là khung chưng cất on-policy đầu tiên giữa hai mô hình flow-matching tùy ý khác họ, nối hai mô hình chỉ tại MỘT điểm: một không gian biểu diễn hình ảnh đóng băng, không phụ thuộc mô hình (CLS embedding của DINOv2). Ba cơ chế:
- Cầu nối không gian: học sinh và giáo viên mỗi bên decode bằng VAE riêng, so sánh hai ảnh qua DINOv2 frozen — bất biến với tái tổng hợp cục bộ, đổi giáo viên không sửa một dòng code.
- Căn chỉnh đồng hồ bằng mức nhiễu: thay vì ghép chỉ số solver, chọn đoạn bước của học sinh qua điều kiện σ_S_j ≥ σ_T_k > σ_S_{j+1}, nghĩa là chỉ lan truyền gradient qua những bước đủ nhiễu để hấp thụ sửa của giáo viên.
- Giai đoạn neo (anchoring): trước khi on-policy, tái mã hóa ảnh giáo viên qua VAE của học sinh rồi huấn luyện velocity matching để kéo phân phối học sinh vào manifold giáo viên — giúp on-policy chỉ còn sửa lỗi từng mẫu.
Quy trình on-policy: học sinh rollout → giáo viên re-noise + denoise (noise-and-denoise projection) → so sánh trong DINOv2 → học sinh tiến về điểm bất động của chính phép chiếu đó.
Ví dụ đời thường: giống thợ sơn tân trang nhà — thợ phụ (học sinh) tự sơn một bức, rồi giao thợ chính (giáo viên) chỉ sửa lại những chỗ ố lem trong khi vẫn giữ nguyên bố cục; hai người không nói chung ngôn ngữ kỹ thuật, nên chủ nhà chỉ đánh giá kết quả qua cảm quan chung (DINOv2), không so từng nét cọ.
III. Main Results:
- Chưng cất FLUX.1-dev (12B) → SD3.5-Medium (2.5B): PickScore 0.846 → 0.884, HPSv3 9.12 → 10.97; học sinh 2.5B vượt giáo viên 12B trên Aesthetic Score, ImageReward và PickScore, xấp xỉ trên HPSv3.
- Giữ nguyên kiến trúc và 40-step sampling, chỉ huấn luyện LoRA (rank 32).
- Ablation: latent MSE sập training ngay bước đầu; LPIPS cải thiện rồi suy giảm; DINOv2 CLS duy nhất ổn định và tốt nhất.
- Anchoring là tiên đề: khởi đầu từ checkpoint neo chưa hội tụ (Anchor-100) không bao giờ bắt kịp Anchor-400 dù cùng ngân sách OPD.
- Đổi giáo viên: thay FLUX bằng Z-Image (6B) không sửa một dòng — học sinh vẫn tăng mọi metric, kế thừa thế mạnh bố cục của Z-Image (GenEval +0.80, DPG +0.95).
- Refinement mạnh (r∈[15,20]) và Euler tất định (η=0) cho kết quả tốt nhất.
IV. Conclusion & Future Works:
Any-OPD mở rộng on-policy distillation ra ngoài thiết lập đồng nhất bằng cách thay hai giả định bị vỡ (không gian chung, đồng hồ chung) bằng cơ chế không chạm nội bộ mô hình: giáo viên chỉ là black-box sampler, hai mô hình gặp nhau duy nhất trong không gian biểu diễn ngoài, căn chỉnh qua mức nhiễu. Hướng tương lai: (1) kết hợp nhiều giáo viên bổ trợ; (2) mở rộng sang các modal generative latent khác ngoài ảnh (vì công thức chỉ phụ thuộc extractor đặc trưng).
V. Brainstorming Space:
1. Publish Papers:
- Kết hợp nhiều giáo viên khác họ trong Any-OPD: mỗi giáo viên đóng góp thế mạnh riêng (bố cục, chi tiết, ưu thích người dùng) qua cùng một không gian DINOv2 để học sinh nhỏ đạt chất lượng tổng hợp vượt mọi giáo viên đơn lẻ.
- Mở rộng Any-OPD sang video/3D latent flow-matching: thay DINOv2 bằng extractor đa khung hình, giữ nguyên quy trình noise-and-denoise projection và căn chỉnh mức nhiễu.
- Phân tích lý thuyết điểm bất động của phép chiếu noise-and-denoise: chứng minh điều kiện hội tụ và cận dưới chất lượng khi giáo viên là black-box sampler.
2. Patent:
- Tính năng 'nâng cấp ảnh trên điện thoại': app chụp ảnh rồi gửi lên mô hình nhỏ trên thiết bị sinh bản phác thảo, máy chủ dùng mô hình lớn hơn làm giáo viên black-box tái tổng hợp chi tiết, so sánh qua đặc trưng ảnh đóng băng để trả về ảnh sắc nét hơn mà không cần chia sẻ kiến trúc hai mô hình.
- Hệ thống tối ưu bộ lọc ảnh di động: hãng dùng mô hình 12B làm giáo viên để chưng cất style sang mô hình 2.5B chạy trên chip điện thoại, giúp ảnh selfie tự động đạt ưu thích người dùng cao (PickScore/HPSv3) mà vẫn giữ tốc độ 40 bước sinh realtime.
- Công cụ chỉnh sửa ảnh theo lời (prompt) tích hợp trình duyệt ảnh: người dùng gõ mô tả, mô hình nhỏ sinh ảnh, mô hình lớn hơn hiệu chỉnh qua cơ chế projection, đánh giá bằng đặc trưng hình ảnh chung để đảm bảo kết quả giữ đúng bố cục gốc mà chỉ thay cách thể hiện.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03316 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03316 |
| PDF Download | https://arxiv.org/pdf/2608.03316.pdf |
| Github Repository | N/A |
13. CAPEval: A Decoupled Caption Evaluation across Understanding and Generation (21 votes)
Tác giả: Zhipeng Liu, Haochen Wang, Zhaoxiang Zhang
Xuất bản lúc: 2026-08-03
Tag: Caption Evaluation, Vision-Language Models, Text-to-Image Generation, Benchmark, Multimodal Learning, Data Curation
I. Main Problem:
Các phương pháp đánh giá caption (mô tả ảnh) trước nay gộp chất lượng thành một điểm số duy nhất, làm lẫn hai thuộc tính khác biệt:
- Độ phủ (Coverage): caption nhắc đến bao nhiêu thông tin thực tế trong ảnh.
- Độ chính xác (Precision): những điều caption nêu ra có đúng với ảnh hay không.
Hậu quả:
- Không rõ mô hình học đa phương thức hưởng lợi nhiều hơn từ caption rộng hay caption đúng.
- Các benchmark cũ chỉ đánh giá caption như sản phẩm đứng riêng, không đo lường nó lan truyền vào hiệu suất thực tế (huấn luyện VLM hay sinh ảnh) như thế nào.
II. Main Idea:
CAPEval (Coverage And Precision Evaluation) tách chất lượng caption thành hai trục độc lập rồi đo tác động từng trục lên hai nhiệm vụ xuôi.
Xây dựng benchmark:
- 300 ảnh độ phân giải cao (tới 8K), mỗi ảnh có một caption chuẩn (GT) dài ~346 từ do người viết.
- Từ caption chuẩn, con người tách thành ~50 mục kiểm tra nguyên tử (atomic checklist) trải rộng 8 chiều ngữ nghĩa (vật thể, thuộc tính, quan hệ, chữ trong ảnh, con người, UI, thế giới, tri thức).
Đo hai chỉ số: một mô hình quan tòi (Qwen2.5-72B) đối chiếu mỗi caption ứng viên với checklist, gán mỗi mục là đúng / sai / không nhắc đến:
- Coverage C = tỉ lệ mục chuẩn được caption nhắc tới.
- Precision P = tỉ lệ mục được nhắc mà thực sự đúng.
Thí nghiệm xuôi có kiểm soát: giữ nguyên ảnh, kiến trúc mô hình, cấu hình huấn luyện; chỉ đổi nguồn caption từ 10 mô hình sinh caption thuộc 4 họ. Huấn luyện 2 pipeline hiểu ảnh (VLM) và 2 pipeline sinh ảnh (T2I), thu điểm hiểu U và sinh G. Cuối cùng chạy hồi quy OLS để xem C hay P dự báo hiệu suất tốt hơn.
Ví dụ đời thường: giống như đánh giá hai người kể lại một vụ tai nạn — để bạn hiểu chuyện cần người kể bao quát nhiều tình tiết (độ phủ cao); nhưng để bạn vẽ lại hiện trường chính xác cần người kể đúng từng chi tiết, không đ appended (độ chính xác cao), kể nhiều mà bịa thì vẽ sai bét.
III. Main Results:
- Hiểu ảnh (understanding) bị chi phối bởi Coverage: hệ số dương và có ý nghĩa thống kê (SigLIP-Qwen3 βC=+0.118, p=0.026; CLIP-Vicuna βC=+0.215, p=0.047), trong khi Precision không có ý nghĩa (p≥0.274).
- Sinh ảnh (generation) bị chi phối bởi Precision: βP=+0.189 (p<0.001) trên SD3.5M và βP=+0.235 (p<0.001) trên Qwen-Image; Coverage không có ý nghĩa (p≥0.171).
- Chống ảo giác (hallucination) gắn với Precision nhiều hơn (p=0.124 so với p=0.914 của Coverage).
- Captioner nhỏ có thể thắng captioner lớn: trong họ InternVL3.5, bản 1B có Coverage cao nhất (48.3) và hiểu ảnh tốt nhất (U=58.5 > 8B 57.3); bản 4B có Precision cao nhất (73.5) và sinh ảnh tốt nhất (G=71.6 > 8B 71.0). Quy mô mô hình sinh caption không phải thước đo thay thế cho chất lượng xuôi.
IV. Conclusion & Future Works:
CAPEval chứng minh chất lượng caption không thể gộp thành một điểm: nhiệm vụ nào ưu tiên trục đó — huấn luyện mô hình hiểu ảnh cần caption độ phủ rộng, còn sinh ảnh cần caption độ chính xác cao. Điều này dẫn tới tầm nhìn chọn caption theo mục tiêu nhiệm vụ thay vì theo thang điểm đơn. Hướng tương lai: xây dựng pipeline sinh/lọc caption định hướng mục tiêu, mở rộng đánh giá tách biệt này sang video và 3D, và dùng chỉ số C/P để tuyển chọn dữ liệu quy mô lớn.
V. Brainstorming Space:
1. Publish Papers:
- Phương pháp sinh caption được tối ưu riêng cho độ phủ (phục vụ hiểu ảnh) hoặc riêng cho độ chính xác (phục vụ sinh ảnh), thay vì tối ưu một điểm tổng hợp.
- Pipeline lọc dữ liệu đa phương thức biết chọn lọc: tự động đánh chỉ số C/P trên tập caption khổng lồ rồi chia luồng cấp cho huấn luyện VLM hay T2I tùy mục tiêu.
- Mở rộng khuôn khổ đánh giá tách biệt độ phủ – độ chính xác sang video, điểm ảnh 3D và dữ liệu âm thanh – hình ảnh.
2. Patent:
- Trên điện thoại, ứng dụng chụp ảnh tự động sinh mô tả rồi chấm điểm 'bao quát' và 'trung thực' để chọn caption tốt nhất làm nhãn huấn luyện mô hình trên thiết bị hoặc để gắn thẻ tìm kiếm ảnh trong thư viện cá nhân.
- Tính năng kiểm duyệt caption cho mạng xã hội trên mobile: so sánh lời mô tả người dùng viết với nội dung ảnh thật, cảnh báo khi caption 'kể nhiều nhưng sai' (độ chính xác thấp) trước khi đăng.
- Công cụ gợi ý prompt cho app sinh ảnh trên điện thoại: tự động viết lại chú thích ảnh thành caption có độ chính xác cao nhằm giúp mô hình vẽ ra đúng ý người dùng, giảm hiện tượng bức vẽ lệch nội dung.
- Hệ thống trợ lý ảnh y tế trên điện thoại: đánh giá độ phủ để đảm bảo mô tả bao quát các đặc điểm lâm sàng, đồng thời kiểm tra độ chính xác để tránh mô tả sai cấu trúc — hỗ trợ bác sĩ sàng lọc nhanh.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02589 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02589 |
| PDF Download | https://arxiv.org/pdf/2608.02589.pdf |
| Github Repository | https://github.com/liuzhipenggg/CAPEval |
14. SkillJack: Persistent Skill Backdoors in Self-Evolving Agents (20 votes)
Tác giả: Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, et al.
Xuất bản lúc: 2026-08-04
Tag: LLM Agents, Self-Evolving Agents, Backdoor, Memory Poisoning, Prompt Injection, Skill Extraction, AI Security
I. Main Problem:
Các tác nhân (agent) tự tiến hóa (self-evolving) ngày càng chuyển lịch sử tương tác thành các kỹ năng (skill) tái sử dụng lưu tồn lâu dài. Các tấn công trước đây chỉ đầu độc bộ nhớ / truy xuất (memory/retrieval poisoning), tức chỉ ảnh hưởng khi bản ghi độc hại bị lấy ra làm ngữ cảnh chạy. Bài báo chỉ ra một rủi ro sâu hơn: kinh nghiệm độc hại có thể bị chính agent biên dịch thành artifact hành vi bền vững—nghĩa là một bản ghi độc hại không còn chỉ là ngữ cảnh tạm thời mà trở thành một phần trong kho kỹ năng vĩnh viễn của agent. Hậu quả:
- rủi ro bảo mật của 'kinh nghiệm' thay đổi căn bản: từ context thoáng qua thành hành vi tồn tại lâu dài
- kẻ tấn công không cần quyền ghi trực tiếp vào thư viện skill, chỉ cần đưa một bản ghi độc hại vào corpus học tập.
II. Main Idea:
SkillJack khai thác quy trình experience-to-skill (kinh nghiệm → kỹ năng) của agent tự tiến hóa. Thay vì thao túng ngữ cảnh lúc chạy, nó cướp quy trình học tập của chính agent để cấy hành vi độc hại vào kho kỹ năng tái sử dụng. Ba đặc tính cốt lõi:
- Sanitization whitewashing: ý đồ độc hại bị che giấu khi trích xuất skill (LLM-judge phát hiện giảm từ 98.5% xuống 11.4%).
- Cross-layer promotion: kinh nghiệm tạm thời bị 'thăng cấp' thành năng lực tồn tại lâu dài, có thể được router chọn cho tác vụ sau mà không cần đọc lại bản gốc.
- Persistence isolation: skill lưu riêng biệt nên xóa bản ghi nguồn không xóa được skill đã trích xuất.
Phương pháp dùng transformation-resilient payloads: các trajectory được 'đóng khung' (framing) bằng ngôn ngữ hợp lệ ('backup', 'archive') trong khi hành động thực tế gây hậu quả không mong muốn—thiết kế để qua được bước nén/trừu tượng hóa của pipeline mà vẫn giữ hành động.
Ví dụ đời thường: giống nhân viên mới ghi chép 'quy trình hay' vào sổ tay để sau này làm theo, nhưng kẻ gian lén viết một chỉ dẫn độc hại vào sổ đó ngụy trang thành việc bình thường; vì nhân viên tin tưởng đọc sổ tay của chính mình (không phải tài liệu gốc), nên chất độc vẫn còn đó, khó bị phát hiện hơn và tồn tại sau khi tài liệu gốc bị hủy.
III. Main Results:
- Whitewashing (SkillX): LLM-judge phát hiện độc hại giảm từ 98.5% (trajectory gốc) xuống 11.4% (skill trích xuất); pattern detection 44.6% → 11.0%.
- Whitewashing (A2S DOC): 100.0% → 44.4% sau trích xuất; A2S từ chối hoàn toàn các bản baseline dùng từ ngữ độc hại trực tiếp (0/65).
- Attack Success Rate (routing-level): 56.2% trên SkillX và 89.2% trên A2S cho các tác vụ tấn công.
- Persistence isolation: 80.0% các tấn công qua skill vẫn kích hoạt sau khi xóa trajectory nguồn.
- Collateral routing: skill kích hoạt cả trên tác vụ lành (clean) với tỷ lệ 20.0% (SkillX) và 95.0% (A2S DOC)—tức bắn nhầm ngoài mục tiêu.
- Framing > overt wording: skill 'đóng khung' bị LLM-judge cờ chỉ 11.4% so với 27.0% của từ ngữ độc hại trực tiếp; 0/264 skill framed mang tên độc hại rõ ràng.
IV. Conclusion & Future Works:
SkillJack chứng minh tiến hóa kỹ năng là một bề mặt tấn công mới của agent tự tiến hóa, không phải lỗi của một triển khai cụ thể mà là đặc tính của cả mô hình paradigm. Ba đặc tính (whitewashing, cross-layer promotion, persistence isolation) chỉ xuất hiện khi kết hợp đầu độc kinh nghiệm với trích xuất skill tự động. Hướng tương lai: bảo vệ vòng đời skill nhận biết nguồn gốc (provenance-aware)—dọn dẹp phải truy vết cả artifact dẫn xuất lẫn bản ghi nguồn; đồng thời cần cơ chế review lúc trích xuất và giám sát lúc chạy (defense hiện mới ở mức sơ bộ).
V. Brainstorming Space:
1. Publish Papers:
- Thiết kế cơ chế provenance tracking cho thư viện skill: gắn nguồn gốc và khả năng thu hồi cho mỗi skill dẫn xuất để xóa sạch tấn công khi bản ghi nguồn bị loại bỏ.
- Nghiên cứu detector chống whitewashing hoạt động tại biên trích xuất: phát hiện ý đồ độc hại bất chấp sự nén/trừu tượng hóa của LLM, thay vì chỉ so khớp mẫu bề mặt.
- Mở rộng đánh giá trên nhiều mô hình nền (không chỉ DeepSeek-v4-flash) và nhiều hệ thống experience-to-skill khác để xác nhận tính đa hệ thống của rủi ro.
- Phân tích collateral routing (bắn nhầm tác vụ lành) như một chỉ số đo lường bán kính ảnh hưởng của backdoor, và xây dựng router ưu tiên ngữ cảnh để giảm误trigger.
2. Patent:
- Điện thoại thông minh có trợ lý AI tự học: hệ thống phải gắn 'nhãn nguồn' cho mỗi kỹ năng tự tạo (ví dụ lệnh tự động sao lưu danh bạ) để khi phát hiện kỹ năng độc hại, người dùng xóa sạch cả bản ghi gốc lẫn skill dẫn xuất chỉ bằng một thao tác.
- App quản lý thiết bị gia đình tự ghi nhớ thói quen người dùng: thêm lớp 'kiểm duyệt khi học'—trước khi lưu một quy trình mới vào bộ nhớ tái sử dụng, AI soi ý đồ (vd. gửi dữ liệu ra ngoài) thay vì chỉ nhìn vẻ bề ngoài hợp lệ, chặn backdoor ngụy trang dưới chức năng 'đồng bộ'.
- Trình duyệt/phần mềm doanh nghiệp có agent tự cập nhật workflow: cơ chế 'hộp cát kiểm thử nguồn gốc' bắt mọi kỹ năng mới phải khai báo trajectory gốc; nếu gốc bị xóa mà skill còn tồn tại, hệ thống tự cảnh báo 'kỹ năng mồ côi' nghi ngờ bị cấy.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03509 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03509 |
| PDF Download | https://arxiv.org/pdf/2608.03509.pdf |
| Github Repository | N/A |
15. UniWorld-Design: From Pixel Generation to Layer-Native Design (19 votes)
Tác giả: Zongjian Li, Zhiyuan Yan, Chenxu Bai, Chen Chen, Haoxiang Sun, et al.
Xuất bản lúc: 2026-08-04
Tag: RGBA Generation, Layer Decomposition, Diffusion Models, Flow Matching, Agentic Editing, Multimodal Generation, Text-to-Image
I. Main Problem:
Mô hình text-to-image hiện tại chỉ sinh ra một tấm ảnh phẳng (flat RGB), không chứa cấu trúc có thể chỉnh sửa. Hậu quả:
- Khi ảnh bị làm phẳng, thông tin lớp (layer), thứ tự xếp chồng và nội dung bị che khuất đều mất đi.
- Mọi thao tác sửa (di chuyển người, đổi màu nền, xóa chữ) phải tái tạo lại cấu trúc từ pixel, điều này thường không hoàn chỉnh và dễ làm hỏng vùng không nên đổi.
- Các mô hình image-to-layer trước (Qwen-Image-Layered, OmniPSD) chưa cho phép ngôn ngữ điều khiển hạt nhân phân tách (tách lớp nào, độ chi tiết ra sao, vai trò ngữ nghĩa gì) và chỉ cắt vùng pixel hiển thị chứ không giữ nội dung bị che.
II. Main Idea:
UniWorld-Design định nghĩa lại sinh ảnh thành sinh và phân rã các lớp RGBA ngữ nghĩa — mỗi lớp là một vật thể hoàn chỉnh, độc lập, có màu + alpha trong suốt. Khung gồm hai mô hình:
- T2RGBA: từ một câu lệnh sinh ra một asset RGBA trong suốt, tái dùng được.
- I2L (Image-to-Layer): nhận ảnh hoàn chỉnh + lệnh tổng + lệnh riêng cho từng lớp, sinh đồng thời một chồng lớp RGBA có thứ tự, đầy đủ ngữ nghĩa. Hỗ trợ ba kiểu lệnh: phân tách cấp cao, phân tách đệ quy (tách tiếp một lớp), và trích xuất có mục tiêu.
Ba nguyên lý cốt lõi:
- RGBA là biểu diễn cấu thành原生, không chỉ là định dạng xuất.
- I2L giữ ảnh gốc làm điều kiện chung, ràng buộc mỗi lớp ra với đúng prompt ngữ nghĩa tương ứng (kiến trúc LIB-MMDiT dùng layer–instruction binding attention + vị trí xoay 3D theo chỉ số lớp).
- Học vật thể ngữ nghĩa hoàn chỉnh (giữ cả phần bị che) thay vì vùng pixel hiển thị — nên khi dời/lớp che đi vẫn không thủng lỗ.
Dữ liệu huấn luyện lấy từ tài liệu PSD của nhà thiết kế (giữ nội dung ẩn), sau đó chưng cất tiến triển (progressive distillation) + hậu huấn luyện DiffusionNFT để giảm bước sinh và tăng chất lượng lớp.
Ví dụ đời thường: giống thợ thiết kế không vẽ cả bức tranh một mạch rồi phải cào lại để sửa, mà xếp từng tấm trong suốt (nền, người, chữ) lên nhau — muốn đổi cái cây chỉ việc nhấc tấm đó lên, còn phần bị lá che bên dưới vẫn nguyên vẹn.
III. Main Results:
- Trên benchmark Crello (512 thiết kế), I2L giảm RGB L1 mỗi lớp 37% (0.2014 → 0.1264) và tăng Alpha Soft IoU 34% (0.5454 → 0.7325) so với Qwen-Image-Layered.
- Giảm blank-layer (lớp rỗng) 63% (0.35 → 0.13); VLM tổng điểm 20.43 vs 17.60.
- T2RGBA đạt CLIP Score cao nhất 33.03, vượt LayerDiffuse và OmniAlpha.
- Điểm yếu: độ sạch alpha (alpha cleanliness) giảm nhẹ (2.90 vs 3.33) và chữ dày đặc vẫn khó.
IV. Conclusion & Future Works:
UniWorld-Design chứng minh có thể sinh và phân rã ảnh trực tiếp trong không gian lớp-native, biến lớp RGBA thành đơn vị nguyên tử cho sinh/hiểu/sửa, và cung cấp giao diện có thể điều khiển bằng ngôn ngữ cho agent thiết kế ngoài. Hướng tương lai: cải thiện biên alpha và sinh chữ dày; mở rộng vòng lặp agentic nơi lớp được tinh chỉnh, sửa và tái hợp nhiều vòng.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng I2L thành công cụ phân tách đệ quy đa cấp cho agent thiết kế, cho phép agent tự quyết định hạt nhân phân rã và tái hợp lớp qua nhiều lượt gọi.
- Nghiên cứu chiến lược reward cho DiffusionNFT chuyên biệt lớp (L1 + LPIPS) để giữ nội dung bị che khuất khi huấn luyện decomposition.
- Xây dựng quy trình tự động sinh cây lớp ngữ nghĩa từ kho PSD lớn, dùng VLM chỉ để gom nhóm, nhằm mở rộng dữ liệu huấn luyện mà không phụ thuộc vào generator.
2. Patent:
- Ứng dụng chỉnh sửa ảnh trên điện thoại: người dùng khoanh vùng rồi ra lệnh 'tách cái cây này thành lớp riêng', app tự phân rã ảnh thành các lớp RGBA trong suốt để dời, đổi màu hoặc xóa từng vật thể mà không ảnh hưởng phần bị che.
- Công cụ thiết kế poster tự động: nhập câu lệnh 'tạo biểu ngữ có nền, chủ thể và chữ', hệ thống sinh từng asset RGBA độc lập rồi xếp chồng, cho phép kéo-thả từng lớp như trong Photoshop nhưng không cần biết dựng layer.
- Tính năng 'hồi phục lớp' cho app chỉnh ảnh: từ một ảnh đã dẹp phẳng, app tái tạo lại chồng lớp gốc (kể cả nội dung bị che) để người dùng sửa từng thành phần thay vì phải tẩy xóa thủ công.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03971 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03971 |
| PDF Download | https://arxiv.org/pdf/2608.03971.pdf |
| Github Repository | N/A |
16. TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning (17 votes)
Tác giả: Changle Qu, Sunhao Dai, Hengyi Cai, Yuqi Zhou, Xinran Chen, et al.
Xuất bản lúc: 2026-08-04
Tag: Tool-Integrated-Reasoning, On-Policy-Self-Distillation, RLVR, GRPO, Credit-Assignment, LLMs
I. Main Problem:
Khi huấn luyện agent dùng công cụ qua Reinforcement Learning (TIR), bài toán gán công trạng (credit assignment) gặp khó vì:
- RL cấp độ trajectory (như GRPO) gán cùng một ưu thế cho mọi lượt tương tác, dù lượt đó hữu ích hay có hại.
- OPSD hiện tại thường dùng ngữ cảnh đặc quyền sai lệch trạng thái (đáp án đúng, trajectory tham chiếu) — không phản ánh trạng thái agent thực sự đã ghé thăm.
- Giám sát cấp token gây xung đột trong cùng một lượt công cụ (vì token định dạng/đối số dao động dấu).
Hậu quả: agent dài hạn không biết lượt công cụ nào đáng khuyến khích, khó khái quát ra benchmark ngoài phân bố.
II. Main Idea:
TurnSight là khung tự chắt lọc (self-distillation) ở cấp lượt, lấy tín hiệu giám sát trực tiếp từ kết quả thực thi công cụ trên-policy (execution-conditioned hindsight). Quy trình 4 bước:
- Hindsight từ thực thi: mỗi lượt, dùng một policy tham chiếu đóng băng, cho nó xem kết quả công cụ tương lai (lookahead d=1,2,3) để tính độ chênh log-xác-suất giữa có/không có hindsight.
- Gộp cấp lượt: trung bình các token-gap trong một lượt thành một tín hiệu duy nhất, tránh xung đột token.
- Chọn teacher đa tầm nhìn: lập 3 teacher (nhìn trước 1/2/3 lượt), bỏ phiếu theo hướng (dương/âm) rồi chọn teacher mạnh nhất nhất quán hướng đa số.
- Chuẩn hóa & điều biến: chuẩn hóa theo nhóm rollout anh em, rồi dùng trọng số có giới hạn để nhân với ưu thế RL mà không đổi hướng tối ưu.
Không dùng objective bắt chước phụ, không cần trajectory chuẩn, gắn được vào GRPO.
Ví dụ đời thường: giống nhân viên mới vừa bấm xong một nút đã nhìn thấy máy phản ứng ra sao, tự rút kinh nghiệm 'nút này bấm đúng' hay 'sai rồi' ngay tại chỗ — rồi so với đồng nghiệp cùng làm thử để tin lượt nào chắc chắn, thay vì sếp chỉ chấm điểm khi cả ca kết thúc.
III. Main Results:
- Trên 3 benchmark (FTRL in-domain, BFCL & ToolHop out-of-domain) với Qwen3-4B và 8B, TurnSight đứng đầu mọi cột.
- Qwen3-8B: trung bình tổng 42.02%, vượt baseline tốt nhất trước đó (MatchTIR 39.03%) +7.7%.
- Cải thiện mạnh nhất ở BFCL-MissingParameter và LongContext — nơi cần gán công trạng xuyên nhiều lượt.
- Ablation: bỏ gộp cấp lượt (43.23→46.92), bỏ chuẩn hóa nhóm (43.65), bỏ chọn multi-teacher (45.62) đều làm giảm.
- Chỉ dùng kết quả công cụ làm hindsight tốt hơn thêm cả đáp án chuẩn (thêm đáp án làm tệ hơn).
- Phủ hindsight toàn trajectory (46.92) > 5 lượt đầu (44.56) > 5 lượt cuối (42.04).
- λ=0.5, εw=0.5 là tối ưu (hướng unimodal).
IV. Conclusion & Future Works:
TurnSight chứng minh giám sát TIR cần căn chỉnh trạng thái on-policy và mạch lạc ở cấp lượt. Bằng cách điều biến ưu thế RL từ hindsight thực thi đa tầm nhìn mà giữ nguyên hướng tối ưu, nó gán công trạng chi tiết mà vẫn giữ khả năng khám phá của RL. Hướng tương lai: mở rộng sang agent đa công cụ phức tạp hơn, tự động chọn độ sâu lookahead, và kết hợp với các thuật toán chính sách-gradient khác ngoài GRPO.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng TurnSight sang agentic search và retrieval: dùng kết quả truy vấn thực tế làm hindsight thay vì đáp án chuẩn để gán công trạng cấp lượt cho chuỗi tìm kiếm đa bước.
- Kết hợp chọn teacher đa tầm nhìn theo hướng đồng thuận với cơ chế active lookahead — tự quyết độ sâu tương lai cần thiết cho từng lượt tương tác thay vì cố định d=1,2,3.
- Áp dụng tự chắt lọc cấp lượt có điều biến ưu thế cho huấn luyện agent viết mã dài hạn, nơi mỗi lượt là một bước sửa lỗi/thực thi test.
2. Patent:
- Trợ lý trên điện thoại tự gọi công cụ (mở app, tra cứu): hệ thống ghi lại phản hồi thực tế của từng bước rồi tự điều chỉnh điểm thưởng nội bộ cho bước đó, giúp助手 học nhanh hơn mà không cần kịch bản chuẩn do người viết.
- Tính năng 'tự học sau mỗi thao tác' cho app tự động hóa: sau khi app thực thi một hành động (gửi tin, đặt lịch), hệ thống so sánh độ tự tin có/không có kết quả thực thi để tăng/giảm trọng số học của bước đó, cải thiện chuỗi tác vụ dài.
- Công cụ sửa lỗi đa bước trên thiết bị di động: mỗi bước sửa lỗi được đánh giá qua kết quả chạy thử thực tế (không qua đáp án mẫu), chọn hướng đồng thuận giữa các bước nhìn trước để quyết định bước nào đáng giữ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04007 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04007 |
| PDF Download | https://arxiv.org/pdf/2608.04007.pdf |
| Github Repository | https://github.com/quchangle1/TurnSight |
17. GROVE: Growing and Reasoning over Temporally Stratified Memory from Streaming Video Experience (14 votes)
Tác giả: Sitong Gong, Caixin Kang, Tianyu Yan, Guo Chen, Bo Zheng, et al.
Xuất bản lúc: 2026-08-03
Tag: Video Memory, Streaming Video, Egocentric Vision, LLMs, Multimodal, Proactive Assistant, Lifelong Learning, RAG, Agentic Reasoning
I. Main Problem:
Trợ lý đeo được (wearable) cần hỗ trợ hai dạng hành vi bổ trợ nhau từ cùng một luồng video dài: (1) trả lời câu hỏi về quá khứ thị giác khi được hỏi, và (2) chủ động đẩy hỗ trợ đúng lúc khi phát hiện lịch sử hữu ích cho tình huống hiện tại.
Vấn đề cốt lõi hiện nay:
- Các hệ thống video-memory chỉ làm truy hồi theo câu hỏi (query-first): câu hỏi quyết định truy xuất gì.
- Các trợ lý proactive lại dùng cơ chế nhớ và điều khiển tách biệt, thiết kế cho kích hoạt dịch vụ chứ không phải giao diện nhớ chung cho truy hồi mở.
- Thiếu một bộ nhớ luồng duy nhất truy cập được từ hai tín hiệu khởi đầu: câu hỏi tìm bằng chứng cũ, hoặc tình huống đang diễn ra chỉ báo quá khứ có thể hữu ích.
- Coi mọi quan sát (giây, phút, ngày) như bản ghi đồng nhất ép một phép tìm kiếm chung phải gom những loại bằng chứng bản chất khác nhau.
II. Main Idea:
GROVE (Growing and Reasoning over Streaming Video Experience) là khung không cần huấn luyện (training-free) xây dựng bộ nhớ phân tầng theo thang thời gian ngay trong lúc video tới, rồi dùng chung cho cả hỏi-đáp và hỗ trợ chủ động.
Quy trình xây dựng bộ nhớ tăng dần (causal, online):
- Dual perception: mỗi cửa sổ video qua VLM sinh ra narrative caption + perceptual trace (thực thể, thuộc tính, số đếm, hành động, text trên màn hình).
- Adaptive segmentation: LLM gom caption thành các Episode (đơn vị dài thay đổi theo ranh giới hoạt động, không cắt cố định).
- Moment extraction: khi episode đóng, tách thành các Moment có dấu thời gian.
- Pattern consolidation: ghép các episode không liền kề thành Pattern (thói quen lặp lại qua ngày).
Bốn scale-native retrieval skills, mỗi tầng một phép truy xuất:
- Perception Lookup (tầng R): số đếm/thuộc tính/text tại một thời điểm.
- Moment Recall (tầng F): sự kiện what/when theo từ khóa + khoảng thời gian.
- Episode Replay (tầng E): định vị và đọc một đoạn hoạt động.
- Pattern Traversal (tầng P→E→F): truy vấn rộng/nhân quả/xuyên kỳ.
Hai chính sách điều khiển dùng chung bộ nhớ + thư viện kỹ năng:
- Reactive QA: câu hỏi khởi tạo vòng decide–retrieve–answer, agent tự chọn quy mô bằng chứng.
- Proactive assistance: trạng thái nhận thức hiện tại (hoặc yêu cầu hướng trước) khởi tạo truy xuất các moment/episode/pattern liên quan trước khi quyết định có hành động không.
Ví dụ đời thường: giống một người trợ lý mới nhận việc không học thuộc mọi việc, mà tự ghi chú: việc nhỏ từng giây (đếm ly, đọc tin nhắn), việc làm trong vài phút (nấu một món), và thói quen lặp mỗi ngày (sáng nào cũng dọn bàn); khi sếp hỏi 'hôm qua để chìa khóa ở đâu' thì lục ngay cuốn sổ giây, còn khi thấy sếp sắp làm sai việc cũ thì tự nhắc 'bạn đã từng vấp ở bước này tuần trước' — cùng một cuốn sổ, hai cách mở.
III. Main Results:
- EgoServe (proactive): macro-F1 tổng 12.6, cao nhất, vượt EgoMemo +4.6; dẫn đầu 7/10 loại dịch vụ, đặc biệt an toàn (19.7 vs 12.5), dùng công cụ (20.2 vs 7.5), phục hồi lỗi (23.8 vs 1.7).
- MM-Lifelong (QA cả đời): tốt nhất trên cả 3 tầm — day 23.50, week 22.75, month 19.98; hơn baseline agentic mạnh nhất ReMA +6.75 / +3.93 / +1.36.
- OVO-Bench: điểm tổng 67.5 cao nhất; real-time perception 76.2, backward 69.9, forward 56.5.
- StreamingBench: trung bình 65.1; contextual understanding 53.1 (+9.2 so baseline).
- ESTP-Bench: điểm contextual 41.0 (vs 26.6) và tổng 28.6 (vs 22.9) cao nhất nhóm so sánh.
- Ablation: bỏ tầng Episode sụt mạnh ở day (18.75→14.57); bỏ Pattern lại tăng ở day (không cần xuyên ngày) nhưng sụt ở week (19.75→13.00). Tắt hẳn truy xuất sụp (18.75→7.25). Cấu trúc phân tầng vừa tăng độ chính xác vừa giảm số vòng lập (6.25→4.95) và độ trễ (59.3→47.6s).
IV. Conclusion & Future Works:
GROVE chứng minh kết hợp cấu trúc thời gian với truy xuất theo quy mô là chất nền nhớ thực tế cho trợ lý cần liên tục quan sát – ghi nhớ – hành động, phục vụ cả hỏi-đáp và hỗ trợ chủ động qua một giao diện.
Hạn chế (từ bài):
- Kế thừa lỗi từ mô hình perception đóng băng; bằng chứng sót khi thu nạp không cứu được sau.
- Tầng nhớ cao chỉ cập nhật khi episode đóng → truy vấn cửa sổ hiện tại trông cậy vào perceptual trace.
- Chi phí xây dựng và đa vòng truy xuất tăng theo độ dài lịch sử.
Hướng tương lai: nâng cấp mô hình perception gốc; cập nhật tầng cao hơn ngay trong cửa sổ; tối ưu chi phí khi lịch sử kéo dài nhiều tuần.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng GROVE cho bộ nhớ đa nguồn (camera đeo + cảm biến gia đình + lịch trình) để xây Pattern thói quen người dùng xuyên thiết bị, truy xuất qua cùng một thư viện skill.
- Học chính sách chủ động (khi nào can thiệp) từ dữ liệu tương tác người dùng thực tế thay vì schema cố định, giữ nguyên nền bộ nhớ phân tầng.
- Đưa cơ chế Pattern Traversal vào agent video offline dài hàng tháng để trả lời truy vấn nhân quả xuyên kỳ mà không cần duyệt toàn bộ frame.
- Nghiên cứu cắt tỉa và nén tầng Moment khi lịch sử tăng, giữ độ trễ truy xuất ổn định qua hàng trăm giờ video.
2. Patent:
- Kính thông minh/chủ động đeo được: ghi nhớ đồ vật để đâu (perceptual trace), các hoạt động trong ngày (episode), và thói quen lặp (pattern); khi người dùng sắp quên chìa khóa hoặc lặp sai thói quen cũ thì tự nhắc bằng giọng nói đúng thời điểm — không cần hỏi.
- Ứng dụng điện thoại trợ lý sống hàng ngày: camera phone thu cuộn video nền, xây bộ nhớ phân tầng; khi người dùng hỏi 'tối qua mình uống gì lúc ăn lẩu' thì trả lời từ trace, còn khi thấy người dùng cầm dao gần ngón tay thì chủ động cảnh báo an toàn.
- Tính năng 'nhắc việc nhà thông minh' trên điện thoại: nhận diện pattern 'sáng nào cũng tưới cây' qua nhiều ngày, đến giờ chủ động đẩy thông báo 'bạn chưa tưới cây hôm nay', và khi phát hiện ngày nghỉ dài thì tự điều chỉnh giờ nhắc.
- Camera an ninh gia đình tích hợp GROVE: ghi nhớ routine sinh hoạt, khi phát hiện hành vi lạ so với pattern (ví dụ người lạ vào phòng đêm khuya) thì chủ động báo chủ qua điện thoại thay vì chỉ lưu trữ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02392 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02392 |
| PDF Download | https://arxiv.org/pdf/2608.02392.pdf |
| Github Repository | https://github.com/SitongGong/GROVE |
18. ExplainBench: Evaluating Code Explanations from Agents (12 votes)
Tác giả: Zhiyuan Pan, Sungmin Kang, Imam Nur Bani Yusuf, Abhik Roychoudhury
Xuất bản lúc: 2026-07-29
Tag: LLM agents, explainability, benchmark, trustworthiness, SWE-bench, program repair, differential testing
I. Main Problem:
LLM agent tạo ra những thay đổi mã rất lớn (hàng chục đến hàng trăm dòng), khiến việc review thủ công bởi lập trình viên trở nên bất khả thi về thời gian. Dev đành trông cậy vào giải thích ngôn ngữ tự nhiên do agent sinh ra để hiểu thay đổi. Nhưng hiện chưa có benchmark nào đánh giá độ tin cậy của giải thích — khác với hàng loạt benchmark đánh giá năng lực sửa lỗi (SWE-bench). Hậu quả:
- không biết agent nào giải thích trung thực, agent nào chỉ khoe thành tích
- nhà nghiên cứu không có thước đo định lượng để cải thiện kỹ thuật sinh giải thích
- thực tế: nhiều giải thích quá lạc quan sai lệch, tuyên bố patch đúng khi thực tế không sửa được bug, làm xói mòn niềm tin.
II. Main Idea:
ExplainBench định giá trị hóa chất lượng giải thích bằng một trực giác: giải thích có thông tin sẽ giúp một LLM trả lời đúng các câu hỏi về bug và patch, còn giải thích sáo rỗng sẽ dẫn đến câu trả lời sai. Quy trình:
- trích xuất giải thích tự nhiên từ bước cuối của agent
- sinh các câu hỏi trắc nghiệm (MCQ) có đáp án chuẩn, chia theo 2 chiều: intent (cái patch nên làm, lấy developer patch làm oracle) và effect (cái patch thực sự làm); mỗi chiều chia tiếp end-to-end (toàn chương trình) và local (cấp hàm)
- cho LLM đọc giải thích rồi trả lời; explanation score = tỉ lệ câu trả lời đúng
- xây trên SWE-bench Verified, dùng property-based test và execution tracer để sinh đáp án chuẩn, tránh LLM phải tự viết code phức tạp
Từ kết quả, tác giả còn đề xuất ExplanationAuditAgent: chạy differential testing (chạy test trước/sau patch) và soi call graph để kiểm chứng từng lời khẳng định trong giải thích, rồi sửa hoặc bổ sung bằng bằng chứng thực thi.
Ví dụ đời thường: giống sếp không đọc code mà đọc bản báo cáo tóm tắt của nhân viên mới, rồi đặt vài câu hỏi kiểm tra xem nhân viên có thực sự hiểu việc mình làm hay chỉ viết cho đẹp — ai trả lời đúng chứng tỏ báo cáo đó đáng tin.
III. Main Results:
- Chất lượng giải thích là trục đánh giá độc lập với năng lực sửa lỗi: ví dụ trae-agent có tỉ lệ giải quyết SWE-bench cao nhất nhưng xếp thứ 2 từ dưới lên về explanation score.
- Phân tích sâu: giải thích hiện nay quá tự tin sai — thường khẳng định patch đúng khi thực tế patch không sửa được bug, và suy luận sai hành vi dự định ở cấp hàm.
- ExplanationAuditAgent cải thiện giải thích của mọi agent được thử (5 agent), chứng tỏ nó là công cụ tăng độ tin cậy giải thích theo kiểu tổng quát.
- Độ đồng thuận giữa người và LLM đạt Cohen's Kappa 0.7 (substantial agreement), chứng minh LLM làm trọng tài đánh giá hợp lý.
- Benchmark gồm 297 bug instance từ SWE-bench Verified (loại 203 do harness lỗi, trace quá nặng, trạng thái chương trình dễ vỡ...).
IV. Conclusion & Future Works:
ExplainBench chứng minh đánh giá giải thích là một trục riêng biệt so với đánh giá hiệu năng, cần được đo lường độc lập. ExplanationAuditAgent cho thấy giải thích có thể tự động trở nên đáng tin hơn qua kiểm chứng thực thi. Hướng tương lai: mở rộng benchmark sang các tiêu chí khác (độ hài lòng dev, độ dễ đọc), và tích hợp agent kiểm toán vào quy trình phát triển thực tế.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ExplainBench sang đo lường các khía cạnh giải thích khác ngoài độ đúng nội dung, như tính dễ đọc và mức độ hài lòng của lập trình viên khi đọc.
- Nghiên cứu cơ chế tự động sinh câu hỏi trắc nghiệm chất lượng cao cho mọi loại artifact ngôn ngữ tự nhiên trong kỹ thuật phần mềm, không chỉ patch.
- Phân tích sâu hơn nguyên nhân agent tự tin sai về patch, và thiết kế scaffolding buộc agent tự chạy test xác nhận trước khi viết giải thích.
2. Patent:
- Công cụ tích hợp trong IDE/điện thoại: mỗi khi AI sửa code, tự động chạy ExplanationAuditAgent quét lại giải thích trước khi dev bấm 'merge', hiển thị cảnh báo đỏ nếu lời khẳng định của AI trái với kết quả test thực tế.
- Tính năng 'kiểm chứng giải thích' cho app review code trên điện thoại: dev đọc tóm tắt của agent, app tự sinh vài câu hỏi trắc nghiệm ngầm, nếu độ tin cậy giải thích thấp thì đánh dấu để dev cẩn thận hơn thay vì tin ngay.
- Hệ thống đào tạo lập trình viên mới: cho AI sửa bug rồi bắt sinh giải thích, dùng ExplainBench chấm điểm giải thích để dạy AI (và người học) cách viết báo cáo thay đổi trung thực, phân biệt rõ 'nên làm' và 'đã làm'.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.26451 |
| ArXiv Abstract | https://arxiv.org/abs/2607.26451 |
| PDF Download | https://arxiv.org/pdf/2607.26451.pdf |
| Github Repository | https://github.com/explainbench/explainbench-cli |
19. ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities? (11 votes)
Tác giả: Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, et al.
Xuất bản lúc: 2026-08-04
Tag: Agent Skills, In-Context Learning, Continual Learning, LLM Agents, Benchmark, Skill Evolution
I. Main Problem:
Các framework agent hiện nay trang bị cho LLM một thư viện kỹ năng (skill library) bên ngoài để giải quyết tác vụ phức tạp, nhưng chưa rõ agent có thể tự tiến hóa kỹ năng qua tương tác hay không, và liệu kỹ năng tự sinh có thực sự nâng cao năng lực giải quyết việc. Vấn đề cốt lõi:
- Xây dựng thủ công thư viện kỹ năng toàn diện tốn kém và khó khăn.
- Thiếu đánh giá có hệ thống về giới hạn khả năng tự tổng hợp/khởi tạo kỹ năng từ phản hồi người dùng.
- Các benchmark cũ chỉ test trên tác vụ rời rạc với tài liệu kỹ năng cố định, không đo lường sự tiến hóa dọc theo chuỗi tác vụ.
II. Main Idea:
CONTINUALSKILLBENCH là framework đánh giá động cho học kỹ năng liên tục in-context. Cách tiếp cận:
- Chọn 5 lĩnh vực (Healthcare, Law, Finance, Math, Office), mỗi lĩnh vực có 100 subtask đan kết được sắp xếp theo độ khó tăng dần và có cơ hội tái dùng kỹ năng chéo.
- Xây dựng chuỗi tác vụ qua skill chains: gán nhãn kỹ năng, đánh giá phụ thuộc cặp đôi, dựng đồ thị có hướng rồi sắp xếp ưu tiên việc dễ trước; có human review.
- Giao thức 3 lượt mỗi subtask: nhận task + thư viện kỹ năng hiện tại → thực thi → phản tư và cập nhật kỹ năng (tạo/sửa) từ phản hồi.
- So sánh Sequential (giữ và cập nhật kỹ năng xuyên suốt) với Independent (làm mỗi task từ đầu) và baseline in-context learning thuần (giữ context nhưng không tạo kỹ năng).
- Đo bằng 4 loại evaluator: Exact Match/F1, Numeric, Rubric Judge, Programmatic.
Ví dụ đời thường: giống một nhân viên mới nhận việc, không được phát sổ tay mà phải tự ghi chú cách làm mỗi khi hoàn thành một việc và rút kinh nghiệm từ lời nhận xét của sếp, dần dần xây dựng cuốn sổ tay riêng để lần sau gặp việc tương tự thì mở ra làm nhanh hơn.
III. Main Results:
- Thực thi tuần tự nói chung cải thiện: tăng normalized reward ở 14/15 tổ hợp model–lĩnh vực, mức tăng trung bình +16.9% so với baseline độc lập.
- Mức tăng phụ thuộc model: GPT-5.3-Codex hưởng lợi nhất (+0.098 norm), kế đến GPT-4o (+0.077), Opus 4.7 (+0.058) — không thuận theo năng lực baseline.
- Phụ thuộc lĩnh vực mạnh: Healthcare tăng mạnh nhất (+0.149), tiếp đến Finance (+0.076), Law (+0.058), Office (+0.054), Math (+0.052); duy nhất Opus 4.7 trên Math giảm −0.008.
- In-context learning (ICL) thuần ngang ngửa kỹ năng tường minh: trung bình norm 0.605 (ICL) vs 0.602 (Seq) trên 3 lĩnh vực — gợi ý phần lớn cải thiện đến từ thích nghi với context/phản hồi cũ, không chỉ từ trừu tượng kỹ năng.
- Kỹ năng tường minh có lợi chọn lọc: tốt hơn cho Exact Match (Law, Finance) và Programmatic (Healthcare 0.25→0.50), nhưng ICL thắng ở Rubric.
- Mô hình yếu tạo kho kỹ năng phân mảnh: GPT-4o tích lũy 384 kỹ năng (5 lĩnh vực) vs 205 của GPT-5.3-Codex, nhưng gọi lại ít hơn và chất lượng thấp hơn.
IV. Conclusion & Future Works:
Kết luận: agent hiện tại có thể thích nghi qua tương tác liên tục, nhưng vẫn chật vật nhất quán cô đọng kinh nghiệm thành kỹ năng bền vững và có thể chuyển giao. Việc duy trì kỹ năng tường minh chỉ mang lợi ích chọn lọc. Hướng tương lai: mở rộng độ phủ model/agent framework (Cursor, Gemini CLI, v.v.); đánh giá trên phân bố dữ liệu dịch chuyển và edge case thực tế; cải thiện cơ chế hợp nhất kinh nghiệm thành thủ tục tổng quát thay vì lưu skill vụn vặt.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu cơ chế hợp nhất (consolidation) kinh nghiệm: làm sao agent gộp nhiều kinh nghiệm task riêng lẻ thành thủ tục tổng quát có thể tái dùng, thay vì tạo kho skill phân mảnh như GPT-4o.
- Đánh giá kỹ năng liên tục trên phân bố dịch chuyển (distribution shift) và edge case hiếm gặp ngoài 5 lĩnh vực chuẩn để đo độ khái quát thực tế.
- So sánh across-framework: thử nghiệm cùng benchmark trên Claude Code, Codex, Cursor, Gemini CLI để tách biệt đóng góp của model vs kiến trúc quản lý bộ nhớ/kỹ năng.
- Thiết kế chiến lược phản tư chủ động: agent tự quyết định khi nào nên tạo/sửa/xóa kỹ năng để giảm gánh nặng chọn lọc trong kho lớn.
2. Patent:
- Trợ lý văn phòng trên điện thoại tự xây dựng 'sổ tay cá nhân': sau mỗi thao tác (soạn email, lập bảng, điền form), app ghi nhớ quy trình vào kho kỹ năng cục bộ và lần sau gặp yêu cầu tương tự sẽ tự động hóa bước đó mà không cần hỏi lại người dùng.
- Ứng dụng y tế/pháp lý hỗ trợ chuyên gia: hệ thống tích lũy các quy trình tra cứu và suy luận đã được phản hồi đúng từ bác sĩ/luật sư, dần hình thành thư viện thủ tục chuẩn để gợi ý nhanh cho ca tương tự, giảm sai sót lặp lại.
- Tính năng 'học từ phản hồi' cho chatbot doanh nghiệp: khi khách hàng đánh giá câu trả lời sai, agent tự tạo bản ghi chú kỹ năng sửa lỗi và áp dụng cho các yêu cầu cùng nhóm trong tương lai mà không cần fine-tune lại model.
- Công cụ tài chính cá nhân tự tối ưu: app ghi nhớ cách người dùng phân tích chi tiêu/đầu tư qua mỗi lần hỏi, xây dựng quy trình tính toán tái dùng được để đưa ra lời khuyên nhất quán theo thói quen riêng của từng người.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03874 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03874 |
| PDF Download | https://arxiv.org/pdf/2608.03874.pdf |
| Github Repository | https://github.com/gtynnn060110-hash/continual-skill-bench-final |
20. Decoding Children's Gait Behavior (11 votes)
Tác giả: Yifan Shen, Boyi Li, Meihuan Huang, Yuanzhe Liu, Xu Cao, et al.
Xuất bản lúc: 2026-08-01
Tag: Gait Analysis, Children's Gait, EVGS, Computer Vision, VideoMAE, MLLM, Foundation Models, Clinical Assessment, Pose Estimation, Instance Segmentation
I. Main Problem:
Phân tích dáng đi (gait) trẻ em từ video RGB là bài toán nhận diện hành động tinh vi mà các phương pháp hiện tại chưa giải quyết được. Ba điểm nghẽn chính:
- Hệ thống cảm biến 3D / IMU đắt, xâm lấn, trẻ không chịu đeo, dễ làm sai lệch dáng đi tự nhiên.
- Mô hình người lớn: các foundation model gait hiện tại huấn luyện trên người lớn khỏe mạnh, giả định dáng đi ổn định, tuần hoàn — áp dụng cho trẻ 3-17 tuổi bị domain shift nặng (tỉ lệ xương, trọng tâm khác biệt).
- Đánh giá lâm sàng cần độ chi tiết cao, phụ thuộc pha: phải ước lượng góc khớp tại thời điểm cụ thể của chu kỳ bước đi (vd. gập gối tối đa lúc đánh giữa), không phải phân loại bệnh thô. Các MLLM và gait model SoTA hiện thất bại trước các lệch lạc vận động nhỏ, khó đoán này.
II. Main Idea:
Bài báo mở đề bài phân tích dáng đi trẻ em tinh vi từ video RGB và đóng góp bộ dữ liệu + phương pháp. Hai trụ cột:
1. Bộ dữ liệu CGV (Children Gait Video):
- Hơn 1,100 video (1,185 clips, 339,236 frames) từ 110 trẻ 3-17 tuổi, camera thường + action cam, 2K, 60 FPS.
- Thu 2 mặt phẳng: sagittal (bên) và coronal (trước/sau) qua lối đi 8m.
- Gán nhãn 17 hạng mục EVGS (Edinburgh Visual Gait Score) mỗi chân, tổng 34 hạng mục, bởi bác sĩ nhi khoa (ICC = 0.93).
- Annotation từng khung: bounding box (SAM 3), keypoint (Sapiens-2B), mask phân đoạn. Ảnh mặt trẻ bị mosaic vĩnh viễn (bảo mật).
- Nhãn được binarize (bình thường / bất thường) để chống mất cân bằng lớp.
2. ChildGait-Video — mô hình end-to-end:
- Dùng kiến trúc encoder của VideoMAE v2, pretrain trên Kinetics-710 rồi fine-tune trên CGV.
- Token-Level Kinematic Prompting: vẽ khung xương khớp (keypoint) lên frame RGB gốc → các patch chứa xương thành token-level prompt, đưa thông tin giải phẫu vào Transformer.
- Mask-Guided Patch Pruning: dùng mask phân đoạn để loại bỏ patch nền, ép attention chỉ tập trung vào đứa trẻ, giảm nhiễu và tính toán.
Ví dụ đời thường: giống cô giáo mầm non muốn đánh giá trẻ tập đi — thay vì nhìn cả sân chơi lộn xộn, cô dùng bút tô nổi bật từng khớp chân của bé rồi cắt bỏ hết cảnh xung quanh, chỉ chăm chú vào chuyển động hai chân để phát hiện bé đi khệnh khạng.
III. Main Results:
- MLLM zero-shot thất bại: Gemini 3 Pro, GPT-5.2, Qwen3-VL, GLM4.6V, InternVL3 đạt 50-60% chính xác trên từng chi — chỉ hơn tí so với đoán bừa (50% với bài binary). Dễ bắt lỗi rõ (HFX ~61%) nhưng đoán sai lỗi tinh vi (SAD ~54%).
- Fine-tune Qwen3-VL-4B: chỉ tăng +2% / +1% so với zero-shot, chứng tỏ VLM không phù hợp nhận diện động tác tinh vi.
- Các gait model cổ điển (GaitSet, GaitPart, GaitGL, GaitBase, SwinGait, DeepGaitV2, BiggerGait): 45-56%, vì chúng tối ưu phân biệt danh tính chứ không phải chi tiết khớp lâm sàng.
- VideoMAE v2 fine-tune: vượt mọi baseline, 69% / 72% (trái/phải).
- ChildGait-Video (của nhóm): SoTA, 70%-93% trên 34 hạng mục, trung bình 84%, F1 = 0.83 — hơn VideoMAE v2 +15% / +12%.
- Con người (bác sĩ): baseline 93.8% chính xác, ICC 0.93 → còn khoảng cách để AI đạt mức lâm sàng.
IV. Conclusion & Future Works:
CGV là bộ dữ liệu video dáng đi trẻ em đa góc nhìn đầu tiên, mở đường cho đánh giá lâm sàng không xâm lấn, rẻ, mở rộng được từ camera thường. ChildGait-Video chứng minh video foundation model + prompting giải phẫu + pruning nền vượt xa MLLM và gait model cũ. Hướng tương lai:
- Dùng lệch dáng đi nhỏ làm chỉ báo sớm tự kỷ (autism).
- Đo lường hiệu quả phục hồi vận động của công nghệ BCI / neuroprosthetics ở trẻ.
- Liên kết dị thường bước đi sau này với vận động sơ sinh bất thường (infant general movements).
- Cần fine-tuning chuyên domain và giám sát cấu trúc để thu hẹp khoảng cách với bác sĩ.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng CGV sang các rối loạn phát triển khác (tự kỷ, bại não giai đoạn sớm) và xây dựng benchmark đa bệnh để đánh giá độ nhạy chẩn đoán sớm.
- Nghiên cứu liên kết dáng đi trẻ với vận động sơ sinh (infant general movements) để dự báo dị thường vận động trước khi đi được.
- Thiết kế cơ chế tự động cân bằng lớp và augmentation theo pha chu kỳ bước đi nhằm cải thiện dự đoán các hạng mục EVGS hiếm gặp (score 2).
- Đánh giá ChildGait-Video trên camera điện thoại đơn góc nhìn để kiểm tra tính khả thi triển khai phòng khám thực tế.
- Kết hợp đặc trưng vận động từ video với dữ liệu IMU (khi trẻ chịu đeo) theo hướng học bán giám sát đa phương thức.
2. Patent:
- Ứng dụng sàng lọc dáng đi trẻ em trên điện thoại: phụ huynh quay con đi lại 5 giây bằng camera thường, AI tự động chấm EVGS 34 hạng mục, cảnh báo sớm dị thường gửi bác sĩ — thay thế khám lâm sàng chủ quan.
- Hệ thống camera thông minh tại phòng khám nhi: tự động bật khi trẻ đi qua lối đi chuẩn, cắt nền, tô khung xương, chấm điểm dáng đi theo thời gian thực không cần cảm biến dán người.
- Module tư vấn tập phục hồi: theo dõi video dáng đi trẻ sau phẫu thuật chỉnh hình (vd. DDH, bại não) để bác sĩ đánh giá tiến triển từ xa qua điểm EVGS theo tuần.
- Thiết bị hỗ trợ chọn giày chỉnh hình / máng chỉnh: camera so sánh dáng đi trước-sau can thiệp, đo mức cải thiện góc khớp bằng AI thay vì đánh giá mắt thường.
- Robot hỗ trợ phục hồi vận động trẻ em: tích hợp mô hình nhận diện dáng đi để điều chỉnh lực hỗ trợ theo thời gian thực dựa trên pha bước đi phát hiện từ video.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.00371 |
| ArXiv Abstract | https://arxiv.org/abs/2608.00371 |
| PDF Download | https://arxiv.org/pdf/2608.00371.pdf |
| Github Repository | https://github.com/PediaMedAI/ChildrenGait |
21. Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements (10 votes)
Tác giả: Xinke Tong, Xuanming Zhang, Tianyi Tang, An Yang, Jiatu Hu, et al.
Xuất bản lúc: 2026-07-22
Tag: LLMs, Financial Reasoning, Benchmark, Long-Context, Structured Output, Numerical Reasoning, Supervised Fine-Tuning, Knowledge Bottleneck, Structural Bottleneck
I. Main Problem:
Các benchmark tài chính hiện tại không đo lường được độ tin cậy xử lý dữ liệu chiếm phần lớn công việc thực tế. Cụ thể:
- Chủ yếu dùng câu hỏi trắc nghiệm kiến thức hoặc QA một bước trên bảng ngắn bị cắt xén (FinQA, TAT-QA trung bình 500–1.000 token).
- Bỏ qua các động lực xuyên báo cáo tài chính, giải tích theo thời gian (TTM, YTD, QoQ), và phân biệt cở cấu dữ liệu (stock vs. flow, công ty mẹ vs. hợp nhất).
- Quy trình agent tài chính thực tế sụp đổ không phải do suy luận cao cấp kém, mà do lỗi dây chuyền ở khâu trích xuất, căn chỉnh, tính toán số liệu trung gian.
II. Main Idea:
Giới thiệu FININDICES — benchmark quy mô lớn (68.307 mẫu) dùng báo cáo tài chính nguyên gốc không cắt xén, context trung bình >16.000 token (tối đa 33.126). Thiết kế:
- Hai dạng bài: Single-Index (tính 1 giá trị) và Table-Index (tính nhiều chỉ số, xuất bảng HTML/JSON).
- Ba trục năng lực: hiểu nguyên lý kế toán (Domain), suy luận thời gian (Temporal), căn chỉnh cỡ cấu (Caliber).
- Pipeline tự động trích bảng từ báo cáo thật, ngẫu nhiên đổi định dạng (text/JSON), bơm bẫy đối nghịch (thêm kỳ không liên quan, cố tình thiếu báo cáo buộc trả lời 'thiếu thông tin'), và chấm tất cả-hoặc-không (sai 1 ô = 0 điểm).
Ví dụ đời thường: giống nhân viên kế toán mới được phát cả một chồng tệp báo cáo mấy năm lộn xộn, phải tự tìm đúng dòng, quy đổi đơn vị và ghép thành bảng so sánh — nếu chỉ 'nhìn hình dáng' bắt chước mà không hiểu công thức, sẽ với nhầm cột kỳ trước hoặc cộng bừa số liệu.
III. Main Results:
- Knowledge Bottleneck (nút thắt kiến thức): bỏ gợi ý công thức thì điểm sụp đổ. Gemini-3.1-Pro trên Table task tụt 70.70% → 38.22%; Claude-Opus-4.8 chỉ đạt 38.85% khi không có hint.
- Structural Bottleneck (nút thắt cấu trúc): chuyển từ tính 1 số sang sinh bảng 2D làm kiệt suy luận. Gemini-3.1-Pro tụt 79.61% (Single) → 70.07% (Table). Mô hình hay rơi vào 'lấy cột cạnh sai kỳ' hoặc 'cộng gộp lười biếng'.
- Mô hình tài chính chuyên dụng thất bại: DianJin-R1-32B được 41.29% ở Single nhưng gần 0% ở Table (11.41% w/ hint); Fin-R1, Llama-Fin-8B xấp xỉ 0%. Tiền huấn luyện trên văn bản tài chính không đủ cho logic bảng có cấu trúc.
- SFT cứu vãn một phần: fine-tune Qwen3.5-35B-A3B bằng 6.301 trajectory mang lại +8.54% Single, +3.82% Table (không hint), không quên bài cũ, chuyển giao tốt sang CFinBench/FinEval/FLAME (+0.61–2.39%).
IV. Conclusion & Future Works:
LLM hiện tại chủ yếu bắt chước bề mặt chứ không có suy luận cấu trúc thực sự; nút thắt kiến thức và cấu trúc là hai lỗ hổng nền tảng. SFT theo hướng dữ liệu có thể khôi phục một phần logic. Hướng tương lai: mở rộng tích hợp dữ liệu đa nguồn — giá chứng khoán tần suất cao, chỉ báo vĩ mô (lãi suất, GDP), dữ liệu vận hành nội bộ — và đưa vào các tác vụ định tính (phân tích tình cảm earnings call, tương quan tài sản chéo) để đánh giá agent tự chủ toàn diện hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng FININDICES sang đa phương thức đa nguồn: ghép báo cáo tài chính với dữ liệu thị trường thời gian thực và chuỗi vĩ mô để kiểm thử khả năng đối chiếu cỡ cấu xuyên miền.
- Nghiên cứu cơ chế 'nút thắt cấu trúc': vì sao gánh nặng sinh bảng đa kỳ làm rò rỉ năng lực suy luận, và kỹ thuật giảm tải nhận thức (chunking, tool-use) để giữ logic.
- Xây dựng pipeline SFT từ trajectory của mô hình mạnh nhằm chuyển giao tư duy kế toán có cấu trúc sang mô hình nhỏ mà không quên kiến thức chung.
2. Patent:
- Ứng dụng kiểm tra báo cáo tài chính trên điện thoại: người dùng chụp hoặc tải báo cáo công ty, app tự trích xuất bảng gốc, tính các chỉ số như dòng tiền tự do hay tỷ suất lợi nhuận qua nhiều năm, cảnh báo nếu thiếu số liệu hoặc lấy nhầm kỳ — thay vì chỉ đọc văn bản.
- Trình trợ lý đầu tư cá nhân: nhập nhiều báo cáo công ty khác nhau, hệ thống tự ghép thành bảng so sánh chuẩn (đơn vị, kỳ hạn đã quy đổi), phát hiện xem mô hình có đang 'đoán bừa' do thiếu thông tin hay không trước khi đưa lời khuyên.
- Công cụ kiểm toán tự động cho doanh nghiệp vừa và nhỏ: đưa vào bảng cân đối, kết quả kinh doanh, lưu chuyển tiền tệ dài hạn, phần mềm tự bắt lỗi quy đổi cỡ cấu (ví dụ lẫn số điểm thời điểm với số tích lũy kỳ) và xuất báo cáo audit-ready theo đúng chuẩn kế toán.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.28661 |
| ArXiv Abstract | https://arxiv.org/abs/2607.28661 |
| PDF Download | https://arxiv.org/pdf/2607.28661.pdf |
| Github Repository | N/A |