Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-08-14

Báo cáo được tạo tự động vào lúc 2026-08-15 10:06:33 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers (90 votes)​

Tác giả: Tao Feng, Fangxu Yu, Haozhen Zhang, Zhongjie Dai, Liangqi Yuan, et al.

Xuất bản lúc: 2026-08-07

Tag: LLM Routing, Model Selection, Cost-Efficient Inference, Benchmark, Multi-Turn Routing, Personalized Routing, OpenAI-compatible Server

I. Main Problem:​

Không một mô hình ngôn ngữ lớn (LLM) nào tối ưu cho mọi truy vấn và ngân sách, nên routing (chọn mô hình nào xử lý truy vấn nào) là then chốt để triển khai tiết kiệm. Nhưng lĩnh vực này đang bị cản trở bởi hai rào cản:

  • Thiếu công thức thống nhất: các router hiện có (dự đoán chất lượng nhị phân, cascade tiết kiệm chi phí, router dựa đồ thị, router agentic) được viết dưới các hình thức khác nhau, codebase riêng biệt, giao diện không tương thích, huấn luyện với giám sát khác nhau — không thể so sánh公平 được.
  • Thiếu pipeline đánh giá chuẩn: đánh giá router khó hơn đánh giá một mô hình đơn, vì cần chạy mọi ứng viên trên mọi truy vấn rồi chấm điểm từng câu trả lời; benchmark hiện tại chỉ phủ single-turn và không có quy trình sinh giám sát cho task/hồ ứng viên mới.

II. Main Idea:​

LLMRouter thống nhất mọi phương pháp routing dưới một quy trình quyết định tuần tự (sequential decision process). Mỗi router được mô tả bởi 5 thành phần:

  • Context encoder (mã hóa trạng thái: truy vấn, người dùng, lịch sử)
  • Model encoder (mã hóa từng ứng viên LLM)
  • Scoring function (đo độ tương thích)
  • Decision rule (chọn hành động routing)
  • Learning signal (tín hiệu học hướng tới mục tiêu chất lượng–chi phí)

Từ đó gom các router thành 3 họ: single-turn, multi-turn (kể cả agentic), và personalized — chỉ khác nhau ở phần trạng thái chúng quan sát. Hệ thống đi kèm pipeline tự động 3 giai đoạn (thu thập truy vấn → chạy pool 18 mô hình → chấm điểm & định giá) sinh ra ma trận truy vấn–mô hình dùng làm giám sát và bàn thử. Trên nền này, tác giả xây xRouteBench (4.767 mẫu, 5 track: generic, memory, vision, time-series, personalized) và thư viện mã nguồn mở triển khai hơn 16 router — người dùng chỉ việc viết một phương thức routing và một hàm loss, còn data/train/infer/eval/deploy là hạ tầng chung dùng cấu hình để đổi.

Ví dụ đời thường: giống một tổng đài điều phối nhân sự, thay vì mỗi phòng ban tự bịa riêng một quy trình tuyển việc, ta có một sổ chấm điểm chung (năng lực ứng viên, độ khó việc, chi phí lương) để xếp người đúng việc; đổi bộ quy tắc chỉ là sửa một dòng trong sổ, không cần lập lại toàn bộ phòng nhân sự.

III. Main Results:​

  • Hơn 16 router trải khắp 3 họ được triển khai sẵn, có thể đẩy lên server OpenAI-compatible (Slack/Discord qua OpenClaw) hoặc giao diện ComfyUI không cần code.
  • Router học được vượt baseline cố định mạnh nhất 14.6% (relative) — vì luôn gọi mô hình lớn nhất tốn tiền nhất nhưng chỉ đạt chất lượng trung bình, nhiều truy vấn mô hình lớn sai thì mô hình nhỏ/rẻ lại giải được.
  • Thứ hạng đảo chiều khi thắt chặt ràng buộc chi phí: RouterDC dẫn đầu Generic LLM ở chế độ chỉ-chất-lượng nhưng tụt xuống áp chót khi ưu tiên tiết kiệm; MLPRouter từ đáy Vision vươn lên tốt nhất khi β≥0.4.
  • Personalized routing có lợi: GMTRouter đạt 68.78 trên track personalized (cao nhất), hơn PersonalizedRouter (67.86) và EloRouter user-agnostic (66.40).
  • Multi-turn không nhất quán thắng single-turn: thêm vòng decompose/aggregate thường thêm chi phí và thông tin dư thừa, lợi ích phụ thuộc năng lực mô hình nền.
  • Triển khai thực tế: trên 234 bản ghi phản hồi người dùng Slack, PersonalizedRouter khớp ý người dùng 83.05%; trong multi-agent system, 6/7 router học được đánh bại 'luôn gọi mô hình lớn nhất' (MFRouter trung bình 76.48 vs 71.48).

IV. Conclusion & Future Works:​

LLMRouter cung cấp nền tảng thống nhất để phát triển, đánh giá và triển khai router qua 5 thành phần trừu tượng hóa, cùng xRouteBench chuẩn hóa việc đo lường chất lượng–chi phí đa kịch bản. Bốn phát hiện cốt lõi: không router nào áp đảo mọi task/ngân sách; router học được vẫn thắng baseline cố định; multi-turn không nhất quán hơn single-turn; personalization chỉ hiệu quả khi mô hình hóa ngữ cảnh người dùng tốt. Hướng tương lai: ước lượng độ tự đủ (sufficiency) tốt hơn, early stopping, decompose/aggregate hiệu quả hơn cho multi-turn, và validate router cá nhân hóa trên phản hồi người dùng thật thay vì chỉ persona-judge mô phỏng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu early-stopping và ước lượng độ tự đủ cho multi-turn routing để cắt bớt vòng lặp dư thừa, giảm chi phí mà không giảm chất lượng.
  2. Thiết kế cơ chế decompose/aggregate tối ưu cho agentic router, tách biệt ảnh hưởng của năng lực mô hình nền khỏi hiệu quả của chiến lược routing.
  3. Mở rộng xRouteBench sang kịch bản streaming và tool-use, nơi chi phí token đầu vào và số lượt gọi công cụ thay đổi động theo thời gian.
  4. Học router cá nhân hóa trực tiếp từ phản hồi người dùng thực (online) thay vì persona-judge, đóng gap giữa đánh giá mô phỏng và triển khai.

2. Patent:​

  1. Hệ thống định tuyến LLM tích hợp trong ứng dụng nhắn tin doanh nghiệp (Slack/Discord): một module trung gian tự chọn mô hình rẻ/nhỏ cho câu hỏi thường và chuyển mô hình lớn khi cần, ghi nhớ lịch sử chat để cá nhân hóa theo từng người dùng mà không đổi code ứng dụng.
  2. Tối ưu chi phí API cho điện thoại: app gửi truy vấn lên một lớp router đám mây, router dựa trên schema truy vấn (độ dài, loại task, ngân sách pin/data) tự gọi mô hình local nhẹ hoặc API xa để vừa nhanh vừa rẻ, người dùng cài đặt ngưỡng 'tiết kiệm' hay 'chất lượng' bằng một nút gạt.
  3. Routing trong hệ thống đa tác tử trên thiết bị: mỗi nút (lập kế hoạch, thực thi, kiểm tra) tự chọn LLM phù hợp thay vì dùng chung một mô hình, giúp chạy agent phức tạp trên phần cứng yếu mà vẫn giữ chất lượng cao.
  4. Giao diện kéo-thả (ComfyUI-style) để người không code thiết kế luồng routing: chọn encoder, hàm chấm điểm, quy tắc quyết định bằng node trên canvas, hệ thống tự sinh server tương thích OpenAI để test ngay.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.06867
ArXiv Abstracthttps://arxiv.org/abs/2608.06867
PDF Downloadhttps://arxiv.org/pdf/2608.06867.pdf
Github Repositoryhttps://github.com/ulab-uiuc/LLMRouter

2. Alaya-EVOKE: From Linear-Scaling Supervision to Endless World (82 votes)​

Tác giả: Yuanyang Yin, Gongxuan Wang, Yifan Zhan, Chuanhao Li, Kaipeng Zhang, et al.

Xuất bản lúc: 2026-08-13

Tag: World Model, Diffusion, Video Generation, Distribution Matching Distillation, Sparse Attention, Long-horizon Generation, Scene Geometry, Class-free Guidance

I. Main Problem:​

Mô hình thế giới tương tác (interactive world model) phải vừa ghi nhớ bền vững, vừa phản hồi nhanh theo lệnh người dùng, vừa sinh dài hạn — ba yêu cầu này xung đột với nhau. Hai điểm nghẽn cốt lõi:

  • Chi phí ngữ cảnh tăng theo thời gian: giữ lịch sử trong context frame hoặc key-value cache khiến mỗi bước denoising đắt dần; windowing/eviction thì phải vứt thông tin ⇒ đánh đổi giữa độ dài phiên và bộ nhớ.
  • Sinh độ trễ thấp bị kẹp bởi teacher: ít bước (few-step) thường đạt được bằng cách chưng cất từ teacher chậm, nên student chỉ học được những gì teacher biểu diễn — giới hạn cả tính nhất quán dài hạn lẫn khả năng đáp ứng lệnh thay đổi giữa chừng.

Hậu quả: một phiên chạy vài phút sẽ bị content drift (bản sắc cảnh, vật thể, bố cục trôi dần) dù từng cửa sổ ngắn vẫn trông hợp lý.

II. Main Idea:​

Evoke tách biệt hai trách nhiệm: trạng thái không gian bền vững ra khỏi denoiser, và thiết kế lại teacher để cung cấp giám sát dài hạn.

  • World State Bank (ngoài denoiser): hình học cảnh được nâng từ depth đơn nhãn thành point cloud, lưu trong kho có chỉ mục theo camera pose. Mỗi bước chỉ render những bề mặt đang nằm trong tầm nhìn hiện tại → denoiser luôn dùng số frame cố định, context không phình to theo thời gian.
  • Teacher thiết kế lại: chia chuỗi thành các chunk, dùng chunk-wise sparse attention (sink frame + local overlap + frame chọn lọc xa + global state bằng linear attention) ⇒ tính toán tăng tuyến tính thay vì bậc hai. Mỗi chunk có text condition riêng → biểu diễn được lệnh đổi giữa phiên.
  • Chuyển sang student 3 bước, không CFG: dùng 30-giây distribution-matching objective dưới self-forced rollouts; teacher+critic chấm toàn bộ 31.4s rollout chung một lượt (supervision horizon dài) nhưng gradient chỉ trên từng chunk (gradient horizon ngắn) ⇒ học được tính ổn định dài hạn mà bộ nhớ có giới hạn.
  • Evocation: lịch prompt theo thời gian cho phép thêm/rút vật thể giữa chừng mà cảnh neo vẫn nhất quán.
  • Vòng lặp recurrent có bound: mỗi chunk dùng layout vị trí cục bộ giống nhau, truy cập trạng thái qua camera pose chứ không phải trục thời gian ⇒ độ dài phiên chỉ tăng số bước lặp, không mở rộng context.

Ví dụ đời thường: giống như họa sĩ vẽ phố dài — thay vì nhớ nguyên cả con đường trong đầu (context phình), anh ta vẽ sẵn bản phác các góc đã qua vào một cuốn sổ (world state bank) và mỗi lúc chỉ mở sổ xem đúng góc mình đang đứng; còn một người thầy từng đi suốt hàng giờ (teacher dài hạn) dạy anh ta cách giữ màu sắc và hình dáng nhất quán từ đầu đến cuối cuộc đi dù chỉ vẽ từng đoạn ngắn 3 nét.

III. Main Results:​

  • Trên 1 GPU H200 ở 384×640, mỗi chunk 1.5s sinh trong 2.11s (có world state bank bật).
  • 2 giờ liên tục sinh không gián đoạn dưới điều khiển camera liên tục, 3 bước/chunk, không CFG (hình minh họa 7 rollout).
  • SOTA trên WBench; cạnh tranh với hệ nhiều-bước trên VBench-2.0 và VBench-Long dù chỉ 3 bước, không CFG.
  • Chống drift ánh sáng: student học từ teacher dài hạn giữ độ sáng mở đầu (101% vs 74% của teacher ngắn hạn); 7/8 clip cải thiện (Wilcoxon p=0.016).
  • World state bank: khi camera quay lại góc cũ, coverage warp đạt 0.99 → 0.81 (so với 0.173 nếu chỉ giữ 1.5s geometry gần nhất).
  • Supervision horizon: mở rộng W cải thiện kháng drift rồi bão hòa (không tỷ lệ với độ dài phiên), khẳng định phân tích lý thuyết.

IV. Conclusion & Future Works:​

Evoke chứng minh hai khả năng (nhớ bền vững + tương tác nhanh) không cần cùng nằm trên denoiser triển khai: tách trạng thái hình học ra world state bank có bound, và biến teacher thành biến thiết kế cung cấp giám sát dài hạn + điều kiện theo chunk. Kết quả là sinh mở (open-ended) chi phí cố định, nhất quán giờ-scale, điều khiển lệnh giữa phiên. Hướng tương lai: khảo sát ngưỡng bão hòa supervision horizon sâu hơn; mở rộng coverage của world state bank (hiện giữ cửa sổ hình học hữu hạn); áp dụng evocation cho kịch bản tương tác phức tạp hơn và đa thiết bị.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng world state bank sang lưu point cloud dài hạn không giới hạn cửa sổ, kết hợp eviction thông minh theo tần suất camera ghé lại để duy trì nhất quán cảnh quy mô lớn.
  2. Nghiên cứu supervision horizon tối ưu theo loại nội dung: drift ánh sáng cần cửa sổ ngắn, drift bản sắc cần cửa sổ dài — thiết kế teacher đa tiêu chuẩn.
  3. Tích hợp evocation với tương tác người dùng thời gian thực: người dùng gõ lệnh giữa phiên để thêm/bớt vật thể, hệ render lại mà không phá cấu trúc cảnh neo.
  4. Ứng dụng Evoke làm engine mô phỏng robot/n xe tự hành: sinh thế giới liên tục theo quỹ đạo camera để huấn luyện agent quan sát dài hạn.

2. Patent:​

  1. Điện thoại AR/VR tạo thế giới ảo liên tục: camera điện thoại vừa làm điều khiển vừa làm 'địa chỉ' truy xuất bản đồ hình học đã quét — người dùng xoay máy, cảnh cũ hiện lại mượt mà mà không tốn RAM do chỉ render góc đang nhìn.
  2. App quay phim AI trên điện thoại: người dùng gõ lệnh giữa lúc quay (vd 'thêm pháo hoa', 'đổi bầu trời') để vật thể xuất/biến đúng đoạn, cảnh nền giữ nguyên — chạy 3 bước nhẹ trên NPU điện thoại.
  3. Trò chơi di động thế giới mở: thế giới sinh trôi chảy theo bước đi người chơi, kho trạng thái ngoài giữ các góc đã qua để khi quay lại vẫn khớp; không cần tải bản đồ khổng lồ vào máy.
  4. Camera an ninh gia đình: duy trì 'bản đồ' phòng qua thời gian, khi camera quét lại góc cũ tự đối chiếu với khung đã lưu để phát hiện vật thể lạ xuất hiện giữa phiên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.13546
ArXiv Abstracthttps://arxiv.org/abs/2608.13546
PDF Downloadhttps://arxiv.org/pdf/2608.13546.pdf
Github RepositoryN/A

3. DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation (79 votes)​

Tác giả: DreamX Team, Rui Chen, Xiangxiang Chu, Geng Li, Jifan Li, et al.

Xuất bản lúc: 2026-08-13

Tag: Video World Model, Robotic Manipulation, Diffusion, SE(3), DMD Distillation, World Models

I. Main Problem:​

Mô hình video thế giới điều kiện hành động dùng để mô phỏng trước kết quả của từng chuỗi hành động trước khi robot thật thực thi. Vấn đề cốt lõi: thực tế ảo không đồng nghĩa với trung thành — video sinh ra rất đẹp nhưng có thể:

  • di chuyển sai tay máy (nhầm cánh tay trái/phải)
  • làm mất hoặc nhầm vật được thao tác
  • gripper cử động sai so với lệnh (gắp thành thả)

Nguyên nhân: các cách mã hóa hành động kiểu token/feature chung không giữ được cấu trúc hình học cứng của chuyển động đầu kẹp và không chỉ rõ chuyển động đó xuất hiện ở đâu trong khung hình. Động lực học của vật nhỏ và hình học cảnh cũng không được ràng buộc đủ.

II. Main Idea:​

DreamX-Phi 1.0 xây dựng trên Wan2.2-TI2V-5B, biến nó thành bộ sinh video biết tuân theo hành động đã cho, qua ba cơ chế bổ trợ:

  • PRoPE điều kiện theo tay máy: đưa trực tiếp các biến đổi SE(3) (vị trí + hướng đầu kẹp) của từng cánh tay vào cơ chế self-attention theo nhóm, giữ nguyên căn cước tay và cấu trúc chuyển động cứng; trạng thái kìm gắp (gripper) được tiêm riêng như một bias. Mỗi tay chiếm một nhóm head riêng.
  • Nhánh phụ độ sâu (depth branch): thêm một nhánh nhẹ dự đoán bản đồ depth từ VAE, ràng buộc thứ tự bề mặt và hình học tiếp xúc mà không làm thay đổi luồng RGB lúc suy luận.
  • Giám sát lấy vật làm tâm: dùng SAM3 mask để tăng trọng số lỗi tại vật được thao tác (tránh nền tĩnh lấn át), và dùng V-JEPA teacher đông cứng để giữ vật nhất quán không gian–thời gian qua quá trình gắp.
  • Chắt lọc DMD: dùng Distribution-Matching Distillation + GAN đối kháng để nén mô hình nhiều bước thành sinh ít bước (triển khai nhanh).

Ví dụ đời thường: giống thợ mới được giao bản vẽ lắp ráp kèm từng bước vặn ốc — anh ta không chỉ nhìn chung chung mà dán nhãn tay trái/tay phải, canh thước từng bước, và kiểm tra ốc có xoay đúng hướng không; rồi học thuộc lòi để làm nhanh chỉ trong vài nhịp thay vì mải mê căn chỉnh từng milimet.

III. Main Results:​

  • Trên WorldArena 2.0 (snapshot 12/08/2026): hạng 1 Track 1 (EWMScore-P 60.65 trên bảng 31 đề cử) và hạng 2 (đồng hạng) Track 2 (tỉ lệ thành công Adjust Bottle 67.19%).
  • Trên WorldArena 1.0 Track 1: đạt EWMScore-P 76.88 (offline).
  • Chất lượng: Trajectory Accuracy 57.15, Depth Accuracy 82.24, Interaction Quality 57.36 — cao hơn hẳn các baselines mở như IRASim, Ctrl-World.
  • Định tính: giữ nhất quán tay, kìm và vật qua rollout ngay cả khi nền, ánh sáng, vật gây nhiễu bị domain-randomized.

IV. Conclusion & Future Works:​

Thiết kế then chốt là giữ nguyên cấu trúc hành động đã lệnh (qua PRoPE theo tay) đồng thời giám sát riêng biệt hậu quả thị giác và vật lý (depth, SAM3, V-JEPA). Kết quả: rollout vừa đẹp vừa trung thành với điều khiển. Hướng tương lai: mở rộng sang đa camera/thị giác rộng, kết hợp với chính sách lập kế hoạch闭-loop, và thu nhỏ thêm để chạy thời gian thực trên thiết bị biên.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PRoPE cho cấu hình đa tay/thị giác đa góc để world model bao quát hơn các thiết lập robot công nghiệp thực.
  2. Kết hợp DreamX-Phi làm môi trường mô phỏng trong vòng lặp huấn luyện chính sách π0.5 nhằm giảm dữ liệu thực thu thập.
  3. Nghiên cứu chắt lọc DMD kết hợp các tín hiệu nhất quán vật lý để sinh video thế giới trên thiết bị cầm tay/robot biên.

2. Patent:​

  1. Ứng dụng điện thoại: camera điện thoại quay cánh tay robot, app gửi khung hình + lệnh SE(3) lên đám mây, world model dự đoán trước cảnh tay máy thao tác rồi mới cho robot chạy — tránh va đập trước khi thực thi.
  2. Hệ thống kiểm tra lỗi gắp tự động trên dây chuyền: trước khi robot thật cầm linh kiện, mô hình sinh video giả lập bước kìm mở/đóng để phát hiện sớm tay sai hoặc vật rơi, báo cảnh báo trên màn hình điều khiển.
  3. Tính năng xem trước trong app dạy robot gia đình: người dùng vẽ đường đi đầu kẹp trên ảnh, app dựng video mô phỏng kết quả để xác nhận đúng vật cần nhặt trước khi robot vận hành thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.13489
ArXiv Abstracthttps://arxiv.org/abs/2608.13489
PDF Downloadhttps://arxiv.org/pdf/2608.13489.pdf
Github Repositoryhttps://github.com/AMAP-ML/DreamX-Phi

4. DarwinX: Evolving Agent Harnesses Through Natural Selection (59 votes)​

Tác giả: Yifan Zhang, Yutong Dai, Juntao Tan, Luyu Yang, Rishi Mullur, et al.

Xuất bản lúc: 2026-07-31

Tag: LLM Agents, Self-Evolution, Natural Selection, Agent Harness, Evolutionary Search, Quality-Diversity, Test-Time Adaptation, Prompt Optimization

I. Main Problem:​

Năng lực của một agent LLM phụ thuộc vào cả harness (prompt, công cụ, kỹ năng, luồng điều khiển) lẫn trọng số mô hình. Các vòng tự-cải-thiện hiện tại chỉnh sửa harness nhưng mắc hai lỗi căn bản:

  • Phụ thuộc đường đi (path dependence): tự chỉnh sửa đơn dòng bị thiên lệch bởi các sửa sớm và nhanh chạm trần.
  • Nhiễu chéo tác vụ (cross-task interference): một sửa giúp một nhóm tác vụ lại âm thầm phá hỏng nhóm khác, khiến tiến hóa trên tập tác vụ hỗn hợp bị ách lại.

Hậu quả: tiêu chí chọn lọc phải phản ánh benchmark cuối cùng chứ không phải mục tiêu cục bộ hẹp, nếu không các vá lỗi cục bộ thắng nhưng hại toàn cục.

II. Main Idea:​

DarwinX coi tự-tiến-hóa như chọn lọc tự nhiên trên quần thể các harness với mô hình bị đóng băng (trọng số không đổi). Ba thành phần chính:

  • Hợp đồng preserve-and-extend: một biến thể con chỉ được nhận nếu cải thiện ít nhất một tác vụ mà không làm mất quá một dung sai nhỏ các tác vụ cha đã giải (net gain > 0, regression ≤ δ).
  • Archive quần thể + tái tổ hợp: giữ mọi dòng dõi kể cả 'kẻ thua'; khi các biến thể giải các tác vụ bù trợ, gộp các sửa đổi cộng dồn thành con lai, chỉ giữ nếu nó phủ hợp nhất chiến thắng của cha mẹ.
  • Tín hiệu học module: chứng cứ từ thất bại, giáo viên (đường giải thành công), và tự thân (đối chiếu lượt chạy thắng/thua) đều quy về cùng một giao diện sửa harness, không đụng trọng số.

Đo lường bằng avg@k dưới bộ verifier riêng của benchmark — không đáp án vàng, không chọn kẻ thắng bằng tay. Thiết kế hai tốc độ: dễ dàng nhận sửa để khám phá, nhưng chỉ xác nhận ở avg@k cao hơn mới cho steering, tránh may mắn tích lũy.

Ví dụ đời thường: giống một tổ trưởng cho mỗi nhân viên thử một cách làm việc mới, chỉ giữ lại cách nào giúp thêm việc mà không làm hỏng việc cũ, rồi gom những mẹo hay của nhiều người khác nhau thành một 'quy trình vàng' chung cho cả tổ.

III. Main Results:​

  • Terminal-Bench 2.1 (cùng miền): trên GPT-5.5 tăng +7.7 điểm (75.5% → 83.2%); trên GPT-5.6 chạm mặt tiền verified 84.7%, ngang/bằng Claude Code + Fable 5 (83.8%) ở thiết lập effort thấp hơn.
  • TerminalWorld (tác vụ held-out): đạt 68.3%, vượt mọi agent có sẵn.
  • WebArena-Infinity (tổng hợp → thực tế): pass@1 tác vụ thật tăng 43.5% → 93.0% sạch audit, dù chỉ tiến hóa trên intent giả lập.
  • Chuyển giao chéo benchmark: harness TB2.1 chạy nguyên trạng trên SWE-bench Verified (500 issue) không cần phản hồi in-domain.
  • Trung bình một vòng thêm ~17 điểm; lợi ích tập trung vào ML/khoa học tính toán (+14.8) và data/DB (+13.8) — việc khó về quy trình chứ không phải tri thức.

IV. Conclusion & Future Works:​

Tiến hóa ở đây là năng lực agent tổng quát, không phải vá lỗi theo benchmark, nên sống sót khi đổi tác vụ, verifier, và mô hình nền. Một mô hình bị đóng băng không nhất thiết là agent cố định: chọn lọc harness biến compute đánh giá thành năng lực bền vững. Hạn chế (§9): chi phí đo lường lặp đi lặp lại, và chưa cô lập nhân quả từng kỹ năng. Hướng tới: mở rộng sang kiến trúc agent khác và kết hợp nhiều nguồn tín hiệu hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng khung chọn lọc quần thể harness cho agent đa phương thức (vision-language-action) để tránh nhiễu chéo khi thêm công cụ mới.
  2. Kết hợp DarwinX với học tăng cường: dùng tín hiệu avg@k làm phần thưởng thưa cho policies nằm ngoài vòng chọn lọc.
  3. Tái tổ hợp tự động hơn hai dòng dõi chuyên gia trên benchmark rộng để tối đa hóa diện phủ tác vụ mà không regress.

2. Patent:​

  1. Trợ lý điện thoại tự tiến hóa: app trợ lý trên smartphone chạy vòng chọn lọc harness cục bộ — thử các quy trình gọi app, thiết lập phím tắt mới, chỉ giữ quy trình giúp hoàn thành việc (gửi tin, đặt lịch) mà không phá thao tác cũ, tự cập nhật mà không nâng cấp mô hình nền.
  2. Hệ thống hỗ trợ khách hàng tự cải thiện: chatbot doanh nghiệp ghi lại hội thoại thất bại, trích 'cách giải quyết đúng' từ nhân viên giỏi rồi gộp vào kịch bản dịch vụ, tăng tỉ lệ xử lý xong mà không huấn luyện lại model.
  3. Trình duyệt di động tự tối ưu: agent thao tác web trên điện thoại tự học từ lần tự chạy thành công/thất bại để xây kỹ năng điền form, xác thực nhanh hơn, đồng thời giữ vững các luồng cũ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.07545
ArXiv Abstracthttps://arxiv.org/abs/2608.07545
PDF Downloadhttps://arxiv.org/pdf/2608.07545.pdf
Github RepositoryN/A

5. Intern-S2-Preview: Scientific Agentic Foundation Model (43 votes)​

Tác giả: Lei Bai, Jiaqi Cao, Chiyu Chen, Guanzhou Chen, Kai Chen, et al.

Xuất bản lúc: 2026-08-13

Tag: Foundation Model, Agentic AI, Multimodal, Reinforcement Learning, Time Series, Memory Decoder, Scientific AI, LLMs, Distillation, RLVR

I. Main Problem:​

Khám phá khoa học thực tế đòi hỏi AI phải lý luận trên bằng chứng đa phương thức, tương tác với công cụ/môi trường và duy trì tiến trình qua chuỗi tác vụ rất dài — nhưng các mô hình hiện tại còn thiếu:

  • LLM đa năng có khả năng lập luận rộng nhưng không chuyên biệt cho phương thức khoa học dị biệt, giao thức miền, hay tương tác công cụ có thể xác minh.
  • Mô hình đa phương thức khoa học cải thiện nhận thức đầu vào chuyên biệt, nhưng vẫn bị đánh giá như hệ thống hỏi-đáp tĩnh thay vì tác nhân tác vụ dài hạn.
  • Chưa có mô hình nào gộp được hiểu đa phương thức + sinh khoa học + tương tác tác nhân trong một nền tảng duy nhất.

II. Main Idea:​

Intern-S2-Preview là chuỗi mô hình nền tảng tác nhân khoa học, với Intern-S2-Preview-397B làm mô hình chính. Cách tiếp cận cốt lõi gồm hai trụ cột:

1. Quy trình huấn luyện hai giai đoạn

  • Tiền huấn luyện đa phương thức khoa học: học từ PDF khoa học đã render (giữ bố cục, hình, bảng, phương trình), dữ liệu ảnh-văn bản đan xen, và truy xuất ảnh chất lượng cao.
  • Hậu huấn luyện thống nhất: SFT → RL đa nhiệm có thể xác minh (RLVR) → RL tác nhân hộp đen/trắng → chắt lọc on-policy gộp các chính sách chuyên biệt về một mô hình.

2. Đổi mới kiến trúc

  • Time Series Forecaster: thêm nhánh dự báo số liệu thay vì sinh giá trị thành token văn bản, giữ độ chính xác số.
  • Memory Decoder: gắn bộ nhớ tham số ngoài vào backbone 397B đóng băng; một router nhẹ tính trọng số trộn 𝜆 động giữa phân phối token của backbone và bộ nhớ miền — chuyên biệt hóa mà không sửa tham số gốc.

Kỹ thuật hỗ trợ huấn luyện ổn định: partial rollout có off-policy correction, adaptive length regularization, online speculative decoding, GEPO cân bằng entropy giữa nhóm nhiệm vụ.

Ví dụ đời thường: giống một nhà nghiên cứu mới vào viện — trước tiên đọc lướt toàn bộ thư viện tài liệu ảnh+văn bản để nắm cơ sở (tiền huấn luyện), rồi qua vài lần được sếp hướng dẫn và tự thử nghiệm có phản hồi (SFT+RL), và khi cần chuyên sâu về sinh học thì chỉ cần mượn thêm một cuốn sổ ghi chú chuyên ngành để tra cứu song song thay vì phải học lại từ đầu (Memory Decoder).

III. Main Results:​

  • Intern-S2-Preview-397B đạt kết quả cạnh tranh hoặc dẫn đầu trên nhiều benchmark khoa học, đa phương thức, tác nhân và đa năng.
  • Module time series cải thiện hiểu và dự báo tín hiệu khoa học trên SciTS; encoder nâng giới hạn từ ~240k lên ~300k bước thời gian, nhanh hơn 5–6× và chỉ tốn ~20% GPU memory ở độ dài tối đa.
  • Intern-MemDec-4B (biến thể biology) nâng Biology-Instructions trung bình từ 56.92 lên 60.32 mà không sửa backbone 397B.
  • Hiệu quả huấn luyện: partial rollout tránh GPU rỗi khi chờ sinh chuỗi dài; R3 + BKL mask khử lệch giữa inference/training cho MoE.
  • Đạt kết quả cạnh tranh trên tác vụ coding, terminal, research hướng agent.

IV. Conclusion & Future Works:​

Intern-S2-Preview chứng minh một mô hình nền tảng duy nhất có thể gộp hiểu đa phương thức, lập luận khoa học, sinh khoa học và tương tác tác nhân dài hạn. Memory Decoder mở đường chuyên biệt hóa miền dạng plug-and-play không phá vỡ năng lực tổng quát. Hướng tương lai: mở rộng bộ nhớ tham số sang thêm miền khoa học, cải thiện khung RL tác nhân cho chuỗi tác vụ phức tạp hơn, và nâng cao độ dài dự báo time series.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Memory Decoder sang nhiều miền khoa học đồng thời (hóa học, vật liệu) với cơ chế router đa bộ nhớ chọn động theo ngữ cảnh câu hỏi.
  2. Nghiên cứu khung agentic RL hộp trắng kết hợp công cụ khoa học thực (mô phỏng, cơ sở dữ liệu) để tự xác minh kết quả qua vòng lặp dài.
  3. Cải tiến time series forecaster cho dự báo đa bước dài hạn có liên kết ngữ nghĩa từ LLM, áp dụng cảnh báo sớm tín hiệu sinh lý/sinh thái.

2. Patent:​

  1. Ứng dụng điện thoại: app y tế quét điện tim (ECG) đeo tay, dùng module time series trên thiết bị để dự báo sớm cơn rối loạn nhịp và cảnh báo người dùng trước 30 phút.
  2. Ứng dụng điện thoại: trợ lý khoa học đa phương thức đọc ảnh chụp tài liệu thí nghiệm → tự trích xuất bảng số liệu, giải thích đồ thị và gợi ý bước thử nghiệm tiếp theo mà không cần đánh máy.
  3. Module nhớ chuyên ngành cắm vào ứng dụng AI tổng quát trên điện thoại: người dùng tải 'bộ nhớ' hóa học/hóa dược để trợ lý trả lời chuyên sâu miền đó mà không làm yếu năng lực chat thường.
  4. Hệ thống dự báo thời tiết/sóng cho nông dân: sensor thu tín hiệu chuỗi thời gian dài hạn, mô hình dự báo ngắn hạn trên app di động hỗ trợ quyết định tưới tiêu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.13505
ArXiv Abstracthttps://arxiv.org/abs/2608.13505
PDF Downloadhttps://arxiv.org/pdf/2608.13505.pdf
Github RepositoryN/A

6. How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review (39 votes)​

Tác giả: Ming Li, Chenguang Wang, Xirui Li, Xinyue Zeng, Dianqi Li, et al.

Xuất bản lúc: 2026-08-10

Tag: LLM-as-a-Judge, AI Peer Review, Reward Hacking, Rhetorical Sensitivity, LLMs, Scientific Evaluation, Prompt Engineering

I. Main Problem:​

Khi LLM vừa đóng vai trò tác giả viết lại bản thảo vừa làm người phản biện, một rủi ro gọi là reward hacking xuất hiện: cách trình bày (rhetoric) có thể thay đổi điểm đánh giá của AI mà không cải thiện chút nào nội dung khoa học thật sự. Vấn đề cốt lõi:

  • Cùng một công trình, chỉ đổi cách nói (khẳng định mạnh/yếu, nhấn mạnh bằng chứng, mở rộng phạm vi) đã đủ lừa điểm AI?
  • Nghiên cứu trước đây chỉ chứng minh 'có chuyện này xảy ra' nhưng chưa rõ cấu trúc: chiều nào tác động mạnh nhất, hướng nào được thiên vị, và điều kiện đánh giá nào làm nó nghiêm trọng.
  • So sánh bài tự nhiên không giải được vì bài tốt thường viết tự tin hơn — không tách được 'trình bày' khỏi 'chất lượng'.

II. Main Idea:​

Tác giả xây dựng khung thực nghiệm đối chứng tách hẳn rhetoric khỏi nội dung: dùng 120 bản thảo ICLR 2026 đã ẩn danh, rồi cho 2 LLM rewriter (GPT-5.5, Opus 4.8) viết lại toàn bộ LATEX theo 6 chiều trình bày, mỗi chiều kéo về 2 hướng trái ngược (positive/negative), giữ nguyên phương pháp, số liệu, kết luận. Sau đó 5 LLM reviewer (Gemini, Qwen, GPT-5 mini/5.5, Sonnet 5) chấm điểm dưới giao thức standard và strict, so sánh cặp (rewrite vs bản gốc) để đo thay đổi điểm.

Quy trình:

  • 6 chiều: novelty stance, scope framing, evidence framing, contribution salience, technical register, linguistic complexity
  • Mỗi chiều viết 2 bản đối nghịch → 2.880 bản đơn chiều + các bản joint/recursive/reviewer-guided
  • Tổng 4.200 bản thảo, 42.396 lượt review, chi phí API ~$29.166

Ví dụ đời thường: giống một thí sinh thi vấn đáp, nội dung kiến thức không đổi nhưng đổi cách ăn nói — nói tự tin, nhấn mạnh 'em đã chứng minh được A vượt trội', mở rộng 'phương pháp này áp dụng được rộng' — thì giám khảo máy chấm điểm cao hơn, dù bài làm thực chất vẫn y xì.

III. Main Results:​

  • Evidence framing và novelty stance gây chênh lệch điểm OA (Overall Assessment) lớn nhất; scope framing tầng 2 yếu hơn; 3 chiều còn lại hiệu ứng nhỏ/không ổn định.
  • Positive evidence framing kéo OA lên tới +0.93, negative novelty kéo xuống tới -0.73; evidence framing đổi xác suất 'weak-accept' trung bình 13 điểm phần trăm.
  • Thứ bậc chiều ổn định qua mọi mức chất lượng do con người chấm, nhưng hướng thay đổi phụ thuộc điểm xuất phát của AI: điểm thấp hay tăng, điểm cao hay giảm, tương phản rõ nhất ở khoảng giữa.
  • Workflow phức tạp không mang lại lợi ích nhất quán: joint rewrite lợi lớn với Opus 4.8 nhưng gần 0 với GPT-5.5; reviewer-guided không thắng được lượt viết lại lần 2 không có feedback; lặp lại giảm dần.
  • Rewriter quyết định độ tách biệt giữa 2 bản đối nghịch; reviewer quyết định độ lớn và dấu của hiệu ứng điểm. Strict review hạ OA trung bình 1.36 điểm nhưng không đổi nhất quán độ nhạy rhetoric.

IV. Conclusion & Future Works:​

Rhetoric không phải là công cụ reward hack phổ quát — ảnh hưởng có tính chọn lọc, phụ thuộc cấu hình, và đôi khi phản tác dụng. Khi AI hỗ trợ cả viết và chấm, lựa chọn trình bày upstream biến thành tín hiệu điểm merit phụ thuộc reviewer. Hướng tương lai: xây dựng hệ thống đánh giá bền vững với biến thiên trình bày không đổi nội dung (rubric chống thiên vị, giao thức strict chuẩn hóa, kiểm tra chéo multi-model để triệt tiêu nhiễu rhetoric).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế giao thức review 'strict' chuẩn hóa bắt buộc trích dẫn bằng chứng cụ thể cho điểm cao, đo lường xem có triệt được thiên vị rhetoric trên diện rộng các hội nghị AI hay không.
  2. Phân tích heterogeneity giữa các reviewer model: vì sao Sonnet 5 hay hạ điểm còn GPT-5.5 trung lập hơn trước cùng một bản viết lại, và cách ensemble reviewer triệt tiêu hiệu ứng này.
  3. Mở rộng khung sang đánh giá human-AI kết hợp: kiểm tra rhetoric có 'lây' làm con người theo AI không khi human reviewer đọc draft AI-review.

2. Patent:​

  1. Phần mềm kiểm duyệt bản thảo cho tạp chí/hội nghị: trước khi gửi reviewer, chạy module viết lại 6 chiều rhetoric rồi so sánh điểm AI — nếu điểm dao động mạnh chỉ vì cách nói, cảnh báo editor rằng bài cần chấm bởi con người thay vì AI.
  2. Tính năng trên app viết luận/academic (như Overleaf, Grammarly): gợi ý tác giả 'cân bằng novelty stance' — cảnh báo khi bản thảo quá tự tin hoặc quá khiêm tốn để không bị AI reviewer thiên vị, đồng thời giữ nguyên số liệu.
  3. Hệ thống chấm điểm hồ sơ xin việc/sáng chế trên điện thoại: dùng multi-model AI review kết hợp giao thức strict để loại nhiễu do cách trình bày hào nhoáng, chỉ tính giá trị nội dung thật trước khi đưa lên màn hình recruiter.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.08975
ArXiv Abstracthttps://arxiv.org/abs/2608.08975
PDF Downloadhttps://arxiv.org/pdf/2608.08975.pdf
Github RepositoryN/A

7. PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives (33 votes)​

Tác giả: Kaixin Ding, Xi Chen, Minghong Cai, Zhiyuan Xu, Yiyang Wang, et al.

Xuất bản lúc: 2026-08-13

Tag: World Models, Video Generation, Benchmark, Agent Player, Long-Horizon, VQA, Interactive Evaluation

I. Main Problem:​

Các tiêu chuẩn đánh giá world model hiện tại chủ yếu dùng quỹ đạo hành động định sẵn (predefined trajectory), không khớp với cách người chơi thật lượng giá. Hậu quả:

  • Cùng một lệnh (ví dụ 3 lệnh →) có thể xoay được 360° ở mô hình này nhưng chỉ quay một phần ở mô hình khác, làm điểm geometry consistency không so sánh được.
  • Không hoàn thành được các động tác phức tạp, dài hạn (như bay quanh tượng giữ hướng nhìn cố định).
  • Các mô hình đóng (Genie 3, HappyOyster) chỉ giao tiếp qua web, cần người thao tác tốn công và nhiều thiên kiến.

II. Main Idea:​

PlayWorld đánh giá world model theo góc nhìn của một người chơi hướng tới mục tiêu dài hạn (long-horizon objective). Cốt lõi là Agent Player — một agent đa phương thức đóng vai người chơi. Quy trình:

  • mỗi ca cho một basic action sequence (W/A/S/D, ↑↓←→, WAIT) làm tham chiếu chung ban đầu
  • tại mỗi bước, Agent quan sát khung hình sinh ra + lịch sử hành động, rồi chọn Keep / Stop / Extend / Correct / End để tự điều chỉnh số lượng và độ dài hành động theo phản ứng riêng của từng mô hình
  • tạo vòng lặp khép kín (closed-loop), giúp so sánh công bằng dù độ hạt hành động (action granularity) khác nhau

Đánh giá qua VQA rubric verifier (Gemini 3.1 Pro trả lời câu hỏi Yes/No) trên 4 chiều: geometry consistency, interaction fidelity, out-of-sight evolution, insight evolution, cộng thêm chỉ số chất lượng video và khả năng điều khiển.

Ví dụ đời thường: giống người thuê nhà đi xem phòng — thay vì đi theo lộ trình có sẵn rồi chấm điểm, người này tự bước quanh, thấy cửa sổ rồi tiến lại gần xem, thấy bếp thì ghé thử, tự điều chỉnh bước chân để kiểm tra đúng thứ mình cần trước khi quyết định.

III. Main Results:​

  • 171 kịch bản (50+ mẫu hành động, 10–60 giây), 9 world model, sinh ra 1.400+ video và 820+ câu hỏi VQA.
  • Genie 3 dẫn đầu hầu hết các chiều (geometry 2.74, interaction 2.40, overall 2.12) nhưng tất cả mô hình đều thấp (thang 1–5).
  • Out-of-sight evolution và insight evolution consistently thấp nhất → mô hình giữ được cấu trúc hiển thị nhưng yếu trong tiến hóa trạng thái ngữ nghĩa dài hạn.
  • Chiến lược Preset + Agent thắng Preset Only và Agent Only về Trajectory Score và Human Preference (~65–67%).
  • Các lỗi điển hình: vật bơi nổi (foot floating), nước không sâu lên, cắt cà chua tự hồi phục, quả dưa biến mất, tòa nhà xuất hiện bất thình lình.
  • Trajectory-validation pass rate: Genie 3 cao nhất (geometry 77.1%, interaction 93.5%).

IV. Conclusion & Future Works:​

PlayWorld cho thấy world model hiện tại chưa đáng tin trên mục tiêu tương tác dài hạn, đặc biệt là duy trì tính nhất quán không gian và tiến hóa trạng thái bền vững. Hướng tương lai: nâng cấp Agent Player lên mô hình đa phương thức mạnh hơn; mở rộng kịch bản phức tạp hơn; cải thiện khả năng ghi nhớ và vật lý của chính các world model.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Agent Player sang đa tác nhân: nhiều agent cùng tương tác một thế giới để đánh giá tính nhất quán xã hội và va chạm giữa các đối tượng động.
  2. Thiết kế bộ rubric tự động sinh (LLM-generated) thay vì thủ công, để mở rộng benchmark lên hàng nghìn kịch bản với chi phí thấp.
  3. Nghiên cứu cơ chế bộ nhớ ẩn (hidden-state memory) trong world model để cải thiện out-of-sight evolution — điểm yếu lớn nhất hiện tại.

2. Patent:​

  1. Trợ lý kiểm tra nhà ảo trên điện thoại: người dùng chọn mục tiêu (ví dụ 'đi vòng quanh phòng khách'), AI tự điều khiển camera ảo bước đi, tự dừng/gập/ngoặt để kiểm tra tường có nứt, đồ vật có nhất quán, rồi trả về báo cáo lỗi.
  2. Hệ thống đánh giá game thế giới mở tự động: AI đóng vai người chơi kiểm tra xem bản đồ có 'hiện vật bất thình lình' hay 'vật biến mất' khi quay lưng, giúp studio phát hiện lỗi trước khi phát hành.
  3. Camera an ninh tự thẩm định: AI quan sát luồng video thực, tự điểu khiển góc quay mô phỏng để xác nhận vật thể có tiến hóa nhất quán (xe có thực sự rời đi, người có còn đó) thay vì chỉ ghi hình tĩnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.13552
ArXiv Abstracthttps://arxiv.org/abs/2608.13552
PDF Downloadhttps://arxiv.org/pdf/2608.13552.pdf
Github Repositoryhttps://github.com/kxding/PlayWorld

8. AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design (32 votes)​

Tác giả: Yaxin Luo, Haobin Jiang, Jialv Zou, Xu Huang, Wenhao Yan, et al.

Xuất bản lúc: 2026-08-13

Tag: Meta-Harness Optimization, Agentic Design, LLM, Paper-to-Poster, Long-Horizon Agent, DesignHarness, PosterBench, Self-Improvement

I. Main Problem:​

Biến nguồn đa phương thức (bài báo, báo cáo) thành sản phẩm truyền thông (poster, slide, video, web) là một quá trình agentic dài hạn, nhưng các hệ thống hiện tại đều tĩnh và chỉnh sửa từng đầu ra riêng lẻ. Hậu quả:

  • phản hồi của con người bị coi là tín hiệu nhất thời, không tích lũy thành tri thức thiết kế tái dùng được
  • hệ thống không tự tích lũy kinh nghiệm từ các lần sửa thành công/thất bại như con người
  • thiếu chuẩn đánh giá toàn diện đo đồng thời độ trung thực nguồn, truyền đạt thông tin dày đặc, và khả năng dùng sau render.

II. Main Idea:​

AutoDesign định khung sinh thiết kế thân thiện con người như bài toán tối ưu meta-harness: một hệ thống đệ quy tối ưu chính cái harness (bộ khung vận hành quanh mô hình cố định) thay vì chỉnh từng artifact. Quy trình gồm hai vòng lồng nhau:

  • Vòng trong (Design Harness): designer sinh và sửa artifact lặp lại dưới phản hồi của critic (validator luật + VLM visual critic), giữ artifact ở dạng HTML có thể sửa cục bộ.
  • Vòng ngoài (Meta-Harness): tối ưu hóa harness qua các bước rollout → đánh giá → đề xuất 1 thay đổi 1 thành phần (trong 5: Context/Memory, Tools/Specs, Runtime, Orchestration, Eval/Feedback) → cổng chấp nhận (chỉ nhận nếu tăng trên tập train và không giảm trên tập dev để chống overfit).

Tham số mô hình πθ đóng băng; chỉ tối ưu hệ thống bọc quanh mô hình. Tích lũy 54 bản cập nhật harness thành DesignHarness thực thi được. Đánh giá dùng PosterBench (100 bài, 7 chiều: Faithfulness, Coverage, Density, Visual Evidence, Layout, Readability, Aesthetics).

Ví dụ đời thường: giống một trưởng phòng thiết kế không chỉ sửa từng tờ bài đăng, mà sau mỗi đợt làm lại rút ra một quy tắc cải tiến quy trình chung (template, checklist) để các bài sau tự chạy tốt hơn — và chỉ giữ lại quy tắc nào chứng minh làm việc tốt hơn mà không làm hỏng bài cũ.

III. Main Results:​

  • Trên PosterBench Main Track (100 bài), AutoDesign đạt 78.32, vượt hệ thống thương mại Claude Design +7.45 điểm (cùng cấu hình Claude Code / Claude 4.8).
  • Gắn DesignHarness vào 7 cấu hình Code Agent khác nhau: điểm trung bình tăng từ 54.99 → 67.39 (+12.4%), mỗi cấu hình tăng 5.0–19.6 điểm.
  • Vòng lặp tự chủ: điểm tăng từ 49.00 → 80.88 (plateau), sau đó có hướng dẫn con người đẩy lên 88.39.
  • Chi phí thấp: 253 tool calls, 11 lượt sửa, **<40 phút, <3∗∗chomộtposter;LongCat−2.0chỉ 3** cho một poster; LongCat-2.0 chỉ ~0.27/poster.
  • Nghiên cứu mù hệ thống: 933 phán đoán cặp, AutoDesign có xác suất thắng 64.0% (Bradley–Terry); khi chênh lệch ≥20 điểm PosterBench, người chọn đúng bên thắng 74.4%.

IV. Conclusion & Future Works:​

AutoDesign chứng minh có thể biến harness tĩnh thành hệ thống tự cải thiện đệ quy hướng tới ưu tiên thiết kế của con người, chỉ tối ưu khung vận hành thay vì trọng số mô hình và chỉ giữ bản cập nhật có training gain + không regression trên dev. Hạn chế: PosterBench hiện chỉ xác thực poster. Hướng tương lai: mở rộng sang slide, webpage, video hội nghị (mỗi medium giữ chung bằng chứng nguồn nhưng đổi mật độ/trình tự), và mỗi định dạng cần cổng render/kiểm tra riêng trước khi thăng cấp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng meta-harness sang đa định dạng: biến một bài báo thành poster, slide, webpage, video hội nghị với cùng bằng chứng nguồn nhưng thích ứng mật độ và trình tự cho đọc lướt, kể chuyện, tự học, và theo thời gian.
  2. Nghiên cứu cổng chấp nhận chống overfit khi tối ưu harness trên nhiều phân bố tác vụ thiết kế khác nhau (không chỉ paper-to-poster).
  3. Cơ chế Human-in-the-Loop chủ động: phát hiện khi optimizer hội tụ sớm vào cực trị địa phương và tự gợi ý điểm cần con người định hướng.

2. Patent:​

  1. Ứng dụng trên điện thoại: app sinh poster/kế hoạch từ file PDF bài báo hoặc báo cáo, tự động trích xuất số liệu, hình ảnh kèm nguồn gốc, rồi render tờ poster chỉnh sửa được (HTML) — người dùng sửa cục bộ một ô mà không làm lại toàn bộ.
  2. Hệ thống trình chiếu tự động cho cuộc họp: từ tài liệu Word/PDF, tự sinh slide + video thuyết trình, giữ liên kết ngược về đoạn gốc để khi sửa nội dung gốc, slide cập nhật lại mà không mất bố cục.
  3. Công cụ làm infographic tiếp thị: marketer dán link bài nghiên cứu/web, hệ thống rút trích bằng chứng, chấm điểm trung thực và thẩm mỹ qua validator luật + critic thị giác, tự sửa đến khi đạt ngưỡng rồi xuất PNG/PPTX sẵn sàng đăng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.13560
ArXiv Abstracthttps://arxiv.org/abs/2608.13560
PDF Downloadhttps://arxiv.org/pdf/2608.13560.pdf
Github Repositoryhttps://github.com/Yaxin9Luo/AutoDesign

9. Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence (29 votes)​

Tác giả: Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, et al.

Xuất bản lúc: 2026-08-13

Tag: Spatial Intelligence, Vision-Language Model, Agentic Memory, Self-Evolution, RAG, Procedural Memory, Parameter-Update-Free, VLM

I. Main Problem:​

Các mô hình Vision-Language (VLM) hiện tại vẫn yếu trong suy luận không gian (quan hệ vật thể, độ sâu, hướng, mô phỏng tâm lý) dù có nhiều tiến bộ. Hai hướng cải thiện chủ đạo đều tốn kém hoặc phụ thuộc công cụ:

  • Hậu huấn luyện (post-training): tinh chỉnh có giám sát (SFT) hoặc học tăng cường (RL) — phải cập nhật trọng số mô hình.
  • Dùng công cụ chuyên gia (agentic tools): gọi estimator độ sâu, tái tạo 3D lúc suy luận — phải có công cụ bên ngoài.

Một hướng chưa được khai thác được đặt ra: liệu một VLM bị đóng băng (frozen, không đổi tham số) có thể tự tiến hóa không gian chỉ bằng cách duy trì một ngân hàng bộ nhớ ngoài, học từ kinh nghiệm đã xác thực, mà không cần công cụ chuyên gia tại inference?

II. Main Idea:​

Spatial Memory Agent (SMA) là khung chạy thời gian thực (runtime framework) lấy kinh nghiệm làm gốc: biến trải nghiệm không gian đã được xác minh thành những bài học có thể chuyển giao (transferable lessons) để dẫn dắt suy luận sau này.

Quy trình hai pha:

  • Ghi nhớ (experience acquisition): trong môi trường không gian có bộ xác minh (verifier), SMA hỏi VLM đóng băng, lấy câu trả lời + phần thưởng (reward). Một mô hình phản chiếu (reflection) dùng đích xác thực để chưng cất bài học ngắn gọn: mẫu chung, cái bẫy cần tránh, bước kiểm tra áp dụng. Quy tắc chống lộ: không được chép đáp án.
  • Điểm độ tin cậy chuyển giao (TRS): mỗi bài học được gán một Transfer Reliability Score, khởi tạo đều nhau, rồi được hiệu chuẩn theo bằng chứng truy cập — mỗi lần bài học được gọi ra và giúp được câu trả lời đúng, TRS được cập nhật tiến về gần tỉ lệ thành công thực tế.
  • Triển khai chỉ đọc (read-only): với bài toán mới, SMA lọc ngữ nghĩa (semantic filter) chọn ứng viên, rồi xếp hạng kết hợp độ tương đồng + TRS để lấy top-k bài học đưa vào prompt VLM. Trong pha này không ghi thêm, không đổi trọng số.

Mặc định dùng One-Pass Memory Writing: chỉ viết bộ nhớ ở lượt đầu, các lượt sau chỉ cập nhật độ tin cậy — tránh trùng lặp.

Ví dụ đời thường: giống nhân viên mới không được sửa trí nhớ, sau mỗi ca tự ghi vào sổ một nguyên tắc nhỏ («khi so đồ vật trong ảnh, vật gần máy ảnh trông to hơn nhưng chưa chắc cao hơn») chứ không ghi đáp án; rồi đánh dấu mỗi lần nguyên tắc đó thực sự giúp mình làm đúng. Lần sau gặp việc tương tự, thay vì lấy mẩu_note trông giống nhất, họ chọn nguyên tắc có tỉ lệ «giúp được» cao nhất để làm.

III. Main Results:​

  • Trên 5 benchmark (RoboSpatial, ERQA, Omni3D, SAT, EmbSpatial) và 4 VLM đóng băng (Qwen3.5-9B, Qwen3.5-122B-A10B, Qwen3.6-35B-A3B, Qwen3.6-27B), SMA đạt trung bình macro cao nhất ở mọi khối mô hình: 68.8 / 66.7 / 69.8 / 63.5.
  • Thắng mọi baseline (No memory, RAG, MemP, MemRL-R, MemRL-GT) ở phần lớn trong 20 phép đánh giá.
  • So với baseline mạnh nhất không phải SMA: lợi trung bình +2.6, +2.9, +1.7, +2.8 điểm theo từng mô hình.
  • Trên Qwen3.6-27B, vượt No memory tới +6.5 (RoboSpatial 54.1→68.5, Omni3D 41.6→47.6).
  • So với phương pháp huấn luyện SpatialEvo-7B: SMA nâng trung bình 47.1→63.5 (+16.4), cao hơn mọi benchmark.
  • TRS phản ánh đúng chất lượng chuyển giao: độ chính xác tăng từ 19.3% (TRS 0.2–0.3) lên 97.3% (TRS 0.9–1.0).
  • Bộ nhớ chuyển giao được qua mô hình và benchmark: ví dụ 122B→27B trên RoboSpatial +9.4; ERQA→RoboSpatial +7.6.
  • Ablation: bỏ semantic filter giảm 5.8 điểm, reflection chỉ dùng reward giảm 5.5; tham số tối ưu η=0.5, k=3.
  • Cải thiện cả 10 năng lực không gian nguyên tử, mạnh nhất Correspondence (+11.2pp), Attribute (+8.0pp).

IV. Conclusion & Future Works:​

SMA chứng minh bộ nhớ bài học ngoài (external procedural memory) không cần cập nhật tham số là đường đi thực tế để VLM tự tiến hóa khả năng không gian, hiệu quả qua nhiều quy mô mô hình và không phụ thuộc công cụ chuyên gia. Đóng góp cốt lõi: phản chiếu có hướng dẫn verifier, truy xuất ứng viên bằng embedding, và hiệu chuẩn TRS theo bằng chứng truy cập.

Hướng tương lai (theo tinh thần bài báo): mở rộng sang nhiều môi trường không gian phức tạp hơn (video, động), nghiên cứu ghi nhớ liên tục (continual) mà không tăng dư thừa, và kết hợp SMA với các agent embodied/robotics thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SMA sang môi trường không gian động và đa khung hình (video/streaming), nơi bài học cần cập nhật theo thời gian thực thay vì chỉ pha ghi nhớ tĩnh.
  2. Nghiên cứu giao thức ghi nhớ lai giữa One-Pass và Continual để vừa giữ ngân hàng gọn, vừa cho phép học bài học mới khi phân bố dữ liệu deployment thay đổi.
  3. Áp dụng nguyên lý TRS (điểm độ tin cậy truy cập) cho bộ nhớ agent trong các tác vụ văn bản/đa phương thức dài hạn, thay vì chỉ dựa vào độ tương đồng ngữ nghĩa.
  4. Kết hợp SMA với robot thực (embodied agent) để tự tích lũy bài học thao tác không gian từ phản hồi vật lý xác thực thay vì chỉ benchmark ảnh tĩnh.

2. Patent:​

  1. Ứng dụng điện thoại hỗ trợ người khiếm thị mô tả không gian: camera chụp phòng, app dùng ngân hàng «bài học không gian» đã học từ các phản hồi xác thực trước (do người dùng hoặc sensor xác nhận) để trả lời «vật nào cao hơn», «lối đi có bị chặn không» mà không cần gọi công cụ đo độ sâu chuyên sâu.
  2. App AR sắp xếp nội thất trên điện thoại: người dùng xác nhận đúng/sai vài lần, app tích lũy nguyên tắc («vật gần camera trông to hơn nhưng chưa chắc gần hơn») rồi tư vấn kê giường tủ trong ảnh chụp mới mà không cần mô hình 3D nặng.
  3. Trợ lý chụp ảnh điện thoại học bố cục không gian: từ những tấm ảnh người dùng đã đánh giá «đẹp/không đẹp», app chưng cất bài học bố cục (góc, tỉ lệ, lớp trước/sau) và gợi ý góc chụp tốt hơn cho cảnh tương tự ở lần sau.
  4. Tính năng «hỏi không gian» cho ảnh trong bộ sưu tập điện thoại: khi người dùng hỏi «cái cốc có sau cái laptop không», máy truy xuất bài học đã kiểm chứng để suy luận quan hệ từ ảnh 2D mà không cần tái tạo 3D.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.12743
ArXiv Abstracthttps://arxiv.org/abs/2608.12743
PDF Downloadhttps://arxiv.org/pdf/2608.12743.pdf
Github RepositoryN/A

10. Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus (17 votes)​

Tác giả: Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, et al.

Xuất bản lúc: 2026-08-12

Tag: Massive Activations, Hybrid Linear Attention, LLMs, Linear Attention, Attention Sinks, Interpretability, State-Space Models

I. Main Problem:​

Mô hình lai hybrid linear attention (HLA) chèn xen kẽ các lớp linear attention (tính toán nhanh, nhớ ít) và các lớp full attention (tính toán đắt nhưng mô hình hóa mạnh). Cách kết hợp theo tầng này thay đổi động lực kích hoạt bên trong mô hình như thế nào vẫn chưa được hiểu rõ.

Massive activations (MAs) — tập hợp thưa các phần tử hidden-state lớn hơn giá trị bình thường vài bậc độ, thường trùng với attention sinks — là một lăng kính tốt để soi chiếu tính toán trong mạng. Nhưng MAs chỉ được nghiên cứu trên Transformer full attention thuần; ** hành vi của chúng trong HLA gần như chưa được khám phá**, đặt ra câu hỏi: lai hóa định hình động lực MA ra sao và nó bộc lộ gì về tính toán bên trong?

II. Main Idea:​

Nghiên cứu hệ thống đầu tiên về MAs trong HLA dùng phương pháp truy vết neo theo attention sink (thay vì chỉ xếp hạng độ lớn, vốn bị mất căn chỉnh khi lai hóa). Hai hình thái kiến-trúc-trực-giác được phát hiện:

  • Pre-attention spikes (PAS): MAs luôn vọt lên đỉnh ngay lớp ngay trước mỗi lớp full attention.
  • Inter-spike plateaus (ISP): khi full attention thưa, các đỉnh PAS bị ngăn bởi vực sâu; khi full attention dày dần, kích hoạt giữa các PAS không tụt xuống mà duy trì thành một dải bình nguyên, nối liền các đỉnh — và ở giới hạn toàn full attention thì hợp nhất thành hình thái MA ổn định của Transformer thuần.

Cơ chế chung (systematic-outlier lifecycle): cả PAS và ISP theo một vòng đời ghi–sink–hủy, phân biệt bởi thời điểm hủy outlier:

  • PAS = outlier bị ghi vào rồi hủy ngay (localized write–sink–cancel).
  • ISP = outlier tồn tại lâu hơn qua các lớp linear attention ở giữa (delayed cancellation), đến lớp full attention sau mới bị hủy.

Kiểm chứng qua 5 kiến trúc linear attention, 6 tỉ lệ lai, 5 miền dữ liệu, và các mô hình mã nguồn mở 1.2B–397B (Qwen3.5, Kimi Linear, Nemotron-H, Zamba2). Huấn luyện kiểm soát đến 1.3B cho thấy: full attention output gating làm yếu đáng kể biên độ nhưng không xóa cấu trúc tầng; bỏ GDN gate thì chỉ khuếch đại nhẹ.

Ví dụ đời thường: giống nhân viên trước mỗi buổi họp với sếp (full attention) lại viết một ghi chú thật to để nhắc việc, xong sau cuộc họp thì gạch bỏ nó; giữa các buổi họp (linear attention) nếu lịch họp dày thì ghi chú còn để lại thành một dải dài, còn họp thưa thì nó chỉ chớp lên rồi tắt ngay.

III. Main Results:​

  • PAS đạt tỉ lệ căn chỉnh sink–spike rất cao (macro-average 99.4–100% trên mọi cặp kiến trúc–quy mô tại tỉ lệ 12:1, bảng 1).
  • ISP tăng theo mật độ full attention: inter-spike retention 18–46% ở 12:1, vọt lên 77–99% ở 3:1 (bảng 2).
  • Lặp lại trên 12 checkpoint lớn (1.2B–397B): PAS/ISP giữ nguyên vị trí tầng qua base/instruct, qua các quy mô, qua cả linear-attention lẫn state-space mixer (Mamba-2).
  • Huấn luyện kiểm soát: PAS xuất hiện từ 1B token đầu và củng cố dần; full attention output gating làm tắt gai nhưng không xóa tổ chức tầng, bỏ GDN gate chỉ tăng nhẹ.
  • Cơ chế: truy vết tọa độ cố định xác nhận PAS là write–sink–cancel cục bộ; ISP là persistence kéo dài rồi hủy muộn.

IV. Conclusion & Future Works:​

PAS và ISP là hai chế độ của cùng một vòng đời outlier, phân biệt bởi thời điểm hủy — tạo thành một continuum từ gai cục bộ (HLA thưa) đến MA bền vững (full attention thuần). MAs là lăng kính hữu ích để hiểu lai hóa attention. Hướng tương lai: xác định yếu tố nào điều tiết thời điểm hủy và xem PAS nhất thời với ISP bền lâu có đảm nhiệm vai trò tính toán khác biệt hay không.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu điều tiết thời điểm hủy outlier: thử can thiệp vào retention/state-transition của linear attention để dịch chuyển PAS↔ISP và đo ảnh hưởng lên recall và long-context.
  2. Mở rộng systematic-outlier lifecycle sang các kiến trúc lai không đều (nonuniform attention schedule) và mixer lai đa loại (Mamba-2 + GLA) để kiểm chứng tính khái quát của cancellation-timing account.
  3. Khảo sát vai trò tính toán: PAS/ISP có phải cơ chế ghi nhớ tạm hay định tuyến thông tin giữa các lớp full attention, qua ablation và probing trên tác vụ retrieval.

2. Patent:​

  1. Điện thoại/chip AI cạnh: bộ lọc kích hoạt thông minh nhận diện 'gai trước lớp chú ý đầy đủ' để cache sớm và giải phóng bộ nhớ trung gian, giúp chạy mô hình lai dài ngữ cảnh trên thiết bị di động mượt mà hơn mà không tính lại toàn bộ.
  2. Ứng dụng gõ phím thông minh trên mobile: dùng dải kích hoạt bền (plateau) giữa các lớp chú ý để giữ ngữ cảnh ngắn hạn ổn định, giảm hiện tượng 'quên' từ khóa vừa gõ khi gợi ý tiếp theo, cải thiện autocomplete tiếng Việt.
  3. Công cụ giám sát mô hình trên điện thoại: hiển thị chỉ số 'spike/plateau' theo tầng để người dùng hoặc dev biết mô hình đang tải nặng ở đâu, từ đó tự động hạ tỉ lệ lớp chú ý đầy đủ khi pin yếu hoặc nhiệt cao mà ít sụt chất lượng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.12149
ArXiv Abstracthttps://arxiv.org/abs/2608.12149
PDF Downloadhttps://arxiv.org/pdf/2608.12149.pdf
Github Repositoryhttps://github.com/StartluxLabs/Massive-Activations-HLA

11. UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos (12 votes)​

Tác giả: Yuxuan Zhang, Haozhong Xiong, Jiayi Song, Jinpeng Yu, Yang Shi, et al.

Xuất bản lúc: 2026-08-13

Tag: Audio-Visual Generation, Talking Video, Identity Swapping, Diffusion Transformer, Voice Conversion, In-Context Learning, Distillation (DMD), Streaming Generation, LoRA

I. Main Problem:​

Thay thế nhân vật trong video nói (đổi cả ngoại hình lẫn giọng nói) mà vẫn giữ nguyên cử động, bối cảnh và nội dung lời thoại là bài toán khó vì hai khía cạnh này thường bị xử lý tách rời. Hậu quả:

  • Các mô hình video-swap chỉ đổi mặt/ngoại hình, không đổi giọng; các hệ voice-conversion chỉ đổi âm, không đổi hình.
  • Ghép nối hai module độc lập (cascade) → không có mục tiêu chung để ép khớp khẩu hình môi với giọng đã đổi, lỗi một bên không sửa được bằng bên kia.
  • Hầu hết mô hình diffusion video phải có toàn bộ clip mới sinh được, không chạy theo kiểu streaming blockwise, nên độ trễ cao, không dùng được thời gian thực.
  • Thiếu dữ liệu huấn luyện: rất khó thu thập cặp video giống hệt cử động nhưng khác người và khác giọng.

II. Main Idea:​

UniSwap là khung đầu tiên làm thay thế đồng thời ngoại hình + giọng nói trong một audio-video diffusion transformer duy nhất, sinh ra theo kiểu streaming (từng khối, có KV-cache). Quy trình cốt lõi:

  • Swap-and-Reconstruct: lấy mỗi video nói thật làm 'đích' cần tái tạo; tạo ra một 'nguồn' đã bị tước danh tính (xoá người, thay bằng bản mờ pose dán lên nền; đổi giọng sang người ngẫu nhiên nhưng giữ nguyên lời/thời gian) cùng một 'tham chiếu' (một khung ảnh chân dung + 30% đoạn âm thanh). Mô hình học tái tạo lại clip gốc từ nguồn đã đổi + tham chiếu.
  • Stage 1 – In-context Pretraining: nối latent của tham chiếu, nguồn, đích thành một chuỗi token chung, dùng attention toàn chuỗi để học thay thế chung ảnh + giọng.
  • Stage 2 – Conditional Streaming Adaptation: thêm Decoupled Streaming Conditioning Mask để chuyển mô hình hai chiều thành block-causal (sinh từng khối 3 frame video, có KV-cache), chi phí mỗi khối không đổi theo độ dài.
  • Stage 3 – Efficient Self-forcing DMD: tự sinh lịch sử (self-forcing) rồi dùng DMD chắt lọc thành 3 bước denoising/khối (từ ~30 bước); 3 role teacher/generator/critic chia sẻ một backbone qua Efficient Multi-LoRA Switching (giảm VRAM từ >80GB xuống 65.34GB).
  • Feature-RoPE Decomposition: tách đặc trưng khỏi tọa độ RoPE, chỉ xoay lại theo slot cache hiện tại → giữ căn chỉnh thời gian đa phương tiện khi sinh video dài (cơ chế sink block + reference re-anchoring + window-bounded RoPE, cửa sổ 4 khối).

Ví dụ đời thường: giống thợ sửa dùng một tấm ảnh chân dung và một đoạn băng gốc của khách, rồi tự lột mặt nạ của người đang nói trong video mẫu, đắp mặt khách vào và chỉnh giọng theo băng gốc — làm từng đoạn ngắn nối tiếp nhau thay vì quay lại toàn bộ từ đầu mỗi lần.

III. Main Results:​

  • Tốc độ: 13.6 FPS trên 1 GPU H100 với 3-step sampling; nhanh gấp ~10× so với baseline nhanh nhất (Wan-Animate 1.367 FPS) và ~100× so với MoCha.
  • Đồng bộ audio-video: Sync-C cao nhất (3.633) và Sync-D thấp nhất (10.304) so với các pipeline thay thế được đánh giá; khẩu hình khớp với giọng đã đổi.
  • Bảo toàn danh tính: DINO-S 0.629, ngang ngửa baseline mạnh nhất (0.630); giọng đạt SIG 3.486, sát Seed-VC (3.489).
  • Video dài 1 phút: IQA giữ ổn định 3.966–4.032, DINO-S 0.590–0.596; baseline (SCAIL-2, Wan-Animate) bị drift danh tính và artifact tăng dần theo thời gian.
  • Đổi giá: chất lượng thẩm mỹ (ASE/IQA) và vài chỉ số giọng (BAK, OVRL, SECS, SSIM) vẫn thấp hơn hệ tách biệt tối ưu từng modality — đánh đổi giữa gộp chung và tối ưu riêng.
  • Ablation: xóa condition PE offset làm Sync-C rớt từ 4.620 xuống 1.738; xóa Reference Re-anchoring làm IQA/DINO-S suy giảm ngày càng nặng qua các đoạn.

IV. Conclusion & Future Works:​

UniSwap chứng minh có thể gộp thay thế ngoại hình và giọng nói thành một bài toán sinh có điều kiện duy nhất trong một diffusion transformer, sinh streaming nhờ swap-and-reconstruct, ba giai đoạn huấn luyện tiến triển và Feature-RoPE Decomposition cho video dài. Hạn chế/hướng tới: 13.6 FPS vẫn dưới 25 FPS phát lại nên mới streaming chứ chưa real-time playback; cần tối ưu hệ thống thêm. Hướng mở rộng tự nhiên là nâng lên real-time, mở rộng đa ngôn ngữ/localization và tối ưu thêm chất lượng thẩm mỹ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng UniSwap sang localization phim: tự động thay cả diện mạo lẫn giọng nói của diễn viên sang ngôn ngữ đích, giữ nguyên khẩu hình và bối cảnh cho quy trình hậu kỳ tốc độ cao.
  2. Kết hợp Feature-RoPE Decomposition với cơ chế rolling KV-cache để sinh video nói dài hàng giờ ổn định danh tính, áp dụng cho phát thanh/đào tạo trực tuyến.
  3. Nghiên cứu distilled streaming audio-visual transformer đa nhiệm: ngoài swap danh tính còn hỗ trợ thay đổi biểu cảm, tuổi tác hoặc phong cách giọng trong cùng một backbone.

2. Patent:​

  1. Ứng dụng trên điện thoại: app quay video tự đổi mặt và giọng người dùng sang một nhân vật tham chiếu (ảnh + đoạn âm) theo thời gian thực, phục vụ làm video ngắn/TikTok/ảnh đại diện động không cần quay lại.
  2. Công cụ lồng tiếng phim bằng khuôn mặt + giọng của chính mình: người dùng cung cấp một ảnh và một câu nói mẫu, hệ thống tự thay diễn viên gốc trong đoạn trích bằng khuôn mặt và giọng người dùng, giữ khớp môi.
  3. Tính năng gọi video ẩn danh bảo mật: trong cuộc gọi, thay cả hình đại diện và giọng người dùng bằng danh tính ảo tham chiếu để che giấu nhận dạng thật mà vẫn giữ cử động môi tự nhiên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.11752
ArXiv Abstracthttps://arxiv.org/abs/2608.11752
PDF Downloadhttps://arxiv.org/pdf/2608.11752.pdf
Github Repositoryhttps://github.com/uniswap-av/UniSwap

12. LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time (11 votes)​

Tác giả: Yuxuan Zhang, Haozhong Xiong, Yubo Huang, Jiayi Song, Jinpeng Yu, et al.

Xuất bản lúc: 2026-08-13

Tag: Diffusion, DiT, Human Animation, Real-Time, Streaming, KV-Cache, Distillation, Pose-Driven, Autoregressive

I. Main Problem:​

Tạo video người theo pose (pose-driven human animation) từ một ảnh tham chiếu và luồng pose điều khiển là bài toán cốt lõi cho livestream, telepresence, avatar ảo. Điểm nghẽn: các mô hình diffusion hiện tại đều chạy offline, mất từ vài phút đến vài giờ mỗi clip, không thể tương tác real-time.

Ba bài toán ghép nối chưa được giải:

  • (i) giảm chi phí suy luận của DiT quy mô tỷ tham số xuống dưới ngân sách latency tương tác
  • (ii) chuyển mô hình video hai chiều (bidirectional) thành generator nhân quả (causal) mà không mất chất lượng
  • (iii) ngăn drift identity/appearance khi stream kéo dài vô hạn.

Bảng 1 cho thấy chưa hệ thống full-body diffusion nào vừa streaming, vừa real-time, vừa long-form ổn định ở quy mô 14B.

II. Main Idea:​

LiveAnimate là hệ thống đầu tiên kết hợp streaming real-time với sinh long-form ổn định ở quy mô 14B-parameter causal DiT (dựa trên Wan2.2-Animate-14B). Cơ chế gồm ba trụ cột:

  • Two-stage training: Stage 1 Reference-Anchored Teacher-Forcing Adaptation chuyển DiT bidirectional thành generator sinh theo block nhân quả, mỗi block học từ lịch sử sạch ground-truth + một Ref Sink neo ảnh tham chiếu toàn cục. Stage 2 Block-wise Self-Forcing Distillation (BS-DMD) giảm số bước sampling xuống 3 bước qua hai-pass: pass 1 sinh toàn bộ trajectory không gradient, pass 2 replay từng block một có gradient (slide T=1→N) để DMD loss đánh giá mọi vị trí block mà không giữ graph của cả rollout → distilling 14B chạy được trên 1 node 8×80GB.

  • PR-Sink (Pose-Retrieval Sink Attention): KV-cache có dung lượng cố định gồm Static Sink (block đầu tiên, neo identity vĩnh viễn), Dynamic Sink (block lịch sử được chọn bằng pose tương đồng từ memory bank), và Rolling Window 3-slot (2 block gần nhất + block hiện tại). Memory bank (M=5) cập nhật theo hướng tối đa độ đa dạng pose; truy xuất chọn pose gần nhất. KV raw được lưu trước RoPE rồi re-rotate theo vị trí mới khi ghép → tái dùng được ở bất kỳ thời điểm nào.

  • System optimization: Ulysses sequence parallelism (all-to-all theo head) + torch.compile → 19.63 FPS trên 2×H100.

Ví dụ đời thường: giống thư viện chỉ giữ một vài trang quan trọng thay vì toàn bộ sách — khi khách gặp lại tư thế cũ, thủ thư lục đúng trang đã lưu tương ứng để nhắc lại diện mạo, chứ không phải lật lại từng trang suốt cả cuốn.

III. Main Results:​

  • Tốc độ: 19.63 FPS trên 2×H100 (block 12 khung hình sinh trong 0.611s); baseline cùng rollout 3 phút mất 2–5 giờ, LiveAnimate chỉ ~4 phút.
  • Ổn định long-form: trên benchmark 3 phút, IQA gần như không đổi 4.047→4.026, ASE 2.823→2.824, DINO-S (identity) chỉ giảm 0.015 (0.833→0.818). Ngược lại One-to-All sụt nghiêm trọng: IQA 3.402→1.786, DINO-S 0.769→0.328.
  • So với offline: SCAIL/UniAnimate-DiT giữ DINO-S cao hơn nhưng bị flicker liên khung; EverAnimate ổn định nhưng không real-time (tính bằng giờ). LiveAnimate là method duy nhất vừa ổn định suốt rollout vừa sinh real-time.
  • Ulysses scaling: 1→2 GPU 12.41→19.63 FPS (1.58×, 79.1% efficiency); 4 GPU chỉ 22.13 FPS (bão hòa, efficiency 44.6%) → chọn 2-way làm mặc định.
  • Breakdown: Denoising 75.07%, Clean KV Update 24.39%, PR-Sink retrieval + bank chỉ 0.542% overhead.
  • Ablation: bỏ Static Sink làm DINO-S tụt thảm (0.818→0.693); bỏ Dynamic Sink gây lỗi appearance cục bộ khi pose lặp lại; thay DMD bằng teacher forcing gây nhấp nháy ánh sáng.

IV. Conclusion & Future Works:​

LiveAnimate thiết lập operating point mới về chất lượng – latency – độ dài cho animation full-body tương tác: lần đầu sinh streaming real-time ~20 FPS trên 2×H100 trong khi giữ perceptual quality và identity gần như không đổi suốt 3 phút. PR-Sink chứng minh quản lý ngữ cảnh dài hạn có chủ đích (pose-aware) là then chốt cho streaming animation. Hướng tương lai: mở rộng sang multi-character, tối ưu bank capacity/policy truy xuất, và áp dụng PR-Sink cho autoregressive video tổng quát ngoài pose-driven.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PR-Sink cho sinh video autoregressive đa nhân vật: mỗi nhân vật có Ref Sink và pose bank riêng, đánh giá khả năng giữ identity khi nhiều người lặp lại tư thế chéo nhau.
  2. Nghiên cứu chính sách truy xuất KV-cache chủ động dựa trên dự đoán pose tương lai thay vì chỉ pose hiện tại, để prefetch block lịch sử trước khi block tới được sinh.
  3. Áp dụng BS-DMD (block-wise self-forcing distillation) cho các mô hình video DiT quy mô lớn khác nhằm giảm bước sampling xuống 1–3 bước mà không cần giữ graph toàn rollout.

2. Patent:​

  1. Ứng dụng livestream ảo trên điện thoại: người dùng chụp một ảnh tự và cấp luồng pose từ camera (hoặc motion capture đeo tay), app chạy LiveAnimate local/đám mây để phát video avatar theo thời gian thực, giữ nguyên diện mạo suốt buổi phát nhờ PR-Sink.
  2. Tính năng 'thử đồ ảo' tương tác cho shop online: từ một ảnh mẫu người mặc, hệ thống sinh video người đi lại theo pose do người dùng điều khiển (chuột/gyro), hiển thị liên tục nhiều phút không bị drift màu nền nhờ Static Sink.
  3. Camera thông minh / telepresence họp từ xa: thiết bị thu pose cơ thể người thật qua cảm biến và truyền luồng pose nhẹ (thay vì video nặng) sang đầu kia, đầu kia tái tạo avatar từ một ảnh đại diện bằng LiveAnimate, tiết kiệm băng thông và bảo vệ privacy.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.11745
ArXiv Abstracthttps://arxiv.org/abs/2608.11745
PDF Downloadhttps://arxiv.org/pdf/2608.11745.pdf
Github Repositoryhttps://github.com/liveanimate/LiveAnimate