Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-09-28

Báo cáo được tạo tự động vào lúc 2026-09-29 10:09:09 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders (116 votes)​

Tác giả: Hongyang Du, Yunfei Xie, Junjie Ye, Jiawei Yang, Xiaoyan Cong, et al.

Xuất bản lúc: 2026-09-25

Tag: Representation Autoencoders, Diffusion Models, Layer Fusion, Regularization, DINOv3, Image Generation, RAE

I. Main Problem:​

Representation Autoencoders (RAEs) dùng một encoder thị giác đã pretrain (đóng băng) để tạo latent cho cả bộ giải mã (reconstruction) lẫn mô hình diffusion (generation), nhưng encoder này sinh ra cả chuỗi đặc trưng phân tầng theo độ sâu, và RAE phải chọn cố định tập hợp các layer nào để ghép thành một latent duy nhất. Sự lựa chọn này tạo ra đánh đổi căn bản:

  • Layer nông (gần pixel) giữ chi tiết ảnh tốt → PSNR reconstruction cao (k=7 đạt 22.58dB so với 27.04dB của k=23, nhưng gFID tốt hơn)
  • Layer sâu (mang tính ngữ nghĩa) dễ học phân phối hơn → gFID tốt hơn, nhưng mất chi tiết pixel

Việc ghép cố định (như RAEv2 cộng k layer cuối) buộc decoder và generator — hai bài toán dự đoán khác nhau với sở thích layer khác nhau — phải dùng chung một lựa chọn. Thậm chí cổng (gate) học được cũng sụp đổ về một layer nông duy nhất trong quá trình training. Đây chính là khoảng cách reconstruction–generation mà bài báo giải quyết.

II. Main Idea:​

FuseReg (layer-fusion regularization) thay việc chọn một fusion cố định bằng cách train trên các tập con layer được lấy mẫu ngẫu nhiên:

  • Trong mỗi bước training, mỗi ảnh được gán một mask Bernoulli rồi lấy trung bình chuẩn hóa trên các layer được giữ (E[latent] = trung bình đủ K layer, không lệch)
  • Về lý thuyết, biến thiên này nằm đúng hướng các layer không đồng thuận, tương đương một regularizer phạt độ nhạy với cross-layer disagreement; không fusion tất định nào (kể cả gate học được) tái tạo được moment bậc hai của phân phối này
  • Áp dụng cho cả hai tầng với tốc độ dropout riêng biệt (p_dec, p_dit): decoder học reconstruct từ mọi tổ hợp layer; DiT nhận latent từ tập con nhưng dự đoán mục tiêu là fusion đầy đủ

Kết quả: một decoder duy nhất hoạt động tốt với mọi fusion (đầy đủ, thưa, đơn layer) không cần retrain.

Ví dụ đời thường: giống luyện tài xế phải lái được cả xe số sàn lẫn số tự động, cả đường trường lẫn đường đô thị trong quá trình học, thay vì chỉ luyện một cấu hình duy nhất — đến lúc thi (inference) cấu hình nào cũng xử lý được vì đã quen với sự thay đổi.

III. Main Results:​

  • Một decoder FuseReg thắng mọi decoder chuyên hóa: với DINOv3-L trên ImageNet-256 (K=23 layer), decoder duy nhất đạt PSNR 23.77 / 27.52 / 25.13 dB trên các fusion k=7, k=23, đơn layer ℓ11 — trong khi RAEv2 chuyên hóa sụt xuống 12.5–18.4dB khi đổi fusion khác training.
  • Chỉ thay decoder đã cải thiện generation: giữ nguyên generator DiT-XL RAEv2 và các latent đã sample, gFID unguided giảm 3.01 → 2.21 (k=23, -27%) và 27.73 → 1.92 (k=7).
  • Regularization chung cả hai tầng có hiệu ứng bổ sung: trên DiT-Base, gFID giảm 13.96 → 9.93 (tại p_dec=0.9, p_dit=0.7, -29%), vượt tổng lợi ích của từng trục riêng lẻ; IS tăng từ 107.5 lên 125.7.
  • Quy mô DiT-XL: decoder mạnh (p_dec=0.95) cho gFID 2.38 và IS 212.8; regularizer generator giúp IS cao nhất (221.1 tại p_dit=0.9) nhưng gFID tối ưu ở p_dit=0 — cho thấy hai tầng cần chọn tốc độ riêng.
  • Phân tích lý thuyết: chứng minh sampling giữ nguyên mean (Lemma 1), tách riêng penalty theo từng tầng (Proposition 1), và không fusion tất định nào khớp moment bậc hai (Proposition 2).

IV. Conclusion & Future Works:​

Bài báo chỉ ra rằng khoảng cách reconstruction–generation bắt nguồn từ sự phụ thuộc của decoder và generator vào một tổ hợp layer cố định. FuseReg biến layer fusion thành một phân phối training thay vì một lựa chọn kiến trúc: giữ nguyên latent trung bình đủ layer nhưng biến thiên theo hướng các layer bất đồng, khiến thông tin phân bố trên mọi độ sâu của encoder trở nên dễ truy cập hơn cho cả hai tầng — mà không cần đụng vào encoder đã pretrain, không tốn thêm chi phí tính toán.

Hạn chế & hướng mở: thí nghiệm giới hạn ở ImageNet-256 + DINOv3-L với DiT-Base/XL; cần kiểm chứng trên encoder khác, độ phân giải và domain dữ liệu khác, lịch training dài hơn; tối ưu hóa (p_dec, p_dit) phụ thuộc quy mô model, metric và guidance nên cần chọn riêng cho từng thiết lập mới; mở rộng phân tích lý thuyết (hiện dựa trên mô hình tuyến tính, squared loss) cho loss reconstruction hỗn hợp và quỹ đạo sampling có guidance đầy đủ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FuseReg sang video generation: regularize layer fusion cho decoder khung hình và diffusion transformer theo thời gian, kiểm chứng khả năng một decoder xử lý được cả fusion không gian lẫn fusion theo thời gian.
  2. Áp dụng nguyên lý randomized fusion cho các encoder phân tầng khác (CLIP, SAM, SigLIP) và các bài toán ngoài ảnh (audio, 3D) để kiểm chứng tính tổng quát của regularizer disagreement.
  3. Kết hợp FuseReg với thiết kế guidance-aware: tối ưu tốc độ dropout của từng predictor (full head và REPA head) để giảm nhạy cảm của tổ hợp guided theo đúng hướng cross-term trong lý thuyết.

2. Patent:​

  1. Module chụp ảnh và khôi phục ảnh trên điện thoại: app camera dùng một mô hình decoder duy nhất được train với FuseReg để tái tạo ảnh ở nhiều chế độ — chụp thường, zoom sâu (chỉ dùng đặc trưng tầng sâu), chụp nhanh tiết kiệm pin (chỉ dùng vài tầng đặc trưng) — mà không cần tải nhiều mô hình riêng.
  2. Hệ tạo ảnh theo yêu cầu trên thiết bị di động: khi người dùng muốn ảnh sinh ra sắc nét hay ảnh nghệ thuật, hệ thống chỉ cần đổi cách ghép các tầng đặc trưng của encoder (đầy đủ hay chỉ tầng ngữ nghĩa) khi đưa vào bộ sinh, không phải chạy lại hay tải model mới.
  3. Dịch vụ nén và truyền ảnh tiết kiệm băng thông: máy chủ chỉ gửi một tập con đặc trưng (vài tầng thay vì đủ 23 tầng) khi đường truyền kém, nhờ decoder được huấn luyện FuseReg nên ảnh khôi phục vẫn rõ nét mà không cần thỏa thuận lại định dạng dữ liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.31620
ArXiv Abstracthttps://arxiv.org/abs/2609.31620
PDF Downloadhttps://arxiv.org/pdf/2609.31620.pdf
Github Repositoryhttps://github.com/Hongyang-Du/FuseReg

2. RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation (45 votes)​

Tác giả: Xiaochen Ma, Zimo Meng, Junzhu Liang, Youhe Jiang, Yue Cheng, et al.

Xuất bản lúc: 2026-09-16

Tag: Ray, Distributed Dataflow, Foundation Models, Data Preparation, GPU Scheduling, Lineage, Fault Tolerance, PDF Parsing, Video Processing

I. Main Problem:​

Các pipeline chuẩn bị dữ liệu cho foundation model phải biến PDF/video thô thành bản ghi huấn luyện có cấu trúc, nhưng đơn vị xử lý liên tục đổi: PDF → pages → regions/tables, video → clips → frames/audio. Mỗi bước mở rộng sinh chuỗi con có thứ tự, số lượng phụ thuộc input và phân phối đuôi dài: hầu hết parent ít con, vài parent rất nhiều con.

  • Cần batch con từ nhiều parent lên GPU để tận dụng phần cứng.
  • Vẫn phải biết mỗi con thuộc parent nào, ordinal bất biến, khi nào đủ kết quả terminal, và ráp lại đúng thứ tự.
  • Khi một parent lỗi, cần chặn sibling cùng parent mà không làm chết parent khác.

Cách hiện có bị kẹt ở hai cực: hàm coarse-grained giữ document/video như một job, che giấu pages/clips/frames có thể chạy song song; hàm flat-record lộ từng item nhưng đẩy việc nhớ parent/position, đếm hoàn thành, group/sort toàn cục và định nghĩa failure xuống application, tạo shuffle/regrouping barrier sau stage con.

II. Main Idea:​

RayOrch tách cấu trúc logic khỏi vật lý thực thi: chương trình khai báo quan hệ cha-con bằng F.expand và gather tương ứng bằng F.reduce; compiler kiểm tra acyclicity, Domain compatibility và cặp expand/reduce. Runtime giữ structural lineage state: membership cụ thể của Expansion, parent tức thì và zero-based ordinal bất biến của từng child, terminal outcome của Expansion/Item/Entity.

Thực thi dùng Grain = Call × Entity làm đơn vị schedule/retry/commit. Mỗi Call có FIFO Ready Queue riêng; reservation lấy tối đa B ready Grain, có thể trộn parent, nhưng batch chỉ là transient. F.reduce chỉ phát parent Item khi Expansion, mọi membership outcome và mọi value còn sống đã resolve; member bị drop bị loại, failed/suppressed làm suppress parent, present value xuất theo ordinal. Commit dùng generation fence để reject report stale/duplicate sau retry/actor replacement. GroupFailure đặt suppression barrier theo Call và parent: sibling queued bị chặn trước dispatch, sibling in-flight không commit, sibling đã commit và parent khác không đổi.

Ví dụ đời thường: như chia hồ sơ giấy thành từng trang đưa nhiều máy photo song song; dù trang được xếp chung lô với hồ sơ khác, mỗi trang vẫn đeo số hồ sơ và thứ tự, và chỉ khi đủ trang của đúng một hồ sơ mới đóng quyển, còn lỗi ở một hồ sơ chỉ hủy các trang chưa photo của hồ sơ đó.

III. Main Results:​

  • MinerU strong scaling: processing time 15.26h trên 4 GPU → 1.01h trên 64 GPU, speedup 15.14×, đạt 94.6% ideal linear scaling; các điểm trung gian 2.02×/4.01×/7.92×.
  • MinerU 64 GPU: E2E 4295.7s, throughput 40.6788 pages/s; giảm wall time 13.1% vs Ray Data, 29.0% vs Daft, 51.6% vs native MinerU.
  • Video 8→64 GPU: speedup 7.82×, E2E 0.42h, so với Ray Data 0.43h và Daft 0.53h.
  • Docling 4 GPU: E2E 9489.07s, throughput 0.2107 doc/s; giảm 16.0% vs Ray Data và 22.3% vs Docling Serve.
  • RQ2: RayOrch overlap OCR với assembly/upload; Ray Data và Daft chịu post-OCR regrouping tail.
  • FIFO ablation: wall time 634.1 → 579.3s, giảm 8.6%.
  • Failure containment: chặn 6241/23514 sibling không trigger khỏi hàm xử lý, non-trigger calls 45408 → 39167, giảm paired wall time trung bình 14.93%, mọi output healthy được giữ.

IV. Conclusion & Future Works:​

RayOrch chứng minh nên đưa quan hệ cha-con có thứ tự vào hợp đồng program/runtime thay vì để application tự nhóm/sort/đếm. Compiler-validated expansion/gather, lineage state, FIFO Ready Queue, generation-fenced commit và typed parent-scoped failure cho phép trộn batch cross-parent mà vẫn ráp parent đúng ordinal, hoàn thành parent độc lập và cô lập lỗi.

Giới hạn theo bài báo: finite acyclic hierarchical dataflow, ordered gather trong source microbatch; không hỗ trợ general joins, window xuyên microbatch, feedback; nếu hàm xử lý nhạy batch shape/input order/randomness thì bảo đảm chỉ tới structure và terminal status. Hướng mở hợp lý là mở rộng có kiểm soát sang joins/windows/feedback, chính sách reservation adaptive theo skew, và tích hợp sâu hơn với tối ưu cấu hình operator/placement.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RayOrch sang general joins và windows xuyên microbatch trong multi-grain dataflow, với lineage vẫn đủ mạnh để bảo đảm completion, order và failure containment.
  2. Skew-aware lineage scheduling: dùng phân phối đuôi dài của child counts để tự chọn giữa trộn parent tự do và ưu tiên sibling cùng parent, nhắm giảm tail latency khi corpus lệch mạnh.
  3. Failure-aware data-prep compiler: từ chương trình và lineage suy ra điểm đặt checkpoint/suppression barrier tối ưu để giảm wasted GPU work dưới typed GroupFailure mà không đổi output healthy.

2. Patent:​

  1. Dịch vụ xử lý tài liệu trên điện thoại: chụp nhiều ảnh giấy tờ, app tách mỗi tài liệu thành trang/ô nội dung, gửi các ô nhỏ lên máy chủ theo lô trộn nhiều tài liệu; hệ thống nhớ từng ô thuộc trang nào, thứ tự ra sao, ráp lại nguyên bản và nếu một trang lỗi chỉ bỏ các ô chưa xử lý của trang đó.
  2. Trợ lý video trên điện thoại: tách một video dài thành đoạn ngắn theo cảnh, gửi song song lên đám mây để chú thích/lọc; kết quả ghép lại đúng thứ tự từng video, video hỏng không làm hỏng video khác và không tốn công xử lý các đoạn còn lại của video hỏng.
  3. Bộ điều phối scan ảnh hàng loạt cho doanh nghiệp: khi mỗi bộ hồ sơ có số trang rất khác nhau, máy chủ xếp các trang sẵn sàng từ nhiều hồ sơ vào cùng nhóm xử lý nhưng vẫn đóng gói từng hồ sơ ngay khi đủ trang, rút ngắn thời gian chờ cuối cùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.18703
ArXiv Abstracthttps://arxiv.org/abs/2609.18703
PDF Downloadhttps://arxiv.org/pdf/2609.18703.pdf
Github Repositoryhttps://github.com/OpenDCAI/RayOrch

3. Disaggregated Quantization: Specializing LLM Prefill and Decode (44 votes)​

Tác giả: Andrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi, Tijmen Blankevoort, Dan Alistarh

Xuất bản lúc: 2026-09-22

Tag: LLM Quantization, KV Cache, Inference Optimization, Quantization-Aware Distillation, NVFP4, Weight-Only Quantization, Model Serving

I. Main Problem:​

Quá trình suy luận LLM gồm hai pha có bản chất phần cứng hoàn toàn khác nhau nhưng luôn bị ép dùng cùng một định dạng quantization:

  • Prefill (xử lý prompt): nhiều token → tải trọng số được amortize → compute-bound → hưởng lợi từ định dạng compute-native nhanh như NVFP4 (quantize cả weight lẫn activation).
  • Decode (sinh token): batch một → mỗi trọng số chỉ dùng 1 lần → memory-bound → cần nén weight cực nhỏ (weight-only, LUT 2-3 bit), và việc quantize activation ở pha này chỉ làm giảm độ chính xác vốn đã nhạy cảm.

Ép chung một định dạng khiến ta phải hy sinh một trong hai pha: hoặc prefill chậm, hoặc decode kém chính xác — đặc biệt ở mức 1-2 bit.

II. Main Idea:​

Disaggregated Quantization (DQ): chọn định dạng, trọng số và cả vị trí lưu trữ riêng cho từng pha, rồi huấn luyện chúng cùng hướng tới một mục tiêu chung bằng QADD — dùng SFT label mask (prompt = prefill, response = decode) để chọn pathway tính toán trong một pass forward-backward duy nhất, dù teacher BF16 đóng băng.

Ba biến thể bổ sung nhau:

  • Format disaggregation: prefill dùng NVFP4 (tính toán nhanh), decode bỏ quantize activation (weight-only) → tăng accuracy trên tác vụ decode-heavy mà không tăng chi phí.
  • Full disaggregation: huấn luyện riêng checkpoint prefill NVFP4 và checkpoint decode weight-only → prefill nhanh hơn và chính xác hơn ở 2-3 bit.
  • ODP (Offloaded Disaggregated Prefill): stream trọng số prefill từ SSD theo từng block, đè buffer lên vùng nhớ decode đang nhàn rỗi → thêm prefiller mà không tốn thêm VRAM; prompt càng dài, chi phí load càng bị giấu.
  • Prefillers: chỉ huấn luyện prefill cho checkpoint decode đã quantize sẵn (GGUF, black-box) — không cần đụng vào decoder.

Ví dụ đời thường: giống một cửa hàng có hai khu vực — quầy order (prefill) và bếp ra món từng phần (decode) — thay vì bắt cả hai dùng chung một bộ dụng cụ, DQ trang bị quầy order bộ xử lý hàng loạt nhanh, còn bếp chỉ cần kệ đồ gọn nhẹ; phần dụng cụ hiếm khi dùng thì cất trong kho (SSD), lấy ra từng món đúng lúc cần.

III. Main Results:​

  • Format disaggregation cải thiện accuracy trung bình trên tác vụ decode-heavy: +1.9-3.1 điểm (NVFP4), +4.5-3.7 (LUT3), +2.5-1.8 (LUT2) trên Qwen 3/Gemma 3; decode nhanh hơn 2-3%, prefill giữ nguyên tốc độ.
  • Full disaggregation: +6.3/5.2 điểm (LUT3) và +10.7/7.4 điểm (LUT2) decode-heavy; +4.1/4.3 và +5.3/10.5 điểm prefill-heavy; ở 2-bit vượt cả weight-only 4.5-12.5 điểm trong khi prefill vẫn nhanh hơn.
  • Prefiller cho Qwen3.8-27B GGUF 1-bit: +32.5 điểm MMLU-Pro, +35.3 MMMU-Pro — gấp đôi accuracy, decoder không đổi; lợi ích lan sang cả visual reasoning dù chỉ train trên text.
  • ODP trong llama.cpp: 1.78× time-to-first-token so với weight-only baseline ở context 8K; overhead < 5% (Qwen 3) / 8% (Gemma 3) trên 16K context; không tốn thêm VRAM.
  • Validation PTQ quy mô lớn (post-training, không retrain) trên 8 model tới 2.8T tham số: cải thiện 11/13 tổ hợp model-benchmark, 6 cải thiện có ý nghĩa thống kê, không suy giảm đáng kể.

IV. Conclusion & Future Works:​

DQ cho thấy quantization nên được thiết kế theo pha (phase-aware): chọn định dạng theo chi phí phần cứng riêng của prefill/decode, huấn luyện chúng hợp tác về một mục tiêu, và tận dụng dung lượng SSD để đưa prefiller lên thiết bị cá nhân mà không tăng VRAM. Hạn chế & hướng tương lai: chưa đánh giá batch lớn, tác vụ multi-turn/agentic (cache-policy cho token assistant cũ chưa được kiểm chứng), ODP kém hiệu quả với MoE và prompt ngắn (TTFT nhạy cảm); có thể kết hợp với mạng prefill tách rời qua KV-cache adapter.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ODP cho kiến trúc prefill-decode tách biệt hoàn toàn, trong đó mạng encoder hoặc prefill model kết nối với decoder qua learned KV-cache adapter thay vì chia sẻ kiến trúc attention.
  2. Nghiên cứu chính sách quản lý KV cache trong hội thoại multi-turn khi prefill và decode dùng trọng số khác nhau — làm sao tái sử dụng cache decode mà không lệch biểu diễn.
  3. Phương pháp prefetch/block-scheduling thông minh cho ODP nhằm rút ngắn TTFT ở prompt ngắn, chẳng hạn cache một phần prefiller trong VRAM theo tần suất truy cập.
  4. Áp dụng tư tưởng disaggregation cho MoE: cân bằng tỉ lệ tham số active/loading để streaming từ SSD trở nên khả thi ở context dài hơn.

2. Patent:​

  1. Hệ thống suy luận LLM trên điện thoại/PC với hai checkpoint: checkpoint decode nén siêu nhỏ (1-2 bit) lưu cố định trong bộ nhớ, prefiller định dạng tính toán nhanh được nạp từng phần từ bộ nhớ flash trong lúc xử lý prompt — giảm độ trễ trả lời đầu tiên mà không tăng RAM.
  2. Cơ chế cập nhật 'prefiller' qua OTA cho mô hình đã cài trên thiết bị: nhà sản xuất chỉ phát hành prefiller mới cải thiện tốc độ xử lý prompt, người dùng không cần tải lại toàn bộ model hàng chục GB.
  3. Module dịch vụ đám mây tách pha với giao thức truyền KV cache nén: máy chủ prefill dùng phần cứng tính toán mạnh định dạng 4-bit, máy decode nhẹ dùng weight-only 2-bit, truyền cache qua kết nối hẹp với độ chính xác tổng thể gần bản gốc.
  4. Trợ lý AI offline trên laptop: khi pin thấp, hệ thống tự chuyển sang checkpoint decode 1-bit kèm prefiller được stream từ SSD để vừa tiết kiệm năng lượng vừa giữ khả năng đọc tài liệu dài.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.26333
ArXiv Abstracthttps://arxiv.org/abs/2609.26333
PDF Downloadhttps://arxiv.org/pdf/2609.26333.pdf
Github Repositoryhttps://github.com/IST-DASLab/disaggregated-quantization

4. Block Sparse Attention with Log-Linear Complexity (20 votes)​

Tác giả: Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu

Xuất bản lúc: 2026-09-25

Tag: Sparse Attention, Long-Context LLM, Top-K Selection, Efficient Attention, Triton Kernel, Language Modeling

I. Main Problem:​

Self-attention có độ phức tạp bậc hai theo độ dài chuỗi, khiến mở rộng context dài cực kỳ tốn kém. Block sparse attention (BSA) giảm được chi phí attention thật, nhưng giai đoạn chọn block (Top-K selection) vẫn là nút cổ chai:

  • BSA phải chấm điểm mọi cặp query–block (khoảng N/C block ứng viên), nên selection vẫn tốn O(N²/C)
  • Attention chỉ tính trên block đã chọn thì tuyến tính, nhưng phần chọn block chiếm đa số chi phí khi chuỗi dài
  • Các phương pháp trainable như MoBA, NSA, HiLS đều giữ selection ở O(N²); training-free như HiP đạt O(N log N) nhưng không huấn luyện được.

II. Main Idea:​

PISA (Pyramid Sparse Attention) thay tìm kiếm Top-K một lần duy nhất bằng chiến lược lọc ứng viên tháp từ thô đến tin (coarse-to-fine):

  • Xây hierarchy key-block bằng mean pooling: level lá là block gốc (kích thước C), mỗi level trên gộp g=2 block con lại → tạo tháp có O(log N) level
  • Chọn bắt đầu từ level thô nhất; ở mỗi level, chấm điểm ứng viên bằng LogSumExp (LSE) trên tối đa gK candidate, giữ Top-K rồi mở rộng chỉ các block được chọn xuống level mịn hơn
  • Level lá dùng LSE chính xác trên key gốc; LSE khớp với softmax attention nên chọn block chính xác hơn mean-score của BSA
  • Kernel Triton hardware-aware: gộp nhiều level routing vào một kernel, không materialize ma trận điểm query–key; training/prefill dùng kernel 2 giai đoạn, decode dùng kernel 1 giai đoạn

Kết quả: selection O(N log N) cho toàn chuỗi, decode chỉ O(log N) mỗi bước, và vẫn trainable.

Ví dụ đời thường: giống tìm một cuốn sách trong thư viện khổng lồ — thay vì đọc tên từng cuốn (BSA), ta nhìn kệ chủ đề trước, chọn vài kệ hứa hẹn, rồi chỉ lật từng ngăn bên trong kệ đó, bỏ qua toàn bộ phần còn lại.

III. Main Results:​

  • Độ phức tạp selection giảm từ O(N²/C) xuống O(N log N); decode O(log N)/bước — trong khi MoBA, NSA, HiLS vẫn ở O(N²) prefill (Bảng 1).
  • Huấn luyện from-scratch ở 3 quy mô (418M, 1.47B, 2.67B, 100B tokens): PISA ngang BSA/NSA/HiLS về loss, perplexity và commonsense reasoning; đạt accuracy trung bình cao nhất trong các phương pháp sparse trên 6 tác vụ containment ở cả 3 quy mô.
  • RULER needle-in-a-haystack sau CPT 16K (model 2.67B): PISA đạt 62.8% trung bình, vượt BSA (55.0%) và NSA (61.1%), đặc biệt tốt trên niah_multiquery.
  • Ablation hàm chấm điểm: LSE đầy đủ (PISA) tốt hơn các xấp xỉ bậc 1 (PISA-1) và bậc 2 (PISA-2) về cả loss lẫn containment.
  • Đo chất lượng chọn block trên checkpoint Full-Attention: PISA có Recall@K và attention mass ratio cao nhất so với BSA và các biến thể xấp xỉ.

IV. Conclusion & Future Works:​

PISA chứng minh rằng tìm kiếm ứng viên phân cấp coarse-to-fine với LSE scoring có thể hạ selection của block sparse attention xuống log-linear mà không mất chất lượng — thậm chí cải thiện khả năng retrieval dài hạn, cho thấy các block được chọn vẫn giữ đúng thông tin quan trọng cho modeling. Kernel Triton tùy biến riêng cho training/prefill và decode cho thấy lợi ích thực tế phụ thuộc chế độ IO: hai giai đoạn giúp tái sử dụng key block giữa các query khi batch, một giai đoạn tránh nạp lại query khi decode. Benchmark Top-K với chuỗi tới 256K token xác nhận routing phân cấp hiệu quả hơn selection một level ở chuỗi dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PISA cho chuỗi cực dài (1M+ token) bằng cách kết hợp pyramid pooling với page-based KV cache, đồng thời tối ưu kernel cho GPU thế hệ mới.
  2. Kết hợp LSE-based hierarchical routing với cross-layer index reuse (theo hướng IndexCache/LongCat) để giảm chi phí routing lặp lại giữa các layer attention.
  3. Nghiên cứu adaptive Top-K budget theo từng level của tháp: cấp ngân sách lớn hơn ở level thô, ít hơn ở level mịn, để cân bằng độ chính xác selection và chi phí tính toán.

2. Patent:​

  1. Trợ lý AI trên điện thoại xử lý văn bản/hội thoại dài: hệ thống tổng hợp nội dung thành tháp bản tóm tắt nhiều mức, khi trả lời chỉ quét từ mức tổng quát xuống chi tiết ở các đoạn liên quan, giúp chatbot chạy mượt trên thiết bị di động với context hàng trăm nghìn token.
  2. Phương pháp tăng tốc hội thoại giọng nói thời gian thực: mỗi tin nhắn mới chỉ cập nhật một nhánh trong tháp tóm tắt lịch sử hội thoại, và bước chọn thông tin liên quan cho phản hồi tiếp theo chỉ tốn lượng tính toán tăng theo logarit của độ dài hội thoại.
  3. Hệ thống tìm kiếm thông tin cá nhân trong kho dữ liệu lớn trên thiết bị di động: lập chỉ mục dạng tháp nhiều mức cho tài liệu, truy vấn của người dùng được khớp từ mức khái quát xuống mức chi tiết chỉ tại các vùng được chọn, giảm đáng kể thời gian phản hồi và pin tiêu thụ so với việc quét toàn bộ tài liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.31093
ArXiv Abstracthttps://arxiv.org/abs/2609.31093
PDF Downloadhttps://arxiv.org/pdf/2609.31093.pdf
Github RepositoryN/A

5. InternW0-Δ: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data (18 votes)​

Tác giả: Xingyu Miao, Zizun Li, Baole Fang, Kaiwen Song, Tenghui Wang, et al.

Xuất bản lúc: 2026-09-25

Tag: World Action Model, Robot Manipulation, Video Pretraining, Mixture-of-Transformers, Embodied AI, Visual Dynamics, Distillation

I. Main Problem:​

Các World Action Model (WAM) cho thấy biết dự đoán video tương lai không đồng nghĩa với điều khiển robot tốt. Ba rào cản cốt lõi:

  • Khoảng cách giữa dự đoán động lực và sinh hành động: mô hình video pretrained có tri thức thị giác-temporal mạnh, nhưng biểu diễn dự đoán đó khó chuyển hóa thành hành động mà không cần sinh video tương lai tại inference (rất tốn kém).
  • Nguồn prior phân mảnh: tri thức về động lực học cảnh, ngữ nghĩa cảnh, hình học/chuyển động 4D nằm rải rác ở các mô hình pretrained riêng lẻ, chưa có khung thống nhất để kết hợp chúng cho sinh hành động.
  • Thiếu dữ liệu quy mô lớn mở: dữ liệu robot đa dạng (robot, UMI, người thao tác góc nhìn ego, Ego2Robot) khác biệt về embodiment, không gian điều khiển, camera và nhịp thời gian, khó đưa về chung một định dạng để huấn luyện chung.

II. Main Idea:​

InternW0-∆ kết hợp bốn nguồn prior — video dynamics pretrained, ngữ nghĩa cảnh từ VLM, prior hình học-chuyển động 4D, và sinh hành động — trong kiến trúc World–Action Mixture-of-Transformers (MoT) gồm 30 block, với hai chuyên gia tách tham số nhưng giao tiếp qua joint attention có mask hướng thông tin:

  • Video expert (Wan2.2-TI2V-5B pretrained): xử lý bộ nhớ thưa gồm khung anchor (đầu episode), khung recent và khung hiện tại, được điều kiện hóa bởi mã hóa ngôn ngữ T5.
  • Action expert (ActionDiT): nhận ngữ nghĩa cảnh từ một VLM đóng băng (xử lý các view hiện tại + chỉ dẫn) và trạng thái proprioception riêng, sinh chunk hành động 80 chiều chuẩn hóa.
  • Causal Imprint (∆): các token học được trong video expert, được huấn luyện bằng hồi quy hiệu latent sạch giữa các bước tương lai + căn chỉnh đặc trưng với video tương lai (chỉ làm mục tiêu supervision, stop-gradient), nhờ đó nén "những thay đổi có liên quan đến tương lai" và đưa trực tiếp cho action expert mà không cần sinh video tương lai lúc chạy.
  • 4D-aware distillation (chỉ khi training): nhánh student với 16 query tổng hợp đặc trưng A/R/C rồi căn chỉnh MSE với descriptor Track4World teacher đã cache, bơm prior hình học và chuyển động; teacher và nhánh student bị vứt hoàn toàn khi inference.
  • Dữ liệu: hơn 23.072 giờ (11.302h robot + 2.075h UMI + 4.061h ego + 5.634h Ego2Robot) được lọc chất lượng, cắt biên, căn chỉnh thời gian và thống nhất về biểu diễn state-action 80 chiều — bộ dữ liệu mở lớn nhất từ trước.

Ví dụ đời thường: giống người học lái xe không cần tưởng tượng hẳn một video 10 giây sau trong đầu, mà chỉ rèn cảm giác "vật thể nào đang đổi thế nào, mình cần xoay vô-lăng bao nhiêu" — kỹ năng đó được tôi luyện lúc luyện tập (supervision tương lai) nhưng dùng tức thì chỉ với nhìn hiện tại (không cần tua video tưởng tượng khi lái thật).

III. Main Results:​

  • LIBERO-Plus (phân phối bị nhiễu): success rate 92.8% — tốt nhất, chỉ post-train trên dữ liệu sạch.
  • RoboTwin 2.0: 90.0% Clean2Clean và 71.9% Clean2Random — dẫn đầu cả hai.
  • EBench (điều khiển bimanual di động): điểm tổng 66.0 — cao nhất.
  • RoboDojo (bài toán memory/precision/dài hạn khó nhất): 23.9% — gần gấp đôi WAM mạnh nhất trước đó.
  • Robot thật: triển khai cùng một checkpoint pretrained lên 2 nền tảng gripper và 2 nền tảng bàn tay khéo léo qua post-training; tác vụ thật gồm rót nước, xếp cốc, chuyển ống nhỏ giọt.
  • Hạ tầng: tối ưu inference (context caching, compiled execution) đạt độ trễ vòng lặp trung bình 152.8 ms trên một RTX 5090, nhanh 5.11× so với runtime chuẩn; pipeline training cache latent VAE và đặc trưng VLM/teacher để rẻ hóa thử nghiệm lặp.
  • Mở toàn bộ: code, recipe, trọng số, pipeline xử lý dữ liệu và chỉ mục dữ liệu đã lọc (kèm tham chiếu phiên bản tới mẫu gốc) sẽ được công bố.

IV. Conclusion & Future Works:​

InternW0-∆ chứng minh có thể tách supervision tương lai khỏi đường inference của policy: video expert vẫn được huấn luyện dự đoán thế giới, nhưng Causal Imprint biến tri thức dự đoán đó thành biểu diễn hành động-hóa, còn distillation 4D bơm prior hình học mà không tốn chi phí inference. Công thức dữ liệu-thống nhất-pretrain-post-train cho thấy tính tái sản xuất được ở quy mô foundation model robot. Hướng tương lai gợi mở bởi giao diện VLM đa phương thức: tích hợp mô tả subtask, mục tiêu trung gian, bộ nhớ dai dẳng và phản hồi thực thi để hướng tới robot agentic.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khảo sát hệ thống việc tách supervision tương lai khỏi đường policy: so sánh Causal Imprint, latent-alignment và distillation 4D trên nhiều kiến trúc WAM để tìm dạng biểu diễn dự đoán nào hành động-hóa được tốt nhất.
  2. Mở rộng bộ nhớ thưa anchor-recent-current cho tác vụ dài hạn có ngắt quãng: học cách chọn lại anchor và nén lịch sử tương tác khi episode kéo dài hàng trăm bước.
  3. Nghiên cứu cách dùng cổng VLM đa phương thức của InternW0-∆ để nhận phản hồi ngôn ngữ từ người dùng giữa lúc thực thi (sửa subtask, đổi mục tiêu) mà không fine-tuning lại mô hình.
  4. Phân tích quy luật scaling của corpus robot đa nguồn 20K+ giờ: phần dữ liệu UMI, ego và Ego2Robot đóng góp bao nhiêu vào khả năng khái quát chéo embodiment.

2. Patent:​

  1. Hệ thống điều khiển robot gia đình từ điện thoại thông minh: điện thoại đặt ở góc bất kỳ làm camera, ứng dụng gửi ảnh và câu lệnh giọng nói ("rót nước vào cốc") lên đám mây; mô hình dựng chunk hành động chuẩn hóa rồi phiên dịch sang chuyển động của cánh tay robot có sẵn trong nhà.
  2. Module nâng cấp robot bằng 'kinh nghiệm quan sát người': ghi video người dùng làm việc nhà bằng kính camera đeo đầu; hệ thống tự căn chỉnh nhịp thời gian, chuyển động tay người thành chuỗi hành động chuẩn, dùng làm dữ liệu huấn luyện bổ sung cho robot mà không cần lập trình đường điểm nào.
  3. Bộ điều khiển tay robot khéo léo độ trễ thấp cho sản xuất: cache ngữ cảnh và thực thi action-chunk không đồng bộ trên một card đồ họa duy nhất, cho phép bàn tay robot phản hồi trong khoảng 150 ms mà không cần máy chủ suy luận đắt tiền.
  4. Hệ thống huấn luyện nội bộ cho phép một checkpoint duy nhất phục vụ nhiều loại robot (gripper, bàn tay khéo léo, cánh tay khác hãng): chỉ cần post-training ngắn với vài chục mẫu trên từng máy để chuyển checkpoint dùng chung sang giao diện điều khiển của máy đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.31394
ArXiv Abstracthttps://arxiv.org/abs/2609.31394
PDF Downloadhttps://arxiv.org/pdf/2609.31394.pdf
Github RepositoryN/A

6. Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors (11 votes)​

Tác giả: Elizaveta Kovtun, Matvey Konovalov, Andrey Sakhovskiy, Semen Budennyy

Xuất bản lúc: 2026-09-21

Tag: Self-Supervised Learning, Robotics, Tactile Sensing, Representation Learning, Joint-Embedding Prediction, Robot Manipulation, Vision-Language-Action

I. Main Problem:​

Robot thao tác thành thạo cần xúc giác, đặc biệt khi bị che khuất tầm nhìn hoặc cầm vật dễ vỡ, nhưng mô-đun xúc giác trong các pipeline robot learning (kể cả VLA) không có encoder pre-trained tương đương như vision/language:

  • encoder xúc giác thường học từ đầu trên tín hiệu thô, nhiễu
  • các phương pháp SSL hiện có tập trung vào cảm biến dạng camera (GelSight, Digit), ép dữ liệu cảm biến da điện tử (e-skin) thành ảnh, bỏ qua cấu trúc không gian thật của cảm biến
  • e-skin phân tán có điểm đặc trưng: các taxel thưa và xếp không đều trên bề mặt, nên masking kiểu pixel-grid của vision không tối ưu
  • các cách tiếp cận có dùng graph (Tactile-GAT, TacGNN) thì lại cần nhãn hoặc thông tin mô phỏng đặc quyền.

II. Main Idea:​

Tactile-JEPA pre-tự-giám-sát encoder cho cảm biến xúc giác phân tán, dựa trên kiến trúc I-JEPA: encoder chỉ nhìn các taxel nhìn thấy (context) và phải dự đoán embedding của các taxel bị che (target) trong không gian embedding (không dự đoán tín hiệu thô nhiễu), khớp với output của target encoder EMA qua MSE loss.

Điểm mới cốt lõi — mask sampling trên graph kết nối taxel thay vì lưới pixel:

  • xây taxel connectivity graph: đỉnh là taxel, cạnh nối các taxel kề nhau theo layout cảm biến đã biết (không cần tọa độ)
  • local mask: chọn hạt giống ngẫu nhiên rồi mở rộng bằng Dijkstra trên graph → vùng liền kề, nắm chi tiết tiếp xúc cục bộ
  • global mask: chọn taxel ngẫu nhiên khắp graph → nắm trạng thái tiếp xúc tổng thể của cả bàn tay
  • dual-scale masking (pha trộn local + global) vì biểu diễn xúc giác tốt cần cả hai mức

Encoder là transformer trên chuỗi embedding per-taxel của cửa sổ thời gian ngắn (~0.1s); graph chỉ dùng lúc pre-training nên downstream không cần biết layout.

Ví dụ đời thường: giống trò chơi đoán chữ người khác che mất trên da tay — với mảng da điện tử, mô hình bị che một vùng da rồi đoán 'cảm giác' của vùng đó từ phần da còn lại; che một cục nhỏ thì học cảm giác điểm chạm, che rải rác khắp tay thì học tư thế chạm tổng thể.

III. Main Results:​

  • Đánh giá trên 3 dataset khác biệt (Sparsh-skin: cảm biến từ tính trên tay Allegro; Tactile socks: vải piezoresistive trên chân người; DECO-50: bimanual Assembly với Inspire hands), so với baseline mạnh nhất:
    • giảm 6.3% RMSE ước lượng lực (3 trục)
    • giảm 20.8% RMSE góc θ trong ước lượng tư thế vật trong lòng bàn tay, accuracy tăng mạnh (62.9% → 71.8%)
    • cải thiện phân loại hành động (+1.28%), ước lượng pose toàn thân (−2.6% RMSE)
  • Policy learning visuo-tactile (DECO-50): Tactile-JEPA đứng thứ hai (RMSE 0.4634), training ổn định không cần tinh chỉnh; MAE tốt nhất ở dataset này nhưng không giữ vững ở các dataset khác
  • Ổn định training: Tactile-JEPA pre-train ổn định trên mọi loại cảm biến cùng một cấu hình masking, không tuning từng dataset; trong khi BYOL collapse trên Tactile Socks và DECO-50, MAE collapse trên Tactile Socks
  • Hiệu quả tính toán: nhanh hơn DINO 65–75% về thời gian pre-training, hiệu suất downstream ngang hoặc tốt hơn
  • Ablation: mask trên taxel graph vượt masking kiểu I-JEPA (block trên grid ảnh) ở mọi tác vụ; 4G tốt nhất cho policy (cần trạng thái cả bàn tay), 2L+2G là lựa chọn cân bằng cho pre-training đa mục đích; context global tốt hơn context local.

IV. Conclusion & Future Works:​

Chất lượng cảm biến xúc giác phụ thuộc quan trọng vào chất lượng pre-training của encoder — vấn đề Tactile-JEPA giải quyết trực tiếp bằng cách khai thác topology phân tán của e-skin qua dual-scale masking trên taxel graph, học được biểu diễn topology-aware, đa tỷ lệ (chi tiết tiếp xúc cục bộ + trạng thái tổng thể), chuyển giao tốt qua nhiều tác vụ và cấu hình robot. Hướng mở: mở rộng sang mô hình cấu trúc thời gian giữa các cửa sổ (hiện để cho downstream decoder), kết hợp đa phương thức (vision-tactile-language chung), và thử nghiệm thêm các hình thái sensor/robot mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp Tactile-JEPA làm encoder xúc giác chuẩn cho các mô hình Vision-Language-Action, nơi biểu diễn xúc giác topology-aware được nối vào chính sách điều khiển để xử lý thao tác che khuất và vật mỏng manh.
  2. Mở rộng dual-scale graph masking sang cảm biến xúc giác đa phương thức (áp lực + nhiệt + rung), học embedding thống nhất trên một graph chung với nhiều loại đầu dò.
  3. Pre-training chéo giữa các robot và cảm biến xúc giác khác nhau (tay Allegro, Inspire, vải điện tử) để kiểm chứng khả năng transfer của biểu diễn topology-aware và xây 'foundation encoder' cho xúc giác.
  4. Kết hợp graph taxel với mô hình thời gian (temporal reasoning across windows) trong chính encoder thay vì để lại cho downstream head, cho phíchính sách điều khiển theo vòng lặp tận dụng trí nhớ tiếp xúc dài hạn.

2. Patent:​

  1. Găng tay điện tử cho điện thoại thông minh / thiết bị đeo: lớp da cảm biến phủ lòng bàn tay ghi tín hiệu từ hàng trăm điểm; ứng dụng trên điện thoại pre-train sẵn encoder theo phương pháp Tactile-JEPA để nhận diện cách cầm nắm, lực bóp và tư thế vật cầm mà không cần thu thập nhãn.
  2. Hệ thống kiểm tra lắp ráp công nghiệp: robot lắp ráp có phủ da cảm biến; encoder pre-trained theo graph topology ước lượng lực siết và phát hiện trượt/vỡ linh kiện theo thời gian thực, cảnh báo ngay khi lực vượt ngưỡng trong các tác vụ cắm, vặn, ép.
  3. Tất/vớ thông minh cho sức khỏe và thể thao: vải cảm biến áp suất dệt trong tất, dùng biểu diễn học không giám sát để phân loại hoạt động (đi, leo cầu thang, nhảy) và phân tích dáng đi, tích hợp vào ứng dụng điện thoại theo dõi vận động và phục hồi chức năng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.24385
ArXiv Abstracthttps://arxiv.org/abs/2609.24385
PDF Downloadhttps://arxiv.org/pdf/2609.24385.pdf
Github Repositoryhttps://github.com/E-Kovtun/tactile