Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-23

Báo cáo được tạo tự động vào lúc 2026-07-24 10:07:50 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD (48 votes)​

Tác giả: Dongfang Li, Xiaodong Luo, Ruoyu Sun, Xuhui Chen, Linyuan Qiu, et al.

Xuất bản lúc: 2026-07-22

Tag: MoE, LLMs, Ascend NPU, Distributed Training, Kernel Optimization, Continued Pre-Training, Supervised Fine-Tuning, Operations Research

I. Main Problem:​

Huấn luyện full-parameter các mô hình Mixture-of-Experts (MoE) nghìn tỷ tham số trên cụm Ascend SuperPOD đối mặt ba thách thức lớn:

  • Áp lực bộ nhớ: trạng thái mô hình, trạng thái tối ưu và kích hoạt chiếm gần hết 64 GB HBM của mỗi NPU.
  • Chi phí truyền thông không bị che giấu: AllReduce/AllGather của tensor/data parallelism và Send/Receive của pipeline parallelism chiếm hơn 85% tổng thời gian truyền thông.
  • Hạt nhân chạy kém hiệu quả: sparse attention và các vector kernel nhỏ bị memory-bound/control-bound, để CUBE core nhàn rỗi; 92 loại kernel còn lại tạo thành đuôi dài phân mảnh.

II. Main Idea:​

T-Rex xây dựng khung tối ưu ba tầng trên Ascend CloudMatrix384 SuperPOD:

  • Tầng song song: dùng Expert-Tensor Parallelism (ETP) giảm TP degree, Virtual Pipeline Parallelism (VPP) thay vì DualPipeV để cân bằng bong bóng pipeline và tiết kiệm bộ nhớ, đồng thời sắp xếp chồng chéo tính toán–truyền thông cho MoE token dispatch.
  • Tầng kernel: AuraKernel, agent tối ưu kernel AscendC có hướng dẫn bởi Operations Research, tự động chọn tiling và tái cấu trúc kernel memory-bound/control-bound như sparse attention.
  • Tầng fusion: hợp nhất các vector kernel nhỏ (Cast, Add, copy) để giảm overhead khởi chạy và bớt di chuyển dữ liệu thừa.

Trên nền tảng đó, hệ thống xây dựng pipeline CPT → SFT chuyên biệt hóa cho Operations Research, dùng dữ liệu tổng hợp được solver xác minh và 10K mẫu SFT chất lượng cao để cải thiện khả năng lập mô hình tối ưu, sinh mã và lập luận có cấu trúc.

Ví dụ đời thường: giống như một xưởng sản xuất vừa đổi máy móc mới — trước tiên kỹ sư căn chỉnh dây chuyền, băng tải và máy tiện để máy chạy trơn (tối ưu hệ thống), sau đó đào tạo công nhân bài bản trên các đơn hàng thực tế và kiểm tra chất lượng bằng thước đo (CPT-SFT dùng solver), thay vì chỉ đọc sách hướng dẫn.

III. Main Results:​

  • Hiệu quả hệ thống: đạt 34.22% MFU trên DeepSeek-V4-Pro (1.6T), tăng 2.93× so với recipe baseline mã nguồn mở, đồng thời duy trì ổn định huấn luyện dài hạn.
  • Chuyên biệt hóa OR: mô hình đạt 71.81% Pass@1 zero-shot trung bình, vượt GPT-5.4-Mini 3.98 điểm và DeepSeek-V4-Flash gốc 11.27 điểm.
  • CPT cải thiện SFT: với cùng điều kiện SFT, B4O-Feasible tăng từ 60.47% (SFT đơn thuần) lên 65.93%, rồi lên 71.22% khi khởi tạo từ CPT; B4O-ORGEval tăng từ 34.26% lên 48.73%, rồi lên 59.39%.
  • AuraKernel: tối ưu các bottleneck kernel, trong đó sparse-attention backward chiếm ~16.86% thời gian kernel và là memory-bound/control-bound.

IV. Conclusion & Future Works:​

Công trình chứng minh con đường full-stack từ tối ưu huấn luyện nghìn tỷ tham số trên Ascend SuperPOD đến mô hình Flash chuyên biệt cho lập mô hình OR có solver xác minh. CPT cung cấp prior miền OR có thể chuyển giao, SFT đảm bảo căn chỉnh tác vụ giám sát, cả hai kết hợp nâng cả tính khả thi trước solver lẫn tương đương cấu trúc. Hướng tương lai: khám phá chiến lược pipeline parallelism tối ưu hơn, mở rộng AuraKernel sang nhiều operator class, và áp dụng workflow CPT-SFT cho các miền lập luận có cấu trúc khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng AuraKernel thành agent tối ưu kernel đa mục tiêu, kết hợp OR solver với mô hình chi phí bộ nhớ và năng lượng để tối ưu end-to-end trên nhiều kiến trúc NPU khác nhau.
  2. Nghiên cứu chiến lược pipeline parallelism lai giữa VPP và DualPipeV, cân bằng bộ nhớ và bong bong pipeline cho các mô hình MoE có context window cực dài trên phần cứng SIMD.
  3. Áp dụng quy trình CPT-SFT có solver xác minh cho các miền lập luận có cấu trúc khác như lập trình chứng minh định lý hoặc thiết kế mạch điện tử.

2. Patent:​

  1. Ứng dụng di động tối ưu lịch trình giao hàng: người dùng nhập địa điểm, khối lượng và cửa sổ thời gian; điện thoại gọi mô hình đã qua CPT-SFT trên đám mây Ascend để sinh lộ trình và mã solver, trả về kết quả khả thi trong giây.
  2. Trợ lý điện thoại cho quản lý tồn kho và chuỗi cung ứng: nhận mô tả bằng giọng nói hoặc ảnh hóa đơn, tự động chuyển thành mô hình tối ưu hóa và đề xuất đơn đặt hàng, sắp xếp kho.
  3. Module tối ưu năng lượng cho nhà máy thông minh trên thiết bị cầm tay: kỹ sư sản xuất dùng điện thoại quét mã máy, nhập ràng buộc công suất và giá điện; hệ thống sinh lịch trình vận hành tối ưu và kiểm chứng bằng solver.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20145
ArXiv Abstracthttps://arxiv.org/abs/2607.20145
PDF Downloadhttps://arxiv.org/pdf/2607.20145.pdf
Github Repositoryhttps://github.com/SLAI-AITP/SLAI-T-Rex

2. Self Gradient Forcing: Native Long Video Extrapolation (29 votes)​

Tác giả: Junhao Zhuang, Shiyi Zhang, Yuxuan Bian, Yaowei Li, Yawen Luo, et al.

Xuất bản lúc: 2026-07-22

Tag: Autoregressive Video Diffusion, Self Forcing, Long Video Generation, KV Cache, Exposure Bias, Distribution Matching Distillation

I. Main Problem:​

Trong huấn luyện Self Forcing cho khuếch tán video tự hồi quy, mô hình được học trên lịch sử do chính nó sinh ra để giảm exposure bias. Tuy nhiên, bộ nhớ KV cache lịch sử vẫn bị đóng băng: các loss ở khung hình tương lai chỉ dạy mô hình đọc cache, nhưng không lan truyền ngược để dạy cách ghi latent đã sinh vào key/value ở bước clean-context. Nhóm tác giả gọi đây là historical context-gradient gap. Hệ quả:

  • tính nhất quán chủ thể, bố cục và chuyển động bị suy giảm dần khi video dài ra
  • cùng một bộ tham số DiT được dùng cho cả việc ghi cache lẫn khử nhiễu, nhưng chỉ có nhánh khử nhiễu nhận được supervised update, khiến khả năng ghi bộ nhớ tự sinh bị trôi dạt
  • Self Forcing tạo ra video cục bộ hợp lý nhưng dễ bị nhảy cảnh, biến dạng nhân vật, thay đổi góc máy khi dài vài phút

II. Main Idea:​

Self Gradient Forcing (SGF) khôi phục tín hiệu giám sát cho việc ghi bộ nhớ KV mà không cần lan truyền gradient xuyên suốt toàn bộ chuỗi tự hồi quy. Chiến lược hai lượt:

  • Pass 1: thực hiện rollout tự hồi quy không gradient, giống hệt inference; tại một bước thoát khử nhiễu được lấy mẫu, ghi lại context tự sinh và các latent nhiễu đưa vào mô hình
  • Pass 2: loại bỏ cache rollout, tái tạo song song cùng bước thoát đó: context tự sinh được đưa lại như đầu vào clean-latent với stop-gradient, còn các latent nhiễu được tính lại; mô hình tái tính hidden state, KV representation và attention từ tương lai về context, nên loss trên latent tương lai giờ đây cập nhật cả tham số ghi KV ở bước clean-context

SGF chỉ mở gradient trong một cửa sổ tái tạo cố định, tránh chi phí bùng nổ của việc giữ graph autograd cho cả chuỗi cache dài.

Ví dụ đời thường: giống như người ghi nhật ký video: thay vì chỉ xem lại đoạn đã quay để hiểu chuyện gì xảy ra tiếp theo, họ còn học cách chọn ghi điều gì vào nhật ký để sau này đọc lại không bị hiểu sai hay quên mất nhân vật chính.

III. Main Results:​

  • Tự nhiên kéo dài video: huấn luyện với cửa sổ chỉ 5 giây nhưng SGF ngoại suy mượt đến 60 giây và 240 giây, vượt trội hơn Self Forcing cùng khởi tạo
  • Các chỉ số cải thiện rõ nhất: aesthetic quality, background consistency, imaging quality, motion smoothness, subject consistency và flickering; đặc biệt subject consistency tăng mạnh ở cả frame-wise và chunk-wise
  • User study GSB: trên hơn 1.900 phán đoán so sánh, SGF được ưa thích hơn Self Forcing ở mọi cài đặt, với margin từ ~30% đến gần 50% tùy khởi tạo và horizon
  • Dynamics đôi khi thấp hơn Self Forcing, nhưng điều này phản ánh video của SF có nhảy cảnh/biến dạng tạo ra chuyển động ảo lớn nhưng không mạch lạc
  • Khả thi huấn luyện: SGF chỉ tăng bộ nhớ đỉnh từ 79.01 GB lên 87.01 GB và thời gian từ 10.39 s lên 11.71 s cho 5 bước; trong khi differentiable cache trực tiếp gây OOM

IV. Conclusion & Future Works:​

SGF là framework huấn luyện native cho autoregressive video diffusion dựa trên forcing, khép lại khoảng cách gradient ghi cache mà Self Forcing bỏ sót. Kết quả cho thấy chỉ cần dạy mô hình ghi bộ nhớ tốt hơn từ lịch sử tự sinh đã cải thiện đáng kể tính nhất quán dài hạn mà không cần đổi kiến trúc context hay cache.

Hướng tương lai: kết hợp SGF với các kỹ thuật khởi tạo mạnh hơn, long-context tuning, retrieval-augmented latent history, nén KV cache, và các phương pháp streaming generation tiên tiến hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết về bias ghi cache trong các mô hình autoregressive diffusion tự hồi quy dài, đưa ra bound về accumulate drift dưới các chính sách context khác nhau.
  2. Mở rộng Self Gradient Forcing cho tạo sinh video đa camera hoặc video 3D/4D, trong đó việc ghi nhớ góc nhìn và độ sâu cảnh trở nên quan trọng hơn.
  3. Kết hợp SGF với cache nén/sparse attention để giảm chi phí bộ nhớ của Pass 2, cho phép huấn luyện native long-video với GPU consumer.

2. Patent:​

  1. Module tạo video dài trên điện thoại: chip di động chạy rollout ngắn, gửi các checkpoint latent lên đám mây để Pass 2 của SGF tính gradient ghi cache rồi cập nhật mô hình nhẹ cục bộ, giúp video tự quay dài mà không bị nhảy cảnh.
  2. Ứng dụng sửa video cũ thành phim dài mạch lạc: người dùng nhập một đoạn video ngắn; hệ thống dùng SGF để ngoại suy thêm phút liên tiếp, duy trì nhân vật và bối cảnh cho content creator trên điện thoại.
  3. Hệ thống quảng cáo tự động tạo video dài từ mô tả sản phẩm: máy chủ chạy SGF để sinh video quảng cáo 60–240 giây, tự động kiểm tra và sửa lỗi drift chủ thể/sản phẩm trước khi xuất bản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20368
ArXiv Abstracthttps://arxiv.org/abs/2607.20368
PDF Downloadhttps://arxiv.org/pdf/2607.20368.pdf
Github Repositoryhttps://github.com/zhuang2002/Self_Gradient_Forcing

3. Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking (24 votes)​

Tác giả: Kailin Jiang, Lei Liu, Jian Xi, Hui Xu, Junlin Liu, et al.

Xuất bản lúc: 2026-07-22

Tag: RAG, Information Retrieval, Document Ranking, LLM-as-Judge, Reranking, Evaluation Benchmark, Rubrics

I. Main Problem:​

Trong kỷ nguyên LLM và AI agents, chất lượng tập tài liệu được retrieval quyết định giới hạn trên của generation, nhưng các hệ thống đánh giá truyền thống (TREC-DL, BEIR, MTEB, RAGAS, ARES) vẫn chỉ:

  • chấm từng tài liệu độc lập rồi tổng hợp qua nDCG
  • chỉ đo relevance, bỏ qua tương tác giữa các tài liệu như redundancy, conflict, complementarity

Hệ quả là một tập 5 tài liệu đều relevant nhưng trùng lặp hoặc mâu thuẫn vẫn đạt nDCG cao, trong khi thực tế gây hại cho LLM generation.

II. Main Idea:​

Bài báo đề xuất một evaluate-diagnose-optimize framework cho chất lượng tập tài liệu:

  • SETWISEEVALKIT: benchmark đánh giá tập tài liệu theo 3 cấp độ, 9 chiều (Document-level: Relevance/Authenticity/Quality; Set-level: Complementarity/Redundancy/Conflict; Global-level: Completeness/Density/Reachability), sinh khoảng 28K rubrics theo từng query để chấm toàn bộ tập.
  • RUBRIC4SETWISE: phương pháp training-free dùng chính các rubric đánh giá làm tín hiệu để chọn subset tài liệu tối ưu, dùng Qwen3-8B với chain-of-thought reasoning.

Ví dụ đời thường: giống như thầy giáo không chấm từng bài kiểm tra riêng rồi cộng điểm, mà đưa ra một bảng tiêu chí (rubric) để chấm cả nhóm bài làm một thể — xem chúng có bổ sung nhau, trùng nhau hay mâu thuẫn nhau không, rồi dùng chính bảng tiêu chí đó để hướng dẫn học sinh chọn tài liệu ôn thi tối ưu.

III. Main Results:​

  • SETWISEEVALKIT có độ tin cậy cao: Pearson r = 0.92 (p = 0.0013) giữa rubric coverage và downstream generation quality.
  • Đánh giá 12 rerankers cho thấy:
    • Phương pháp tốt nhất chỉ đạt ≤ 45% overall coverage.
    • Các chiều cross-document coordination (Complementarity, Completeness) yếu gần như phổ biến.
    • Short-form: SetR và Rank4Gen dẫn đầu; Long-form: ReasonRank và Rearank dẫn đầu; không có phương pháp nào thống trị cả hai.
  • RUBRIC4SETWISE đạt SOTA với ít tài liệu/vòng tìm kiếm hơn:
    • Short-form: EM 26.10 (+7.47), F1 29.32 (+8.22), chỉ dùng 2.66 tài liệu so với top-5 cố định.
    • Long-form: LLM-judge 70.57 (+3.49), dùng 20.52 tài liệu và 4.52 vòng tìm kiếm, vượt SetR (29.23 tài liệu, 4.73 vòng).

IV. Conclusion & Future Works:​

Bài báo chứng minh rằng đánh giá tập tài liệu cần chuyển từ document-level relevance sang set-level, multi-dimensional quality, và các tín hiệu rubric có thể trực tiếp điều hướng việc chọn tập tài liệu. Hướng tương lai:

  • Distill rubric preferences thành trainable rewards để rerankers tự học đa chiều chất lượng mà không cần reference answers.
  • Kết hợp reranker và search agent trong long-form để tối ưu đồng thời, thay vì chạy tách biệt.
  • Mở rộng taxonomy cho các loại query và domain phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp reward modeling tự động từ rubric để huấn luyện reranker đa chiều mà không cần đáp án tham chiếu cho từng query.
  2. Tích hợp SETWISEEVALKIT vào quy trình huấn luyện RAG end-to-end, tối ưu đồng thời retriever, reranker và generator dựa trên set-level quality.
  3. Mở rộng đánh giá rubric cho tập tài liệu đa phương thức (text, image, table) trong multimodal RAG.

2. Patent:​

  1. Ứng dụng tìm kiếm thông minh trên điện thoại: thay vì trả về top-k kết quả theo relevance, hệ thống dùng rubric đa chiều để chọn một tập kết quả bổ sung nhau, không trùng, không mâu thuẫn, giúp chatbot tổng hợp câu trả lời chính xác hơn trong cửa sổ context hạn chế.
  2. Trợ lý AI tổng hợp báo cáo trên điện thoại doanh nhân: khi người dùng yêu cầu soạn tóm tắt dự án, ứng dụng tự động chọn tập tài liệu từ email, tài liệu và cloud drive sao cho đủ thông tin, không dư thừa, thống nhất về dữ kiện, rồi tạo bản tóm tắt.
  3. Chatbot hỗ trợ khách hàng cho doanh nghiệp: khi người dùng hỏi về sản phẩm, hệ thống chọn tập bài viết/FAQ tối ưu từ knowledge base theo tiêu chí bổ sung, không xung đột, để đưa ra câu trả lời nhất quán thay vì trả về nhiều tài liệu tương tự nhau.
  4. Agent nghiên cứu tự động trên thiết bị di động: trong các vòng tìm kiếm multi-turn, hệ thống dùng rubric để đánh giá tập tài liệu đã có và quyết định dừng tìm kiếm khi đủ Completeness và Reachability, giảm số vòng tìm kiếm và tiết kiệm pin/băng thông.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.19747
ArXiv Abstracthttps://arxiv.org/abs/2607.19747
PDF Downloadhttps://arxiv.org/pdf/2607.19747.pdf
Github Repositoryhttps://github.com/Rubric4Setwise/Rubric4Setwise

4. An Exam for Active Observers (20 votes)​

Tác giả: Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, et al.

Xuất bản lúc: 2026-07-17

Tag: Multimodal Large Language Models, Active Observation, Visual Benchmark, Distributed Scanning, Sequential Traversal, Visual Attribute Transfer, Computer Vision

I. Main Problem:​

Các bộ đánh giá Vision-Language hiện tại chủ yếu đo khả năng mô tả ảnh tĩnh một lần hoặc trả lời câu hỏi đa lựa chọn, khiến các mô hình đa phương thức lớn (MLLMs) không bị buộc phải quan sát chủ động. Trong khi đó, nhiều ứng dụng thực tế — như robot, thiết kế, sản xuất, phân tích không gian, khám phá khoa học — đòi hỏi mô hình liên tục quay lại ảnh để kiểm tra, điều chỉnh giả thuyết khi suy luận. Năng lực này chưa được đo lường một cách có hệ thống.

II. Main Idea:​

ActiveVision là benchmark làm cho quan sát chủ động trở thành có thể đo được. Bộ kiểm tra gồm 17 tác vụ chia thành ba nhóm:

  • Distributed Scanning — quét toàn bộ, tích lũy nhiều tín hiệu cục bộ (đếm vùng, thành phần liên thông, mặt phẳng, vòng rối, hình dạng đơn nhất).
  • Sequential Traversal — theo từng bước một cấu trúc liên kết (chuỗi mũi tên, đường cong qua vùng màu, giao điểm, mê cung, thứ tự điểm dọc đường).
  • Visual Attribute Transfer — so sánh chi tiết qua các vùng ảnh (chấm sao, đường viền, nét vẽ, điểm khác biệt giữa hai ô).

Mỗi tác vụ được tạo từ khung hình học thủ tục (tọa độ, hình dạng, đường đi ngẫu nhiên) rồi GPT-image-2 tái hiển thị thành ảnh photorealistic, giữ nguyên cấu trúc. Các tác vụ được thiết kế để thông tin hình ảnh vượt quá khả năng nén bằng một mô tả ngôn ngữ duy nhất, buộc mô hình phải lặp lại việc nhìn.

Ví dụ đời thường: giống như khi đếm số mảnh đồng cỏ tách biệt trong ảnh vệ tinh, người ta không nhìn một cái là ra ngay mà phải dời mắt đi từng mảnh, ghi nhớ tạm, rồi quay lại kiểm tra chứ không thể chỉ nhớ một câu tóm tắt.

III. Main Results:​

  • Các mô hình biên giới đều thất bại: GPT-5.5 xhigh đạt tốt nhất chỉ 10.6% (9/85), Claude Fable 5 3.5%, Gemini 3.1 Pro 5.9%, Gemini 3.5 Flash 8.2%, Claude Opus 4.8 2.4%, Claude Opus 4.7 4.7%.
  • Con người vượt trội: ba người tham gia đạt trung bình 96.1%, gấp khoảng 9 lần mô hình tốt nhất.
  • Tăng reasoning effort không giúp nhiều: GPT-5.5 từ tier none (2.4%) lên xhigh (10.6%) tốn gần gấp 100 lần chi phí mỗi câu nhưng cải thiện rất ít; Fable 5 chi 31× vẫn không tăng độ chính xác đáng kể.
  • GPT-5.5 bị zero trên 11/17 tác vụ; các mô hình có tập câu đúng rất khác nhau, cho thấy lỗ hổng mang tính năng lực chung, không phải một model cụ thể.
  • Phân tích lỗi:
    • Đếm: độ dốc dự đoán < 1, càng nhiều đối tượng càng bỏ sót.
    • Duyệt theo đường: sai ngay bước đầu, không có lần nào hoàn thành chính xác toàn bộ đường đi.
    • So sánh: xu hướng trả lời “không có khác biệt” để an toàn, bỏ lỡ các khác biệt thật.
  • Dùng công cụ (Codex, Claude Code agents) cải thiện nhưng không lấp đầy khoảng cách: Fable 5 agent đạt 50.6%, Codex 37.6%, Opus 4.8 agent 24.7%. Gains tập trung ở nhóm Visual Attribute Transfer, trong khi Sequential Traversal và Tangled Loop Counting vẫn kháng cự mọi agent.

IV. Conclusion & Future Works:​

Kết quả cho thấy active observation là một năng lực riêng biệt mà các MLLM hiện tại chưa có, dù tăng reasoning hay dùng công cụ. Nhóm tác giả kêu gọi thiết kế kiến trúc và mục tiêu huấn luyện đóng vòng lặp perception–reasoning, thay vì chỉ mã hóa ảnh một lần thành token tĩnh. Hướng tương lai: phát triển cơ chế chú ý/lặp lại trên ảnh, cải thiện khả năng kiểm chứng kết quả code thị giác, và mở rộng active observation cho video, robot, cũng như tác nhân tương tác với thế giới thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ActiveVision sang video và môi trường động, đánh giá khả năng duy trì sự chú ý và truy vết theo thời gian.
  2. Kết hợp mô hình chuyển động mắt (eye-movement) với MLLM để mô phỏng scanpath chủ động trong các tác vụ thị giác.
  3. Thiết kế mục tiêu huấn luyện cho perception-reasoning loop, ví dụ reinforcement learning với phần thưởng dựa trên việc quay lại đúng vùng ảnh.
  4. Nghiên cứu tác nhân thị giác tự kiểm chứng kết quả code thị giác, giảm thiểu lỗi mà công cụ tự viết không phát hiện được trên ảnh thực tế.

2. Patent:​

  1. Ứng dụng điện thoại kiểm tra chất lượng vải/linh kiện: chụp ảnh, hệ thống tự động đếm vùng lỗi, so sánh đường viền/nét với mẫu, phát hiện sai khác mà không cần mô tả toàn bộ ảnh bằng ngôn ngữ.
  2. Hệ thống hỗ trợ AR cho kỹ thuật viên sửa chữa: camera theo dõi dây cáp hoặc ống dẫn, chỉ dẫn người dùng dò từng đoạn theo đúng thứ tự kết nối, tránh nhầm đường trong môi trường phức tạp.
  3. Phần mềm phân tích ảnh y tế/chẩn đoán (ví dụ ECG, siêu âm, vệ tinh): so sánh từng đoạn tín hiệu hoặc ô ảnh giữa hai thời điểm, tự động đánh dấu vùng thay đổi nhỏ mà bác sĩ có thể bỏ sót khi nhìn một lượt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.16165
ArXiv Abstracthttps://arxiv.org/abs/2607.16165
PDF Downloadhttps://arxiv.org/pdf/2607.16165.pdf
Github Repositoryhttps://github.com/saccharomycetes/ActiveVision

5. Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models (11 votes)​

Tác giả: Nischay Dhankhar, Dos Baha, Abulhair Saparov

Xuất bản lúc: 2026-07-21

Tag: Hypernetworks, Knowledge Injection, LoRA, Scaling Laws, Large Language Models, Out-of-Distribution Generalization

I. Main Problem:​

Bổ sung tri thức thực thể (factual knowledge) vào LLM một cách đáng tin cậy và có khả năng mở rộng vẫn là thách thức mở. Các phương pháp hiện tại đều có hạn chế nghiêm trọng:

  • Full fine-tuning tốn kém tính toán và dễ quên kiến thức cũ (catastrophic forgetting).
  • LoRA/PEFT giảm chi phí nhưng vẫn quên và kém khái quát hóa OOD trên unseen entities/relations.
  • Hypernetwork thường chỉ dùng cho test-time adaptation, chưa có nghiên cứu hệ thống về khả năng scale trong train-time knowledge injection.

II. Main Idea:​

Tác giả đề xuất train-time knowledge injection bằng hypernetwork: một mạng hypernetwork thứ cấp nhận batch các fact dưới dạng văn bản, rồi sinh ra một bộ LoRA adapter cố định để chèn vào mô hình mục tiêu đã đóng băng. Mô hình mục tiêu không bao giờ được cập nhật; chỉ tham số hypernetwork được học. Việc tách biệt năng lực bơm tri thức (hypernetwork) khỏi năng lực tổng quát (target model) cho phép đo scaling laws một cách có kiểm soát lần đầu tiên. Các biến scale được nghiên cứu: chiều rộng (d_model), chiều sâu (số layer), kích thước target model, và số lượng fact đưa vào mỗi mẫu.

Ví dụ đời thường: giống như một thợ máy không sửa chữa động cơ chính mà chỉ làm bộ điều chỉnh phụ (adapter) riêng cho từng loại nhiên liệu/nhiệm vụ — cứ đổi nhiên liệu (fact) là thay bộ điều chỉnh, động cơ gốc giữ nguyên, vừa tiết kiệm vừa tránh hỏng động cơ.

III. Main Results:​

  • Scaling laws dự đoán được: loss, reasoning accuracy và OOD generalization đều tuân theo power law khi scale hypernetwork theo width, depth, target size và số fact.
  • Target model scaling hiệu quả nhất: exponent −0.226 trên ID validation, sâu hơn nhiều so với width (−0.096) và depth (−0.088); OOD non-rephrased đạt −0.184. Mô hình 0.5B nằm trên đường fit, gợi ý có ngưỡng tối thiểu để hypernetwork tạo adapter hữu ích.
  • Hypernetwork vượt LoRA/full fine-tuning trên OOD: LoRA tốt hơn một chút trên ID (−0.250 vs −0.226) nhưng OOD generalization thua rõ: OOD non-rephrased (−0.151 vs −0.184), rephrased (−0.083 vs −0.107), MCQ (−0.119 vs −0.171). Khoảng cách này càng lớn khi target model scale lên.
  • Depth và width gần tương đương: exponent tương tự nhau, cho thấy tăng chiều sâu hay chiều rộng đều cho lợi ích tương đương trong phạm vi nghiên cứu.
  • OOD rephrased khó scale nhất: exponent luôn gần 0 (−0.036 đến −0.107), cho thấy robustness với biến thể ngôn ngữ bề mặt không dễ cải thiện chỉ bằng việc scale một chiều.
  • MegaWikiQA: bộ dữ liệu mới từ Wikidata5M với hơn 10 triệu mẫu mỗi số hop, 39 domain, sinh câu hỏi đa bước (1-4 hop) bằng grammar, có các tập OOD rõ ràng.

IV. Conclusion & Future Works:​

Hypernetwork-based train-time knowledge injection là nền tảng có nguyên tắc và có khả năng scale để bổ sung tri thức vào LLM, với scaling laws thực nghiệm đầu tiên hướng dẫn thiết kế. Cách tiếp cận này giữ nguyên tham số base model, giảm forgetting và khái quát tốt hơn finetuning khi model lớn. Hướng tương lai: kết hợp với continuous learning/lifelong injection, mở rộng sang multimodal knowledge injection (VLM), và lý thuyết hóa tại sao hypernetwork vượt trội trên OOD generalization.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Lifelong knowledge injection với hypernetwork: thiết kế cơ chế cập nhật streaming facts mà không ghi đè lên adapter cũ, đo lường độ ổn định qua nhiều chu kỳ bơm tri thức.
  2. Mở rộng hypernetwork-based knowledge injection cho mô hình đa phương thức (Vision-Language Models): sinh LoRA adapter từ fact kết hợp văn bản và hình ảnh để trả lời câu hỏi về thế giới trực quan.
  3. Phân tích lý thuyết sâu hơn về OOD generalization của hypernetwork so với finetuning: tìm hiểu tại sao việc sinh adapter từ fact lại tạo ranh giới quyết định mượt mà hơn trên unseen entities/relations.

2. Patent:​

  1. Trợ lý pháp lý/tài chính trên điện thoại: ứng dụng di động chạy LLM cục bộ, dùng hypernetwork sinh LoRA adapter từ các văn bản quy định mới hoặc chính sách nội bộ mà không cần fine-tuning lại toàn bộ model, tránh quên kiến thức cũ và bảo vệ dữ liệu nhạy cảm.
  2. Hệ thống bơm tri thức y tế nội bộ cho bệnh viện: máy chủ cục bộ nhận hồ sơ bệnh nhân/dữ liệu chuyên môn, hypernetwork sinh adapter tùy theo từng ca/bệnh án; các adapter được áp dụng lên model cơ sở đã đóng băng, đảm bảo tuân thủ quyền riêng tư và không làm hỏng khả năng chung của model.
  3. Module cá nhân hóa tri thức doanh nghiệp theo phòng ban: nền tảng cho phép mỗi phòng ban (nhân sự, kỹ thuật, pháp chế) cung cấp tài liệu riêng; hypernetwork tạo adapter chuyên biệt theo yêu cầu, người dùng chỉ cần chọn adapter đúng phòng ban để query mà không cần mô hình riêng cho mỗi bộ dữ liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.19604
ArXiv Abstracthttps://arxiv.org/abs/2607.19604
PDF Downloadhttps://arxiv.org/pdf/2607.19604.pdf
Github Repositoryhttps://github.com/hdnndh/Latent-Geometry-Beyond-Search-Amortizing-Planning-in-World-Models

6. Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment (10 votes)​

Tác giả: Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, et al.

Xuất bản lúc: 2026-07-15

Tag: Vision-Language-Action, Robot Manipulation, Catastrophic Forgetting, Language-Action Alignment, Out-of-Distribution Generalization

I. Main Problem:​

Fine-tuning Vision-Language-Action (VLA) bằng behavior cloning (BC) trên dữ liệu robot làm mất dần các biểu diễn đã học từ VLM tiền huấn luyện, dẫn đến catastrophic forgetting khái niệm thị giác - ngôn ngữ và không gian. Hơn nữa, cách phổ biến là co-training với dữ liệu image-text chung đặt các mất mát ngôn ngữ và hành động lên các quan sát khác nhau, tạo ra language-action misalignment. Hậu quả:

  • robot nhớ lại đường đi huấn luyện thay vì quan sát scene hiện tại (position-swap test baseline chỉ 0%)
  • lệnh "pick up the pink mug" bị bỏ qua, robot vẫn chọn green mug vì khái niệm màu đã bị xóa
  • mất khả năng tổng quát OOD về không gian, ngữ nghĩa và nhận thức

II. Main Idea:​

Phương pháp Anchor-Align bổ sung hai mục tiêu lên BC chuẩn:

  • Vision-Language Anchoring: giữ một bản sao VLM đông cứng làm "giáo viên" và áp dụng distillation layer-wise vào backbone đang huấn luyện, ngăn trôi dạt biểu diễn tiền huấn luyện mà không cần thêm dữ liệu hay thay đổi kiến trúc.
  • Language-Action Alignment: tự động chuyển mỗi action chunk liên tục thành nhãn hướng di chuyển rời rạc trong ngôn ngữ (up, down, left, right, forward, backward), rồi cùng lúc dự đoán nhãn này và action liên tục trên cùng một quan sát robot, buộc ngôn ngữ và hành động phải nhất quán.

Ví dụ đời thường: giống như người học lái xe vừa giữ cuốn sổ tay luật giao thông bên cạnh để tra (anchor), vừa đọc to hành động đang làm ("rẽ phải", "dừng lại") ngay khi thực hiện, thay vì chỉ tập tay lái theo phản xạ rồi quên luật.

III. Main Results:​

  • Robot xArm7 thật: success rate tăng từ 28% lên 54% (VLA-Adapter) và từ 37% lên 60% (StarVLA) trên các tình huống OOD.
  • LIBERO-PRO position-swap (khó nhất): các baseline đạt 0% - 2.3%, còn Anchor-Align đạt 22.6%.
  • LIBERO-Plus (robustness nhận thức): vượt VLA-Adapter trên mọi trục, đạt 99.6% với background texture và 99.0% với lighting changes.
  • CALVIN ABC→D long-horizon: hoàn thành 5/5 instruction tăng từ 66.5% (OpenVLA-OFT) lên 77.9%, chiều dài rollout trung bình 4.5 so với 4.3 của VLA-Adapter.
  • GQA visual reasoning: standard BC mất 94% accuracy sau 10K step; Anchor-Align giữ được 70%.
  • Ablations: anchoring-only và alignment-only đều cải thiện, nhưng kết hợp mới đạt cao nhất; các control (shuffle/scatter label) gần như sụp đổ về baseline, chứng tỏ lợi ích thực sự đến từ alignment chứ không phải regularizer phụ.

IV. Conclusion & Future Works:​

Anchor-Align cho thấy việc bảo toàn biểu diễn VLM và học hành động hiệu quả không mâu thuẫn. Bằng cách neo đại diện ngôn ngữ - thị giác vào bản đông cứng đồng thời căn chỉnh dự đoán ngôn ngữ với hành động trên cùng quan sát, phương pháp cải thiện đáng kể khả năng tổng quát OOD trên cả mô phỏng và robot thật, xuyên suốt regression và flow-matching action heads. Hướng tương lai: mở rộng label ngôn ngữ cho hành động phức tạp hơn (xoay, cách nắm), áp dụng lên các nhiệm vụ đa bước dài hơn, và thử nghiệm trên nhiều loại robot/embodiment hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng language-action alignment cho các hành động liên tục đa chiều hơn (rotation, gripper style) bằng cách sinh các cụm từ ngôn ngữ có cấu trúc hoặc token hành động có thể diễn giải được.
  2. Kết hợp representation anchoring với adapter có trọng số khác nhau cho từng layer VLM, tối ưu giữa bảo toàn semantic ở layer sâu và linh hoạt ở layer gần action head.
  3. Áp dụng Anchor-Align cho các mô hình điều khiển robot di động/drone, nơi hướng di chuyển trong không gian 3D và mô tả ngôn ngữ càng cần được căn chỉnh chặt chẽ.

2. Patent:​

  1. Hệ thống đào tạo VLA cho robot gia đình điều khiển qua smartphone: người dùng nói "lấy cốc xanh", robot chụp ảnh qua camera điện thoại, giữ nguyên kiến thức VLM bằng anchor VLM đông cứng và tự căn chỉnh hành động với nhãn hướng để đúng màu dù ánh sáng/camera thay đổi.
  2. Module huấn luyện nhanh cho cánh tay robot công nghiệp trên dây chuyền: khi thay đổi linh kiện hoặc vị trí bàn, robot tự fine-tune vài phút với Anchor-Align, tránh quên khái niệm hình dạng/spatial đã học từ VLM tiền huấn luyện.
  3. Phần mềm trên điện thoại cho robot hỗ trợ người khuyết tật: nhận lệnh giọng nói, chụp scene bằng camera điện thoại, gửi lên đám mây để VLA dự đoán hành động; Anchor-Align đảm bảo robot vẫn nghe đúng từ mới (ví dụ "ly hồng") thay vì lặp lại thói quen huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13429
ArXiv Abstracthttps://arxiv.org/abs/2607.13429
PDF Downloadhttps://arxiv.org/pdf/2607.13429.pdf
Github Repositoryhttps://github.com/dwipddalal/Anchor-Align