Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-03

Báo cáo được tạo tự động vào lúc 2026-07-04 14:19:17 bằng mô hình meta/llama-3.3-70b-instruct.

📰 Summary of Papers​

1. Program-as-Weights: A Programming Paradigm for Fuzzy Functions (58 votes)​

Tác giả: Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, et al.

Xuất bản lúc: 2026-07-02

Tag: PEFT, LoRA, Hypernetwork, Small Language Models, Neural Compilation, Fuzzy Functions

I. Main Problem:​

Nhiều tác vụ lập trình thực tế không thể diễn đạt bằng luật символic rõ ràng (lọc log, sửa JSON, xếp hạng tìm kiếm), nên thường bị đẩy cho LLM API gây tốn kém, mất tính cục bộ, không tái lập được. Chưa có phương thức hiệu quả để biên dịch mô tả ngôn ngữ tự nhiên thành artifact neural nhỏ gọn, chạy cục bộ.

II. Main Idea:​

PAW đề xuất paradigm biên dịch hàm fuzzy: mô tả ngôn ngữ tự nhiên → neural compiler (Qwen3-4B) tạo LoRA adapter → interpreter nhỏ (Qwen3-0.6B) đông lạnh thực thi adapter đó offline. Compiler gồm hai giai đoạn: pseudo compiler sinh lại mô tả sạch + ví dụ, LoRA compiler sinh adapter từ hidden states qua LoRA mapper dùng shared bases. Chương trình PAW là file 23 MB, có thể lưu version, gọi như hàm Python/JS mà không cần API.

III. Main Results:​

  • PAW 0.6B đạt 73.78% exact match trên FuzzyBench, vượt Qwen3-32B (68.70%) với ~50× ít bộ nhớ.
  • Vượt full fine-tuning 15.4 điểm và fixed LoRA 21.7 điểm trên cùng base 0.6B.
  • Quantization Q4_K_M + Q4_0 LoRA chỉ mất 1.3 điểm, chạy 30 tokens/s trên MacBook M3.
  • Robust với noise спецификации: chỉ sụt 3.7% dưới combined heavy noise nhờ pseudo-program khử noise.
  • Mở rộng multimodal: chỉ đổi compiler sang VLM, giữ nguyên interpreter, PAW LoRA vượt VLM 4B trên 3 task diagram CoSyn.

IV. Conclusion & Future Works:​

PAW cho thấy tương lai small-model khả thi: heavy lifting chỉ tại compile time, chạy hằng ngày cục bộ, rẻ và offline. Hướng tương lai bao gồm PEFT mới tốt hơn LoRA, interpreter nhỏ hơn, và mở rộng cho nhiều modaliti.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích hiệu năng của LoRA mapper với shared bases so với per-position/per-layer aggregation, cho thấy thiết kế đơn giản mean-pool + MLP vượt các biến thể phức tạp hơn.
  2. Đánh giá khả năng kháng noise của paradigm compiler-interpreter: pseudo-program đóng vai trò lọc noisepec trước khi cấp cho interpreter nhỏ.
  3. Khảo sát cross-interpreter scaling: compiler-generated LoRA hoạt động ngay cả trên GPT-2 124M (54%), gợi ý khả năng triển khai trên thiết bị cực nhỏ.

2. Patent:​

  1. Hệ thống lọc log cục bộ trên điện thoại: người dùng mô tả bằng lời loại log quan trọng, điện thoại biên dịch thành LoRA adapter nhẹ (~23 MB), chạy offline để cảnh báo khi có log khớp mà không cần đám mây.
  2. Tính năng fuzzy search ranking cho ứng dụng di động: người dùng nhập ý định tìm kiếm bằng ngôn ngữ tự nhiên, hệ thống biên dịch thành chương trình neural nhẹ để xếp lại kết quả tìm kiếm cục bộ theo ý định, không gọi API mỗi lần search.
  3. Ứng dụng sửa lỗi JSON/dữ liệu định dạng hỏng trên thiết bị edge: từ mô tả ngôn ngữ tự nhiên về lỗi, compiler tạo adapter cho interpreter nhỏ chạy trên điện thoại/edge device, tự động sửa các bản ghi JSON bị lỗi format offline.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02512
ArXiv Abstracthttps://arxiv.org/abs/2607.02512
PDF Downloadhttps://arxiv.org/pdf/2607.02512.pdf
Github Repositoryhttps://github.com/programasweights/programasweights-python

2. AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents (41 votes)​

Tác giả: Xiangchen Cheng, Yunwei Jiang, Jianwen Sun, Zizhen Li, Chuanhao Li, et al.

Xuất bản lúc: 2026-07-02

Tag: LLM Agents, Long-Horizon Planning, Memory Management, Game AI, Ablation Study

I. Main Problem:​

Trong các tác nhân LLM dài hạn, bộ nhớ thường được tích lũy bằng cách nối toàn bộ lịch sử quan sát và lệnh gọi công cụ vào prompt, gây tràn cửa sổ ngữ cảnh và làm mờ tác động của từng thành tố. Thiếu một testbed có giới hạn bộ nhớ để đánh giá riêng biệt các lớp bộ nhớ và kỹ năng chiến lược.

II. Main Idea:​

AgenticSTS giới thiệu hợp đồng bộ nhớ có giới hạn: mỗi quyết định chỉ thấy một prompt mới được lắp từ năm lớp kiến thức typed retrieval (L1–L5) thay vì raw transcript. Testbed được thực thi trên Slay the Spire 2, yêu cầu hàng trăm quyết định chiến lược dưới ngẫu nhiên. Nhờ prompt không tăng trưởng theo chiều dài, mỗi lớp có thể bật/tắt độc lập để khấu trừ.

III. Main Results:​

  • Hợ đồng typed retrieval giữ prompt kích thước ổn định bất kể độ dài run, khác với O(d·s) của transcript appending.
  • Tại A0, baseline không scaffolding thắng 3/10; bật L5 skills nâng lên 6/10 (Fisher p≈0.37, directional).
  • L4 episodic memory tại A0 không tăng thêm win-rate so với chỉ dùng L5.
  • Auto-mode ladder: kích hoạt post-run memory cho phép agent leo tới A6–A8, so với chỉ A2–A4 khi tắt.
  • Cross-backbone (Gemini→Qwen, DeepSeek): hiệu suất đầy đủ nhạy với backbone—Qwen tăng score 84.5%, DeepSeek giảm 18.1% nhưng đều 0/5 win.

IV. Conclusion & Future Works:​

Testbd cung cấp 298 trajectory có tag và snapshot để cộng đồng tái phân tích hợp đồng bộ nhớ. So sánh trực tiếp giữa bounded contract và accumulating-context trên cùng codebase là hướng tương lai. Tăng cỡ mẫu để đạt significance và mở rộng cross-backbone.

V. Brainstorming Space:​

1. Publish Papers:​

  1. So sánh có kiểm soát giữa bounded-memory contract và accumulating-context trên cùng testbed Slay the Spire 2, giữ cố định các yếu tố khác để cô lập hiệu ứng.
  2. Nghiên cứu tác động của từng lớp typed memory (L1–L5) trong môi trường long-horizon phi game, ví dụ lập trình đa phiên hoặc quản lý task phức tạp.
  3. Phát triển chiến lược skill discovery tự tiến hóa: bài viết kỹ năng theo lỗi sai từ nhiều backbone khác nhau để kiểm tra khả năng chuyển giao chung.

2. Patent:​

  1. Trợ lý chơi game trên điện thoại với bộ nhớ typed retrieval: mỗi quyết định chỉ nạp rules, state structure và kỹ năng liên quan, giữ prompt ngắn để chạy mượt trên thiết bị di động.
  2. Hệ thống quản lý lịch sử hội thoại trên điện thoại và smartwatch: thay vì lưu toàn bộ chat, dùng typed memory layers để truy xuất chỉ thông tin cần thiết theo loại câu hỏi.
  3. Module ghi nhớ kỹ năng cá nhân hóa cho ứng dụng productivity di động: sau mỗi phiên làm việc, tự trích xuất kinh nghiệm và kỹ năng rồi kích hoạt lại khi gặp tình huống tương tự.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02255
ArXiv Abstracthttps://arxiv.org/abs/2607.02255
PDF Downloadhttps://arxiv.org/pdf/2607.02255.pdf
Github Repositoryhttps://github.com/AlayaLab/AgenticSTS

3. EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments (40 votes)​

Tác giả: Zhilin Wang, Han Song, Runzhe Zhan, Jusen Du, Jiacheng Chen, et al.

Xuất bản lúc: 2026-07-02

Tag: Autonomous Agents, Reinforcement Learning, Benchmark, Code Editing, Self-Improvement

I. Main Problem:​

Các hệ thống tác nhân tự chủ hiện đại được kỳ vọng cải thiện chính sách thực thi qua phản hồi, nhưng việc đánh giá thường chỉ dựa vào điểm số cuối cùng hoặc bị nhiễu bởi các bài toán phần mềm mở. Thiếu một môi trường kiểm soát để cô lập khả năng chuyển đổi phản hồi môi trường giới hạn thành các cải tiến chính sách mang tính khái quát và bền vững.

II. Main Idea:​

Giới thiệu "Autonomous Policy Evolution", một thiết lập đánh giá có kiểm soát nơi tác nhân harness-model liên tục chỉnh sửa hệ thống chính sách thực thi (như policy.py) với ngân sách tương tác cố định. EvoPolicyGym hiện thực hóa thiết lập này qua các môi trường RL nhỏ gọn, cung cấp phản hồi sandboxed cho huấn luyện nhưng giấu kết quả kiểm định và đánh giá cuối cùng. Khung đánh giá tcbw từ điểm số cuối cùng đến phân tích trajectory-level, chẩn đoán cách tác nhân phân bổ ngân sách, khai thác phản hồi, cân bằng khám phá-khai thác vào tối ưu tham số.

III. Main Results:​

  • GPT-5.5 đạt điểm rank tổng hợp cao nhất 0.891 và lọt top-2 trên cả 16 môi trường Core16.
  • Claude Opus 4.7 xếp hạng hai tổng thể nhưng dẫn đầu họ MiniGrid với 0.938.
  • Khoảng cách hiệu suất lớn nhất nằm ở nhóm tác vụ synthesis-dominant (pixel/planning): 0.98-1.00 so với 0.19-0.03 của các model yếu.
  • Các model较弱 cạnh tranh được ở nhóm tuning-dominant (điều khiển tham số), với điểm gần nhau (0.67-0.99).
  • Phân tích cấu trúc mã cho thấy tác nhân mạnh ưu xây dựng cơ chế phức hợp cho tác vụ synthesis, và tinh chỉnh thông số cho nhóm tuning.

IV. Conclusion & Future Works:​

EvoPolicyGym đóng vai trò kép như một leaderboard và chẩn đoán trajectory-level cho khả năng tự tiến hóa chính sách của tác nhân dưới ngân sách giới hạn. Hệ thống phân tích cấu trúc đánh giá tách biệt định tính giữa xây dựng cơ chế và tối ưu tham số. Tương lai có thể mở rộng bộ môi trường từ adapter reservoir và tối ưu hóa chiến lược phân bổ ngân sách thăm dmm.-khai thác của các tác nhân.

V. Brainstorming Space:​

1. Publish Papers:​

  1. So sánh đặc tính của các model-and-harness coding agents khác nhau trên các bài toán RL tối ưu hóa chính sách, phân tích tief свое baninate điều kiện ngân sách và chiến lược sửa mã.
  2. Đánh giá bài toán transfer trong Autonomous Policy Evolution: tác nhân huấn luyện trên một nhóm môi trường có tăng tốc độ hội tụ trên nhóm môi trường mới với cùng interface không?
  3. Đề xuất phương pháp tự động hóa thiết như phân bổ ngân sách khám phá-khai thmc thích ứng dựa trên historical trajectory feedback cho coding agents tương tác môi trường.

2. Patent:​

  1. Hệ thống tự tối ưu chính sách điều khiển trên điện thoại: điện thoại chạy thử chính sách, thu thập dữ liệu cảm biến, gửi lên đám mây để LLM chỉnh sửa código và tinh chỉnh thông số cho từng ngữ cảnh người dùng (ví dụ dọn dẹp nhà).
  2. Ứng dụng đánh giá tự động cho bài tập lập trình hoặc điều khiển robot sinh viên: hệ thống chạy code của sinh viên trong sandbox, cung cấp feedback rollouts, và cho phép LLM tự động sửa code để cải thiện điểm qua số lần submit giới hạn.
  3. Tính năng auto-calibration cánh tay robot công nghiệp: robot chạy thử ngắn, thu feedback từ cảm biến, LLM trên server phân tích và xuất patch cập nhật hệ điều khiển để tự điều chỉnh tham số theo môi trường cụ thể ngay tại first run.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02440
ArXiv Abstracthttps://arxiv.org/abs/2607.02440
PDF Downloadhttps://arxiv.org/pdf/2607.02440.pdf
Github RepositoryN/A

4. Morphing into Hybrid Attention Models (32 votes)​

Tác giả: Disen Lan, Jianbin Zheng, Yuxi Ren, Xin Xia, Xuanda Wang, et al.

Xuất bản lúc: 2026-06-29

Tag: Hybrid Attention, Layer Selection, Linear Attention, Transformer, Long-Context, LLMs, Model Conversion

I. Main Problem:​

Việc chuyển đổi mô hình Transformer thuần sang kiến trúc hybrid attention (kết hợp full attention và linear attention) gặp khó khăn trong việc chọn layer giữ full attention vì bài toán tổ hợp C(K,L) không thể giải chính xác. Các phương pháp hiện hữu chọn layer dựa trên heuristic cố định hoặc đánh giá từng layer độc lập, bỏ qua sự phụ thuộc và tương tác giữa các layer trong cấu hình hybrid toàn cục, đồng thời tốn nhiều tài nguyên đánh giá.

II. Main Idea:​

FlashMorph formulate việc chọn layer thành bài toán tối ưu subset có ràng buộc ngân sách, giải quyết bằng tối ưu liên tục thay vì đánh giá rời rạc. Phương pháp xây dựng morphable model: mỗi layer full attention được gắn thêm một nhánh linear attention đã được huấn luyện bởi hidden-state alignment. Trong giai đoạn chọn layer, toàn bộ trọng số backbone và nhánh linear bị đóng băng, chỉ tối ưu các gate vô hướng α trên dữ liệu retrieval tổng hợp với regularization thúc đẩy dùng linear attention. Gate được rời rạc hóa theo ngân sách K để giữ top-K layer full attention, sau đó thực hiện logits distillation và long-context finetuning.

III. Main Results:​

  • FlashMorph chỉ cần 20M token cho layer selection, ít hơn hàng nghìn lần so với HALO (234M), KL-LS (20B), PostNAS (50B).
  • Trên NIAH 1.7B, đạt accuracy 100% trên NIAH-Single-1 mọi context length, vượt trội HALO và KL-LS ở NIAH-Single-2/3.
  • Giữ vững hiệu suất commonsense reasoning tương đương các baseline tốt nhất trên cả ba backbone (Lightning, GLA, GDN).
  • Recall-intensive tasks (SQuAD, FDA, SWDE): đạt trung bình tốt nhất hoặc ngang tốt nhất trên 0.6B và 1.7B.
  • Prefill đạt speedup 2.24× ở 128K và 2.81× ở 256K token; decode 1.56× ở 256K, 2.07× ở 512K với ít GPU memory hơn.

IV. Conclusion & Future Works:​

FlashMorph giải quyết bài toán chọn layer hybrid attention bằng tối ưu toàn cục có ý thức về tương tác liên lớp, với chi phí lựa chọn thấp hơn nhiều bậc so với các phương pháp trước. Kết quả cho thấy cấu hình hybrid được phát hiện tự động bảo toàn khả năng retrieval dài và hiệu suất benchmark tổng quát. Hướng tương lai có thể mở rộng phương pháp cho các kiến trúc SSM hoặc mô hình quy mô lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tối ưu layerwise gate có thêm cơ chế group-level regularization để khuyến khích tính đa dạng chức năng giữa các layer được giữ full attention.
  2. Mở rộng phương pháp FlashMorph sang kết hợp state-space models (SSM) thay vì chỉ linear attention, đánh giá tính khả thi của gate optimization liên lớp giữa Transformer và SSM.
  3. Phân tích khả năng chuyển giao cấu trúc gate học được từ mô hình nhỏ sang mô hình lớn cùng họ, giảm chi phí chọn layer khi scale lên quy mô hàng chục tỷ tham số.

2. Patent:​

  1. Hệ thống nén tốc độ suy luận cho mô hình ngôn ngữ trên điện thoại: tự động xác định layer nào giữ attention đầy đủ để bảo toàn khả năng trả lời dài, chuyển phần còn lại sang linear attention để tiết kiệm RAM và pin.
  2. Cơ chế tùy biến model theo ngữ cảnh người dùng trên thiết bị di động: dùng gate tối ưu cho từng tình huống (chat ngắn vs tổng hợp văn bản dài) để chuyển động linh hoạt giữa chế độ chính xác và tiết kiệm năng lượng.
  3. Phương pháp chuyển đổi nhanh từ Transport mô hình full attention sang light hybrid cho trợ lý ảo nhúng thiết bị edge, dùng dữ liệu retrieval gọn nhẹ và tối ưu gate để chọn lớp attention tối ưu bộ nhớ cục bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.30562
ArXiv Abstracthttps://arxiv.org/abs/2606.30562
PDF Downloadhttps://arxiv.org/pdf/2606.30562.pdf
Github Repositoryhttps://github.com/LanDisen/FlashMorph

5. Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling (22 votes)​

Tác giả: Xingyu Zheng, Xianglong Liu, Yifu Ding, Weilun Feng, Junqing Lin, et al.

Xuất bản lúc: 2026-07-02

Tag: Diffusion, Flow Matching, Super-Resolution, Training-Free, Image Generation

I. Main Problem:​

Các mô hình diffusion dựa trên flow matching hiện đại yêu cầu chi phí tính toán rất lớn khi sinh ảnh độ phân giải cao. Các chiến lược tăng tốc không cần huấn luyện hiện tại như feature caching hay token pruning chỉ đạt tốc độ giới hạn dưới 4×, trong khi các phương pháp đa độ phân giải tồn tại thường tạo ra nhiễu và mờ do thực hiện upsampling trong không gian latent.

II. Main Idea:​

MrFlow là một pipeline sinh ảnh đa độ phân giải không cần huấn luyện, gồm bốn giai đoạn: sinh cấu trúc toàn cục ở độ phân giải thấp, siêu phân giải bằng GAN pretrained trong không gian pixel, tiêm nhiễu cường độ thấp vào latent để cho phép resampling tần số cao, và tinh chỉnh chi tiết bằng một bước ở độ phân giải cao. Cách này tận dụng việc giảm token bậc hai ở phân giải thấp và quỹ đạo thẳng hơn gần điểm sach để đạt tốc độ cao mà vẫn giữ chất lượng.

III. Main Results:​

  • MrFlow đạt tăng tốc end-to-end 10.3× trên Qwen-Image với OneIG-Bench giảm dưới 1% so với gốc.
  • Vượt các phương pháp training-free khác (TeaCache, RALU, SPEED) ở cả chất lượng lẫn tốc độ khi cùng mức tăng tốc.
  • Chỉ cần 12 bước phân giải thấp + 1 bước phân giải cao là đủ cho chất lượng gần gốc.
  • Kết hợp trực tiếp với timestep distillation (Pi-Flow) đạt tăng tốc tới 25× mà không cần huấn luyện thêm.
  • GAN-based Real-ESRGAN cho kết quả cân bằng tốt nhất giữa độ nét, chính xác ngữ nghĩa và hiệu suất.

IV. Conclusion & Future Works:​

MrFlow chứng minh rằng chiến lược đa độ phân giải kết hợp siêu phân giải pixel và resampling nhiễu nhẹ có thể tăng tốc flow matching hơn 10× mà không cần huấn luyện hay thống kê runtime. Phương pháp cũng kết hợp trực giác với timestep distillation để đạt 25×. Hướng tương lai có thể mở rộng cho sinh video hoặc phân giải cao hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết về điều kiện SNR tần số cao tối thiểu cho noise injection trong pipeline đa độ phân giải, dẫn ra giới hạn dưới σ nào là đủ để resampling hiệu quả.
  2. So sánh hệ thống các phương pháp siêu phân giải (regression, GAN, diffusion) trong bối cảnh làm input cho latent resampling của mô hình flow matching, làm rõ vì sao GAN phù hợp nhất.
  3. Nghiên cứu mở rộng pipeline đa độ phân giác sang sinh video với siêu phân giải theo không gian-thời gian và noise injection 3D.

2. Patent:​

  1. Hệ thống sinh ảnh trên điện thoại di động: mô hình diffusion lớn chạy trên đám mây ở phân giải thấp, điện thoại tự làm siêu phân giải GAN cục bộ rồi gửi lại để tinh chỉnh một bước, giảm thời gian chờ và băng thông mạng.
  2. Ứng dụng tạo ảnh chất lượng cao trên thiết bị nhúng: pipeline hai giai đoạn dùng mô hình flow matching nhẹ cho cấu trúc toàn cục kết hợp chip siêu phân giải GAN chuyên dụng, sinh ảnh 4K trong vài giây mà không cần GPU lớn.
  3. Dịch vụ web sinh ảnh theo yêu cầu: сервер xử lý hàng loạt yêu cầu bằng pipeline MrFlow để tối ưu throughput, với cơ chế tự động chọn số bước phân giải thấp dựa trên độ phức tạp prompt để cân bằng tốc và chất lượng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.01642
ArXiv Abstracthttps://arxiv.org/abs/2607.01642
PDF Downloadhttps://arxiv.org/pdf/2607.01642.pdf
Github Repositoryhttps://github.com/Xingyu-Zheng/MrFlow

6. WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory (18 votes)​

Tác giả: Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Qingyan Bai, et al.

Xuất bản lúc: 2026-07-02

Tag: World Simulator, Video Generation, Object Permanence, LLM Orchestration, Diffusion Model

I. Main Problem:​

Các world model video hiện tạiOften kết nối động lực vật lý với đồng bộ điểm ảnh, phụ thuộc vào quan sát trực quan liên tục để duy trì chuyển động. Khi đối tượng động rời khỏi khung hình, chúng không ghi nhớ trạng thái và nhận dạng, khiến đối tượng bị đóng băng, biến mất, hoặc sai lệch nhận dạng khi quay trở lại.

II. Main Idea:​

WorldDirector tách rời lập kế hoạch chuyển động ngữ nghĩa khỏi quá trình đồng bộ video. Khung sử dụng LLM làm bộ điều phối trung tâm, dịch lệnh người dùng thành quỹ đạo 3D và camera, sau đó chiếu lên chuỗi 2D bounding box làm tín hiệu điều khiển vị trí. Cơ chế Appearance Binding kết hợp đặc trưng RGB làm neo nhận dạng, Temporal Drop tránh tạo artifact, và spatial-aware cross-attention định tuyến prompt văn bản đến vùng tương ứng. Tất cả tích hợp trong kiến trúc tự hồi quy nhân quả để tạo video dài với bộ nhớ động liên tục.

III. Main Results:​

  • Vượt state-of-the-art trên PSNR 18.127, SSIM 0.502, LPIPS 0.359.

IV. Conclusion & Future Works:​

WorldDirector định hướng cho các world model video tương lai bằng cách tách biệt điều phối ngữ nghĩa khỏi đồng bộ tiềm ẩn, cho phép LLM lập kế hoạch sự kiện thế giới mở. Hạn chế hiện tại là data game tổng hợp gây gap domain, giảm chloride thị giác; tương lai sẽ tích hợp dataset thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng LLM orchestrator lên quan hệ nhân quả và tương tác
  2. Khám phá pipeline tổng hợp dữ liệu thực thay thế game data để giảm domain gap và tăng chất lượng hình ảnh.
  3. Mở rộng cơ chế Appearance Binding sang điều khiển đa giác quan như âm thanh và ngôn ngữ.

2. Patent:​

  1. Hệ thống tạo video trên điện thoại: người dùng stip chuyển động của nhiều nhân vật bằng lệnh ngôn ngữ, LLM lập kế hoạch quỹ đạo 3D, camera chuyển động tự do, nhân vật giữ nhận dạng chính xác ngay sau khi thoát khỏi khung hình lâu.
  2. Tạo video điều khiển canvas trên điện thoại: camera chuyển động mở camera đường phố ảo, đối tượng ẩn vẫn cập nhật trạng thái theo vật lý khi rời khung nhìn.
  3. Phát ứng dụng trên thiết bị di động để tạo video điều khiển theo nhân vật, giữ bộ nhớ động trên thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02517
ArXiv Abstracthttps://arxiv.org/abs/2607.02517
PDF Downloadhttps://arxiv.org/pdf/2607.02517.pdf
Github RepositoryN/A

7. Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning (15 votes)​

Tác giả: Junha Jung, Minbyul Jeong, Suhyeon Lim, Sungwook Jung, Jaehoon Yun, et al.

Xuất bản lúc: 2026-06-30

Tag: Medical VQA, Reinforcement Learning, MLLM, GRPO, Reasoning

I. Main Problem:​

Các pipeline hậu huấn luyện cho Medical MLLM hiện nay chủ yếu tập trung vào độ đúng/đáp án cuối cùng, dẫn đến sparse credit assignment. Điều này làm mô hình không phát hiện được bước suy luận đầu tiên nào gây sai lệch—bước sai sớm sẽ lan truyền thành failure cascade và làm hỏng toàn bộ quá trình suy luận—khiến hiệu suất trên Medical VQA sâu kém.

II. Main Idea:​

MRRO là một thuật toán RL dựa trên GRPO có tích hợp reasoning process reward tại từng bước, dùng mô hình judge ngoài để đánh giá hợp lệ/không hợp lệ từng câu suy luận. Khi đáp án cuối cùng sai, MRPO điều chỉnh advantage sao cho áp dụng exponentially larger penalties lên các token ở các bước sai sớm nhất, nhằm triệt tiêu gốc rễ của failure cascade mà không phá vỡ các quỹ đạo thành công. Cơ chế này giúp mô hình sinh token đúng tại điểm thất bại đầu tiên và duy trì suy luận hợp lệ ở các bước sau.

III. Main Results:​

  • MRPO vượt GRPO và GDPO trên cả 3 backbone, sử dụng chỉ 13K mẫu huấn luyện.
  • Trên Qwen3-VL-8B-Instruct, MRPO vượt HuatuoGPT-Vision-34B lớn hơn rất nhiều 2.79 điểm trung bình.
  • Giảm tỷ lệ early-stage reasoning failures từ 64.0% (baseline) xuống 13.0%.
  • Failure Accumulation Rate thấp hơn rõ rệt GRPO/GDPO tại các điểm thất bại sớm (FFP 0.0–0.2).
  • MRPO đạt hiệu suất tốt nhất hoặc gần nhất trên 5/8 benchmark out-of-distribution, cho thấy khả năng tổng quát hóa cao.

IV. Conclusion & Future Works:​

Việc nhắm xử lý các bước suy luận sai sớm bằng step-aware advantage shapingrown đã cải thiện cả độ chính xác lẫn chất lượng suy luận trên Medical VQA. Hạn chế là vẫn phụ thuộc judge ngoài (GPT-5-mini) và annotation gold reasoning từ MedThink. Hướng tương lai: huấn luyện process reward model chuyên ngành y và mở rộng cho các lĩnh vực cần multi-step reasoning như khoa học pháp lý.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Đánh giá tác động của công cụ đánh giá process reward đến hiệu năng MRPO: so sánh nhiều LLM judge khác nhau (GPT-5-mini, MedGemma, open-source) và đề xuất phương pháp tự động chọn judge tối ưu.
  2. Đa dạng hóa MRPO sang các tác vụ reasoning ngoài y khoa—VQA khoa học/ pháp lý—để kiểm chứng lấy tính lan truyền của failure cascade và bước及早悔改 advantage shaping.
  3. Đề xuất annotations-free MRPO: dùng self-consistency hoặc weak supervision câu bước thay vì gold rationales từ MedThink, mở rộng phương pháp sang các bộ dữ liệu thiếu chú thích bước.
  4. patent_ideas

2. Patent:​

  1. Ứng dụng trên điện thoại/resident giúp chụp ảnh tổn thương da: hệ thống điều khiển mô hình bước bước phân tích ảnh vùng da, dán nhãn bước sai sớm và yêu cầu người dùng chụp lại góc khác/góc bổ sung trước khi chẩn bệnh.
  2. Tích hợp vàoứng dụng trợ lý y khoa di động cho chụp ảnh MRI/CT/SINH: khi người dùng chụp ảnh bo, mô hình thực hiện suy luận đa bước và dùng step-aware scoring để cảnh báo từng bước yếu/không hợp lệ, giúp bác sĩ thiếu kinh nghiệm nhận diện ladder sớm.
  3. Module hướng dẫn người dùng chụp ảnh y tế tại nhà: nếu bước đầu phát hiện thấy chất lượng ảnh/góc không hợp lệ, app hướng dẫn người dùng điều chỉnh camera/góc chụp để tránh failure cascade và giảm nhu cầu tái khám.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.31825
ArXiv Abstracthttps://arxiv.org/abs/2606.31825
PDF Downloadhttps://arxiv.org/pdf/2606.31825.pdf
Github Repositoryhttps://github.com/dmis-lab/MRPO

8. SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use (14 votes)​

Tác giả: Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, et al.

Xuất bản lúc: 2026-07-02

Tag: LLM Agents, Skill-Use, Rubric Evaluation, Process Supervision, Self-Evolving

I. Main Problem:​

Các LLM agent thường使用 kỹ năng không đáng tin cậy trong kho kỹ năng thực tế: chọn sai kỹ năng, bỏ bước, sai thứ tự, hoặc may mắn đạt kết quả. Việc chỉ đánh giá kết quả cuối cùng che giấu các lỗi quy trình này và tạo dữ liệu huấn luyện kém chất lượng.

II. Main Idea:​

SkillCoach là một khung tự tiến hóa rubricđánh giá kỹ năng ở mức quy trình. Hệ thống xây dựng rubric từ kỹ năng gốc, chấm điểm quỹ đạo tác nhân theo bốn chiều: chọn kỹ năng, tuân thủ, kết hợp và phản hồi. Rubric được tinh chỉnh qua nhiều vòng bằng cách thêm bản vá cục bộ có kiểm soát, chỉ chấp nhận nếu vượt qua validation gate. Các rubric đã tiến hóa phục vụ đánh giá và lọc dữ liệu huấn luyện chất lượng cao.

III. Main Results:​

  • Rubric sau tiến hóa tăng độ phủ điểm chính từ 71.56 lên 83.70 và độ nhất quán lọc từ 82% lên 96%.
  • Bốn chiều đánh giá lộ diện lỗi bị ẩn: thêm distractor làm điểm chọn kỹ năng của Gemini 3.1 Pro giảm từ 98 xuống 78.
  • Huấn luyện với lọc rubric tiến hóa giúp Qwen3.5-9B tăng từ 14% lên 32%, vượt outcome-only SFT (18%).
  • Bỏ chiều tuân thủ bước chính gây sụt giảm lớn nhất, cho thấy đây là tín hiệu giám sát quan trọng nhất.
  • Khi mở rộng thư viện lên ~50 kỹ năng distractor, cả các mô hình mạnh cũng chạm biên giới suy giảm chọn kỹ năng.

IV. Conclusion & Future Works:​

SkillCoach cho rằng kỹ năng agent không chỉ đo được mà còn huấn luyện được thông qua giám sát quy trình gốc từ kỹ năng. Hệ thống phân biệt rõ chất lượng quy trình với kết quả cuối cùng. Hướng tương lai: áp dụng cho thư viện kỹ năng quy mô doanh nghiệp lớn hơn và tích hợp với phương pháp huấn luyện tăng cường.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung tự tiến hóa rubric cho đánh giá quy trình của agent đa phương thức, bao gồm kiểm tra việc sử dụng công cụ thị giác và tương tác API phức tạp.
  2. Kết hợp lọc rubric với phương pháp huấn luyện tăng cường để tối ưu hóa liên tục cả rubric và policy của agent theo thời gian thực.
  3. Nghiên cứu phương pháp tự động phát hiện và loại bỏ kỹ năng nhiễu trong thư viện dùng chung quy mô lớn bằng rubric tiến hóa.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại tự đánh giá việc sử dụng kỹ năng nội bộ: điện thoại kiểm tra liệu trợ lý đã chọn đúng quy trình từ nhiều quy trình tương tự và thực hiện đủ các bước xác thực trước khi báo kết quả.
  2. Công cụ tự động lọc dữ liệu huấn luyện cho trợ lý agent doanh nghiệp: chỉ giữ lại các quỹ đạo đạt điểm cao theo rubric bốn chiều và vượt verifier, loại bỏ các trường hợp may rủi.
  3. Hệ thống tự động mở rộng và tinh chỉnh tiêu chí đánh giá kỹ năng trên điện thoại: rubric được cập nhật an toàn qua các bản vá có kiểm duyệt, đảm bảo đánh giá theo dõi đúng biến thay đổi trong thư viện kỹ năng cá nhân.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.01874
ArXiv Abstracthttps://arxiv.org/abs/2607.01874
PDF Downloadhttps://arxiv.org/pdf/2607.01874.pdf
Github RepositoryN/A

9. Optimizing Visual Generative Models via Distribution-wise Rewards (12 votes)​

Tác giả: Ruihang Li, Mengde Xu, Shuyang Gu, Leigang Qu, Fuli Feng, et al.

Xuất bản lúc: 2026-07-02

Tag: Diffusion Models, Reinforcement Learning, FID, Reward Hacking, Model Merging

I. Main Problem:​

Các phương pháp reinforcement learning áp dụng reward theo từng sample cho mô hình sinh ảnh thường dẫn đến reward hacking: giảm đa dạng, sụp mode và tạo artifact như rainbow pattern. Việc dùng trực tiếp reward phân phối như FID không khả thi vì chi phí tính toán khổng lồ trên hàng chục nghìn ảnh và tín hiệu reward quá thưa.

II. Main Idea:​

Tác giả đề xuất dùng distribution-wise reward (FID) thay cho sample-wise reward để dẫn dắt RL. Cốt lõi là subset-replace strategy: tạo reference set được cân bằng lớp, thay ngẫu nhiên một subset nhỏ (khoảng 50 ảnh) bằng ảnh mới sinh, tính FID của tập cập nhật làm reward cho các trajectory tương ứng. Để giải quyết train-inference inconsistency giữa SDE và ODE, phương án thứ hai dùng RL để tối ưu hệ số post-hoc model merging cho pool checkpoint, cho phép rollout bằng ODE ngay trong training.

III. Main Results:​

  • SiT-XL: FID-50K giảm từ 8.30 xuống 5.77 (RL), FDDINOv2 từ 230.39 xuống 164.88.
  • Rejection Sampling riêng cũng cải thiện FID từ 8.30 xuống 6.98.
  • EDM2-XS: FID giảm từ 3.74 xuống 3.52 bằng RL-EMA merging.
  • EDM2-S: FID giảm từ 2.57 xuống 2.52.
  • Ablation: reference set 5.000 ảnh, thay 50 ảnh, chọn global top 25% sample, batch-level normalization là cấu hình tối ưu.

IV. Conclusion & Future Works:​

Framework distribution-wise reward kết hợp subset-replace strategy là phương pháp plug-and-play nhẹ cân cải thiện chất lượng sinh ảnh mà không cần dữ liệu hay kiến trúc bổ sung. RL-EMA merging giải quyết triệt để khoảng cách train-inference của SDE. Hướng tương lai có thể mở rộng cho text-to-image và video generation.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng distribution-wise reward cho text-to-image bằng reward kết hợp CLIP score ở cấp phân phối thay vì từng sample, tránhski mode collapse khi optimize theo prompt phức tạp.
  2. Áp dụng subset-replace strategy cho video generation để tối ưu temporal consistency và coverage phân phối chuyển động dùng reward Fréchet trên feature video.
  3. Khảo sát các distribution-wise metric thay thế (MMD, Wasserstein) trong subset-replace framework để so sánh hiệu năng với FID trên nhiều diffusive architecture.

2. Patent:​

  1. Hệ thống nâng cao chất năng ảnh sinh trên điện thoại: máy chủ tối ưu hệ số model merging bằng RL với reward phân phối, gửi bộ hệ số nhẹ về thiết bị để merge checkpoint tạo ảnh sắc nét hơn mà không tinh lại toàn bộ mô hình.
  2. Module tạo ảnh thương mại tự cân bằng mode: dùng subset-replace strategy đánh giá bộ ảnh sản phẩm sinh ra để đảm bảo đa dạng phong cách, tránh lặp lại template khi người dùng chọn nhiều danh mục.
  3. Bộ tối ưu checkpoint cho ứng dụng camera AI: chọn hệ số merging giữa nhiều phiên bản mô hình nhiếp ảnh dựa trên reward FID so với ảnh chuẩn trong buổi chụp để cải thiện phân phối chất lượng ảnh đầu ra.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02291
ArXiv Abstracthttps://arxiv.org/abs/2607.02291
PDF Downloadhttps://arxiv.org/pdf/2607.02291.pdf
Github RepositoryN/A