Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-08-11

Báo cáo được tạo tự động vào lúc 2026-08-12 10:12:34 bằng mô hình hermes-agent.

📰 Summary of Papers​


1. Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA (256 votes)​

Tác giả: Mind Lab, Vin Bo, Asher Cai, Jingwei Cao, Song Cao, et al.

Xuất bản lúc: 2026-08-10

Tag: Mixture-of-LoRA, Continual Learning, LoRA, Agent, Reinforcement Learning, Model-Harness Co-design, Experiential Intelligence, Post-training

I. Main Problem:​

Các mô hình agent hiện tại học chủ yếu qua centralized post-training: tinh chỉnh trên một tập tác vụ/môi trường cố định rồi đóng băng checkpoint để phát hành. Hậu quả:

  • Huấn luyện chung nhiều nhiệm vụ rất khác nhau (chat, coding, agent, UI) gây cross-task interference qua tham số chia sẻ.
  • Hệ thống bị buộc chặt vào phân bố lúc train, trong khi kiến thức, công cụ, nhu cầu người dùng tiếp tục thay đổi sau khi部署.
  • Thiếu cơ chế biến kinh nghiệm thực thi thành cải thiện có hệ thống theo thời gian — chỉ là xấp xỉ tối ưu tĩnh, chưa phải trí tuệ thực sự.

II. Main Idea:​

Macaron-V1 xây dựng trí tuệ kinh nghiệm qua hai trụ cột.

1. Collaboration — Mixture-of-LoRA (MoL): giữ nguyên một base model lớn (đóng băng), phủ lên trên một bộ LoRA chuyên gia (L0 Chat, L1 Agent, L2 Coding, L3 GenUI). Mỗi lượt người dùng, adapter L0 tự suy luận và chọn đúng 1 chuyên gia qua constrained decoding (24 token), Proxy chuyển lượt đó cho chuyên gia, chuyên gia trả lời rồi viết tóm tắt 192 token làm context chung. Không có router model riêng.

2. Adaptation — Model–Harness Co-design & Recursive Self-Improvement (RSI): coi harness (UI4A cho GenUI, REPL agent, Harness Context Protocol) là đối tượng tối ưu hạng nhất; MindForge chạy vòng lặp task discovery → trajectory expansion → cập nhật model/config; kinh nghiệm phiên bản này được đánh giá dưới hợp đồng ngoài để sinh phiên bản kế tiếp.

Hạ tầng: MinT (post-training, revision handoff), LongStraw (long-context RL), kỹ thuật ổn định cho sparse MoE/DSA.

Ví dụ đời thường: giống một công ty giữ nguyên kho kiến thức cốt lõi không sửa, chỉ thuê thêm các chuyên gia tư vấn (mỗi người giỏi một mảng); mỗi khi khách hỏi, lễ tân (L0) nghe rồi chuyển khách cho đúng chuyên gia, xong chuyên gia ghi chú ngắn để lần sau đồng nghiệp khác biết khách đã làm gì — thêm chuyên gia mới mà chẳng phải đào tạo lại toàn bộ công ty.

III. Main Results:​

  • Macaron-V1-Venti: base GLM-5.2 744B + 4 LoRA (mỗi adapter ~7.69B giá trị), tổng ~774.8B tham số logic — chỉ bằng 26% so với部署 4 bản base hợp nhất (giảm 74% bộ nhớ lưu trữ).
  • Routing chính xác ~99% trên trace 6,448 mẫu (Venti 99.12%, Tall 99.04%), tuân thủ 100% nhãn hợp lệ, không lỗi parse.
  • Chi phí routing ổn định: Venti route+summary ~1.51s (32% tổng 3-hop), Tall ~0.52s (30%); overhead không đổi theo kích thước base.
  • KV reuse: tái dùng prefix liên tục qua own-view xác định; Vita benchmark không đo được sụt giảm chất lượng (0.636 direct vs 0.650 routed KV-off).
  • Long-context: 8 GPU B300, DCP8+EAGLE đạt 18ms TPOT, 757 tok/s tại concurrency 16; giảm TTFT needle-test 900K token từ 107.1s xuống 49.2s.
  • RSI (fixed-model harness search): adaptive search phủ 122/122 task base-failure, trong khi sweep cấu hình đơn mạnh nhất chỉ 11/122 — đo độ phủ tìm kiếm cấu hình, chưa phải cải thiện từ chu kỳ train đầy đủ.

IV. Conclusion & Future Works:​

Hệ thống hiện tại đã được xác thực, nhưng compounding gains từ continual learning và collective intelligence (chuyên gia của các team/người dùng khác nhau cộng gộp năng lực vượt phần tử mạnh nhất) vẫn là câu hỏi mở. Hướng tương lai: lặp qua nhiều thế hệ sao cho chuyên gia, routing policy và harness cải thiện cùng nhau mà giữ được năng lực cũ; mở rộng MoL thành nền tảng đa chủ sở hữu để chuyên gia độc lập đóng góp; hoàn thiện vòng RSI có optimizer step thực sự (thí nghiệm này mới chỉ isolate bước Expansion, base đóng băng).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu continual learning đa thế hệ trên MoL: đo lường retention/transfer khi thêm chuyên gia LoRA mới mà không retrain base, kiểm chứng điều kiện giữ năng lực cũ.
  2. Collective intelligence qua MoL đa chủ sở hữu: chuyên gia từ team/người dùng khác nhau cộng gộp để vượt constituent mạnh nhất dưới ngân sách eval cố định.
  3. Vòng RSI đầy đủ (discovery–expansion–update) có optimizer step, so sánh với bản fixed-model harness-search hiện tại để định lượng cải thiện thực sự.
  4. Đo lường thực nghiệm cross-task interference giữa single-LoRA và multi-LoRA qua bài kiểm tra budget-matched chưa có trong bản phát hành này.

2. Patent:​

  1. Điện thoại/ứng dụng AI cá nhân: giữ một lõi mô hình gốc đóng băng trên thiết bị, thêm các adapter LoRA chuyên biệt (nhắc lịch, viết code, tạo giao diện) được tải từ store; lõi tự phân loại yêu cầu và chọn adapter đúng mỗi lượt, cập nhật adapter mới mà không phải tải lại toàn bộ model — tiết kiệm bộ nhớ máy.
  2. Trợ lý doanh nghiệp cục bộ: nhiều phòng ban cùng chia sẻ một base model, mỗi phòng ban huấn luyện LoRA riêng (kế toán, HR, kỹ thuật) và đăng ký lên một runtime chung; hệ thống tự route câu hỏi nhân viên đến đúng chuyên gia nội bộ mà không lộ dữ liệu phòng ban khác.
  3. Hệ thống học sau部署 cho IoT gia đình: thiết bị ghi lại tóm tắt ngắn các tương tác thành công (192-token summary) làm context chung, base không đổi nhưng hành vi cải thiện dần qua các phiên bản adapter được tinh chỉnh từ kinh nghiệm thực tế của từng hộ gia đình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09819
ArXiv Abstracthttps://arxiv.org/abs/2608.09819
PDF Downloadhttps://arxiv.org/pdf/2608.09819.pdf
Github RepositoryN/A

2. BDH-CQ: In-Context Learning with Recurrent Latent Reasoning (250 votes)​

Tác giả: Björn Engdahl, Adrian Kosowski, Jan Chorowski, Zuzanna Stamirowska, Przemysław Uznański, et al.

Xuất bản lúc: 2026-08-10

Tag: In-Context Learning, Latent Reasoning, Recurrent Memory, ARC-AGI, Reasoning Models, Cost Efficiency, Chain-of-Thought

I. Main Problem:​

Các mô hình suy luận hiện tại (LLM dùng Chain-of-Thought) gắn suy luận với việc kể chuyện tuần tự: mỗi bước trung gian phải được chiếu sang token rời rạc, phát ra, rồi đọc lại trước khi tính tiếp — đẩy tiêu thụ token, độ trễ và compute tăng vọt. Ngược lại, các bộ giải đệ quy/latent nhỏ gọn tính toán lặp trong không gian ẩn nhưng học nhiệm vụ qua tối ưu hóa, không phải từ minh họa tại thời điểm suy luận. Chưa có hệ thống nào vừa học một phép biến đổi thị giác chưa thấy từ demonstrations in-context, vừa suy luận trong không gian latent mà không cập nhật tham số.

II. Main Idea:​

BDH-CQ gộp in-context learning qua bộ nhớ đệ quy tiến hóa với suy luận lặp trong một không gian latent có cấu trúc, không thốt ra lời các bước trung gian.

Quy trình:

  • Minh họa cập nhật bộ nhớ đệ quy: các cặp ví dụ được xử lý tuần tự, trạng thái nhớ tiến hóa S_t = U_θ(S_{t−1}, D_t) — không cần cache key–value phình to, không dùng mã nhiệm vụ.
  • Suy luận latent: sau khi nuốt xong minh họa, truy vấn được mã hóa vào workspace H, rồi tinh chỉnh R lần H_{r+1} = F_θ(H_r, S_K); chỉ kết quả cuối được giải mã, các trạng thái giữa không bao giờ thành chữ.
  • Huấn luyện trên hỗn hợp dữ liệu ARC-style (ARC-AGI-1, RE-ARC, ConceptARC, ARC-Heavy, ARC-GEN100K) có tăng cường; cấu hình 150M tham số; không cập nhật trọng số lúc suy luận.

Ví dụ đời thường: giống nhân viên mới xem đồng nghiệp làm vài ví dụ, ghi nhớ vào đầu, rồi thầm lặp đi lặp lại quy trình trong đầu nhiều lần (không nói ra từng bước) trước khi đưa thẳng kết quả cuối — tiết kiệm hơi sức hơn cách vừa làm vừa tường thuật từng động tác.

III. Main Results:​

  • ARC-AGI-1 (400 tasks): 29.5% pass@2 ở ~0.85 giây H200 GPU/task → $0.00070/task, phá vỡ Pareto frontier chi phí–độ chính xác; rẻ hơn GPT 5.6 Luna (Low) ~57x (và ~11x sau khi giảm giá).
  • Audit độc lập (Bielik, NYU, không có trọng số) tái lập lại đúng 29.5%.
  • ConceptARC: 59.38% task pass@2 nhưng 77.92% test-pair — khoảng cách cho thấy quy tắc không áp dụng nhất quán trên mọi input của một task.
  • Nhiệm vụ kiểm soát: lan truyền biên và nhân bản extrapolate không trần (48/48 ở khoảng cách 2–8 / 1–4 bản sao); ordering gãy ở độ dài 8 (1/24), nesting gãy ở độ sâu 5 (29/36) nhưng lỗi chỉ sai một quyết định cục bộ.
  • Bộ nhớ context gắn được ánh xạ màu dày đặc (24/24 đến 8 liên kết). Hợp thành phụ thuộc phép toán: rotation+relocation 72/72, reflection+relocation 47/72, color swap một mình 26/72, hợp thành 0/72.
  • Tăng nỗ lực suy luận latent (LOW→MEDIUM→HIGH) cải thiện rõ pass@2.

IV. Conclusion & Future Works:​

BDH-CQ chứng minh in-context learning và suy luận đệ quy latent có thể nằm trong cùng một cấu trúc tính toán, đạt SOTA chi phí–hiệu quả trên ARC-AGI-1. Hướng tương lai: mở rộng quy mô mô hình, huấn luyện dài hơn, đưa vào lý luận ngôn ngữ/toán học, thỏa mãn ràng buộc, và các ARC khó hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BDH-CQ sang lý luận ngôn ngữ và toán học: giữ cơ chế bộ nhớ đệ quy học từ ví dụ, thay grid màu bằng chuỗi ký hiệu để kiểm tra khả năng suy luận symbol từ context.
  2. Nghiên cứu thỏa mãn ràng buộc (constraint satisfaction) nhiều bước trong workspace latent — ví dụ Sudoku phức tạp hơn — để đo giới hạn độ sâu quan hệ mà không qua token.
  3. Phân tích tại sao hợp thành phép toán (composition) phụ thuộc từng loại toán tử, và cách huấn luyện để nhất quán học được composition thay vì chỉ toán tử đơn lẻ.
  4. So sánh trần chi phí của latent reasoning vs Chain-of-Thought trên cùng bài toán, định lượng điểm mà thốt lời trung gian trở nên bất lợi về compute.

2. Patent:​

  1. Tính năng 'học theo vài ví dụ' trên điện thoại để biến đổi ảnh: người dùng chỉ cần khoảng 3 cặp ảnh gốc–kết quả, máy tự suy luận quy tắc (đổi màu, cắt, xoay, di chuyển vật thể) rồi áp dụng cho ảnh mới, chạy hoàn toàn offline với chi phí tính toán cực thấp (dưới một phần nghìn cent mỗi lần).
  2. Trợ lý chỉnh sửa ảnh mini trên thiết bị di động: người dùng khoanh vài vùng mẫu rồi gõ ý định qua 2–3 ví dụ; mô hình latent nhỏ gọn suy luận quy tắc và tự hoàn thiện phần còn lại của ảnh mà không cần đẩy lên đám mây.
  3. Bàn phím gợi ý thông minh học thói quen sắp xếp từ vài ví dụ người dùng: trình bày vài đoạn văn mẫu đã được tái cấu trúc, máy ngầm học ánh xạ và áp dụng nhất quán cho văn bản mới mà không lưu từng bước suy luận.
  4. Ứng dụng quét tài liệu nhận diện bố cục: người dùng chỉ 1–2 ví dụ cách trích xuất trường thông tin từ hóa đơn, điện thoại tự áp dụng quy tắc trích xuất cho các hóa đơn cùng mẫu khác mà không cần huấn luyện lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09888
ArXiv Abstracthttps://arxiv.org/abs/2608.09888
PDF Downloadhttps://arxiv.org/pdf/2608.09888.pdf
Github Repositoryhttps://github.com/pathwaycom/arc-task-gen

3. SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring (120 votes)​

Tác giả: Yuling Shi, Jinghan Xu, Kelin Fu, Wenhao Zeng, Shilin He, et al.

Xuất bản lúc: 2026-08-10

Tag: SWE-Bench, Code Refactoring, Coding Agents, Multilingual, LLMs, Benchmark, Agent Evaluation, Long-horizon Tasks

I. Main Problem:​

Các benchmark mã nguồn hiện tại bão hòa nhanh chóng và bị nghi ngờ về chất lượng đánh giá: một kiểm toán gần đây phát hiện ~60% instance chưa giải được của SWE-bench Verified có bộ test lỗi (test quá hẹp từ chối lời giải đúng, test quá rộng kiểm tra yêu cầu không nêu ra), còn mô hình hàng đầu có thể nhại lại nguyên văn gold patch từ dữ liệu huấn luyện. Đồng thời:

  • Hầu hết benchmark chỉ sửa 1 file, ít dòng code, không phản ánh refactoring thực tế quy mô lớn.
  • Refactoring — thay đổi cấu trúc giữ nguyên hành vi — là công việc thường nhật của kỹ sư nhưng thiếu benchmark đa ngôn ngữ, quy mô lớn, có kiểm chứng test.

II. Main Idea:​

SWE-Bench ProMax là benchmark refactoring đa ngôn ngữ, tuyển chọn thủ công, gồm 170 instance từ commit thật của 70 repo qua 7 ngôn ngữ (Python, Java, TypeScript, Go, C, C++, Rust), chọn ra từ 29.782 ứng viên ban đầu.

Quy trình xây dựng 3 giai đoạn:

  • Thu thập: GitHub API lọc repo ≥500 sao, license mở, ngôn ngữ chính ≥80%; commit sau 2025 chứa 'refactor' nhưng không 'bug fix'.
  • Dựng môi trường: Docker cô lập tại trạng thái trước refactoring, áp gold patch, chạy toàn bộ test để xác thực.
  • Lọc & viết lại đề bài: chuyên gia + LLM phân tích commit, loại task quá đơn giản/1 file, gỡ bỏ test quá hẹp và quá rộng, viết lại mô tả thành quy định chính xác, tự chứa, rồi xác minh chéo bởi con người.

Mỗi instance = môi Docker + đề bài + bộ test + gold patch; agent được tính resolve khi mọi test qua. Trung bình mỗi task sửa 11.4 file, 261.6 dòng code (cao nhất 182 file).

Ví dụ đời thường: giống thợ sửa chữa được giao 'sắp xếp lại kho nhưng khách hàng vẫn phải lấy đúng món như cũ' — ông phải dời đồ ở nhiều kệ, cập nhật sổ sách và bản đồ kho, nếu sót một góc thì người khác mở không ra; thay vì tự bịa quy trình, ông được cấp bản hướng dẫn rõ ràng và danh sách kiểm tra do chuyên gia soạn sẵn.

III. Main Results:​

  • Mô hình tốt nhất (GPT-5.2) chỉ đạt 41.2% resolve rate — xa dưới mức 75%+ trên SWE-bench Verified, xác nhận benchmark chưa bão hòa.
  • Mô hình mã nguồn mở cạnh tranh sát mô hình thương mại với giá rẻ: GLM-5 đạt 36.5% với 0.24/instance,Qwen3.536.50.24/instance, Qwen3.5 36.5% với 0.78 — so với Claude Sonnet 4.6 38.8% nhưng tốn $4.77.
  • Scaffold quan trọng: chuyển từ mini-swe-agent sang OpenHands giúp hầu hết mô hình tăng vọt (GPT-5.2: 21.8% → 41.2%), nhờ runtime giàu công cụ hơn.
  • Hiệu suất phân hóa theo ngôn ngữ: Claude Sonnet 4.6 dẫn TypeScript (53.6%) & Rust (63.6%); GPT-5.2 dẫn Python (48.3%) & C (75.0%); GLM-5 dẫn Java (34.6%); Qwen3.5 dẫn C++ (54.5%); Kimi-K2.5 dẫn Go (43.5%).
  • Nguyên nhân thất bại chủ đạo: agent sửa ít file hơn gold patch yêu cầu (đặc biệt với patch lớn), và rơi vào vòng lặp sửa-thử-sai tốn nhiều bước nhưng không mở rộng phạm vi — thiếu phối hợp xuyên file bền vững.

IV. Conclusion & Future Works:​

SWE-Bench ProMax lấp 3 lỗ hổng: bão hòa benchmark, thiếu đảm bảo chất lượng test, và vắng bóng refactoring làm domain. Phát hiện then chốt: (1) mô hình mã nguồn mở tiếp cận hiệu năng tiền tuyến với chi phí chỉ bằng một phần nhỏ, chi phí cao thường phản ánh khám phá vô ích; (2) nút thắt cốt lõi là phối hợp xuyên file không đầy đủ, không phải năng lực suy luận. Hướng tương lai: cải thiện khả năng duy trì kế hoạch nhất quán qua nhiều file, giảm vòng lặp unproductive exploration, và mở rộng sang ngôn ngữ/hệ sinh thái build khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế thất bại xuyên file: vì sao agent dừng sớm ở file lõi mà bỏ sót call site, config, test fixture ngoại vi — và thiết kế chiến lược lan truyền thay đổi tự động.
  2. So sánh tác động của scaffold/runtime tooling tới refactoring quy mô lớn, đề xuất chuẩn đánh giá thống nhất thay thế các metric rời rạc (code smell, compilability, alignment) hiện hành.
  3. Khảo sát độ lệch dữ liệu huấn luyện theo ngôn ngữ giải thích biến thiên hiệu suất (vd. Gemini-3-Pro 0% trên TypeScript) thay vì độ khó vốn có của ngôn ngữ.

2. Patent:​

  1. Công cụ IDE trên điện thoại/tư duy đám mây: khi dev yêu cầu 'đổi tên hàm toàn dự án nhưng giữ nguyên kết quả chạy', agent tự phân tích dependency, sửa đồng loạt mọi file liên quan và chạy test xác minh trước khi commit — cảnh báo nếu sót call site.
  2. Trình tái cấu trúc kho mã tự động cho team: tích hợp vào CI, nhận lệnh 'gộp 2 module trùng lặp', tự đề xuất kế hoạch sửa đa file, hiển thị diff và chỉ cho phép merge khi bộ test (được chuyên gia soạn sẵn, không quá hẹp/quá rộng) toàn bộ xanh.
  3. Tính năng 'refactor an toàn' trong IDE di động: trước khi áp đổi lớn, app tự tạo Docker tạm, chạy test suite minh bạch để chứng minh hành vi không đổi, giúp sinh viên/lập trình viên tự học refactoring đúng cách mà không phá code.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09802
ArXiv Abstracthttps://arxiv.org/abs/2608.09802
PDF Downloadhttps://arxiv.org/pdf/2608.09802.pdf
Github RepositoryN/A

4. On-Policy Self-Distillation without Any Supervision (81 votes)​

Tác giả: Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, et al.

Xuất bản lúc: 2026-08-09

Tag: LLMs, Self-Distillation, On-Policy, Reinforcement-Learning, Math-Reasoning, Self-Consistency, Unsupervised-Training

I. Main Problem:​

Các phương pháp on-policy (self-)distillation hiện tại vẫn phụ thuộc nặng vào giám sát bên ngoài: ground-truth, phản hồi môi trường, hoặc mô hình thầy mạnh hơn. OPSD tuy bỏ được thầy riêng nhưng vẫn cần câu giải đúng (GT solution) làm ngữ cảnh đặc quyền cho thầy. Hậu quả:

  • mô hình chỉ tự chắt lọc ở mức chia sẻ tham số, còn thông tin làm thầy giỏi hơn vẫn đến từ bên ngoài.
  • không mở rộng được sang dữ liệu không nhãn, giới hạn trong miền có giám sát đắt hoặc không có.

Câu hỏi cốt lõi: liệu thầy trong on-policy self-distillation có cần câu giải đúng không, hay mô hình tự xây dựng được ngữ cảnh đặc quyền của riêng mình?

II. Main Idea:​

U-OPSD (Unsupervised On-Policy Self-Distillation) thực hiện tự chắt lọc đúng nghĩa chỉ từ các sinh phẩm của chính mô hình, qua tính nhất quán nội bộ. Quy trình cho mỗi câu hỏi không nhãn:

  • Sample: rút G rollout độc lập từ chính sách hiện tại.
  • Vote: bỏ phiếu đa số lấy pseudo-answer; tách rollout thành tập đồng thuận (Y+) và bất đồng (Y−); chỉ tin khi tỷ lệ phiếu đạt ngưỡng tự nhất quán τ.
  • Distill: chọn rollout đồng thuận dài nhất làm pseudo-solution (thầy), rồi chắt lọc phân bố next-token của thầy vào học sinh dọc theo tiền tố của các rollout bất đồng, tức sửa mô hình đúng tại chỗ nó tự tin sai.

Khác OPSD (cần GT) và khác self-training bình thường (bắt chước nguyên câu được bầu): U-OPSD truyền phân bố có điều kiện giải pháp dày đặc từng token dọc theo đường học sinh đi lạc. Chương trình tự nảy sinh từ thống kê bỏ phiếu của mô hình, không cần nhãn độ khó.

Ví dụ đời thường: giống một học sinh làm bài trắc nghiệm, tự giải 8 lần rồi lấy đáp án xuất hiện nhiều nhất làm 'đáp án chuẩn'; với mấy lần mình giải ra khác kết quả đó, nó soi lại từng bước để xem mình đi lạc ở chỗ nào và tự sửa lại theo cách tư duy của lần giải đúng nhất — không cần thầy chấm.

III. Main Results:​

  • Non-thinking mode: Qwen3-4B tăng +8.5%, Qwen3-8B tăng +10.7% so với base; vượt cả OPSD có GT (+3.2% / +2.3%) và các baseline không nhãn (TTRL, RENT, Intuitor chỉ tăng ≤1.5%).
  • Thinking mode: tăng +2.2% / +1.9%, ngang bằng OPSD, vượt GRPO +0.7% / +1.1%.
  • Instruct models: Qwen3-30B-A3B tăng 75.77→77.46, Qwen3-4B-Instruct 67.00→68.78; đều vượt OPSD có giám sát.
  • 5 benchmark toán: AIME24/25, HMMT25, MATH500, AMC23 — U-OPSD thắng 4/5 benchmark ở non-thinking.
  • Chất lượng pseudo-label: 86.7% khớp đáp án vàng dù không dùng nhãn.
  • Ablation: full-vocabulary distillation mạnh hơn sampled-token; thầy nên điều kiện trên cả lời giải dài chứ không chỉ đáp án hộp; G=12 là điểm vận hành tốt nhất, teacher cập nhật kiểu EMA (decay 0.995) còn dư địa +2.4%.

IV. Conclusion & Future Works:​

U-OPSD chứng minh chỉ cần sự đồng thuận giữa các sinh phẩm của chính mô hình là đủ làm tín hiệu tự tin nội sinh để xây dựng thầy và mục tiêu sửa, đạt tự chắt lọc không giám sát mà vẫn ngang/sót các phương pháp có GT (SFT, GRPO, OPSD). Hướng tương lai: khám phá ngưỡng τ lỏng hơn và G lớn hơn; dùng teacher cập nhật EMA thay vì đóng băng; mở rộng sang miền ngoài toán (code, khoa học) và mô hình lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng U-OPSD sang tác vụ lập trình và khoa học tự nhiên, kiểm chứng xem đồng thuận đa số còn là tín hiệu đáng tin khi không có định dạng đáp án hộp (\boxed{}) không.
  2. Kết hợp teacher cập nhật EMA (decay 0.995) vào quy trình để tăng dư địa cải thiện mà không cần đánh giá lại từng bước.
  3. Áp dụng cơ chế pseudo-label từ bỏ phiếu đa số cho các phương pháp self-rewarding RL thay vì chỉ làm phần thưởng vô hướng, nhằm tận dụng giám sát dày đặc từng token.

2. Patent:​

  1. Tính năng tự học trên điện thoại: ứng dụng AI giải toán/offline tự sinh nhiều lời giải cho mỗi bài, lấy đa số làm đáp án chuẩn rồi tự sửa các bước sai — không cần máy chủ có đáp án gốc, tiết kiệm băng thông và bảo mật.
  2. Trợ lý viết code trên thiết bị di động: model tự chạy nhiều lần giải một hàm, bầu ra cách tiếp cận chung, sau đó tự tinh chỉnh những đoạn code đi chệch khỏi consensus — nâng chất lượng mà không cần bộ test case của người dùng.
  3. Hệ thống luyện tập cá nhân hóa: app ôn thi cho phép mô hình tự kiểm tra độ hiểu của nó qua sự nhất quán giữa các lần giải thích, tự nhận diện chỗ 'tự tin sai' và củng cố đúng chỗ mà không cần đáp án tham khảo từ thầy.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.06296
ArXiv Abstracthttps://arxiv.org/abs/2608.06296
PDF Downloadhttps://arxiv.org/pdf/2608.06296.pdf
Github RepositoryN/A

5. Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution (68 votes)​

Tác giả: Anton Razzhigaev, Andrei Gritsaev, Andrei Kaznacheev, Nikita Dragunov, Roman Yampolskiy, et al.

Xuất bản lúc: 2026-08-08

Tag: Self-Evolving Agents, Coding Agents, LLM Agent Harness, Continual Learning, Operational Safety, Code Review, Benchmark SOTA

I. Main Problem:​

Các agent tác vụ dài hạn (long-horizon) thực chất là hệ thống model + harness (bộ khung điều khiển), nhưng hầu hết harness bị đóng băng sau khi thiết kế dù năng lực thực tế ngày càng do cách harness ráp ngữ cảnh, gọi tool, xác minh kết quả quyết định.

Hậu quả và thách thức:

  • Năng lực bị kẹt ở chính sách harness tĩnh, không tận dụng bài học từ công việc thực tế.
  • Một agent tự sửa code của chính nó sinh ra vấn đề an toàn mới: quá trình tiến hóa có thể mở rộng quyền tự chủ, gọi API model mạnh hơn, hoặc làm yếu các chốt chặn kiểm soát.

II. Main Idea:​

Ouroboros coi harness như một vật thể có thể tiến hóa: mã nguồn, prompt, tool, logic review và implementation sống trong một repo có phiên bản, thay đổi qua reviewed commit (commit có kiểm duyệt) — mỗi thay đổi duyệt xong sẽ thành runtime cho công việc sau.

Hai chế độ tiến hóa lõi:

  • Recursive free evolution: lấy việc cải thiện chính hệ thống làm một task; sau khi rà soát, agent chọn và implement một thay đổi, xong có thể tự lên lịch chu kỳ tiến hóa tiếp theo.
  • Experience-driven core evolution: bắt đầu từ công việc bình thường; thực thi task, reflection, social feedback phơi bày lỗi/rìa thô/tách ngữ cảnh kém → agent ghi lại thành lớp lỗi bền vững và mở maintenance work qua cùng cổng commit có review.

Kiến trúc: tách launcher/supervisor (cố định) khỏi agent repository (có thể đổi). Cổng commit chạy preflight xác định, vân tay hóa diff trước/sau review, panel multi-model review có quorum, rollback về trạng thái đã duyệt. Hope là thử nghiệm thực địa 161 ngày trên 7 kênh, người dùng góp ý nhưng agent quyết định thay đổi nào được theo đuổi.

Ví dụ đời thường: giống một đầu bếp sau mỗi ca tự ghi chú món nào bị sai và sửa lại quy trình nhà bếp, nhưng mọi sửa đổi phải qua bếp trưởng duyệt (reviewed commit) mới áp dụng cho ca sau — sổ tay quy trình cứ thế hoàn thiện dần mà không ai viết lại từ đầu.

III. Main Results:​

  • Terminal-Bench 2.1 (Opus 5): 86.97% thô, 86.74% sau audit trajectory — kết quả tốt nhất từng báo cáo, cao hơn Claude Code + Fable 5 (83.8%) khoảng 2 độ lệch chuẩn.
  • OSWorld-Verified: 90.69% (Opus 5), vượt mức tốt nhất trước đó (Intelligence-Indeed 90.19%).
  • CL-Bench (Sonnet 4.6): normalized reward 0.2301 — thiết lập SOTA mới, vượt ICL (0.1960) và Claude Code (0.1855).
  • SWE-bench Pro: 58.2% so với Codex 59.4% (p=0.40) — ngang hàng (model-matched parity) với harness frontier.
  • GAIA: 78.2% vs Claude Code 78.8% (Sonnet 5) — tương đương.
  • Hope (đến 6/8/2026): 161 ngày, $110.6K model spend, 79.7B token, 175,755 dòng code, 7 bề mặt tương tác.

IV. Conclusion & Future Works:​

Ouroboros chứng minh một harness tự sửa có kiểm duyệt vừa đạt SOTA trên Terminal-Bench 2.1, OSWorld-Verified, CL-Bench, vừa ngang hàng frontier trên SWE-bench Pro và GAIA. Experience-driven core evolution biến công việc thường thành cải thiện chính agent. Kiến trúc an toàn giữ chốt chặn có thẩm quyền dưới áp lực tiến hóa.

Hạn chế: chỉ theo một lineage dài hạn (không phải quần thể độc lập); SWE-bench Pro rò rỉ reference; LLM reviewer có thể chung điểm mù với agent; chế độ low context bỏ qua scope review toàn repo.

Hướng tương lai: metadata thời gian/domain tường minh cho memory; sandbox cô lập mạnh hơn; duy trì boundary ổn định khi agent tiến hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tiến hóa cốt lõi có kiểm duyệt (reviewed core evolution) áp dụng cho agent đa nhiệm dài hạn, nơi mỗi lỗi thực thi thành commit cấu trúc bền vững.
  2. Giao thức audit trajectory chống reward hacking và contamination cho benchmark agent, kết hợp scrubbing bí mật và ledger không sửa đổi được.
  3. Kiến trúc an toàn cho agent tự chọn model API: biến model routing thành thay đổi cấu hình có audit thay vì lựa chọn runtime tự do.
  4. Thử nghiệm multi-surface persistent agent có con người góp ý (social-interaction-driven development) nhưng commit authority không chuyển sang user.

2. Patent:​

  1. Trợ lý coding trên điện thoại tự sửa lỗi: sau mỗi phiên giúp viết code, app ghi lại lỗi ngữ cảnh và tự đề xuất cải thiện prompt/tool, duyệt qua panel review trên máy trước khi áp dụng phiên sau — không cần dev can thiệp.
  2. Ứng dụng hỗ trợ khách hàng đa kênh (chat/voice/email) tự ghi nhận phàn nàn lặp lại, tự vá quy trình trả lời qua cổng commit có quorum, giữ nguyên chốt dừng khẩn cấp do operator nắm.
  3. Công cụ IDE di động tích hợp reviewed-commit gate: mọi thay đổi tự động vào core (vd tối ưu gợi ý) phải qua fingerprint diff và multi-model review trước khi thành runtime, hạn chế agent tự nâng quyền gọi API tốn kém.
  4. Hệ thống nhắc việc cá nhân hóa trên smartphone dùng experience-driven evolution: quan sát thói quen, sửa thuật toán gợi ý qua commit có rollback, có nút /panic ngắt quy trình từ xa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.08311
ArXiv Abstracthttps://arxiv.org/abs/2608.08311
PDF Downloadhttps://arxiv.org/pdf/2608.08311.pdf
Github Repositoryhttps://github.com/razzant/ouroboros

6. Stealing Reasoning Traces from Proprietary LLM APIs (44 votes)​

Tác giả: Alexander Panfilov, David Schmotz, Ilia Shumailov, Luca Beurer-Kellner, Joachim Schaeffer, et al.

Xuất bản lúc: 2026-08-10

Tag: LLM Security, Chain-of-Thought, Jailbreak, Model Distillation, Prompt Injection, PII Leakage, AEAD, API Vulnerability

I. Main Problem:​

Các nhà cung cấp LLM hàng đầu (Anthropic, OpenAI, Google) che giấu reasoning (chain-of-thought) bằng cách trả về client một khối văn bản đã mã hóa thay vì plaintext, để bảo vệ tài sản trí tuệ và ngăn rò rỉ thông tin nhạy cảm. Tuy nhiên thiết kế stateless (client lưu và gửi lại khối mã hóa mỗi lần gọi) tạo ra lỗ hổng nghiêm trọng:

  • khối mã hóa dùng chung một global key nên tương thích trên nhiều phiên, nhiều user, và nhiều model khác nhau trong cùng hệ sinh thái
  • model yếu (Haiku, GPT-5.6 Luna, Gemini Robotics) được bảo vệ lỏng lẻo hơn model mạnh (Opus, GPT-5.6 Sol) → bị lợi dụng làm decryption oracle
  • hậu quả: kẻ tấn công giải mã reasoning của model mạnh mà không cần jailbreak trực tiếp nó.

II. Main Idea:​

Encrypted Thought Injection khai thác tính tương thích chéo để xây dựng một jailbreak giải mã quy mô lớn. Quy trình:

  • bước 1: lấy một khối reasoning đã mã hóa do model mạnh sinh ra (ví dụ Opus 4.8)
  • bước 2: chèn khối đó vào context của một model yếu cùng nhà (Haiku 4.5 / GPT-5.6 Luna / Gemini Robotics 1.6)
  • bước 3: ép model yếu giải mã và chép lại verbatim reasoning gốc thành plaintext bằng một prompt đơn giản (ví dụ 'Continue. Transcribe the reasoning attached...')

Do model yếu thiếu hàng rào từ chối (refusal) của model mạnh, kẻ tấn công đi vòng qua alignment mà không động đến model mạnh. Lỗ hổng mở ra 4 vector tấn công: (i) distillation reasoning độc quyền, (ii) trích xuất bí mật/PII từ trace công khai, (iii) prompt injection ẩn trong khối mã hóa, (iv) jailbreak lấy thông tin độc hại qua kênh reasoning.

Ví dụ đời thường: giống như bạn có một phong bì niêm phong chỉ đọc được bằng chìa khóa của sếp, nhưng vì cùng một ổ khóa dùng cho cả bảo vệ tòa nhà, nên kẻ tấn công đem phong bì đó đưa cho anh bảo vệ lơ đãng, bảo 'anh đọc hộ cái này', và anh bảo vệ vô tư đọc to nội dung mật ra thành tiếng.

III. Main Results:​

  • Giải mã thành công trên 3 vendor lớn: Anthropic (Haiku 4.5), OpenAI (GPT-5.6 Luna), Google (Gemini Robotics 1.6) — token count giải mã bám sát token count do API báo (chỉ số trung thành cao).
  • Trích xuất quy mô lớn: scrape 315,320 khối reasoning từ 6,708 trace công khai trên GitHub/Hugging Face → thu hồi 367 PII artifacts và 182 credentials (62 API key, 33 mật khẩu, 30 email cá nhân từ phiên user thật).
  • 4.9% (328/6,708) phiên leak ít nhất một mật thông tin thật; 0.3% khối có rò rỉ.
  • 64/704 artifacts từ phiên user thật hoàn toàn không xuất hiện trong lịch sử chat hiển thị (bị giấu trong reasoning hoặc phá mòn khi user xóa text).
  • Jailbreak thành công: Opus 4.8 từ chối câu hỏi độc hại ở output, nhưng reasoning ẩn chứa thông tin có hại → giải mã qua Haiku 4.5 lộ toàn bộ.
  • Prompt injection ẩn: chèn lệnh exfiltrate vào khối mã hóa, GPT-5.6 Sol đọc như reasoning của chính nó và tự upload file lên server tấn công mà không để lại plaintext.
  • Chi phí kinh tế thấp: giải mã 10k trace qua Haiku 4.5 chỉ ~$720.

IV. Conclusion & Future Works:​

Lỗ hổng bắt nguồn từ tính portability chéo phiên/chéo model của khối reasoning mã hóa; các vendor đã được báo cáo có trách nhiệm nhưng từ chối nhận diện rủi ro bảo mật. Hướng khắc phục: (1) chuyển sang kiến trúc stateful — server lưu trace, client chỉ giữ ID ngẫu nhiên; (2) binding mật mã chặt chẽ vào context gốc (user/conversation ID, không cho replay chéo); (3) người dùng nên xóa sạch mọi reasoning block trước khi chia sẻ log. Nghiên cứu giới hạn ở API tháng 7/2026 và chưa xác minh 100% token do không có ground-truth plaintext.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Đề xuất giao thức AEAD binding theo context (per-user, per-conversation, per-model nonce) để ngăn replay chéo mà vẫn giữ kiến trúc stateless tiết kiệm tài nguyên server.
  2. Nghiên cứu kiến trúc stateful thay thế: client chỉ nhận opaque ID, server lookup trace — định lượng overhead lưu trữ và độ phức tạp API thực tế trên quy mô sản xuất.
  3. Phân tích sâu cơ chế 'reasoning pressure' — tại sao tối ưu nội dung chain-of-thought làm giảm khả năng giám sát an toàn, và thiết kế hàng rào refusal cho chính kênh reasoning ẩn.
  4. Đánh giá rủi ro tuân thủ (GDPR/PII) của hệ thống agent dùng local trace storage và production service, nơi leakage được cho là phổ biến hơn trace công khai.

2. Patent:​

  1. Tính năng 'Safe Share' trên SDK chính thức của vendor: khi user export session log, SDK tự động quét và loại bỏ mọi field signature/thinkingSignature trước khi ghi file, kèm cảnh báo nếu phát hiện PII trong plaintext.
  2. App di động kiểm tra bảo mật log: người dùng chụp/nhập đoạn API transcript, ứng dụng dùng mô hình nhẹ trên thiết bị nhận diện và che khuất khối mã hóa lẫn thông tin nhạy cảm trước khi đăng lên forum hoặc commit lên GitHub.
  3. Hệ thống quản lý khóa động cho reasoning: mỗi user/conversation được cấp khóa riêng thay vì global key, khiến khối reasoning của user A hoàn toàn vô dụng nếu bị user B chèn vào model — tích hợp sẵn vào lớp middleware của API gateway.
  4. Công cụ audit tự động cho doanh nghiệp: agent quét định kỳ kho lưu trữ trace nội bộ, phát hiện credential/PII rò rỉ trong encrypted block bằng decoder nội bộ được phép, rồi gửi cảnh báo xóa trước khi bị rò ra ngoài.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09867
ArXiv Abstracthttps://arxiv.org/abs/2608.09867
PDF Downloadhttps://arxiv.org/pdf/2608.09867.pdf
Github RepositoryN/A

7. Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory (37 votes)​

Tác giả: Taeil Kim, Kangsan Kim, Sung Ju Hwang

Xuất bản lúc: 2026-08-07

Tag: Agent Memory Distillation, Small Language Models, LLM Agents, Knowledge Distillation, Tool-Use, Memory Systems, In-Context Learning

I. Main Problem:​

Các agent LLM nhỏ (4B–8B tham số) tự sinh rất ít trajectory thành công, nên bộ nhớ tự học của chúng bị áp đảo bởi các lần thất bại → lợi ích từ memory tự cải thiện rất hạn chế.

Khi chuyển thẳng memory của agent lớn (teacher) sang agent nhỏ (student), kết quả chỉ tăng nhẹ, tương đương dùng memory tự sinh. Nguyên nhân:

  • Khoảng cách năng lực (capability gap) giữa teacher và student quá lớn — student thiếu kiến thức nền tảng để thi hành ngay cả chiến lược cao cấp của teacher.
  • Model nhỏ có khả năng in-context learning và tuân thủ chỉ dẫn yếu hơn, khó hiểu và áp dụng memory dù được cung cấp trực tiếp.

II. Main Idea:​

Agent Memory Distillation (AMD) là khung không cần huấn luyện (training-free), chuyển kiến thức có cấu trúc từ teacher agent sang student agent nhỏ thông qua bộ nhớ phân tầng 3 mức được rút từ các trajectory thành công của teacher:

  • Workflow memory (mức task): mã hóa chiến lược hoàn thành nhiệm vụ cao cấp, dùng placeholder chung (, ) để tái dùng. Tiêm chủ động vào system prompt đầu mỗi task.
  • Subtask memory (mức trung gian): ví dụ hành vi cụ thể cho từng subtask (chuỗi gọi tool/thực thi code kèm observation). Tiêm chủ động theo từng subtask student tự phân rã.
  • Function memory (mức hàm): quy ước gọi từng API, ví dụ thực thi, tài liệu schema. Truy xuất phản ứng (reactive) khi student gặp lỗi gọi tool, trả về gợi ý sửa lỗi tại chỗ.

Tri thức được mã hóa bằng embedding, lọc theo ngưỡng similarity, lấy top-1 mỗi loại (k=1 tối ưu).

Ví dụ đời thường: giống nhân viên mới được cấp 3 lớp ghi chú của sếp giỏi — một tờ kế hoạch tổng thể (làm gì trước/sau), một tập ví dụ làm mẫu từng bước (bấm nút nào ra sao), và một tờ cheat-sheet tra cứu khi bấm sai chức năng. Nhờ đó dù chưa thạo, nhân viên vẫn làm đúng việc thay vì mò mẫm.

III. Main Results:​

  • Tăng độ chính xác trung bình so với zero-shot: +27.2%p trên AppWorld, +11.2%p trên BFCL V3, +3.4%p trên ToolSandbox (4 student: Qwen3-4B/8B, Gemma4-E4B, Llama3.1-8B; teacher GPT-5-mini).
  • Vượt mọi baseline memory (ReasoningBank, MemP, SASM) ở mọi model/benchmark; nhiều baseline còn làm giảm hiệu suất so với zero-shot.
  • Student vượt cả teacher trên một số trường hợp: Gemma4-E4B (54.17%) và Qwen3-8B (51.79%) đánh bại GPT-5-mini (50.00%) trên AppWorld; 3 student vượt teacher trên BFCL V3.
  • Hiệu quả tương tác: AMD giảm số lượt tương tác của student, tiệm cận teacher (Qwen3-4B: 23.8→14.9 bước vs teacher 10.1 trên AppWorld).
  • Ablation: Subtask memory đóng góp lớn nhất (riêng nó thêm +25%p cho Qwen3-4B trên AppWorld); Function memory thêm ít hơn; Student Memory tự sinh xấp xỉ zero-shot.
  • Kích thước student: độ chính xác tăng theo size, nhưng mức tăng đạt đỉnh ở 4B (+34.52%p) — vừa đủ năng lực tận dụng memory, vừa còn nhiều dư địa cải thiện.
  • k=1 tối ưu: tăng số memory truy xuất (k>1) thường làm giảm hiệu suất (subtask: 49.40%→33.34% khi k=5) do model nhỏ bị nhiễu.
  • Dạng biểu diễn: workflow tốt nhất ở dạng văn bản tự nhiên; subtask/function tốt nhất ở dạng code mẫu cụ thể.

IV. Conclusion & Future Works:​

AMD là công trình đầu tiên hệ thống hóa việc chưng cất memory teacher→student cho agent nhỏ, dùng cấu trúc phân tầng để thu hẹp khoảng cách năng lực mà chuyển memory thô không làm được.

Hạn chế: (1) chỉ thử trên benchmark dạng văn bản dùng Python API/function call, chưa rõ với môi trường multimodal hay coding mở; (2) memory đóng băng offline, không học được thành công/thất bại mới của student tại test-time; (3) phụ thuộc chất lượng và sự tương thích teacher–student (teacher mạnh hơn chưa chắc cho student yếu lợi ích lớn hơn).

Hướng tương lai: chọn teacher thích ứng tự động, mở rộng sang môi trường ít cấu trúc, và cho phép memory tự cập nhật online theo trải nghiệm student.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cơ chế chọn teacher tự động: xây dựng thước đo tương thích teacher–student để gán teacher tối ưu cho từng student thay vì cố định một teacher.
  2. Mở rộng AMD sang agent multimodal và coding tasks, nơi action space là code sinh tự do thay vì tập hàm cố định.
  3. Memory tự tiến hóa online: kết hợp trajectory thành công của chính student tại test-time vào hierarchical memory mà không phá vỡ cấu trúc phân tầng.
  4. Nghiên cứu lý thuyết về điểm饱和 của kích thước student (tại sao mức tăng đỉnh ở 4B) và thiết kế memory theo ngưỡng capacity của model nhỏ.

2. Patent:​

  1. Trợ lý ảo trên điện thoại dùng model nhỏ: tích hợp sẵn 3 lớp memory (kế hoạch task, ví dụ bấm từng bước, cheat-sheet lỗi API) được tạo bởi model lớn trên máy chủ, giúp điện thoại thực hiện đa nhiệm phức tạp (đặt vé, chuyển tiền) mà không cần model nặng chạy local.
  2. Tính năng tự sửa lỗi khi gọi app: khi người dùng ra lệnh và app trả về lỗi (sai tham số, thiếu đăng nhập), điện thoại tra cứu Function memory để hiện gợi ý sửa ngay trong khung chat, thay vì báo lỗi mơ hồ.
  3. Chế độ 'học từ chuyên gia' cho app quản lý công việc: sau khi user hoàn thành chuỗi thao tác thành công, hệ thống rút gọn thành workflow + subtask mẫu để lần sau gợi ý tự động các bước tương tự cho user.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.07169
ArXiv Abstracthttps://arxiv.org/abs/2608.07169
PDF Downloadhttps://arxiv.org/pdf/2608.07169.pdf
Github Repositoryhttps://github.com/taeilkim2465/agentic_memory_distillation

8. Motif 3: Technical Report (36 votes)​

Tác giả: Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, et al.

Xuất bản lúc: 2026-08-10

Tag: MoE, LLMs, Mixture-of-Experts, Low-Precision Training, Attention, Multi-Token Prediction, Distillation, MXFP8, RLHF

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) càng scale càng gặp hai nghẽn cổ chai: (1) chi phí tính toán mỗi token tăng tỉ lệ với quy mô mô hình, và (2) bộ nhớ cache key-value (KV) phình to khi inference dài ngữ cảnh, cộng với hiện tượng activation outliers tích tụ qua nhiều tầng sâu gây bất ổn huấn luyện. Mô hình Transformer chuẩn cũng phân bổ attention vào ngữ cảnh nhiễu, giảm độ chọn lọc.

II. Main Idea:​

Motif 3 là mô hình decoder-only MoE 314 tỉ tham số, chỉ kích hoạt 13,2 tỉ/token nhờ sparsity hạt mịn: mỗi tầng MoE có 384 expert, chỉ chọn 8 expert cho mỗi token. Bốn sáng tạo kiến trúc cốt lõi:

  • GDLA (Grouped Differential Latent Attention): ghép differential attention (trừ hai phân bố attention để triệt nhiễu) với Multi-head Latent Attention (nén KV thành latent hạng thấp). Chia bất đối xứng đầu signal/nhiễu (64/16) để dồn năng lực mô hình tín hiệu, giữ KV cache gọn.
  • mHC sửa đổi: thay residual cộng bằng hyper-connection đa luồng, annealed hệ số post-mapping từ 2→1 để chặn outliers.
  • Expert-Specific PolyNorm: mỗi expert có hệ số đa thức riêng, tăng chuyên môn hóa.
  • Multi-Token Prediction: dự báo nhiều token để self-speculative decoding.

Hệ thống huấn luyện: MXFP8 chọn lọc cho expert, pre-quantize activation trước khi dispatch (rẻ bằng 1/8), Muon optimizer song song cho MoE, FSDP tối ưu giảm communicate. Post-training: SFT chung → 6 teacher chuyên biệt (GRPO) + 1 teacher SWE (SFT) → Multi-teacher On-Policy Distillation gộp vào một student.

Ví dụ đời thường: giống một công ty lớn thuê 384 chuyên gia tư vấn nhưng mỗi việc chỉ mời 8 người giỏi nhất vào cuộc (tiết kiệm chi phí), rồi cho 7 sếp bộ phận huấn luyện một thực tập sinh duy nhất qua các tình huống thật để một người làm được việc của cả nhóm.

III. Main Results:​

  • Quy mô: 314B tổng tham số, 13,2B kích hoạt/token, 53 tầng (2 dense + 51 MoE), context tối đa 256K tokens.
  • GDLA đạt loss thấp hơn GDA và MLA, chạm loss 3.2 với 9.2% ít token huấn luyện hơn MLA.
  • Expert-Specific PolyNorm giữ effective rank cao hơn SwiGLU ở trọng số gate → chuyên môn hóa rộng hơn.
  • Pretrain trên ~12,5 nghìn tỉ token (web, STEM, code, toán, đa ngôn ngữ, pháp lý, tài chính).
  • Cạnh tranh với các mô hình open-weight hàng đầu, mạnh trên tác vụ agentic dài hạn, lập luận toán, tri thức khoa học, và đánh giá nhạy cảnh ảo giác.
  • Hạ tầng: fit 314B trên B200 nhờ CPU offload optimizer, không cần pipeline parallelism; MXFP8 giảm một nửa volume All-Gather weight.

IV. Conclusion & Future Works:​

Motif 3 chứng minh kiến trúc MoE hạt mịn + GDLA + mHC sửa đổi + PolyNorm cộng với pipeline蒸馏 đa teacher có thể gộp tư duy, coding, tool-use, làm việc chuyên môn, ngữ cảnh dài, và từ chối có căn cứ vào một mô hình unified cạnh tranh. Hướng tương lai: mở rộng context dài hơn, tinh chỉnh teacher verifier, và tối ưu thêm hệ thống low-precision cho scale lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng GDLA sang các模态 đa phương thức (vision-language) để giữ KV cache gọn trong video dài.
  2. Phân tích lý thuyết sự tích tụ activation outliers qua depth và hiệu quả annealed post-mapping trong hyper-connections.
  3. Đóng gói Multi-teacher On-Policy Distillation thành quy trình chuẩn cho huấn luyện mô hình unified từ nhiều chuyên gia hẹp.
  4. So sánh MXFP8 chọn lọc vs BF16 toàn phần trên huấn luyện MoE quy mô nghìn tỉ tham số về độ ổn định và chất lượng cuối.

2. Patent:​

  1. Điện thoại chạy trợ lý AI tại thiết bị: dùng MoE hạt mịn (chỉ kích hoạt 8/384 expert) để suy luận nhanh, tiêu thụ ít pin hơn mà vẫn hiểu đa ngôn ngữ và coding.
  2. Tính năng tóm tắt và trả lời ngữ cảnh dài trên手机: tận dụng GDLA nén KV cache hạng thấp để giữ hàng nghìn tin nhắn trò chuyện trong bộ nhớ hạn chế của điện thoại mà không tràn RAM.
  3. App kiểm tra tài liệu pháp lý/tài chính trên di động: dùng teacher chuyên biệt đã RL để phân tích hợp đồng, cảnh báo rủi ro ngay trên máy, bảo mật dữ liệu không gửi lên cloud.
  4. Bàn phím thông minh dự đoán nhiều từ (multi-token prediction) trên điện thoại: gợi ý cả cụm câu thay vì từng chữ, giảm thao tác gõ và tăng tốc nhập liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09119
ArXiv Abstracthttps://arxiv.org/abs/2608.09119
PDF Downloadhttps://arxiv.org/pdf/2608.09119.pdf
Github RepositoryN/A

9. Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains (26 votes)​

Tác giả: Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

Xuất bản lúc: 2026-08-10

Tag: Text-to-Video, Benchmark, MLLM-as-Judge, Scientific Reasoning, Causal Correctness, Video Generation Evaluation, World Simulator

I. Main Problem:​

Các mô hình sinh video hiện nay đã đạt độ chân thực thị giác cao, nhưng đánh giá chưa bắt kịp sự thay đổi này: câu hỏi trọng tâm đã chuyển từ "video có trông hợp lý không" sang "video có hiện thực hóa đúng sự kiện, ràng buộc và phụ thuộc thời gian trong prompt không".

Hai lỗ hổng chính:

  • Các benchmark hiện có chỉ đo chất lượng cảm quan và thường thức vật lý đại trà, không test được cơ chế khoa học chuyên ngành (60 môn học).
  • Sự hợp lý bề mặt che giấu lỗi căn bản: video trông thuyết phục nhưng vi phạm định luật bảo toàn, đảo ngược quan hệ nhân quả, hoặc mô tả trạng thái chuyển tiếp bất khả thi.
  • Thiếu tiêu chuẩn đánh giá có thể mang đi (portable) giữa các người chấm (chuyên gia, không chuyên, MLLM) mà không cần thuê chuyên gia mỗi lần.

II. Main Idea:​

Sci-VBench xây dựng bộ benchmark đánh giá sinh video chuyên sâu về kiến thức và lập luận trong 4 lĩnh vực khoa học (Tự nhiên, Y tế, Nhân văn & Xã hội, Kỹ thuật) với 1.253 ví dụ do chuyên gia viết trải rộng 60 môn.

Thiết kế cốt lõi – mỗi ví dụ gồm:

  • Prompt tối giản: chỉ nêu thiết lập ban đầu và can thiệp, cố tình giấu kết quả, buộc mô hình phải tự suy luận cơ chế.
  • Đặc tả đánh giá: (i) Reference Guide mô tả khái niệm đích và chuỗi hiện tượng theo pha; (ii) Rubric với neo chấm 1–5 gắn với bằng chứng quan sát được.

Bốn chiều đánh giá: Low-level Perceptual Fidelity (VT/VBench), Prompt Grounding, Scientific and Causal Correctness, Spatiotemporal Consistency.

Quy trình chấm tự động: VT cho chất lượng cảm quan + MLLM-as-Judge (Qwen3.5-397B) được cho rubric từng chiều, chấm 3 lần lấy trung bình. Đặc tả phát hành kèm giúp người không chuyên và MLLM chấm sát chuyên gia (κ chuyên gia 0.842).

Ví dụ đời thường: giống đề thi thực hành mà giáo viên chỉ mô tả bộ dụng cụ và yêu cầu thí sinh tự làm thí nghiệm, kèm theo thang chấm điểm chi tiết từng bước – thí sinh không được nhìn đáp án trước, phải hiểu bản chất hiện tượng để làm đúng, và người chấm dù không phải chuyên gia vẫn chấm chuẩn nhờ bảng điểm đó.

III. Main Results:​

  • Chất lượng cảm quan đã bão hòa: điểm VT gần phẳng từ 3.79–4.12 trên cả 16 mô hình; sự khác biệt nằm ở cơ chế, không phải vẻ ngoài.
  • Khoảng cách proprietary–open-source tập trung vào lập luận: SCC tự động dao động 1.24–3.34, SCC con người 1.12–3.06. Gemini-Omni-Flash dẫn đầu (tự động 3.38 / con người 3.18); MiniMax-H3 (tốt nhất nhóm mã nguồn mở) chỉ đạt 1.63 SCC – bằng nửa proprietary.
  • Về Spatiotemporal Consistency mã nguồn mở không hề thua: Wan2.2-5B đạt điểm tự động cao nhất mọi mô hình (2.79).
  • Không mô hình nào mạnh đều mọi lĩnh vực: Gemini-Omni-Flash dẫn 3/4 môn, nhưng Sora-2 thắng môn Y tế; hồ sơ mã nguồn mở cũng rất không đồng đều.
  • Độ tin cậy đánh giá: không chuyên + đặc tả đạt tương quan 82.5 vs 74.0 không có đặc tả; rubric-conditioned MLLM vượt mọi phương pháp auto-eval cũ (VideoScore, VideoReward, ETVA).
  • Prompt rewriting cải thiện SCC nhiều nhất (+23~52%), nhưng không bù được lỗ hổng cơ chế của generator.

IV. Conclusion & Future Works:​

Sci-VBench lấp khoảng trống đánh giá mô hình text-to-video như "world simulator" chuyên ngành – nơi thành công phụ thuộc vào lập luận cơ chế và động lực nhân quả theo thời gian hơn là vẻ bề ngoài.

Phát hiện then chốt: khoảng cách dai dẳng giữa thực tại cảm quan và tính đúng đắn khoa học, cùng hố sâu proprietary/mã nguồn mở trên các chiều lập luận.

Hướng tương lai: cải thiện tuân thủ chỉ thị, tính nhất quán cơ chế, và ổn định không-thời gian; nghiên cứu sâu hơn về vì sao generator hiện tại không nội hóa được định luật vật lý/khoa học dù prompt rõ ràng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Sci-VBench sang video động đa bước dài hạn và các môn học chuyên sâu hơn (ví dụ thiên văn, vật lý hạt nhân) để test giới hạn world-simulator của mô hình sinh video.
  2. Nghiên cứu tại sao prompt rewriting giúp SCC nhưng không cứu được Spatiotemporal Consistency – phân tách lỗi do prompt mơ hồ vs lỗi nội tại của generator.
  3. Xây dựng giao thức MLLM-as-Judge rubric-conditioned chuẩn hóa làm công cụ đánh giá mặc định cho mọi benchmark sinh video chuyên ngành, thay thế chấm tay tốn kém.

2. Patent:​

  1. Ứng dụng trên điện thoại: app giáo dục khoa học tạo video mô phỏng thí nghiệm từ mô tả ngắn của học sinh – dùng rubric đặc tả sẵn để tự kiểm tra video sinh ra có đúng quy trình vật lý/khóa học hay không, cảnh báo khi video 'trông đẹp nhưng sai bản chất'.
  2. Hệ thống kiểm duyệt nội dung video khoa học tự động cho nhà xuất bản/trường học: đưa prompt bài giảng và video sinh bởi AI vào bộ chấm rubric, phát hiện lỗi nhân quả (ví dụ đảo chiều phản ứng hóa học, sai định luật bảo toàn) trước khi phát hành.
  3. Tính năng trợ lý y tế trên điện thoại: từ mô tả triệu chứng người dùng, sinh video minh họa cơ chế phản xạ/sinh lý kèm thang chấm 1–5 so với guideline chuyên gia, giúp người dùng tự nhận biết video giải thích có chính xác về mặt y khoa không thay vì chỉ trông có vẻ thuyết phục.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09873
ArXiv Abstracthttps://arxiv.org/abs/2608.09873
PDF Downloadhttps://arxiv.org/pdf/2608.09873.pdf
Github Repositoryhttps://github.com/sci-vbench/sci-vbench

10. What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems (25 votes)​

Tác giả: Zhijing Zhang, Jinpeng Yu, Xin Song, Bingnan Li, Chuyue Li, et al.

Xuất bản lúc: 2026-08-03

Tag: multimodal recommendation, image editing, visual grounding, preference learning, reinforcement learning, GRPO, Vision-Language Model

I. Main Problem:​

Các trợ lý hội thoại gợi ý chỉnh sửa tiếp theo hiện chủ yếu xử lý văn bản thuần túy, bỏ ngỏ hoàn toàn ngữ cảnh tạo ảnh. Trong tác vụ tạo/sửa ảnh theo luồng, một gợi ý hữu ích phải đồng thời:

  • phản ánh sở thích người dùng (người dùng thực sự muốn chọn gì)
  • đa dạng hướng sáng tạo (các gợi ý không lặp nhau)
  • thực thi được trên ảnh hiện tại (không đề xuất sửa thứ không tồn tại trên ảnh)

Khảo sát 100.000 cặp lượt thoại thực tế từ Qwen App cho thấy 80,1% truy vấn chỉnh sửa phụ thuộc ảnh — không suy luận được từ câu lệnh trước mà phải 'neo' vào nội dung ảnh mới nhất. Chỉ 19,9% phụ thuộc văn bản. Các phương pháp cũ không học được cả hai: vừa khớp lựa chọn hành vi, vừa xác nhận tính hợp lệ so với ảnh.

II. Main Idea:​

Khung ba giai đoạn bổ sung dần ba nguồn giám sát độc lập:

  • Giai đoạn 1 (SFT): từ dữ liệu thực (ảnh, truy vấn viết lại, ý định), ghép với bảng ý định chỉnh sửa do người duyệt, dùng teacher (Gemini) sinh ứng viên theo từng ý định, rồi validate và lắp thành 6 gợi ý. Fine-tune Qwen3-VL-8B (LoRA rank-4, encoder ảnh đóng băng) để thiết lập không gian hành động.

  • Giai đoạn 2 (RL theo click): huấn luyện reward model 8B từ cặp click xét vị trí — so sánh gợi ý được click chỉ với những gợi ý hiển thị phía trên chưa được click (người dùng đã thấy) để giảm thiên vị vị trí. Dùng GRPO đa mục tiêu tối ưu 5 tín hiệu: click-preference, format validity (gate), perplexity (giữ gần SFT), content-aware length, within-list diversity (dùng cặp giống nhất để bắt trùng lặp).

  • Giai đoạn 3 (Visual verifier): thêm bộ kiểm tra source–target theo ảnh trước — ghi nhận cảnh ảnh trước khi đọc gợi ý, tách mỗi gợi ý thành nguồn (phải đã có trên ảnh) và đích (trạng thái mong muốn chưa thỏa mãn), kiểm tra riêng. Điểm grounding thành phần thưởng thứ 6 đưa vào GRPO. Verifier chỉ dùng lúc huấn luyện nên khi phục vụ vẫn là một policy 8B duy nhất, không tăng độ trễ.

Ví dụ đời thường: giống thợ ảnh hỏi 'bạn muốn chỉnh gì tiếp?' — không chỉ đề xuất theo kinh nghiệm có sẵn (Giai đoạn 1), mà để ý khách từng bấm nút nào nhiều nhất (Giai đoạn 2), rồi trước khi nói còn nhìn kỹ máy xem có sẵn cái nút đó chưa, tránh bảo 'xóa mũ' khi khách đang không đội mũ (Giai đoạn 3).

III. Main Results:​

  • Offline: inconsistency (gợi ý không khớp ảnh) giảm 3,7% → 0,9% so với Giai đoạn 2; GSB chất lượng theo chuyên gia tăng +332 (SFT) → +405 (Stage 2) → +446 (full); redundancy trong slate giảm còn 8,8%.
  • A/B test 14 ngày, hàng triệu người dùng so với chính sách PE (prompt-engineered):
    • CTR gợi ý +32,70%
    • Tỉ lệ lưu ảnh (take-away) +16,32%
    • Số lượt hội thoại trung bình/user +39,90%
    • Tất cả p < 0,05, cùng phân bổ traffic và logic hiển thị.
  • Ablation: cặp xét vị trí nâng click accuracy 0,619 → 0,690; grounding reward đem lại inconsistency thấp nhất (0,9%) và GSB cao nhất; preference RL đơn thuần làm dài/lặp gợi ý và tăng inconsistency, được sửa bởi diversity + normalization.

IV. Conclusion & Future Works:​

Công trình xác lập bài toán gợi ý chỉnh sửa đa phương thức theo luồng — gợi ý vừa khớp sở thích hành vi vừa hợp lệ trên ảnh hiện tại — và chứng minh ba nguồn giám sát (ý định người duyệt, click thực tế, nhất quán thị giác) bổ trợ nhau thay vì xung đột. Hướng tương lai: hiệu chỉnh thiên vị vị trí đầy đủ (propensity correction thay vì chỉ luật vị trí), mở rộng verifier cho mục tiêu chủ quan/không đoán được từ ảnh, và áp dụng khung ba giai đoạn cho tác vụ đa phương thức khác ngoài chỉnh ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng kiểm tra source–target theo ảnh cho bài toán đề xuất hành động đa phương thức khác (video, 3D) — nơi đề xuất phải dựa trên trạng thái hiện tại xác thực thay vì tiền đề do chính đề xuất tự sinh ra.
  2. Học sở thích hành vi từ click với cặp so sánh xét vị trí áp dụng cho hệ thống đề xuất truy vấn đa phương thức tổng quát, giảm thiên vị hiển thị mà không cần ước lượng xác suất xem (propensity).
  3. Kết hợp reward model phương thức nhiều với tối ưu đa mục tiêu GRPO cho sản phẩm hội thoại cần cân bằng giữa sở thích người dùng, đa dạng và ràng buộc định dạng — kèm cơ chế trọng số động một phía văn bản.

2. Patent:​

  1. Tính năng 'gợi ý chỉnh sửa tiếp theo' trong app chỉnh ảnh trên điện thoại (như Qwen, Photoshop mobile): sau mỗi lần sửa, app hiển thị 3 gợi ý chọn ngẫu nhiên từ 6 đề xuất do model 8B sinh, đã qua verifier kiểm tra không yêu cầu đối tượng không có sẵn trên ảnh — tránh gợi ý vô lý như 'xóa kính' khi người không đeo.
  2. Hệ thống đề xuất chỉnh sửa ảnh cá nhân hóa cho gallery/album phone: học từ lịch sử click để ưu tiên kiểu chỉnh (làm đẹp, đổi nền, đổi màu) người dùng hay chọn, đồng thời đa dạng hướng và kiểm tra ảnh gốc đủ điều kiện thực thi trước khi hiển thị.
  3. Module kiểm tra nhất quán thị giác cho trình chỉnh sửa ảnh tích hợp camera phone: trước khi hiện bộ lọc/gợi ý, model quan sát ảnh trước rồi chỉ đề xuất hiệu ứng dùng được (ví dụ không đề xuất 'làm mờ nền' khi ảnh đã là chân dung đơn), giúp tăng tỉ lệ người dùng giữ ảnh và kéo dài phiên chỉnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.07565
ArXiv Abstracthttps://arxiv.org/abs/2608.07565
PDF Downloadhttps://arxiv.org/pdf/2608.07565.pdf
Github RepositoryN/A

11. OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching (20 votes)​

Tác giả: Can Xiao, Sukmin Cho, Junbong We, Zhixiong Niu, Jianyi Cheng, et al.

Xuất bản lúc: 2026-08-08

Tag: LLM Inference, KV Cache, Sparse Attention, Speculative Decoding, Memory Disaggregation, HBM, vLLM, Prefetching

I. Main Problem:​

Phục vụ suy luận LLM đang bị giới hạn bởi bộ nhớ (memory wall) chứ không phải tính toán. Khi tác vụ ngữ cảnh dài và suy luận dài phát triển, KV cache chiếm phần lớn dung lượng và lưu lượng bộ nhớ HBM trong quá trình giải mã (decode).

Hậu quả:

  • Dung lượng HBM khan hiếm và đắt đỏ, kéo tụt kích thước batch và thông lượng hệ thống.
  • Ngay cả HBM 80GB cũng chỉ chứa được ~9 request ở ngữ cảnh 32K, vì KV cache tăng tuyến tính theo độ dài ngữ cảnh.
  • Các phương pháp hiện có (sparse attention, KV retrieval, KV prefetch) hoặc không giảm dung lượng HBM, hoặc đẩy truyền KV lên đường tới hạn decode, hoặc kẹt ở tốc độ IO CPU-GPU xa vời triển khai thực tế.

II. Main Idea:​

OasisKV tách lưu trữ toàn bộ KV cache khỏi HBM trong lúc decode: GPU chỉ giữ một tập KV thưa (sparse working set) của các token quan trọng nhất, còn bản đầy đủ nằm ở bộ nhớ rẻ hơn (CPU DRAM / bộ nhớ từ xa).

Cơ chế cốt lõi — look-ahead attention (chú ý nhìn trước):

  • Dùng speculative decoding (SD) / EAGLE-3 để 'nháp' các token tương lai. Các token nháp này là tín hiệu không cần huấn luyện để đoán trước block KV bước kế tiếp cần dùng.
  • Token nháp được lan truyền qua tập KV thưa hiện tại; truy vấn nháp xếp hạng top-K block tiếp theo với độ đồng thuận >98.7% so với truy vấn thật.
  • Để xếp hạng cả block không cư trú, OasisKV lưu tóm tắt khóa nén (min/max pooling mỗi block) trên GPU — chỉ tốn 1/16 dung lượng KV.
  • Pipeline nền bất đồng bộ: 3 worker chạy trên 3 CUDA stream riêng (Top-K Prediction → KV Selection → KV Transfer), hoàn thành trước bước decode kế tiếp, che giấu độ trễ truyền.
  • Delta selection + capped eviction: mỗi bước chỉ nhận tối đa C block/head mới, giữ lưu lượng PCIe trong ngân sách băng thông.
  • Mở rộng sang PD disaggregation: chỉ truyền một phần KV qua mạng (partial transfer + network prefetch), không sao chép toàn bộ.

Ví dụ đời thường: giống trợ lý bếp thấy thực khách sắp xong món khai vị (dựa trên 'bản nháp' món sẽ gọi tiếp), bèn đi lấy nguyên liệu từ kho lạnh xa trong lúc đầu bếp chính vẫn nấu món hiện tại — nên nguyên liệu đã sờ tay ngay khi đến lúc chế biến món sau, không ai phải đợi.

III. Main Results:​

  • Độ chính xác: nằm trong 0.7 điểm so với full attention dưới ngân sách KV 2,048 token.
  • Reasoning workload: 1.69× so với vLLM dày, mất chỉ 0.1 điểm chính xác.
  • Multi-GPU long-context: lên tới 2.1× thông lượng (Qwen3-8B, 16K context, đạt 1,398 vs 676 tok/s).
  • PD disaggregation: ~2× thông lượng dày, while chỉ cần 6.5–9.7× ít KV hơn và giữ 2.2–2.6× ít bộ nhớ host ở decode-node.
  • Vượt trội ShadowKV, InfiniGen, FreeKV trên mọi cấu hình; các baselines này không chạy được ở chế độ batch lớn hoặc đa GPU (OOM / không hỗ trợ).
  • Qwen3-235B (TP8): đạt tới 1.9× thông lượng ở batch lớn.

IV. Conclusion & Future Works:​

OasisKV biến độ thưa của KV thành lợi thế thông lượng bằng cách gộp chung ba bài toán: chồng lấp prefetch ngoài-GPU, dự đoán thưa nhìn trước, và đánh đổi độ chính xác–độ thưa — thành một hệ thống tích hợp production (vLLM) hỗ trợ đa GPU và PD disaggregation.

Hướng tương lai: hiện OasisKV chỉ dùng token nháp làm tín hiệu lookahead và ép loại bỏ token nháp; tác giả dự định bật chấp nhận speculative decoding thực sự để vừa prefetch vừa tăng tốc decode.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OasisKV sang bộ nhớ từ xa phân tán (SSD/storage tier) cho prefill-node, cho phép batch size gần như không giới hạn trên quy mô cluster.
  2. Kết hợp chấp nhận speculative decoding (EAGLE-3) thực sự với lookahead prefetch để vừa dự đoán KV vừa giảm bước tính toán decode.
  3. Thiết kế chính sách eviction động thích ứng theo độ lệch top-K giữa các lớp và pattern truy cập của từng KV head để tối ưu ngân sách băng thông PCIe.
  4. Áp dụng look-ahead sparse prefetch cho các mô hình multimodal và tác vụ agentic nhiều vòng hội thoại dài hạn.

2. Patent:​

  1. Điện thoại thông minh chạy trợ lý AI ngữ cảnh dài: thay vì giữ toàn bộ lịch sử trò chuyện trên RAM nhanh (đắt, hạn chế), hệ thống chỉ giữ các đoạn hội thoại quan trọng nhất, phần còn lại nằm ở bộ nhớ chậm hơn; dùng bản nháp câu tiếp theo để lấy trước đoạn cần thiết từ bộ nhớ chậm trong lúc đang sinh câu hiện tại, giúp chat mượt mà mà không tốn RAM.
  2. Ứng dụng gõ phím dự đoán trên điện thoại: mô hình ngôn ngữ dự đoán trước vài ký tự tiếp theo (speculative) để chủ động nạp phần nhớ từ từ điển lớn nằm ở bộ nhớ ngoài vào RAM nhanh trước khi người dùng gõ xong chữ hiện tại, giảm độ trễ gợi ý.
  3. Hệ thống dịch thuật realtime trên thiết bị cầm tay: lưu toàn bộ tài liệu tham khảo dày ở bộ nhớ chậm, chỉ prefetch các đoạn ngữ cảnh liên quan nhất (dựa trên vài từ dịch 'nháp' sắp tới) vào RAM nhanh trước bước dịch, cho phép dịch tài liệu dài mà không kẹt bộ nhớ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.08097
ArXiv Abstracthttps://arxiv.org/abs/2608.08097
PDF Downloadhttps://arxiv.org/pdf/2608.08097.pdf
Github RepositoryN/A

12. SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation (19 votes)​

Tác giả: Zikun Qu, Min Zhang, Mingze Kong, Zhiwei Shang, Yikun Ban, et al.

Xuất bản lúc: 2026-08-05

Tag: On-Policy Distillation, Knowledge Distillation, LLM Reasoning, Reinforcement Learning, Sparse Probing, Verifier, Reverse-KL

I. Main Problem:​

On-policy distillation (OPD) huấn luyện student trên các trajectory tự sinh bởi chính nó và giữ feedback dày đặc từng token của teacher, khắc phục exposure bias. Nhưng hai lỗ hổng vẫn còn:

  • Reverse-KL có tính mode-seeking: ưu tiên continuation trội của teacher, gán xác suất quá thấp cho các nhánh khả dĩ khác → che phủ (coverage) giải pháp kém.
  • Entropy của teacher không đủ: không cho biết uncertainty tập trung ở vài token khả dĩ hay phân tán đuôi dài, cũng không nói student đã biểu diễn tốt các candidate đó chưa.
  • Xác suất local không dự đoán được thành công downstream: token teacher ưu tiên có thể dẫn tới lời giải sai, trong khi token ít ưu tiên hơn lại giúp ra lời giải đúng.

II. Main Idea:​

SPOT tách OPD thành hai quyết định coupled: where to probe (vị trí nào đáng thăm dò) và what to distill (cất gì vào target), xử lý qua 3 giai đoạn acquisition–exploration–exploitation.

1. Acquisition — Where to probe: tính điểm vị trí s_t = entropy chuẩn hóa × khối lượng top-k_s × độ lệch student–teacher. Tích này làm soft conjunction: chỉ điểm cao khi (a) teacher có nhiều candidate khả dĩ, (b) top-k_s thu được hầu hết xác suất, và (c) student đang underweight hoặc xếp hạng khác các candidate đó. Chọn Top-M vị trí để dành ngân sách rollout.

2. Exploration — Sparse probing: tại mỗi vị trí được chọn, append lần lượt từng candidate top-k_p, rollout continuation dưới student policy đông lạnh, rồi dùng verifier chấm điểm kết quả cuối.

3. Exploitation — Outcome calibration: chỉ giữ vị trí có ≥1 candidate được reward dương (B+), rồi xây target KL-regularized reward-tilted: π̃_T ∝ π̄_T · exp(γ·V̂_t) — tức log-target = log-teacher + bonus tỷ lệ với giá trị continuation. γ→0 khôi phục teacher prior; γ lớn thiên về candidate có outcome tốt hơn. Target vẫn neo vào teacher distribution nên không đi lạc.

Ví dụ đời thường: giống như học nấu ăn, thay vì chỉ nghe đầu bếp trưởng bảo 'công thức A ngon nhất' (teacher prior), bạn thử làm thử vài phương án A, B, C (sparse probing) rồi nhờ người nếm chấm điểm từng món (verifier), sau đó tự điều chỉnh lại tỷ lệ tin theo phương án nào thực sự ra món ngon (outcome-calibrated target) — chứ không mù quáng theo sở thích của sếp.

III. Main Results:​

  • Trên 3 quy mô student Qwen (0.6B / 1.7B / 4B) và 6 benchmark toán, SPOT đạt macro Pass@8 cao nhất ở mọi setting và macro Avg@8 cao nhất hoặc thứ hai.
  • So với OPD chuẩn: cải thiện macro Avg@8 +0.47–1.48 điểm, macro Pass@8 +4.55–5.28 điểm.
  • So với EOPD (baseline gần nhất dùng entropy threshold): cải thiện macro Avg@8 +0.29–0.68, macro Pass@8 +2.49–3.19.
  • Pass@8 tăng mạnh hơn Avg@8 → mở rộng coverage (tìm được ≥1 lời giải đúng trong 8 mẫu) mà không làm loãng độ chính xác trung bình mỗi mẫu.
  • Ablation: điểm acquisition đầy đủ (H×C×G) thắng mọi biến thể một phần; verifier-guidance giúp Pass@8 tăng trên mọi benchmark (AIME24 +13.33); ưu thế kéo dài tới sampling budget k=64.
  • Khái quát hóa out-of-domain (train trên MATH, tốt trên deliberative reasoning) và sang họ model khác (Llama) đều giữ图案 tương tự.

IV. Conclusion & Future Works:​

SPOT chứng minh giá trị của việc tách riêng where to probe và what to distill: uncertainty và độ lệch student–teacher dẫn hướng thăm dò, còn outcome downstream mới hiệu chỉnh supervision. Hướng mở rộng: tối ưu ngân sách thăm dò chủ động hơn, áp dụng cho họ model đa dạng và task ngoài toán, cũng như kết hợp với hidden-state alignment để tăng hiệu quả training.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SPOT sang đa teacher: mỗi teacher đề xuất candidate khác nhau, dùng verifier-scored continuation để hợp nhất thành target outcome-calibrated chung mà không cần truy cập nội bộ teacher.
  2. Kết hợp acquisition score với active learning để tự động chọn γ và ngân sách M, k_p theo độ khó prompt thay vì cố định siêu tham số.
  3. Áp dụng cơ chế reward-tilted branch target cho self-distillation, nơi student tự làm 'teacher ưu tiên' và verifier nội bộ hiệu chỉnh nhánh reasoning yếu.

2. Patent:​

  1. Trợ lý gõ phím trên điện thoại: thay vì chỉ gợi ý từ tiếp theo theo xác suất mô hình, hệ thống thử vài nhánh hoàn thành câu, chạy bộ kiểm tra ngữ pháp/ý nghĩa nhẹ để chấm điểm, rồi đẩy lên đầu những gợi ý thực sự tạo câu đúng nghĩa — giúp gợi ý đa dạng mà vẫn chuẩn.
  2. Tính năng giải toán trên app học tập: khi học sinh gõ nửa lời giải, app dùng teacher nhỏ đề xuất vài bước tiếp, tự rollout thử từng bước rồi nhờ verifier (kiểm tra đáp án) chọn nhánh dẫn tới lời giải đúng, hiển thị gợi ý theo nhánh đó thay vì theo xác suất thô của mô hình.
  3. Gợi ý trả lời tin nhắn/thư trên điện thoại: hệ thống thử vài phương án trả lời, dùng bộ chấm điểm tông giọng/phù hợp ngữ cảnh để tilt xác suất, ưu tiên phương án vừa tự nhiên vừa đạt mục đích giao tiếp — mở rộng độ đa dạng câu trả lời mà không lạc đề.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.04419
ArXiv Abstracthttps://arxiv.org/abs/2608.04419
PDF Downloadhttps://arxiv.org/pdf/2608.04419.pdf
Github Repositoryhttps://github.com/QuZikun/SPOT

13. Scaling Inherently Interpretable Language Models (16 votes)​

Tác giả: Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, et al.

Xuất bản lúc: 2026-08-06

Tag: Interpretability, Concept-Bottleneck, Diffusion-Language-Models, Scaling-Laws, Model-Steering, Attribution

I. Main Problem:​

Giới nghiên cứu mặc định rằng hiểu được mô hình phải trả giá bằng năng lực: huấn luyện một hệ thống mờ rồi giải thích sau (post-hoc). Các phương pháp giải thích sau — probe, feature attribution, sparse autoencoder, chain-of-thought — đều chia sẻ lỗi cấu trúc:

  • chúng giải thích một mô hình chưa từng được huấn luyện để bản thân lời giải là một giao diện hợp lệ;
  • probe chỉ báo thông tin có thể giải mã được, không chứng minh mô hình dùng nó;
  • attribution đo độ nhạy cục bộ, chưa chắc phản ánh can thiệp có ý nghĩa với con người;
  • CoT có thể tả lý do hợp lý nhưng không gắn với tính toán thực sự sinh ra câu trả lời.

Hậu quả: ta không thể can thiệp đáng tin cậy vào hành vi mô hình, vì quy trình huấn luyện chuẩn không tạo ra giao diện có biến số, can thiệp và nhãn ngữ nghĩa gắn chặt vào phép dự đoán.

II. Main Idea:​

Thay vì giải ngược mô hình mờ, bài báo đưa ràng buộc interpretable vào chính quy trình huấn luyện — tối ưu cùng lúc với mục tiêu sinh ngôn ngữ. Công thức gồm 4 mảnh ghép:

  • Atlas (dữ liệu): pipeline chú thích khái niệm — từ hàng triệu văn bản rút hàng trăm triệu tag tự do, chuẩn hóa thành >33.000 concepts, rồi gán nhãn hơn 1 nghìn tỷ token (web, code, toán, học thuật).
  • Kiến trúc Causal Diffusion: backbone block-causal attention (giữ tính song song trong block, giữ KV-cache giữa các block) + một additive concept bottleneck chèn giữa transformer và LM head, làm phép phân rã logit đúng đại số.
  • Concept Bottleneck Generative (CBGM): kênh concepts已知 + kênh unknown (hấp thụ phần còn lại), có orthogonality loss để kênh unknown vuông góc concepts.
  • Ba trục giải thích: (1) input-token attribution qua trained absence baseline; (2) concept attribution phân rã đại diện thành đóng góp từng khái niệm; (3) training-data attribution truy xuất ví dụ huấn luyện gần nhất.

Quan trọng: mỗi concept là một hướng trong không gian đại diện mà mô hình thực sự dùng khi sinh output → có thể khuếch đại/giảm bớt bằng một phép sửa đơn giản (steering), tạo vòng lặp đóng: chẩn đoán → lấy dữ liệu huấn luyện tương tự → sửa hành vi không cần huấn luyện lại.

Ví dụ đời thường: giống như chế tạo một cỗ máy có sẵn đồng hồ đo và nhãn mác từ đầu, thay vì đóng một hộp kín rồi đem chụp X-quang đoán nó hoạt động ra sao — thợ vừa nhìn kim đồng hồ vừa vặn núm chỉnh được ngay mà không tháo máy.

III. Main Results:​

  • Trên 3 bậc độ lớn của compute, cả mô hình autoregressive lẫn diffusion: interpretability tăng cùng năng lực, không đối nghịch; đại diện càng tách rời (disentangled) và khớp khái niệm con người hơn khi scale.
  • Thêm concept module chỉ dịch chuyển compute-optimal scaling exponent một lượng offset nhỏ, cố định theo backbone — chi phí interpretability không tăng theo scale.
  • Tất cả 4 metric interpretability đều cải thiện theo compute: dự đoán concept chính xác hơn, tách known/unknown sạch hơn, route nhiều dự đoán qua concept hơn, embedding concept khớp nhãn người hơn.
  • Validation loss của Steerling-8B dự đoán trong 0.11 nats từ fit nhỏ; 3/4 metric interpretability nằm trong bound chặt.
  • Steerling-8B (diffusion 8B, causal mask): huấn luyện 1.2T token + 150B mid-training. So với peer mở cùng quy mô nhưng dùng 2–16× compute nhiều hơn, vẫn nằm trong ~10% hiệu năng benchmark trung bình.
  • Overhead nhỏ và giảm theo scale: concept module chiếm 4% tham số ở 8B, dưới 1% ở quy mô frontier.

IV. Conclusion & Future Works:​

Bài báo đảo ngược tiền đề cũ: interpretability có thể thiết kế ngay vào huấn luyện và cải thiện theo scale, thay vì là thuế phải trả. Steerling-8B chứng minh một mô hình vừa dễ hiểu vừa cạnh tranh được với các peer mờ dùng nhiều compute hơn nhiều. Hướng tương lai: mở rộng thư viện concept và quy mô corpus; áp dụng recipe inherent-interpretable cho các backbone/modality khác; tinh chỉnh vòng lặp closed-loop steering thành công cụ can thiệp sản phẩm thực tế; nghiên cứu tại sao ràng buộc interpretable lại giúp đại diện disentangle tốt hơn khi scale.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng recipe inherent-interpretable sang multimodal và encoder-only: xây concept library cho ảnh/không gian, đo xem disentanglement có còn tăng theo scale hay không.
  2. Nghiên cứu cơ chế tại sao ràng buộc interpretable (concept bottleneck + orthogonality) lại làm đại diện sạch hơn khi scale — liên hệ với loss landscape và feature learning.
  3. Hệ thống closed-loop steering tự động: từ attribution sinh đề xuất can thiệp, tự retrieve training data và đánh giá hiệu chỉnh qua benchmark, thay vì do người chọn concept.
  4. So sánh định lượng độ tin cậy của inherent attribution vs post-hoc (SAE/probe) trên cùng tác vụ can thiệp để chứng minh faithfulness.

2. Patent:​

  1. Điện thoại thông minh có trợ lý gõ văn bản 'có thể giải thích': mỗi câu gợi ý đều kèm chỉ báo chủ đề (chính trị, thể thao, lịch sự...) và nguồn dữ liệu huấn luyện tương tự, người dùng vuốt để giảm bớt chủ đề không muốn — không cần huấn luyện lại.
  2. Bàn phím gợi ý an toàn trẻ em: khi sinh câu có concept nhạy cảm, hệ thống tự 'steering' giảm hướng đó theo thời gian thực và hiển thị cho phụ huynh chủ đề nào vừa bị lọc.
  3. App kiểm duyệt nội dung: thay vì hộp đen chặn, app truy xuất 3 đoạn văn huấn luyện tương tự nhất sinh ra phán đoán, gắn nhãn concept (bạo lực, spam...) để người kiểm duyệt hiểu và chỉnh tay.
  4. Trình sửa văn bản AI trên điện thoại: chọn một đoạn văn, app chỉ ra token đầu vào và concept (giọng trang trọng, mỉa mai) gây ra tông giọng đó, rồi cho thanh trượt tăng/giảm concept để đổi giọng ngay lập tức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.07594
ArXiv Abstracthttps://arxiv.org/abs/2608.07594
PDF Downloadhttps://arxiv.org/pdf/2608.07594.pdf
Github Repositoryhttps://github.com/guidelabs/steerling

14. Evo-Bench: Can Language Models Improve Agent Harness? (13 votes)​

Tác giả: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, et al.

Xuất bản lúc: 2026-08-10

Tag: Agent Harness, Self-Improvement, LLM Benchmark, Harness Evolution, Agent Framework, Code Optimization

I. Main Problem:​

Các đánh giá agent tự chủ hiện nay chỉ đo năng lực giải task tĩnh trong một harness (khung mã điều phối lý luận, dụng cụ, bộ nhớ) cố định, nên không tách bạch được việc cải thiện harness khỏi sức mạnh mô hình nền. Ba thách thức chưa được giải quyết:

  • Harness sensitivity: điểm task phải nhạy với cải tiến harness chứ không do base model mạnh.
  • Cross-split generalization: tập validation và evaluation phải phản ứng nhất quán để tránh overfitting từng task.
  • Long-horizon evolution: mô hình phải duy trì tinh chỉnh đa vòng (chẩn đoán lỗi → giả thuyết → sửa code).

Thiếu ba yếu tố này, ta lẫn lộn 'năng lực tiến hóa harness thực sự' với 'sức mạnh mô hình' hoặc 'học vẹt task'.

II. Main Idea:​

Evo-Bench đo năng lực nội tại của LLM khi đóng vai kỹ sư nghiên cứu dài hạn: tự sửa mã harness thực thi để nâng hiệu suất agent. Cơ chế kiểm soát chặt:

  • Giữ cố định policy model (DeepSeek-V4-Flash), chỉ để evolver (mô hình đang đo) sửa harness.
  • Mỗi vòng: evolver đọc bằng chứng validation, chẩn đoán lỗi, sửa code harness, chạy thử trên tập validation; cuối cùng đông kết harness và đo trên tập evaluation riêng biệt.
  • Phủ 3 domain: Search (BrowseComp, HLE), Office (GDPval, APEX-Agents), General (Claw-Eval).

Khung xây dựng harness-guided 2 giai đoạn để chọn task đúng:

  • Giai đoạn 1: chạy tiến hóa phụ trên 320 auxiliary task bằng 4 mô hình frontier thu 73 harness, lọc thành 12 harness đại diện.
  • Giai đoạn 2: chấm 2.329 candidate task dưới 12 harness đó; tính Sens(x) = tương quan Pearson giữa điểm task và chất lượng tổng thể harness; giữ task có Sens>0, rồi stratified split theo độ khó để validation/evaluation đồng phân bố.

Ví dụ đời thường: giống một sếp mới nhận xưởng, không tự vận hành mà quan sát công nhân làm vài ca, ghi chép lỗi, rồi viết lại sơ đồ tổ chức và quy trình thao tác để cả dây chuyền chạy trơn tru hơn — và sơ đồ đó vẫn dùng được nếu đổi sang công nhân khác.

III. Main Results:​

  • Top evolver: GPT-5.6 Sol đạt Overall 46.3 (+16.6), Claude Opus 4.8 45.8 (+16.1) so với seed CodeAct (29.7), sát baseline Artificial harness 47.5 do con người thiết kế.
  • Search dễ tiến hóa nhất: Claude Opus 4.8 +34.8, gần đuổi kịp Artificial (46.7) nhờ tự sinh logic duyệt web.
  • Office bám rễ: hầu hết model chỉ cải thiện nhẹ hoặc tệ đi, không đấu lại Artificial (43.9) vì workflow quá đặc thù.
  • General vượt tay: GPT-5.6 Sol (59.4) và Qwen3.7-Max đánh bại Artificial (56.3) — minh chứng harness tự sinh hay hơn thiết kế thủ công.
  • Early saturation: phần lớn model đỉnh sớm rồi sửa hỏng ở vòng sau; Opus-4.8/GLM-5.2 có AnytimeVal cao nhất nhưng lại drop về sau.
  • Transferability: đổi policy model (Qwen/DeepSeek/GLM) vẫn tăng mạnh, chứng tỏ evolver sinh cấu trúc reasoning khái quát chứ không overfit.
  • Cost: GPT-5.6 Sol >500 USD/lần; GLM-5.2 & Qwen3.7-Max <40 USD но hiệu năng mạnh (gối Pareto hiệu quả).

IV. Conclusion & Future Works:​

Evo-Bench tách bạch năng lực tiến hóa harness thực sự khỏi prompt tuning và nhiễu ngẫu nhiên bằng định danh quyền hạn, lặp dài hạn và căn chỉnh chuyển giao. Model hiện tại đã hứa hẹn làm kỹ sư tự chủ nhưng thiếu tối ưu hệ thống sâu (planner thụ động, context chỉ nối tiếp, verifier quá dễ dãi). Hướng tương lai: (1) trừu tượng hóa mẫu lỗi nhân quả từ log; (2) tái cấu trúc kiến trúc quy mô lớn thay vì patch cục bộ; (3) tận dụng ngân sách khám phá triệt để để vượt qua harness do chuyên gia.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Evo-Bench sang đa policy đồng thời: để một evolver tiến hóa harness chia sẻ phục vụ nhiều agent nền khác nhau, đo mức độ khái quát cấu trúc reasoning sinh ra.
  2. Nghiên cứu cơ chế early saturation: tại sao model nhanh đạt cấu trúc tốt rồi tự sửa hỏng, và thiết kế heuristic dừng sớm hoặc bảo vệ phiên bản tốt nhất.
  3. Kết hợp harness evolution với post-training: cho phép evolver vừa sửa scaffold vừa điều chỉnh trọng số mô hình để đạt co-optimization như hướng Hebbar et al.
  4. Đưa đa phương thức (hình ảnh, PDF) vào Evo-Bench để đo tiến hóa harness xử lý tài liệu văn phòng phức tạp thay vì chỉ text.

2. Patent:​

  1. App điện thoại 'tự tối ưu trợ lý': trợ lý AI trên手机 chạy vài ca任务, tự ghi log thao tác thất bại, sinh lại quy trình gọi tool (tra cứu, nhắc lịch, soạn tin) để hôm sau làm đúng hơn mà không cần kỹ sư viết lại.
  2. Trình duyệt di động thông minh: agent tự xây module làm sạch trang web (bỏ script/markup nhiễu, giữ link) và router công cụ theo miền, giúp tìm kiếm trên手机 nhanh và sạch hơn.
  3. Hệ thống văn phòng tự động trên thiết bị: phần mềm soạn thảo/bảng tính tự chẩn đoán lỗi định dạng, tự mở lại file kiểm tra và tính lại giá trị thiếu, giảm sai sót khi người dùng tạo báo cáo.
  4. Công cụ phân tích log cho doanh nghiệp: thu thập trace thao tác người dùng, tự đề xuất chuẩn hóa quy trình làm việc (như tự động hóa email nháp, kiểm tra credentials) chạy nền trên máy tính cá nhân.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.09096
ArXiv Abstracthttps://arxiv.org/abs/2608.09096
PDF Downloadhttps://arxiv.org/pdf/2608.09096.pdf
Github Repositoryhttps://github.com/RUCAIBox/Evo-Bench

15. Evidence-RL: Towards Evidence-intensive Visual Reasoning (12 votes)​

Tác giả: Haojie Huang, Xinlei Yu, Chengming Xu, Zhangquan Chen, Cheng Yang, et al.

Xuất bản lúc: 2026-08-08

Tag: Vision-Language Models, GRPO, Counterfactual, Visual Grounding, Causal Inference, Reinforcement Learning, Visual Reasoning

I. Main Problem:​

Các Vision-Language Model (VLM) thường trả lời đúng bề ngoài nhưng không dựa trên hình ảnh thật — chúng dựa vào prior ngôn ngữ, quy luật tập dữ liệu, hoặc ngữ cảnh ảnh không liên quan thay vì bằng chứng thị giác thực sự. Các phương pháp hậu huấn luyện nhận thức ảnh hiện tại (PAPO, VPPO) chỉ đo sự phụ thuộc thị giác thô qua nhiễu toàn ảnh hoặc proxy attention, nhưng không kiểm chứng được câu trả lời có thực sự gây ra bởi vùng bằng chứng cục bộ hay không.

  • Hậu quả: câu trả lời đúng có thể đến từ đường tắt (shortcut) hoặc prior, không phải từ evidence.
  • Tín hiệu chỉ quan sát văn bản đầu ra không thể phân biệt được hai trường hợp này — gọi là evidence-closed self-evolution (không thể định danh được grounding).

II. Main Idea:​

Counterfactual Evidence Disentanglement (CED) là một cuộc kiểm toán bằng chứng tại thời điểm huấn luyện, kết hợp cùng độ đúng đắn câu trả lời bên trong thuật toán GRPO. Cơ chế:

  • Với mỗi câu trả lời mẫu, xác định một Evidence Region (vùng ảnh chứa bằng chứng) cấp độ đối tượng.
  • Can thiệp: thay token thị giác của vùng đó bằng giá trị trung bình lân cận (mean replacement) — xoá thông tin riêng vùng nhưng giữ nguyên đặc trưng cục bộ.
  • Tính độ sụt log-likelihood của câu trả lời khi vùng evidence bị xoá, rồi so với độ sụt khi xoá các non-evidence Regions (vùng đối chứng, cân bằng diện tích). Chênh lệch này = evidence margin.
  • Cộng tín hiệu này với độ đúng đắn: chỉ thưởng cao khi vừa đúng vừa phụ thuộc vào đường evidence.

Điểm then chốt: dùng proposal đối tượng yếu (COCO box), không cần chú thích vùng theo câu hỏi, không tốn thêm chi phí suy luận.

Ví dụ đời thường: giống như một đầu bếp kiểm tra món ăn có thực sự phụ thuộc vào một gia vị chủ chốt không — anh ta thay riêng phần gia vị đó bằng vị trung bình và xem món có đổi vị mạnh hơn so với khi thay các nguyên liệu phụ không; chỉ khi bỏ đúng gia vị chủ chốt mới làm món hỏng, mới kết luận công thức thực sự cần nó.

III. Main Results:​

  • Trên Qwen2.5-VL-7B với 9 benchmark, EVIDENCE-RL đạt điểm trung bình cao nhất (67.13) và mức cải thiện lớn nhất (+5.94) so với các phương pháp RL nền tảng.
  • Là phương pháp RL duy nhất có ∆ không âm trên cả 9 benchmark.
  • Cải thiện chuyển giao trên 4 backbone (Qwen2.5-VL-3B/7B, Qwen3-VL-8B, Qwen3.5-9B), mọi ô benchmark–backbone đều không âm.
  • Hiệu quả mạnh nhất trên benchmark nặng về nhận thức: VLMsAreBlind, FREAK, MMMU.
  • Ablation (Qwen3.5-9B): Answer-CED vượt correctness-only +12.58 và vượt VPPO +13.12; PAPO bị bất ổn (25% lặp đoạn).
  • Tín hiệu bền vặt: margin sụt về gần 0 khi dùng proposal ngẫu nhiên; mean replacement phân biệt tốt hơn zero/noise/global masking.
  • Không suy giảm lý luận văn bản (text-only benchmark: −0.27 pp).

IV. Conclusion & Future Works:​

Huấn luyện hậu kỳ nên thưởng câu trả lời đúng vì phụ thuộc vào bằng chứng thị giác liên quan, thay vì chỉ khớp phân bố câu trả lời. CED đóng cửa evidence-closed bằng tín hiệu có điều kiện ảnh, buộc mô hình ưu tiên đường grounding. Hướng tương lai: mở rộng CED sang evidence cấp thuộc tính (attribute) và quan hệ (relational) bằng cách đổi kiểu can thiệp; áp dụng công thức tương tự cho các mô hình đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CED sang evidence cấp thuộc tính và quan hệ: thay vì chỉ can thiệp vùng không gian, can thiệp vào đặc trưng thuộc tính (màu, hình dạng) hoặc mối quan hệ không gian giữa hai đối tượng để kiểm toán grounding tinh vi hơn.
  2. Kết hợp CED với judge tự tiến hóa có điều kiện ảnh để giải quyết triệt để evidence-closed self-evolution trong các pipeline RL đa phương thức hiện tại.
  3. Áp dụng tư tưởng counterfactual evidence margin cho thị giác máy tính nói chung — làm phần thưởng huấn luyện cho mô hình detection/segmentation bắt buộc dựa trên vùng quyết định.

2. Patent:​

  1. Điện thoại thông minh kiểm duyệt ảnh tự động: khi người dùng hỏi 'có mấy quả táo trong ảnh?', hệ thống chặn vùng đối tượng nghi ngờ rồi đo độ sụt xác suất câu trả lời để cưỡng ép mô hình đếm từ pixels thật thay vì đoán theo prior, giảm ảo giác trên trợ lý camera.
  2. Tính năng 'giải thích tại sao' cho ứng dụng hỏi-đáp ảnh trên điện thoại: highlight chính xác vùng ảnh quyết định câu trả lời bằng cách can thiệp từng vùng và quan sát câu trả lời thay đổi, giúp người dùng tin cậy kết quả hơn.
  3. Bộ lọc tin giả thị giác trên mạng xã hội di động: dùng CED để phát hiện ảnh bị ghép hay context sai — nếu câu trả lời của mô hình không sụt khi xoá vùng nghi ngờ, tức là mô hình đang dựa vào prior chứ không phải evidence, cảnh báo nội dung thiếu grounding.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.08021
ArXiv Abstracthttps://arxiv.org/abs/2608.08021
PDF Downloadhttps://arxiv.org/pdf/2608.08021.pdf
Github RepositoryN/A

16. RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States (11 votes)​

Tác giả: Yi Yang, Zhennan Chen, Yihong Zhuang, Tiehan Fan, Yinan Chen, et al.

Xuất bản lúc: 2026-08-10

Tag: Reinforcement Learning, Agent Memory, LLM Agents, Memory-Reward Trap, Self-Evolving, Lifelong Learning

I. Main Problem:​

Bộ nhớ học dựa trên kết quả (outcome-driven) cho LLM agent tự tiến hóa vấp phải hai khó khăn đan xen:

  • Pha loãng phản hồi do không gian utility mở rộng: mỗi trajectory đã lưu được gán một biến utility Q riêng, nên chiều không gian học tăng liên tục theo lịch sử tương tác. Phản hồi hữu hạn bị dàn trải trên số trạng thái ngày càng lớn → nhiều memory cold start, cập nhật phân tán, mật độ phản hồi thấp.

  • Memory-Reward Trap (MRT): phần thưởng chỉ cấp ở mức cả trajectory, được gán chung cho mọi memory cùng được truy xuất (co-retrieved). Một memory nhiễu/yếu liên quan/thất bại cũng nhận cập nhật Q dương dù không đóng góp nhân quả.

  • Nghịch lý khám phá: tăng exploration giúp phủ nhiều memory hơn (bớt cold start) nhưng lại đưa thêm nhiều biến utility sai vào vùng nhận phần thưởng lầm → MRT nặng hơn, hiệu suất nhiệm vụ sụt.

II. Main Idea:​

RoMeRL (Reduced-Order Memory Reinforcement Learning) không khám phá hung hăng hơn, mà đổi luôn không gian mà memory RL hoạt động trên đó. Thay vì học utility theo từng trajectory, nó biểu diễn mỗi task bằng một trạng thái cố định 4 chiều, phân rã theo hai trục nhị phân:

  • Outcome polarity: bằng chứng thành công (+) / thất bại (−)
  • Memory dynamics: đã cô đặc, ổn định (C) / đang thích ứng, chuyển tiếp (A)

Tích Descartes cho 4 tọa độ ngữ nghĩa cố định (identity không đổi, nội dung cập nhật/thay thế):

  • PCC — positive consolidated: trajectory thành công hiệu quả nhất (tham chiếu dương toàn cục)
  • PAC — positive adaptive: lần thành công đầu tiên sau cú thất bại đầu (mẫu phục hồi)
  • NCC — negative consolidated: thất bại có utility tích lũy cao (bằng chứng âm tái dùng được)
  • NAC — negative adaptive: hiện trạng lỗi gần nhất

Mỗi trajectory mới cập nhật hoặc thay thế một tọa độ (warm-start utility kế thừa) thay vì thêm biến mới. Lý thuyết: Theorem 3 chứng minh tập trung phản hồi lên ít tọa độ hơn (phương sai ước lượng giảm từ O(σ²N/kT) xuống O(4σ²/kT)); Proposition 1 chỉ ra số tọa độ sai ở trạng thái dừng bị giới hạn bởi chiều 4, nhỏ hơn vùng phơi nhiễm của full pool.

Ví dụ đời thường: giống một quản gia chỉ giữ đúng 4 ngăn kéo cho mỗi công việc (thành công cũ, thành công mới, thất bại hữu ích, thất bại gần nhất). Thay vì mở một ngăn mới mỗi lần làm xong, ông xếp kinh nghiệm vào đúng 4 ngăn — ngăn đầy thì thay vật đại diện nhưng giữ nguyên điểm uy tín của ngăn. Mọi lời khen/chê vì thế dồn vào 4 ngăn, không bị pha loãng và ít nhầm lẫn hơn.

III. Main Results:​

  • Overall score 0.753 trên 10 đơn vị đánh giá (LAB, ALFWorld, AppWorld) — cao nhất, vượt MemRL (baseline mạnh nhất) +2.9 điểm.
  • Cold-Q ratio giảm 80.0% (từ ~28% xuống 9.0%): ít memory "chết lạnh" hơn.
  • Feedback density tăng ~6.0× (4.96 → 29.93): mỗi tọa độ nhận nhiều cập nhật hơn.
  • Memory size giảm 84.4% (45K → 7K) và LLM calls giảm 21.1% (570K → 450K) mà không sửa LLM gốc.
  • AppWorld: SGC 0.286 → 0.326 (+4.0 điểm), TGC 0.306 (sát ngưỡng 0.313).
  • MRT stress test: RoMeRL giới hạn positive noise updates ở 2.4 và final noise ratio 0.15%, so với MemRL+UCB là 7.2 và 1.20%, đồng thời SR cao nhất (82.0%).
  • Cross-model transfer: chuyển trạng thái bộ nhớ đông lạnh sang GPT-5.4-mini / Gemini-3.5-flash đều tăng điểm và giảm số bước thực thi (ví dụ OS: +14.6 điểm, −1.01 bước).

IV. Conclusion & Future Works:​

RoMeRL chứng minh bậc thấp hóa (reduced-order) trạng thái utility — thay vì mở rộng khám phá — là cách giải quyết gốc rễ của MRT: vừa tập trung phản hồi vừa thu hẹp vùng phơi nhiễm với reward sai lệch. Hạn chế: chỉ đánh giá trên 3 benchmark, giả định phân bổ phản hồi cân bằng và chưa xét động lực học nhiễu phức tạp. Hướng tương lai: mở rộng sang multi-agent, tối ưu chiến lược thay thế/tái cấu trúc tọa độ chủ động, và kết hợp với exploration có định hướng thông tin.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RoMeRL sang multi-agent: mỗi tác nhân duy trì 4 tọa độ utility cố định và chia sẻ trạng thái cô đặc âm/dương qua bản tin ngắn để học kinh nghiệm chéo mà không phình bộ nhớ.
  2. Kết hợp RoMeRL với active exploration có định hướng thông tin: thay vì UCB ngây thơ, chọn truy xuất để vừa giảm Cold-Q vừa không tăng MRT, dựa trên ước lượng attribution bias của từng tọa độ.
  3. Áp dụng tư tưởng reduced-order utility cho lifelong learning trên thiết bị: giữ trạng thái 4 chiều mỗi task để hệ thống trên điện thoại tự tiến hóa mà không cần fine-tune nặng.

2. Patent:​

  1. Trợ lý ảo trên điện thoại tự học: thay vì lưu mọi lịch sử chat, hệ thống chỉ giữ 4 'ngăn' gợi nhớ cố định mỗi loại việc (thành công cũ, thành công mới, lỗi hữu ích, lỗi gần nhất); mỗi lần trả lời xong, phản hồi người dùng cập nhật điểm uy tín của đúng một ngăn — tiết kiệm bộ nhớ và giảm gọi mô hình.
  2. Tính năng gợi ý thông minh trong app học tập: app lưu 4 nhóm 'kinh nghiệm' cho mỗi dạng bài (cách giải đúng hiệu quả, mẫu vượt lỗi, lỗi hay mắc có giá trị, lỗi vừa gặp) để lần sau gợi ý sát hơn mà không chất đống hàng nghìn bản ghi cũ.
  3. Hệ thống nhắc nhở cá nhân hóa chống 'quên sai': ứng dụng sức khỏe chỉ giữ 4 tọa độ thói quen (thói quen tốt ổn định, thói quen tốt mới hình thành, thói quen xấu đáng giữ cảnh báo, lỗi gần nhất) để điều chỉnh lời nhắc dựa trên phản hồi thực tế thay vì mọi log hành vi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.02508
ArXiv Abstracthttps://arxiv.org/abs/2608.02508
PDF Downloadhttps://arxiv.org/pdf/2608.02508.pdf
Github Repositoryhttps://github.com/YOUNG-fnxm/RoMeRL

17. Business Arena: Benchmarking LLM Agents in a Realistic Marketplace (10 votes)​

Tác giả: Yijun Pan, Yukun Lian, Kunyu Shi, Junbo Li, Hongwei Xue, et al.

Xuất bản lúc: 2026-08-09

Tag: LLM Agents, Benchmark, Business Simulation, Agent Evaluation, Long-Horizon, Tool-Use, Credit Assignment

I. Main Problem:​

Các khả năng vận hành kinh doanh của LLM agent hầu như chưa được đánh giá trong các benchmark hiện có, dù agent ngày càng làm được nhiều workflow phức tạp. Lý do: kinh doanh là dạng công việc trí tuệ khó nhất với bốn thách thức lớn mà môi trường agent thường bỏ qua:

  • Bằng chứng nhiễu: nhu cầu thật, ý định đối thủ, sở thích khách hàng đều ẩn sau tín hiệu thưa thớt và mâu thuẫn.
  • Phản hồi trễ và khó quy kết: phải bỏ vốn trước khi bán được, kết quả sau này không chỉ rõ quyết định nào gây ra nó.
  • Môi trường đổi thay: cầu, chi phí, hành vi đối thủ liên tục biến động.
  • Nghĩa vụ vận hành dai dẳng: tuân thủ pháp lý, phục vụ khách, chi phí cố định vẫn phát sinh dù không có doanh thu.

Triển khai trực tiếp trên doanh nghiệp thật là bài test đầu tiên không phù hợp: sai lầm đốt tiền thật, vi phạm luật, và không thể giữ thị trường bất biến để so sánh tái lập được.

II. Main Idea:​

Business Arena là môi trường kiểm soát nơi một agent tự vận hành một cửa hàng B2B xuyên biên giới dài hạn (mua từ nhà cung cấp, bán cho khách), bao phủ toàn bộ vòng lặp: nghiên cứu thị trường, sourcing, tồn kho, định giá, bán hàng, dịch vụ khách, tuân thủ, tài chính. Thiết kế:

  • Dữ liệu thực: sản phẩm, báo giá, MOQ, lead time lấy từ listing thật Alibaba.com; chu kỳ cầu, thuế quan hiệu chỉnh từ nguồn uy tín.
  • Hơn 60 công cụ: gọi MCP đánh máy hỗ trợ xen kẽ suy luận–hành động, cộng API backend và workspace bền bỉ cho script/routines tự viết.
  • Cơ chế giữ nguyên 4 thách thức: bằng chứng không đầy đủ, hậu quả kinh tế trễ, thị trường đổi thay, nghĩa vụ tuân thủ/phục vụ khách.
  • Chẩn đoán đa tầng: ước lượng cơ hội khả dụng bằng các chiến lược do chuyên gia thiết kế; đo skill-level metrics; truy vết quyết định (action-level attribution) nối mỗi khoản lãi/lỗ về hành động gây ra; cơ chế ablation chứng minh điểm cao đến từ trí tuệ kinh doanh thật chứ không phải shortcut của simulator.

Ví dụ đời thường: giống một người mới thuê sạp trong chợ đêm — không nhìn thấy hết khách muốn gì, phải bỏ tiền lấy hàng trước khi biết bán chạy hay không, giá đối thủ đổi liên tục, và vẫn phải trả tiền thuê sạp mỗi ngày; cuối tháng nhìn tiền lời mới biết mình chọn đúng hay sai, còn ông chủ thì soi lại từng hóa đơn để chỉ ra chính xác quyết định nào kiếm tiền, quyết định nào đốt tiền.

III. Main Results:​

  • Đánh giá 15 mô hình frontier (GPT-5.6 Sol, Claude Fable 5, Gemini 3.1 Pro, Qwen, DeepSeek, MiniMax...): giá trị tài sản ròng cuối kỳ trung bình từ 20,856đe^ˊn20,856 đến 188,488, chênh 9,0 lần.
  • 51% lượt chạy lỗ so với vốn khởi điểm $80,000; chỉ 4 mô hình giữ được vốn trong mọi lần thử.
  • Chiến lược do chuyên gia thiết kế mạnh nhất đạt $436,195 (gấp >2 lần mô hình tốt nhất) — dư địa cải thiện còn lớn.
  • Gemini 3.1 Pro dẫn đầu (kiểu "Premium House", biên 52%, deploy vốn 199%); GPT-5.6 Sol & Opus 4.6 kiểu "Volume Wholesaler" (sell-through >93%); Fable 5 cân bằng.
  • Phân tích kỹ năng bộc lộ phong cách: người bảo vệ biên lợi nhuận, người ưu tiên turnover, người giỏi dịch vụ khách (Opus 4.8 chuyển đổi 84% inquiry nhưng kinh tế yếu).
  • Tuân thủ: mô hình yếu vi phạm nặng — MiniMax M2.5 trung bình 22,7 vi phạm, phạt 51,750;DeepSeekV4Prophạt51,750; DeepSeek V4 Pro phạt 39,650.
  • Độ tin cậy cao: ICC = 0.944, xếp hạng ổn định giữa các tập 5-run (ρ = 0.898).

IV. Conclusion & Future Works:​

Business Arena là bước đầu tiên hướng tới testbed chân thực và đáng tin cho agent kinh doanh end-to-end: vừa giữ thách thức của thị trường thật, vừa phân giải được tại sao agent thắng/thua qua skill metrics và attribution. Kết quả cho thấy vận hành doanh nghiệp vẫn vượt quá năng lực LLM hiện tại (khoảng cách 9x, hơn phân nửa lượt lỗ). Hướng tương lai: mở rộng không gian hành động/thị trường, dùng attribution làm dữ liệu huấn luyện RL, và khai thác pipeline save–fork–load để so sánh like-for-like và test-time scaling trên các trạng thái khó.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Dùng action-level attribution từ Business Arena làm tín hiệu credit assignment dày đặc để huấn luyện RL cho agent kinh doanh, thay vì chỉ dùng reward cuối kỳ.
  2. Mở rộng pipeline save–fork–load thành bộ 'difficult-state benchmark' tái dùng được, cho phép so sánh like-for-like giữa các mô hình và chính sách tham chiếu từ cùng một checkpoint.
  3. Nghiên cứu cơ chế ablation hệ thống để phân biệt trí tuệ kinh doanh thật với simulator shortcut trên các môi trường agent dài hạn khác (web, software, logistics).
  4. Phân tích sự phân kỳ giữa kỹ năng đơn lẻ và vận hành toàn vòng lặp: tại sao agent giỏi dịch vụ khách (Opus 4.8) lại thất bại về kinh tế tổng thể.

2. Patent:​

  1. Ứng dụng điện thoại hỗ trợ chủ shop online: mô phỏng sạp ảo cho phép người bán 'chạy thử' chiến lược định giá và nhập hàng trên dữ liệu thật Alibaba trước khi bỏ vốn thật, hiển thị dự báo lãi/lỗ và cảnh báo vi phạm thuế/pháp lý.
  2. Công cụ tư vấn tuân thủ tự động cho tiểu thương xuyên biên giới: khi người bán chọn thị trường mới, app tự tra các giấy phép cần thiết, nhắc nộp sớm và khóa tính năng bán hàng nếu chưa được duyệt, tránh bị phạt như trong Arena.
  3. Trợ lý định giá thông minh trên app bán hàng: tự theo dõi giá đối thủ và chi phí vận chuyển/thuế từng tuyến, gợi ý khung giá giữ được biên lợi nhuận sau khi trừ hết chi phí, thay vì đặt một giá duy nhất gây lỗ như MiniMax M2.5.
  4. Hệ thống 'soi lại quyết định' cho quản lý cửa hàng: ghi lại từng lượt nhập hàng, định giá, phản hồi khách và tự kết nối với khoản lãi/lỗ thực tế để chỉ ra quyết định nào nên lặp lại, quyết định nào cần sửa — như attribution toolkit của Arena.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.08621
ArXiv Abstracthttps://arxiv.org/abs/2608.08621
PDF Downloadhttps://arxiv.org/pdf/2608.08621.pdf
Github Repositoryhttps://github.com/Accio-org/BusinessArena