Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-10-07

Báo cáo được tạo tự động vào lúc 2026-10-08 10:24:59 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability (157 votes)​

Tác giả: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, et al.

Xuất bản lúc: 2026-10-06

Tag: Knowledge Distillation, On-Policy Distillation, Cross-Tokenizer Distillation, LLMs, Reverse KL

I. Main Problem:​

Khi chưng cất (distill) một mô hình học sinh từ giáo viên có tokenizer khác nhau trong thiết lập On-Policy Distillation (OPD), việc so sánh phân phối dự đoán giữa hai mô hình gặp hai rào cản: lệch ranh giới token (cùng một câu trả lời bị cắt thành token khác nhau) và lệch từ vựng (vocab khác nhau). Các phương pháp trước (SimCT, GOLD, Byte-Prefix Marginalization...) đều tìm cách mở rộng độ phủ canh chỉnh (alignment coverage) — bổ sung các vị trí/vocab mà hai tokenizer so sánh được được. Nhưng câu hỏi chưa được trả lời:

  • phần canh chỉnh "chặt" (strict 1:1) đã giữ lại bao nhiêu tín hiệu học hữu ích?
  • việc khôi phục phần bị loại trừ (vùng không canh chỉnh được) có thực sự giúp học tốt hơn không?

II. Main Idea:​

Bài báo kiểm chứng giả định "phủ càng rộng càng tốt" bằng cách đo lường trực tiếp trong Cross-Tokenizer OPD:

  • Đo độ phủ strict 1:1: mặc dù tỷ lệ Jaccard giữa hai vocab chỉ 39–65%, các nhóm 1:1 vẫn phủ 86–97% token sinh ra bởi học sinh trong khi training.
  • Đo probability mass: tại các vị trí strict, từ vựng chung giữ lại gần như toàn bộ xác suất của cả giáo viên (99.7–99.9%) và học sinh (99–99.8%); một tập con top-16 do học sinh chọn đã giữ được ~94%.
  • Thí nghiệm chống: thêm MSE trên log-probability của các span không khớp để đạt phủ 100% — kết quả giảm độ chính xác ở mọi trọng số dương.
  • Chẩn đoán gradient: gradient của loss span có độ đồng hướng yếu hoặc âm với gradient strict, và độ lớn tương đối tăng dần trong training — lý do cộng thêm supervision kém tin cậy làm hại.

Kết luận: nên chuyển từ "mở rộng độ phủ" sang "độ tin cậy của supervision" — giám sát gọn (strict + top-16) hiệu quả hơn phủ rộng nhưng nhiễu.

Ví dụ đời thường: giống như chấm bài cho học viên — thay vì cố hiểu và góp ý từng nét chữ người khác viết, chỉ cần chấm những đoạn hai người viết giống hệt nhau, và chỉ điểm mấy lỗi lớn nhất; góp ý lan man ở đoạn chữ khác nhau chỉ làm học viên rối.

III. Main Results:​

  • Strict 1:1 đã phủ phần lớn: coverage 85.57–96.98% token học sinh dù Jaccard vocab chỉ 39.49–64.87%, ổn định suốt training (dao động ≤1.43 điểm).
  • Phủ 100% làm giảm độ chính xác: thêm span MSE (λ từ 0.25 đến 1.5) ở cả 18 cấu hình dương đều thấp hơn baseline strict, giảm 0.27–1.20 điểm phần trăm.
  • Top-16 giữ gần như toàn bộ lợi ích: top-16 đạt ≥96% mức cải thiện của full shared-vocab OPD; strict variants (full/top-16/top-128) vượt cả 4 baseline cross-tokenizer (ULD, Extended ULD, GOLD, SimCT) trên cả 3 cặp teacher–student (Qwen→Llama, Granite→Phi, Granite→Qwen).
  • Gradient span: cosine đồng hướng với strict gradient gần 0 hoặc âm, thấp hơn cả baseline tách đôi cùng loss; tỷ lệ norm tăng 6.6×–28× từ step 0 đến 100.
  • Kết quả giữ được với teacher lớn 235B→8B và trên tác vụ thực (ALFWorld, cao nhất cả seen và unseen splits).

IV. Conclusion & Future Works:​

Bài báo cho thấy static vocabulary overlap phóng đại khoảng trống supervision: độ phủ canh chỉnh chặt đã cao và probability mass tập trung trên từ vựng chung. Điều này ủng hộ supervision gọn nhẹ (strict positions + student-selected top-16) thay vì mở rộng phủ bằng các tín hiệu yếu/mâu thuẫn. Thông điệp chính: khi thiết kế loss chưng cất cross-tokenizer, cần đánh giá giá trị học của tín hiệu bổ sung qua tương tác với loss chính và hiệu năng downstream, không chỉ đếm phạm vi so sánh được. Hướng mở: chuẩn hóa gradient để tận dụng phần supervision bổ sung, và chọn tập hỗ trợ (support) thích ứng theo entropy tại từng vị trí.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp chọn tập hỗ trợ thích ứng: kết hợp entropy giáo viên/học sinh với top-k động theo vị trí để cân bằng giữa độ gọn và độ phủ trong cross-tokenizer OPD.
  2. Kỹ thuật chuẩn hóa hoặc chiếu gradient của loss bổ sung lên không gian gradient strict, giữ được phủ 100% mà không làm nhiễu tín hiệu chính.
  3. Mở rộng đánh giá supervision reliability sang các cặp mô hình đa ngôn ngữ và tokenizer đa byte, kiểm chứng độ bền của luận điểm 'phủ chặt là đủ' ngoài mã nguồn và toán.

2. Patent:​

  1. Dịch vụ đám mây chưng cất mô hình ngôn ngữ trên điện thoại: cho phép chuyển kiến thức giữa các mô hình LLM khác tokenizer nhau trên thiết bị, chỉ so khớp tại vị trí canh chỉnh chặt và tập 16 từ phổ biến nhất, giảm chi phí tính toán và dung lượng truyền tải xuống thiết bị.
  2. Hệ thống huấn luyện on-device cho trợ lý AI di động: học sinh tự tạo câu trả lời, giáo viên trên đám mây chỉ chấm ở các vị trí hai bên dùng chung từ vựng, loại bỏ toàn bộ tín hiệu ở vùng token lệch ranh giới để tránh làm hỏng mô hình.
  3. Bộ kiểm thử độ tin cậy tín hiệu supervision: đo cosine gradient giữa loss phụ và loss chính trong quá trình chưng cất, tự động vô hiệu hóa các thành phần loss có gradient xung đột để bảo vệ độ chính xác mô hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.08448
ArXiv Abstracthttps://arxiv.org/abs/2610.08448
PDF Downloadhttps://arxiv.org/pdf/2610.08448.pdf
Github RepositoryN/A

2. TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models (81 votes)​

Tác giả: Xin Wang, Hao Yu, Zhengyang Zhuge, Bochao Mao, Zheng Li, et al.

Xuất bản lúc: 2026-10-06

Tag: FP4 Quantization, Quantization-Aware Training, Reinforcement Learning, Mixture-of-Experts, LLM Post-Training, Low-Precision Inference, GRPO

I. Main Problem:​

Reinforcement Learning (RL) để post-training LLM rất tốn kém vì phải sinh rollout (trajectory dài) lặp đi lặp lại. FP4 (W4A4) rollout giúp giảm chi phí sinh chuỗi mạnh mẽ, nhưng độ chính xác số thấp của FP4 tạo ra sai lệch lớn giữa hai đường thực thi (training vs rollout), khiến policy mismatch và làm mất ổn định quá trình RL — vấn đề còn nghiêm trọng hơn với mô hình MoE vì sai số nhỏ cũng có thể đổi router score, chọn sai expert.

Hạn chế cốt lõi của các phương pháp FP4 RL hiện có (QAT, QUADS, Rollout-ResQ, QaRL): chúng chỉ tối ưu độ chính xác quantization trên từng đường một cách độc lập (so với biểu diễn BF16 gốc), mà không giảm trực tiếp sai lệch chéo giữa hai đường đã được quantization. Kết quả: cả hai đường có lỗi nhỏ nhưng giá trị FP4 của chúng vẫn khác nhau nhiều, gây sụt performance hoặc training collapse.

II. Main Idea:​

TRACE (Train-Rollout Quantization Alignment via Compact Guidance) — khung FP4 cho RL training của MoE LLM, gồm hai thành phần chính:

  • Rollout-Guided Quantization-Aware Training: ghi lại kết quả quantization FP4 bên phía rollout, rồi dùng chúng để điều chỉnh quyết định làm tròn (rounding) bên phía training. Với mỗi activation training, thay vì round-to-nearest chuẩn, TRACE chọn codeword FP4 lân cận gần với codeword rollout nhất, trực tiếp loại bỏ sai lệch do làm tròn không nhất quán. Chỉ một khác biệt nhỏ trong BF16 (vd: 60.24 vs 59.76, lệch 0.48) có thể bị khuếch đại thành 24 nếu hai giá trị bị làm tròn sang hai phía khác nhau của ranh giới FP4.
  • Mantissa-Only Caching: thống kê cho thấy trên 99% giá trị FP4 lệch giữa hai đường chỉ khác nhau 1 bậc trong codebook, và các hiệu chỉnh rounding tập trung ở các tầng sâu. Vì vậy TRACE chỉ lưu trữ và truyền mantissa + scale từ nửa sau của các tầng (khoảng 7.5 KB/token thay vì ~50 KB đầy đủ), giảm ~6× chi phí lưu trữ/truyền thông — quan trọng vì bản đầy đủ có thể tới 51 TB mỗi RL step.

Ví dụ đời thường: giống như hai người chấm điểm bài thi bằng thang điểm 4 mức (FP4). Thay vì mỗi người tự tìm mức điểm gần nhất theo cách riêng (dễ đưa hai mức khác nhau cho điểm gốc gần giống nhau), người chấm thứ hai nhìn xem người thứ nhất đã chấm mức nào rồi chỉnh lựa chọn của mình cho khớp — và để tiết kiệm, chỉ cần biết mức điểm của vài câu cuối bài là đủ ra quyết định đúng.

III. Main Results:​

  • Đạt performance ngang BF16 rollout trong khi dùng joint FP4 weight/activation + FP4 KV cache: Qwen3.5-35B-A3B đạt trung bình 75.3 so với 74.9 của BF16 (vượt QUADS 68.8, QaRL 58.6, QAT 59.6); HMMT25 tăng từ 59.0 lên 70.0.
  • Khái quát hóa tốt trên 4 mô hình MoE lớn: Qwen3.5-122B-A10B (DeepSWE 33.0 vs BF16 33.4), Qwen3.8-Flash-Next (Terminal-Bench 70.6 vs 68.8, vượt cả BF16), Qwen3.8-2.4T-A95B (GDPval 90.2 vs 90.3) — trên các tác vụ reasoning, coding và long-horizon.
  • Hiệu quả: tới 5.4× tăng tốc rollout so với BF16 ở độ dài output 128K; overhead end-to-end chỉ 7.4% so với vanilla FP4 rollout (trong đó guidance chiếm 6% thời gian rollout).
  • Hiện tượng adaptation: ban đầu TRACE thua BF16 do lỗi quantization, nhưng sau ~120 bước RL bắt kịp và vượt BF16 — policy tiến hóa để thích nghi với môi trường FP4, điều pipeline BF16 + post-hoc quantization không làm được (75.3 so với tối đa 71.4 của H-Scale).
  • Ablation: chỉ giữ 1 bit mantissa của 20 tầng cuối vẫn giữ 75.3 điểm trung bình; hoạt động tốt cả với định dạng MXFP4 (W4A4 + MXFP4 KV: 67.2 → 73.5).

IV. Conclusion & Future Works:​

TRACE chứng minh rằng giảm trực tiếp sai lệch giữa hai đường quantization (thay vì tối ưu lỗi từng đường riêng lẻ) là chìa khóa để RL training ổn định dưới FP4 rollout tích cực cho mô hình MoE, đồng thời cho thấy policy có khả năng tự thích nghi với thực thi độ chính xác thấp khi sai lệch train–rollout được kiểm soát. Với caching compact (chỉ mantissa + scale các tầng sâu), khung này giữ nguyên lợi ích hiệu năng của FP4 mà gần như không tốn thêm chi phí.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng rollout-guided QAT sang các độ chính xác hỗn hợp (FP4 weight + FP8/FP4 activation linh hoạt theo tầng), tự động chọn lượng thông tin mantissa cần lưu cho từng tầng dựa trên độ nhạy của sai lệch rounding.
  2. Kết hợp TRACE với các phương pháp ổn định routing của MoE (kiểu R3/PR2) thành một khung thống nhất xử lý đồng thời sai lệch quantization và sai lệch expert routing trong RL bất đồng bộ.
  3. Áp dụng tư tưởng guidance từ đường inference sang các kịch bản multi-agent hoặc self-improvement, nơi policy được huấn luyện với dữ liệu sinh từ chính phiên bản quantization của nó.

2. Patent:​

  1. Hệ thống huấn luyện AI trên đám mây tiết kiệm chi phí cho điện thoại: server ghi lại kết quả làm tròn số thấp độ chính xác khi sinh câu trả lời, gửi về bộ huấn luyện để ép mô hình học theo đúng cách làm tròn đó, giảm sai lệch giữa lúc dùng thử và lúc cập nhật mô hình trên ứng dụng di động.
  2. Phương pháp đồng bộ hóa giữa máy tạo dữ liệu và máy huấn luyện mô hình AI: máy tạo dữ liệu chỉ gửi kèm một lượng nhỏ thông tin số mũ và tỷ lệ từ các tầng cuối của mạng thay vì toàn bộ dữ liệu quantization, giảm mạnh băng thông truyền tải giữa hai máy.
  3. Module tinh chỉnh mô hình ngôn ngữ trên thiết bị biên: mô hình trên điện thoại chạy ở độ chính xác thấp, ghi lại cách làm tròn của từng phép tính; máy chủ dùng thông tin này để hiệu chỉnh bản cập nhật tiếp theo cho khớp chính xác với cách thiết bị thực sự vận hành.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.07767
ArXiv Abstracthttps://arxiv.org/abs/2610.07767
PDF Downloadhttps://arxiv.org/pdf/2610.07767.pdf
Github RepositoryN/A

3. DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation (73 votes)​

Tác giả: Jiahao Zhan, Yan Wang, Yongrui Ma, Qunliang Xing, Ruchang Yao, et al.

Xuất bản lúc: 2026-10-02

Tag: Video Generation, Distribution Matching Distillation, DMD, Diffusion Models, Few-Step Generation, Knowledge Distillation, Image Priors

I. Main Problem:​

Mô hình video generation chất lượng cao cần nhiều bước denoise liên tiếp, gây chi phí tính toán lớn và độ trễ cao. Distribution Matching Distillation (DMD) đã giúp chưng cất mô hình nhiều bước thành generator ít bước (gần real-time), nhưng các phương pháp hiện tại chỉ khớp joint distribution (phân phối chung của toàn bộ các frame qua video teacher làm proxy). Hệ quả:

  • Chất lượng hình ảnh từng frame còn kém so với video teacher (chi tiết lông, vân mờ, mịn quá mức)
  • Semantic alignment yếu: bỏ sót chi tiết trong prompt (ví dụ thiếu chiếc lông vũ được mô tả)
  • Nguyên nhân: joint matching xét frame nào cũng phụ thuộc các frame xung quanh, nên một thay đổi tốt cho riêng một frame nhưng mâu thuẫn nhẹ với frame lân cận sẽ không được ưu tiên — không có objective riêng cho marginal distribution (phân phối từng frame đơn lẻ).

II. Main Idea:​

DuoMatching khớp đồng thời hai phân phối để xấp xỉ tốt hơn phân phối video thật:

  • Joint DMD: dùng video teacher giám sát toàn chuỗi, bảo đảm tính nhất quán thời gian giữa các frame
  • Marginal DMD (điểm mới): lấy mẫu một số frame, áp dụng image teacher (Qwen-Image) giám sát riêng từng frame, truyền prior về chất lượng hình ảnh và ngữ nghĩa từ mô hình ảnh mạnh hơn

Hai thành phần kỹ thuật chính:

  • LatentBridge: module nhẹ, khả vi phân, ánh xạ video latent (đã nén thời gian — một latent chứa nhiều frame RGB) sang không gian latent của image VAE, để marginal matching có thể chạy mà không cần decode-re-encode tốn bộ nhớ (phương án Decode-Encode bị OOM)
  • Latent Variation Sampling (LVS): tính MSE giữa các latent slice liền kề, chia chuỗi thành các đoạn có biến thiên mạnh, rồi lấy mẫu 1 frame/đoạn — phân bổ ngân sách giám sát đều các vùng thời gian, tránh giám sát dư thừa ở vùng gần tĩnh làm mất chuyển động

Ví dụ đời thường: giống việc phê bình một bộ phim — thay vì chỉ nhìn tổng thể cảnh quay có mạch phim hay không (joint), người ta dừng lại soi từng khung hình riêng lẻ với một nhiếp ảnh gia (image teacher) để sửa từng bức ảnh cho đẹp, còn đạo diễn (video teacher) đảm bảo các sửa đổi không phá vỡ sự liền mạch của cảnh.

III. Main Results:​

  • Trên VBench, DuoMatching vượt mọi baseline ở cùng chế độ generation và ngân sách NFE:
    • Frame-wise 1-step: 82.65 so với 82.09 (One-Forcing) và 79.82 (Causal Forcing++)
    • Frame-wise 2-step: 83.53 so với 80.67
    • Chunk-wise 4-step: 83.51 so với 82.79 (Causal Forcing++)
    • Bidirectional: 81.45 so với 80.63 (CausVid)
  • Semantic, Aesthetic, Imaging đều tăng rõ; Dynamic Degree và Motion Smoothness gần như được giữ nguyên — cải thiện chất lượng không đánh đổi động lực học
  • Human evaluation (2AFC, 23 người): tỷ lệ ưu tiên tổng thể trên 80% so với mọi baseline (94.35% so với One-Forcing, 91.30% so với CausVid); riêng Temporal & Motion gần ngang hòa (49.57–51.30%), chứng tỏ temporal quality được bảo toàn
  • Ablation image teacher: chất lượng teacher (HPSv3) càng cao thì student càng tốt — Qwen-Image (9.05) cho Total 83.53, cao nhất; dùng chính Wan2.1-14B làm teacher cũng cải thiện mọi chỉ số, chứng minh lợi ích đến từ cả marginal matching lẫn prior mạnh hơn
  • Ablation LatentBridge: áp marginal DMD trực tiếp lên video latent làm Dynamic sụt từ 94.44 xuống 76.94; LatentBridge giữ Dynamic 93.61 và cho điểm tổng cao nhất với overhead bộ nhớ chỉ ~1 GB
  • Ablation LVS: vượt uniform random ở mọi K và vượt temporally stratified ở K=4; K=4 là điểm ngọt, K=8 làm giảm cả Dynamic lẫn Total
  • Không tăng chi phí inference — giữ nguyên khả năng real-time của Causal Forcing++

IV. Conclusion & Future Works:​

DuoMatching chứng minh rằng joint matching một mình là không đủ để xấp xỉ phân phối video thật; bổ sung marginal matching có objective riêng qua image teacher giúp cải thiện chất lượng hình ảnh tinh, composition và semantic alignment mà không phá vỡ temporal coherence. LatentBridge mở đường cho việc khai thác prior từ mọi mô hình ảnh mạnh cho video generator dùng temporally compressed latent, và LVS cho thấy cách phân bổ ngân sách giám sát frame-level quan trọng không kém việc thêm giám sát. Khung framework cũng tổng quát hóa được cho cả bidirectional generation, không chỉ autoregressive.

Hướng tương lai hợp lý (không nêu trực tiếp trong paper):

  • Thay thế image teacher bằng các mô hình ảnh mạnh hơn khi chúng ra đời, nhờ tính plug-and-play của LatentBridge
  • Kết hợp thêm reward signal hoặc real-data regularization (Data-Forcing) vào cùng khung joint-marginal
  • Mở rộng cho video dài hơn, độ phân giải cao hơn và các tác vụ video-to-video, image-to-video

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết sâu hơn về mối quan hệ giữa joint matching và marginal matching: điều kiện chính xác của trọng số ω để optimum joint-marginal gần phân phối thật hơn video teacher, và cách chọn ω tự động theo độ lệch phân phối trong quá trình huấn luyện.
  2. Tổng quát hóa LatentBridge cho nhiều kiến trúc video VAE khác nhau (không chỉ temporal compression kiểu Wan) và nghiên cứu việc fine-tune chung LatentBridge với student thay vì pretrain riêng.
  3. Kết hợp DuoMatching với các kỹ thuật ổn định rollout khác (Self Forcing, Phased DMD) để xử lý đồng thời cả chất lượng frame lẫn accumulated drift trong generation rất dài.
  4. Khảo sát việc dùng nhiều image teacher chuyên biệt cùng lúc (một teacher cho texture, một teacher cho semantic) trong cùng objective marginal matching.

2. Patent:​

  1. Công cụ tạo video ngắn trên điện thoại từ prompt văn bản: model video nhỏ chạy local tạo video vài bước, module chuyển đổi latent tương tự LatentBridge gửi từng khung lên dịch vụ ảnh trên đám mây để chấm và sửa chất lượng từng frame trong lúc huấn luyện, giúp video trên điện thoại đạt chất lượng gần model lớn mà không tốn tài nguyên thiết bị.
  2. Hệ thống chỉnh sửa video tự động cho mạng xã hội: người dùng tải video, hệ thống phát hiện frame bị mờ, sai chi tiết so với mô tả và tái tạo lại các frame đó bằng model ảnh, sau đó hợp nhất ngược vào video giữ nguyên chuyển động — ứng dụng cơ chế marginal matching + cầu nối không gian latent.
  3. Bộ lọc camera thời gian thực cho ứng dụng video call: model ảnh trên điện thoại cải thiện chất lượng từng khung hình (da, ánh sáng, chi tiết) trong khi một model nhỏ đảm bảo các khung liền mạch không bị nhấp nháy, chạy được ở tốc độ khung hình cao nhờ chỉ cần vài bước khử nhiễu.
  4. Phần mềm hậu kỳ cho nhà làm phim nghiệp dư: tự động phân đoạn video theo mức độ biến động hình ảnh (tương tự LVS), ưu tiên nâng cấp chất lượng ở các đoạn chuyển cảnh, vật thể chuyển động nhanh thay vì xử lý đồng đều toàn bộ video, tiết kiệm tới 70% chi phí tính toán.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.03543
ArXiv Abstracthttps://arxiv.org/abs/2610.03543
PDF Downloadhttps://arxiv.org/pdf/2610.03543.pdf
Github Repositoryhttps://github.com/JohnZhan2023/DuoMatching

4. EVISKILL: Grounding Skill Evolution in Replayable Evidence (38 votes)​

Tác giả: Yan Zhou, Yili Wang, Yiwei Dai, Qinggang Zhang, Xin Wang

Xuất bản lúc: 2026-10-04

Tag: LLM Agents, Skill Evolution, Continual Learning, Agent Memory, In-Context Learning, Tool Use

I. Main Problem:​

Các phương pháp tiến hóa skill dựa trên kinh nghiệm (experience-driven) cho LLM agents hiện nay có hai lỗ hổng nghiêm trọng:

  • Mất bằng chứng hành vi: khi chuyển phản hồi từ trajectory thành chỉnh sửa skill, ngữ cảnh tác vụ và bằng chứng hành vi ban đầu không được lưu lại, nên không thể kiểm chứng sau này liệu một sửa đổi có thực sự tạo ra thay đổi hành vi mong muốn hay không.
  • Đánh giá toàn cục thiếu chính xác: nếu một revision bị từ chối ở validation toàn cục, toàn bộ các sửa đổi con bên trong bị vứt bỏ dù một số sửa đổi cục bộ vẫn hiệu quả (các lợi ích bị triệt tiêu bởi sửa đổi xấu khác). Ngược lại, sửa đổi rút ra từ một tương tác thất bại có thể overfit vào ca cụ thể đó.

Thực nghiệm sơ bộ cho thấy: nhiều sửa đổi từ trajectory (Trace2Skill) khi tái chạy không cải thiện hoặc còn làm tệ hơn hành vi gốc; và giữ lại có chọn lọc các sửa đổi từ revision bị từ chối tăng tới +12.5 điểm phần trăm hiệu suất.

II. Main Idea:​

EVISKILL là framework tiến hóa skill dựa trên bằng chứng, tổ chức quá trình thành 3 giai đoạn bổ trợ nhau:

  • Evidence-Grounded Edit Synthesis: mỗi đề xuất sửa đổi được ghi vào Replayable Evidence Card — gồm định danh bền, các trigger range (khoảng bước trong trajectory nguồn) và nội dung sửa đổi. Skill làm việc = Validated Skill ⊕ Provisional Edit Ledger (các sửa đổi được giữ tạm). Card được rút ra từ trajectory hiện tại và từ so sánh trajectory giữa các epoch kề nhau để tái đánh giá các sửa đổi đang theo dõi.
  • Replay-Guided Edit Verification: thay vì tin vào độ hợp lý trông có vẻ đúng, hệ thống tái thực thi (replay) đoạn trigger range trong ngữ cảnh gốc dưới skill đã sửa, và một evaluator LLM phân loại: accept / reflect / reject. Sửa đổi bị reflect được chỉnh lại theo phản hồi rồi replay lại.
  • Cross-Epoch Evidence Propagation: nếu revision bị validation toàn cục từ chối, mỗi sửa đổi con được post-rejection replay riêng; sửa đổi còn hiệu quả được giữ tạm trong ledger và bằng chứng được mang qua các epoch (trạng thái active/protected/archived/stale) để tiếp tục tinh chỉnh, thay vì bị xóa vĩnh viễn.

Ví dụ đời thường: giống một thợ sửa xe không ghi chép lại mà cứ sửa xe theo cảm tính — EVISKILL thì mỗi lần sửa đều chụp 'bằng chứng hiện trường' (card), rồi chạy thử lại đúng đoạn đường đó trước khi chốt; nếu bộ sửa tổng thể hỏng, từng món tốt vẫn được giữ lại chờ đợt kiểm tra sau thay vì vứt cả cục.

III. Main Results:​

  • Q1 — Hiệu suất tổng thể: EVISKILL đạt accuracy tốt nhất trong 14/18 cấu hình model–dataset, top-2 trong 16/18; trung bình +17.93 điểm phần trăm so với không dùng skill. Trên ScienceWorld vượt baseline mạnh nhất tới +15.64 (Qwen3.5-9B) và +10.43 (GPT-5.4).
  • Nhiều baseline tiến hóa còn thua cả skill ban đầu (ví dụ ScienceWorld/GPT-5.5: Trace2Skill 65.40%, EvoSkill 54.50% so với LLM Skill 76.78%), trong khi EVISKILL đạt 83.41% và cải thiện hơn skill ban đầu ở 17/18 cấu hình.
  • Q2 — Ablation: bỏ Replay giảm 2.49 / 4.56 / 2.85 điểm (ALFWorld / AppWorld / ScienceWorld); bỏ Cross-Epoch Propagation cũng giảm trên cả ba benchmark (AppWorld: 89.68% → 85.52%).
  • Q3 — Phân tích cơ chế: 20.7–42.5% sửa đổi ứng viên không vượt replay lần đầu; trong số bị reflect, 81–100% được phục hồi nhờ phản hồi chỉnh sửa. Trong 96 sửa đổi giữ tạm sau rejection, 72.9% sau đó được đưa vào skill được chấp nhận (46.9% sau 1 epoch, 14.6% sau 2, 11.5% sau 3). 23% Evidence Card được tái sử dụng ở từ 2 epoch trở lên.

IV. Conclusion & Future Works:​

EVISKILL chứng minh rằng tiến hóa skill nên được neo vào bằng chứng thực thi có thể replay, được kiểm chứng hành vi và được xét xử lại xuyên suốt các epoch thay vì quyết định một lần duy nhất. Kết quả nhất quán trên ba benchmark và nhiều backbone LLM ủng hộ hướng tiếp cận này. Paper không nêu hướng nghiên cứu tương lai cụ thể; các hướng tự nhiên gồm mở rộng sang môi trường tương tác thời gian thực và tối ưu hóa chi phí của quá trình replay.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng cơ chế Evidence Card và replay có chọn lọc cho hệ thống multi-agent, trong đó các agent chia sẻ bằng chứng hành vi và tinh chỉnh skill lẫn nhau qua các epoch.
  2. Kết hợp cross-epoch evidence propagation với bộ nhớ procedural phân cấp để skill có thể chuyên biệt hóa theo domain mà không mất kiến thức đã xác thực.
  3. Nghiên cứu chiến lược chọn trigger range thông minh (thay vì dùng toàn bộ khoảng nguồn) nhằm giảm số lần replay cần thiết khi triển khai trên môi trường có chi phí gọi API cao.

2. Patent:​

  1. Trợ lý tự động trên điện thoại học từ lỗi sử dụng: mỗi lần người dùng thao tác sai hoặc thành công, ứng dụng lưu lại màn hình và chuỗi thao tác liên quan; khi đề xuất cập nhật hướng dẫn, hệ thống mô phỏng lại đúng tình huống đó để kiểm chứng gợi ý trước khi đưa vào kho hướng dẫn.
  2. Hệ thống huấn luyện chatbot khách hàng có bộ nhớ bằng chứng: các câu trả lời sửa đổi được gắn với đoạn hội thoại gốc; hệ thống tự chạy lại kịch bản hội thoại để chấm điểm câu trả lời mới, và giữ lại các câu trả lời tốt kể cả khi bản cập nhật tổng thể bị hủy.
  3. Trợ lý điều khiển thiết bị thông minh tự cải tiến qua từng tuần: khi một bản cập nhật quy trình vận hành (ví dụ cách đặt lịch, điều khiển nhà thông minh) bị đánh giá kém toàn cục, từng bước nhỏ tốt trong bản cập nhật vẫn được lưu lại và thử nghiệm tiếp ở các đợt sau thay vì bị xóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05030
ArXiv Abstracthttps://arxiv.org/abs/2610.05030
PDF Downloadhttps://arxiv.org/pdf/2610.05030.pdf
Github Repositoryhttps://github.com/Zhouyaner/Eviskill

5. From Evidence to Action: How Tool-Using Agents Fail (35 votes)​

Tác giả: Hongzhan Lin, Shidong Cao, Ziyang Luo, Wenhao Chai, Mong-Li Lee, et al.

Xuất bản lúc: 2026-10-06

Tag: LLM Agents, Tool Use, Agent Benchmark, Agent Evaluation, Consequential Actions, Agent Safety

I. Main Problem:​

Các agent dùng công cụ ngày càng thực hiện hành động có hậu quả (hoàn tiền, gửi tài liệu, cập nhật hồ sơ), nhưng kết quả cuối cùng đúng không đồng nghĩa hành động được hỗ trợ bởi bằng chứng đã thu thập trước đó. Ví dụ: agent hoàn tiền cho đúng giao dịch C2, nhưng trước đó chỉ kiểm tra giao dịch C1 — dù giá trị trùng khớp và refund thành công, hành động vẫn thiếu cơ sở. Các benchmark hiện tại chỉ đánh giá endpoint state hoặc task completion, khiến thất bại nằm giữa quan sát môi trường và thay đổi môi trường không thể cục bộ hóa.

II. Main Idea:​

Bài báo đề xuất SafeActBench: benchmark 656 case trên 6 miền vận hành, kiểm tra chuỗi evidence-to-action qua 5 giao thức từ tĩnh đến tương tác:

  • Legacy: phán định ALLOW/BLOCK/DEFER cho một hành động đề xuất
  • V0: điều tra đầy đủ rồi không hành động (investigated non-action)
  • V1: thực hiện đúng một hành động sau khi thu thập đủ bằng chứng
  • V2/V3: workflow nhiều bước (chuỗi tuyến tính / đồ thị phụ thuộc DAG), hành động sau phải dùng kết quả thực tế của hành động trước

Cơ chế chấm điểm gồm Evidence Ledger — gắn mỗi sự kiện với nguồn quan sát và đúng thực thể/trạng thái nó mô tả (đọc số tiền từ C1 không chứng minh gì cho C2), và bộ đánh giá tất định replay toàn bộ trajectory để kiểm tra điều tra, tham số, receipt, phụ thuộc — không dùng LLM judge, không soi suy luận ẩn.

Ví dụ đời thường: giống giao dịch viên ngân hàng phải đối chiếu đúng tài khoản, đúng giao dịch trước khi chuyển tiền — xem tài khoản của khách hàng khác dù số dư trùng khớp cũng không được phép chuyển, và hóa đơn bước 2 phải dùng mã giao dịch vừa phát hành ở bước 1, không phải mã của giao dịch cũ.

III. Main Results:​

  • Static mạnh ≠ tương tác tốt: GLM-ZCode đạt 97.7% ở Legacy nhưng chỉ 12.1–34.1% ở V1–V3; DeepSeek-DSH giữ ~60% dù cùng điểm Legacy.
  • Thất bại bắt đầu trước khi thực thi: dừng điều tra non-action không đủ (BSR 21.7–62.9%), hành động trước khi bằng chứng hoàn tất (PAR 37.0–66.9%).
  • Thực thi đơn lẻ khá tin cậy: khi bằng chứng đã đủ, tỷ lệ thành công 93.2–100% (CAS) ở 9/10 cấu hình.
  • Workflow đa bước lộ thêm điều kiện tiên quyết chưa giải quyết và thực thi dở — cấu hình mạnh nhất (Claude Code) chỉ đạt ECS tổng thể 67.2%.
  • Can thiệp bằng chứng: khi giấu record quyết định, agent vẫn hành động trong 46.5–53.5% episode; bằng chứng mâu thuẫn giảm xác suất hành động 54.5–70 điểm.
  • Agent phản ứng mạnh hơn với tuyên bố của người yêu cầu ('đã kiểm tra, ổn cả') hơn là bằng chứng vắng mặt — dễ bị thuyết phục bởi lời nói thay vì dữ liệu.
  • Hiệu ứng harness rõ và phụ thuộc model: DeepSeek +4.4 điểm với DSH so với Inspect; GLM −6.8 điểm với ZCode.

IV. Conclusion & Future Works:​

Thất bại của tool-using agents không chỉ từ thiếu thông tin, mà từ cách agent dùng bằng chứng đã lập khi quyết định và thực thi. Khung evidence-to-action cho phép cục bộ hóa lỗi ở điều tra, gắn bằng chứng, thời điểm hành động và thực thi đa bước thay vì gom chung thành 'task thất bại'. Hướng tương lai: mở rộng can thiệp bằng chứng sang giao thức đa hành động (biến đổi bằng chứng tại từng action checkpoint) để kết nối hỗ trợ quan sát được với sự dựa vào nội tại của model.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu chiến lược help-seeking và clarification cho agent khi bằng chứng quyết định bị giấu hoặc mâu thuẫn: agent nên dừng, hỏi lại, hay từ chối hành động, và calibration nào tối ưu cho từng miền.
  2. Thiết kế harness và vòng lặp ReAct mới khuyến khích investigated non-action: phạt hành động sớm (premature action) và thưởng hoàn tất điều tra, kiểm chứng trên các điểm chuẩn evidence-grounded.
  3. Phương pháp huấn luyện/fine-tuning căn cứ hành động vào provenance của bằng chứng, để model học ràng buộc thực thể-tham số thay vì chỉ khớp giá trị bề mặt giữa các bản ghi.
  4. Đánh giá độ tin cậy chuỗi hành động có hậu quả trong hệ thống dual-control (người-agent cùng phê duyệt), nơi từng checkpoint bằng chứng ảnh hưởng quyết định ủy quyền.

2. Patent:​

  1. Trợ lý thanh toán trên điện thoại có sổ bằng chứng (evidence ledger): trước khi chuyển tiền/hoàn tiền, app tự đối chiếu đúng tài khoản, đúng giao dịch, đúng số tiền từ dữ liệu đã truy vấn; nếu bằng chứng thiếu hoặc thuộc giao dịch khác, chặn giao dịch và yêu cầu xác nhận.
  2. Hệ thống kiểm duyệt hành động có hậu quả cho chatbot doanh nghiệp: mọi lệnh gửi email, xóa hồ sơ, cập nhật dữ liệu phải đi qua bộ replay tất định kiểm chứng nguồn bằng chứng và thứ tự phụ thuộc trước khi thực thi thật.
  3. Ứng dụng ngân hàng tự động xử lý hoàn tiền: bot phải lập đủ bằng chứng trùng lặp, đủ điều kiện hoàn tiền trên đúng giao dịch rồi mới gọi API hoàn tiền, đồng thời dùng mã hoàn tiền thực trả về để gửi thông báo cho khách.
  4. Trợ lý gia đình thông minh an toàn hai lớp: trước khi mở khóa cửa, điều chỉnh nhiệt độ hay tắt thiết bị, hệ thống ghi lại lệnh kèm bằng chứng trạng thái hiện tại và xác thực danh tính, chặn hành động khi dữ liệu quan sát thiếu hoặc mâu thuẫn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.07753
ArXiv Abstracthttps://arxiv.org/abs/2610.07753
PDF Downloadhttps://arxiv.org/pdf/2610.07753.pdf
Github Repositoryhttps://github.com/caoshidong66/safeact

6. AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents (28 votes)​

Tác giả: Dongki Kim, Namkyeong Lee, Surag Nair, Carl Edwards, Xiner Li, et al.

Xuất bản lúc: 2026-10-04

Tag: LLM Agents, Benchmark Generation, Scientific Agents, Agent Evaluation, Iterative Refinement, Auto-Evaluation

I. Main Problem:​

Benchmark cho scientific agents nhanh chóng bão hòa trong khi xây dựng/cập nhật thủ công tốn nhiều thời gian, lao động và chuyên môn miền (đặc biệt trong khoa học như drug discovery). Hệ quả:

  • Khoảng cách giữa năng lực agent tiến hóa nhanh và benchmark cố định ngày càng lớn, làm benchmark mất khả năng phân biệt trình độ và phát hiện failure modes.
  • Các phương pháp sinh benchmark tự động hiện có chỉ tạo câu hỏi cho LLM, không xây dựng được dữ liệu khoa học + môi trường + đáp án có thể kiểm chứng mà tác vụ agent khoa học đòi hỏi.

II. Main Idea:​

AutoSciBench tự động sinh và tinh chỉnh benchmark cho scientific agents theo vòng lặp khép kín:

  • Concept (kế hoạch cao): bộ ba lĩnh vực khoa học - phương thức dữ liệu - các phép phân tích bắt buộc, được khởi tạo từ benchmark có sẵn + workflow trích từ văn liệu khoa học (tổng quát hóa thành patterns tái sử dụng).
  • Recipe (kế hoạch thấp): quyết định câu hỏi nói gì, dữ liệu nào phải tự khám phá qua tương tác thay vì đọc từ đề, và cách tính + kiểm chứng đáp án đúng.
  • Feedback-guided refinement: chạy solver K lần, judge đánh giá verifiability và độ khó (solve rate); nếu agent đi tắt (một tool output là ra đáp án), hệ thống sửa recipe hoặc cả concept để buộc agent phải xem lại raw data, diễn giải kết quả trung gian, tổng hợp bằng chứng.
  • Experience-guided generation: rút kinh nghiệm từ lịch sử refinement thành experience cards để các concept sau khó hơn, tránh lặp lại lỗ hổng cũ.

Ví dụ đời thường: giống giáo viên ra đề thi rồi chấm thử — thấy học sinh nào cũng đoán trúng bằng mẹo, liền sửa đề lần sau sao cho buộc phải tự làm từng bước mới ra đáp án, và ghi chú kinh nghiệm ra đề cho lần kế tiếp.

III. Main Results:​

  • Benchmark sinh ra khó hơn rõ rệt: solver accuracy giảm trung bình -22.4 điểm phần trăm (computational biology) và -25.5 điểm (materials science) so với benchmark con người tuyển chọn.
  • Chất lượng cao hơn benchmark gốc theo cả hai judge (Claude Opus 4.8, GPT-5.6 Sol) trên cả 3 tiêu chí: verifiability, usefulness, fitness ở cả 3 miền; GPT-5.6-Sol-generated đạt trung bình ~4.0/5.
  • Iterative refinement hiệu quả: tỷ lệ task hard tăng dần qua các vòng; ví dụ thực tế: dữ liệu UMI ban đầu đếm trực tiếp được, bản sửa thêm lỗi sequencing buộc agent phải xử lý như error-correction thật — cả 3 solver đều sai.
  • Experience guidance quan trọng: có kinh nghiệm thì solver success giảm từ 66.7% xuống 35.0% và tỷ lệ task hard tăng từ 15.0% lên 50.0%.
  • Ablations: bỏ recipe planning hoặc cả concept+recipe làm refinement kém hiệu quả hơn rõ; solver mạnh không đồng nghĩa sinh được benchmark khó (GPT-5.6 Sol giải giỏi hơn nhưng Opus 4.8 tạo benchmark khó hơn); model mới hơn (Opus 5, GPT-6 Astra) vượt generator cũ tới 15-19 điểm → cần benchmark tự cập nhật liên tục.

IV. Conclusion & Future Works:​

AutoSciBench chứng minh đánh giá scientific agents có thể tự thích ứng: hành vi solver điều chỉnh task hiện có, kinh nghiệm tích lũy hướng sinh target đánh giá mới khi agent tiến hóa. Concept/recipe như biểu diễn trung gian có cấu trúc giúp refinement hiệu quả hơn sửa task trực tiếp. Hướng tương lai (ngụ ý): mở rộng sang nhiều miền khoa học hơn, tích hợp agent mới nhất vào vòng lặp sinh-refinement để benchmark luôn theo kịp năng lực agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng vòng lặp sinh concept-recipe-refinement cho các miền khoa học khác như hóa lượng tử hoặc dược lý học, nơi dữ liệu thí nghiệm và chuyên môn chuẩn đoán còn khan hiếm.
  2. Nghiên cứu cơ chế chọn task cuối cùng từ refinement trajectory: thay vì chọn task khó nhất verifiable được, học một policy chọn task tối ưu độ phân biệt giữa các model solver.
  3. Kết hợp experience memory dạng vector retrieval để tái sử dụng kinh nghiệm refinement xuyên miền khoa học, kiểm tra xem hành vi giải bài khó (kiểm tra consistency, tổng hợp bằng chứng) có transfer được hay không.

2. Patent:​

  1. Nền tảng cập nhật bộ đề kiểm tra trợ lý AI cho phòng lab nghiên cứu: hệ thống tự sinh câu hỏi kèm file dữ liệu thật, cho trợ lý AI làm thử, tự phát hiện lỗi mẹo (trả lời đúng mà không phân tích) và tự sửa đề khó hơn mỗi tuần.
  2. Ứng dụng điện thoại cho giáo viên/khảo thí: giáo viên nhập môn học, ứng dụng sinh bài tập phân tích dữ liệu kèm đáp án chấm tự động; sau mỗi lượt học sinh làm, ứng dụng tự điều chỉnh độ khó và ghi nhớ kiểu lỗi để ra đề sau tránh lặp.
  3. Hệ thống chấm điểm liên tục cho trợ lý phân tích dữ liệu y tế trong bệnh viện: mỗi khi model mới được triển khai, hệ thống tự sinh ca bệnh ảo từ tài liệu y văn, kiểm tra trợ lý có tự đọc lại dữ liệu gốc và tổng hợp bằng chứng không, rồi báo cáo độ tin cậy cho bác sĩ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05140
ArXiv Abstracthttps://arxiv.org/abs/2610.05140
PDF Downloadhttps://arxiv.org/pdf/2610.05140.pdf
Github RepositoryN/A

7. Taming VLAs under Robot Execution Errors: Self-Compensation and Stress Testing (26 votes)​

Tác giả: Sohyun Lee, Yoonjae Baek, Jaesang Won, Jinnyeong Kim, Kang Hyunwoo, et al.

Xuất bản lúc: 2026-09-29

Tag: Vision-Language-Action, Robot Learning, Robustness, Test-Time Adaptation, LoRA, Robot Dynamics

I. Main Problem:​

Các mô hình Vision-Language Action (VLA) — robot điều khiển bằng ngôn ngữ và hình ảnh — thường thất bại khi chuyển sang triển khai thực tế vì chuyển động robot thực hiện lệch khỏi lệnh của chính sách. Sai lệch thực thi (execution errors) đến từ:

  • mài mòn cơ khí (ma sát, độ rơ bánh răng tăng theo thời gian dùng)
  • tải nặng (vật cầm làm thay đổi mô-men trọng lực)
  • thay đổi nhiệt độ (ma sát Stribeck và backlash biến đổi khi máy nóng lên)
  • độ võng (compliance) của khớp đàn hồi

Khác với nhiễu tổng hợp chèn vào lệnh như các nghiên cứu trước, lỗi thực thi phụ thuộc vào trạng thái và lịch sử chuyển động của robot, biến đổi theo từng robot và điều kiện vận hành — nhưng sự robust của VLA trước chúng hầu như chưa được nghiên cứu.

II. Main Idea:​

Self-compensating VLA — phương pháp thích ứng tại thời điểm triển khai (deployment-time) không cần reward, nhãn, hay biết nguồn gốc lỗi:

  • Đo residual giữa lệnh VLA đưa ra và chuyển động robot thực hiện (đo qua proprioception) — tín hiệu tự giám sát miễn phí
  • Dùng residual này xây pseudo-target bù trừ để cập nhật online chỉ các adapter LoRA gắn vào action expert; trọng số gốc đóng băng, bộ điều khiển thấp cấp không đổi, có thêm anchor term chống trôi tham số
  • Chính sách sau cập nhật sẽ đi trước một bước: phát lệnh đã bù trước lỗi thực thi mong đợi

Kèm theo là RoboStress, benchmark mô phỏng stress-test kết hợp 4 mô hình sai lệch ở cấp khớp (friction Stribeck, gravity-compensation error, backlash Tao-Kokotović, compliance spring-mass-damper) chèn đúng vị trí vật lý trong pipeline điều khiển, tạo 7 kịch bản triển khai (Heavy Payload, Thermal Drift ×2, Aged Transmission, Aged Joint ×3) với mức nghiêm trọng tăng dần trong episode.

Ví dụ đời thường: giống người lái xe sớm nhận ra vô-lăng bị lệch sang trái một chút, lần sau tự đánh lái nghiêng phải trước — học từ chính khoảng lệch giữa 'đánh bao nhiêu' và 'xe chạy bao nhiêu' mà không cần ai chỉ.

III. Main Results:​

  • RoboStress: vượt cả policy gốc (π0, π0.5), Domain Randomization và RobustVLA (huấn luyện adversarial) ở cả 7 kịch bản với cả hai backbone; nâng success trung bình từ 49.1% → 56.6% (π0.5) và 41.7% → 44.2% (π0).
  • Robot thật: trên hai cánh tay AgileX Piper (một mới, một đã dùng 1 năm), tăng success trung bình hơn 30 điểm phần trăm trên từng cánh tay với cả hai policy gốc; vượt RobustVLA ở mọi tác vụ.
  • Khái quát hóa: với vật thể chưa thấy trong dữ liệu fine-tune, đạt 64% so với 16% (base) và 36% (RobustVLA).
  • Ablation: residual là tín hiệu then chốt (bỏ residual → 40.8%); chỉ bù trừ trực tiếp không cập nhật policy → chỉ 23.6%. Kết hợp với disturbance observer vẫn hiệu quả (56% → 80%).
  • RoboStress Heavy Payload khớp độ lệch thực tế hơn nhiễu Gaussian (DTW distance thấp hơn rõ rệt).

IV. Conclusion & Future Works:​

Thích ứng tại thời điểm triển khai bằng residual lệnh–thực thi là cách hiệu quả và nhẹ (chỉ LoRA) để VLA chịu được lỗi cơ khí thực tế, vượt các phương pháp làm robust lúc huấn luyện; benchmark RoboStress cho phép stress-test có kiểm soát mà không rủi ro hỏng phần cứng. Hướng tương lai: kết hợp ước lượng chuyển động từ cảm biến ngoài để giảm phụ thuộc vào proprioception.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng self-compensation sang lỗi thực thi phụ thuộc thời gian dài (wear tiến triển) bằng bộ nhớ residual dài hạn thay vì buffer online ngắn hạn.
  2. Kết hợp residual proprioception với ước lượng chuyển động từ camera ngoài để bù trừ cả những lỗi không thể đo qua cảm biến nội tại robot.
  3. Áp dụng khuôn khổ pseudo-target tự giám sát cho các loại chính sách robot khác (reinforcement learning, diffusion policy) ngoài flow-matching VLA.

2. Patent:​

  1. Chế độ tự hiệu chỉnh cho robot gia đình/công nghiệp: trong vài phút đầu mỗi ca làm việc, robot thực hiện các động tác chuẩn, điện thoại hoặc cảm biến của robot đo độ lệch giữa lệnh và chuyển động thật, tự cập nhật trọng số nhỏ để các lệnh sau bù trước độ lệch — không cần kỹ thuật viên hiệu chuẩn.
  2. Ứng dụng điện thoại điều khiển robot bằng giọng nói: khi robot cầm vật nặng hơn bình thường (bưng nồi, xô nước), ứng dụng trên điện thoại theo dõi độ lệch thực thi và tự tinh chỉnh lệnh gửi xuống robot qua mạng để động tác vẫn chính xác.
  3. Hệ thống 'bảo trì dự báo' cho dây chuyền robot: thu thập residual lệnh–thực thi từ cả cụm robot qua app quản lý trên điện thoại/máy tính bảng, phát hiện sớm dấu hiệu mài mòn (ma sát, độ rơ tăng) và đề xuất bảo trì trước khi tỷ lệ thành công sụt giảm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.37334
ArXiv Abstracthttps://arxiv.org/abs/2609.37334
PDF Downloadhttps://arxiv.org/pdf/2609.37334.pdf
Github RepositoryN/A

8. HuatuoGPT-3: RL-Only Domain Adaptation from Base Models (24 votes)​

Tác giả: Junying Chen, Xinyuan Xie, Ziniu Li, Wenyuan Gu, Jianquan Li, et al.

Xuất bản lúc: 2026-10-05

Tag: Reinforcement Learning, Domain Adaptation, LLMs, RLHF, Medical AI, GRPO

I. Main Problem:​

Việc chuyển một LLM đa năng thành chuyên gia trong một lĩnh vực (domain adaptation) hiện theo pipeline SFT + RL kinh điển, nhưng cách này có hai hạn chế:

  • SFT làm giảm đa dạng đầu ra, thu hẹp không gian khám phá của RL về sau
  • Nhiều giai đoạn tối ưu liên tiếp (tiền huấn luyện → SFT → RL) gây xê dịch mục tiêu/dữ liệu, tăng độ phức tạp và quên kiến thức cũ

Hướng thay thế RL-only cũng gặp vấn đề: pure on-policy RL bị cold-start (mô hình quá yếu để tự tạo đầu ra có thưởng), còn mixed-policy RL (trộn đầu ra của teacher vào nhóm rollout) vẫn thất bại theo hai cách mà tác giả đặt tên:

  • Gradient Starvation: các token giá trị trong đầu ra teacher có xác suất rất thấp dưới policy hiện tại, nên gradient của chúng bị nhân thêm nhân tử πθ → tiệm cận 0 → mô hình học kiến thức mới quá chậm
  • Teacher-Distribution Anchoring: các đầu ra teacher lỗi thời vẫn kéo policy về phân phối teacher ngay cả khi policy đã tự tạo được đáp án tốt hơn, làm chặn trần hiệu suất

II. Main Idea:​

One-stage Policy Optimization (OnePO) — huấn luyện RL-only một giai đoạn, coi đầu ra teacher là hướng dẫn thoáng qua (transient guidance): dùng khi policy còn yếu, loại bỏ khi policy đã vượt qua. Hai cơ chế chính:

  • Adaptive Objective Evolution: sửa mục tiêu cho đầu ra teacher bằng probability floor c (mẫu số max{π_old, c} cho phép xác suất token tăng tới c(1+ε) mới bị clip) kết hợp gradient rescaling g = c/π̄. Hai hiệu chỉnh triệt tiêu hằng số phụ, để lại gradient dạng advantage-weighted log-likelihood ≈ mức SFT cho token ít gặp → khắc phục Gradient Starvation. Khi policy đã hấp thụ (π_old ≥ c), các hiệu chỉnh tự động tắt và trở về GRPO chuẩn, không cần lịch trình tay
  • Teacher Retirement: chỉ giữ đầu ra teacher nếu reward của nó cao hơn max reward của các đầu ra on-policy trong cùng nhóm (R(o_off) > max R(o_on)). Khi policy tiến bộ, ngày càng ít đầu ra teacher đạt điều kiện → teacher tự nhiên bị loại dần → tránh anchoring

Ví dụ đời thường: giống người học nghề có thầy dạy nghề kèm cận — ban đầu thầy nắm tay chỉ việc từng động tác (tăng tín hiệu học), nhưng khi học trò đã làm được ngang hoặc giỏi hơn thầy thì thầy rút tay ra để học trò tự làm, chứ không kèm suốt đời vì sẽ kéo học trò mãi ở trình độ của thầy.

III. Main Results:​

  • Controlled pilots: với bài kiểm tra kiến thức hư cấu AHA-Medicine, Pure RL và Mixed-Policy RL gần như không học được; SFT+RL dừng ở mức bắt chước (0.5); OnePO đạt mức tối đa 1.0 — học được fact rồi vượt lên nhận ra nó hư cấu. Pilot anchoring: Teacher Retirement vượt xa mixed-policy chuẩn về sau
  • 20K mẫu y khoa, base Qwen3-8B: OnePO đạt 67.2 HealthBench (Total), hơn SFT+RL +2.7 và Pure RL +7.4; trên Hard hơn Pure RL tới +19.3; vượt SFT+RL trên mọi benchmark (Medbullets +17.1, MMLU-Pro Med +7.0)
  • Teacher giàu reasoning hơn cho kết quả tốt hơn: DeepSeek-V3.2 (thinking) > GPT-5 Chat làm teacher
  • HuatuoGPT-3 (scale-up): 9B đạt 68.3, 27B đạt 71.4 HealthBench Professional và 70.1 Total, vượt các frontier model như GPT-6 Astra (62.5), GPT-5.2, Gemini 3.8 Flash — với ít tham số hơn hẳn
  • Ablation: bỏ probability floor (−16.3 điểm), bỏ rescaling (−8.1), bỏ retirement (−12.7, thậm chí dưới Pure RL); ngưỡng retirement Max > Mean > Min > None; reward trộn (verifiable + rubric) cân bằng và tốt nhất; tỉ lệ teacher bị retire tiến gần 100% cuối huấn luyện

IV. Conclusion & Future Works:​

OnePO chứng minh RL-only có thể là pipeline thực dụng và hiệu quả cho domain adaptation nếu thiết kế đúng cơ chế dùng teacher: tăng tín hiệu học khi policy yếu, tự động nghỉ hưu teacher khi policy vượt qua — cold start dễ dàng mà không đánh đổi sự tự chủ về sau. HuatuoGPT-3 cho thấy mô hình y khoa mã nguồn mở có thể vượt frontier models với dữ liệu và tham số khiêm tốn. Hướng mở rộng hợp lý: kiểm chứng OnePO ngoài y khoa, nghiên cứu cách chọn/chuẩn hóa teacher, và tối ưu chi phí sinh đầu ra teacher.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng nguyên lý teacher thoáng qua (adaptive objective + retirement tự động) cho domain adaptation sang lĩnh vực luật hoặc kỹ thuật, nơi thưởng dễ kiểm chứng, để kiểm chứng tính tổng quát của OnePO ngoài y khoa.
  2. Nghiên cứu chiến lược chọn teacher động: thay teacher cố định bằng bộ teacher nhiều trình độ, tự động nâng cấp teacher khi policy tiến bộ để duy trì tín hiệu học trong suốt huấn luyện.
  3. Kết hợp Teacher Retirement với cơ chế tự sửa lỗi (self-correction) của policy: khi policy tự tạo đầu ra thưởng cao hơn teacher, dùng chính các đầu ra đó làm pseudo-teacher cho các prompt khác.

2. Patent:​

  1. Ứng dụng trợ lý y khoa trên điện thoại: hệ thống trên đám mây huấn luyện theo cơ chế dùng câu trả lời của bác sĩ/chuyên gia làm hướng dẫn tạm thời — tăng trọng số học khi mô hình còn yếu, tự động ngừng dùng khi mô hình trả lời tốt hơn chuyên gia theo tiêu chí chấm điểm, giúp app hỏi đáp sức khỏe học nhanh mà không cần giai đoạn sao chép hành vi tốn kém.
  2. Hệ thống cá nhân hóa trợ lý AI cho doanh nghiệp: khi doanh nghiệp muốn AI hiểu ngôn ngữ nội bộ/quy trình riêng, hệ thống trộn câu trả lời mẫu của nhân viên giỏi vào quá trình học bằng thưởng, tự động loại mẫu khi AI đạt trình độ tương đương — tránh AI bị kẹt ở trình độ người hướng dẫn.
  3. Nền tảng huấn luyện chatbot dịch vụ khách hàng: thay vì fine-tune theo kịch bản có sẵn (dễ làm chatbot cứng nhắc), nền tảng dùng phản hồi đánh giá của khách hàng làm thưởng và câu trả lời của nhân viên giỏi nhất làm hướng dẫn tạm thời, tự chuyển sang tự học khi chatbot vượt nhân viên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05966
ArXiv Abstracthttps://arxiv.org/abs/2610.05966
PDF Downloadhttps://arxiv.org/pdf/2610.05966.pdf
Github Repositoryhttps://github.com/FreedomIntelligence/HuatuoGPT-3

9. MiniCorp: The Last Mile of the AI Agent Firm (20 votes)​

Tác giả: Jingying Zeng, Zhenwei Dai, Jinning Li, Changho Shin, Dylan Zhang, et al.

Xuất bản lúc: 2026-10-05

Tag: Multi-Agent Systems, LLM Agents, Simulation, Agent-Based Modeling, E-Commerce, Enterprise AI, Counterfactual Data

I. Main Problem:​

Để huấn luyện AI vận hành doanh nghiệp (organizational autonomy — bước cuối trên đường tới enterprise AGI) cần dữ liệu doanh nghiệp dài hạn nối quyết định với hệ quả kinh doanh, nhưng dữ liệu này:

  • Khan hiếm và đắt đỏ (vd. Google trả $10 triệu để mua dữ liệu nội bộ Spirit Airlines), thường bị chặn bởi quyền riêng tư/tuân thủ.
  • Thiếu ngữ cảnh: các kho lưu trữ như Enron bị phân mảnh, không tái tạo được trạng thái thị trường và thông tin tại thời điểm quyết định.
  • Đóng băng theo thời gian: chỉ ghi những gì thực sự xảy ra, không trả lời được câu hỏi phản thực tế "nếu thì" — trong khi reinforcement learning đòi hỏi thử hành động khác và quan sát hệ quả.
  • Các benchmark hiện có (τ2-Bench, SWE-bench, OSWorld...) chỉ đánh giá tác vụ bị chặn có kết quả kiểm chứng được, không yêu cầu vận hành công ty liên tục trong thị trường biến đổi.

II. Main Idea:​

MiniCorp là một office simulator mô phỏng khép kín hai thế giới tương tác, dùng công ty thương mại điện tử làm minh họa:

  • External world: nền kinh tế tự vận hành — khách hàng, đối thủ thích ứng, nhà cung cấp, nền tảng sàn TMĐT (tìm kiếm, đấu giá quảng cáo second-price, click/conversion), cả sốc vĩ mô. Thế giới chạy dù công ty không làm gì, trạng thái tích lũy (tồn kho, uy tín, đơn hàng) kéo dài qua nhiều kỳ.
  • Internal world: công ty gồm các vai trò cố định trao đổi email/chat, tự tổ chức workflow, đề xuất quyết định từ catalogue hành động có sẵn; vai CEO phê duyệt, quyết định áp dụng ở chu kỳ kế tiếp.
  • Vòng lặp khép kín: dữ liệu thị trường (đã che giấu tham số ẩn) → agent suy luận và quyết định → thế giới cập nhật → kết quả trở thành quan sát kỳ sau.
  • Checkpointing cho phép replay cùng một tình huống dưới các quyết định khác, sinh dữ liệu counterfactual mà kho lưu trữ tĩnh không có. Mọi tin nhắn, query, quyết định được ghi lại để phân bổ credit cho từng vai trò.
  • Độ trung thực (fidelity) được đánh giá end-to-end so với các pattern thực nghiệm từ thị trường thật (chiều hướng, động lực thời gian, phân phối lãi/lỗ) để tránh simulator overfitting.

Ví dụ đời thường: giống một phòng thí nghiệm "máy thời gian" cho kinh doanh — doanh nhân được quay lại đúng thời điểm tuần trước, thử quyết định khác (giảm giá, đổi ngân sách quảng cáo) và xem thị trường phản ứng ra sao, thay vì chỉ đọc lại cuốn sổ ghi chép của một công ty đã phá sản.

III. Main Results:​

  • Agent phối hợp xuyên vai trò và thích ứng quyết định theo phản hồi thị trường trong môi trường đã được warm-up 26 tuần với đối thủ có lịch sử kinh doanh thật (simulator-generated prehistory).
  • Với hướng dẫn chiến lược dài hạn tường minh, agent duy trì thăm dò quảng cáo dù kết quả ban đầu yếu — chứng tỏ cân bằng được exploration (paid sales hôm nay) và exploitation (thứ hạng organic mai sau).
  • Đánh giá fidelity end-to-end cho thấy các response pattern của thị trường mô phỏng nhất quán với bằng chứng thực nghiệm, đồng thời giúp lộ các đường phản hồi còn thiếu/sai cần tinh chỉnh.
  • Cơ chế che giấu dữ liệu (masking + audit schema) đảm bảo agent suy luận cơ chế thị trường chỉ từ dữ liệu kinh doanh, như thật.

IV. Conclusion & Future Works:​

MiniCorp cung cấp (1) môi trường nghiên cứu công ty do AI tự vận hành với tổ chức tồn tại lâu dài cộng sinh thị trường biến đổi, và (2) engine dữ liệu doanh nghiệp quy mô lớn — ghi lại đầy đủ provenance (email, meeting, ticket nối với trạng thái thị trường và quyết định sinh ra nó) kèm khả năng sinh cặp counterfactual cho huấn luyện và đánh giá agent. Hướng tương lai: tinh chỉnh liên tục độ trung thực của external world qua vòng lặp đánh giá–sửa, mở rộng phương pháp xây dựng thế giới ngành ngoài e-commerce, và dùng dữ liệu sinh ra để huấn luyện agent doanh nghiệp mạnh hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MiniCorp sang các ngành khác (sản xuất, logistics, tài chính) bằng cách lắp ráp external world từ các cơ chế kinh tế đã được kiểm chứng, duy trì khung đánh giá fidelity end-to-end cho từng ngành.
  2. Nghiên cứu phương pháp học từ dữ liệu counterfactual do simulator sinh ra (replay dưới quyết định khác) để huấn luyện agent doanh nghiệp bằng offline RL, đồng thời đo mức simulator overfitting khi chuyển sang thị trường thật.
  3. Phát triển chỉ số credit assignment tự động dựa trên log tin nhắn/quyết định để định lượng vai trò nào trong tổ chức agent tạo ra giá trị kinh doanh.

2. Patent:​

  1. Hệ thống huấn luyện AI quản trị doanh nghiệp trên điện thoại: mô phỏng thu nhỏ một công ty với thị trường ảo có đối thủ phản ứng; người dùng ra quyết định (giá, quảng cáo) qua app, hệ thống checkpoint cho phép quay lại thử phương án khác và so sánh kết quả.
  2. Nền tảng tạo dữ liệu doanh nghiệp tổng hợp có kiểm chứng: ghi lại toàn bộ email, cuộc họp, quyết định của đội agent đi kèm trạng thái thị trường tại thời điểm quyết định, dùng để huấn luyện mô hình AI mà không vi phạm dữ liệu nội bộ thật.
  3. Công cụ kiểm thử chiến lược kinh doanh bằng replay: doanh nghiệp nạp dữ liệu bán hàng hiện tại, hệ thống tái tạo tình huống và chạy song song nhiều kịch bản quyết định (đổi giá, đổi ngân sách quảng cáo) để đề xuất phương án tối ưu trước khi triển khai thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.05912
ArXiv Abstracthttps://arxiv.org/abs/2610.05912
PDF Downloadhttps://arxiv.org/pdf/2610.05912.pdf
Github RepositoryN/A

10. TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning (17 votes)​

Tác giả: Zhen Li, Shuai Zhang, Yanggan Gu, Yiming Zhang, Yang Yu, et al.

Xuất bản lúc: 2026-10-05

Tag: Reinforcement Learning, LLMs, NVFP4, Quantization, GRPO, Low-Precision Training, Policy Optimization, Importance Sampling

I. Main Problem:​

Chạy reinforcement learning cho LLM bằng NVFP4 W4A4 trên GPU Blackwell giúp rollout nhanh hơn nhiều, nhưng tạo ra khe hở xác suất giữa sampler và learner. Các cách hiện có chủ yếu sửa theo độ lớn mismatch như clipping, masking, truncated importance sampling, hoặc dùng QAT nhưng không giữ forward execution W4A4 thật trên learner.

Điểm mù chính: mismatch lớn chưa chắc có hại, vì một số cập nhật tự làm mismatch co lại; mismatch vừa phải nhưng đi đúng hướng gradient có thể tự khuếch đại. Trong native NVFP4, bài báo quan sát thấy mất cân bằng sớm nghiêng về vùng negative-advantage, negative-gap, rồi token rủi ro tập trung cục bộ trong vài đoạn ngắn trước khi mismatch lan toàn cục. Trung bình theo cả response che giấu dấu hiệu này.

II. Main Idea:​

TRIAGE không cố triệt tiêu mọi mismatch, mà kiểm soát hướng cập nhật policy-gradient để giữ các cập nhật làm mismatch co lại và bớt các cập nhật làm mismatch khuếch đại.

Cơ chế chính:

  • Segment-level diagnosis: chia response thành đoạn 64 token, đo độ lệch trung bình và tỉ lệ deep-tail để phát hiện vùng rủi ro cục bộ.
  • Direction-selective gating: chỉ giảm trọng số các token có advantage âm và learner–sampler gap âm, vì đây là vùng tự khuếch đại; token cùng đoạn nhưng đang tự co mismatch thì không bị động.
  • Within-response rebalancing: chuẩn hóa lại trọng số theo response để dịch khối cập nhật ra khỏi nhóm amplify, thay vì làm yếu toàn bộ response có advantage âm.
  • Bounded repair: với response advantage dương, thêm penalty có chặn cho segment còn lệch nặng, tạo áp lực chỉnh theo hướng hợp với reward.

TRIAGE sửa optimization objective, không thay native NVFP4 W4A4 bằng fake-quantized computation, nên sampler và learner vẫn chạy forward 4-bit thật.

Ví dụ đời thường: giống bác sĩ không cắt giảm toàn bộ chế độ ăn chỉ vì một chỉ số viêm cục bộ, mà xét đúng vùng viêm, điều chỉnh thuốc đúng chỗ, rồi thêm liều phục hồi có giới hạn cho vùng còn tổn thương nặng.

III. Main Results:​

  • Ổn định hơn rõ rệt: native NVFP4 bắt đầu sụp trên Qwen3-4B khoảng bước 300 và Qwen3-30B-A3B khoảng bước 700; TRIAGE giữ training stable tới 600 và 1.700 bước, gần như gấp đôi stable horizon trên 4B so với NVFP4 thuần.
  • Gần BF16 về benchmark: trung bình 5 bài toán toán, Qwen3-4B đạt 58.49% so với BF16 58.26%; Qwen3-30B-A3B đạt 70.96% so với BF16 72.41%.
  • Không chỉ nhờ train lâu hơn: tại checkpoint chung bước 300 trên 4B, TRIAGE cao hơn naive NVFP4 5.93 điểm và hơn NVFP4+TIS 2.27 điểm.
  • TIS chưa đủ: TIS có thể trì hoãn hoặc tránh collapse, nhưng reward/accuracy sau cùng vẫn thấp; trên 30B, TIS đạt 63.18%, thấp hơn cả checkpoint pre-collapse của naive NVFP4 ở bước 700 (65.87%).
  • Throughput: NVFP4+TRIAGE đạt khoảng 6.745 và 8.717 token/s rollout ở batch 256 và 512, tương ứng 2.27× và 2.30× BF16.
  • End-to-end: giảm thời gian iteration từ 208.2s xuống 172.1s ở batch 256 và 254.5s xuống 195.8s ở batch 512, tức khoảng 1.21× và 1.30×.
  • Chi phí learner rất nhỏ: overhead trung vị khoảng 0.84%, tăng tuyệt đối khoảng 0.225s trong đo đoạn băng qua trên 8 GPU B300.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng với RL low-precision, điều quan trọng không phải chỉ làm mismatch nhỏ theo độ lớn, mà là kiểm soát mismatch tiến hóa thế nào dưới policy update. TRIAGE chứng minh rằng phân tích direction-aware, kết hợp chẩn đoán theo segment và repair có chặn, có thể giữ native NVFP4 W4A4 ổn định và gần BF16 trong khi vẫn giữ lợi ích throughput lớn.

Hướng tương lai:

  • Kiểm tra mô hình 100B+, training horizon dài hơn, và các sparse/MoE model lớn hơn.
  • Mở rộng sang asynchronous RL, nơi policy staleness thêm một nguồn learner–sampler mismatch.
  • Tối ưu systems: giảm overhead ngoài GEMM như weight synchronization, Amax computation, quantization data movement.
  • Nghiên cứu repair mịn hơn: không xử mọi mismatch-amplifying token như nhau, mà theo magnitude, locality, persistence của hướng mismatch.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Direction-aware mismatch control for asynchronous low-precision RL: tách rõ quantization mismatch và policy staleness, rồi thiết kế gate/repair thích nghi theo mức lỗi thời chính sách.
  2. Segment-to-token risk allocation for quantized rollout: học ngưỡng chẩn đoán và trọng số can thiệp theo độ bền cục bộ của mismatch thay vì dùng ngưỡng cố định.
  3. Co-design của native 4-bit RL kernels và objective ổn định: fuse quantization path, giảm chi phí đồng bộ sampler–learner, và giữ lợi ích throughput khi context/response dài hóa.
  4. Scaling study cho MoE sparse model ở 100B+: kiểm tra liệu precursor dạng directional asymmetry và segment-localized negative tail vẫn xuất hiện trước collapse.

2. Patent:​

  1. Hệ thống fine-tune mô hình ngôn ngữ trên điện thoại bằng reinforcement learning 4-bit: khi mô hình tạo câu trả lời trên thiết bị rồi học lại từ phản hồi, hệ thống chia câu thành đoạn nhỏ, phát hiện đoạn có xác suất học lệch nặng so với xác suất tạo ban đầu, chỉ giảm cập nhật cho các token đang làm lỗi tăng thêm và giữ nguyên các token đang tự sửa lỗi.
  2. Bộ ổn định huấn luyện reinforcement learning cho mô hình trợ lý trên chip AI tiết kiệm điện: khi dùng tính toán 4-bit để tăng tốc rollout, module can thiệp cân lại gradient trong từng câu trả lời theo vùng rủi ro cục bộ và thêm lực chỉnhnh nhẹ có giới hạn cho câu trả lời tốt nhưng còn lệch xác suất.
  3. Phương pháp chẩn đoán cục bộ cho pipeline học tăng cường tách rollout và training: thay vì nhìn trung bình lỗi cả câu, hệ thống theo dõi từng đoạn ngắn để bắt dấu hiệu sắp mất ổn định sớm rồi điều chỉnh hàm mất mát trước khi lỗi lan toàn mô hình.
  4. Cơ chế sửa lỗi có chặn cho mô hình sinh trả lời dài trên thiết bị biên: với câu được đánh giá tốt nhưng có đoạn xác suất bị đẩy lệch quá ngưỡng, thêm một thành phần phạt nhẹ, giới hạn mức tăng để kéo xác suất về đúng hướng mà không làm suy giảm tín hiệu học từ reward.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.07043
ArXiv Abstracthttps://arxiv.org/abs/2610.07043
PDF Downloadhttps://arxiv.org/pdf/2610.07043.pdf
Github Repositoryhttps://github.com/InfiXAI/TRIAGE

11. World Action Learning via Interaction-Centric Spectral Latent Guidance (17 votes)​

Tác giả: Zhiming Liu, Yikun Miao, Ying Chen, Hongrui Yin, Fangqi Zhu, et al.

Xuất bản lúc: 2026-10-02

Tag: Latent Action Learning, Robot Learning, Egocentric Video, World Action Model, Vision-Language-Action, Robotics, Spectral Analysis, Cross-Embodiment Transfer

I. Main Problem:​

Thu thập dữ liệu điều khiển robot qua teleoperation rất đắt đỏ và khó mở rộng, nên các nhà nghiên cứu muốn khai thác video góc nhìn người đeo camera (egocentric video) — nguồn kinh nghiệm tương tác vật lý phong phú và có thể thu thập quy mô lớn. Tuy nhiên, việc truyền tri thức từ video này sang robot gặp hai rào cản chính:

  • Tín hiệu không phải lúc nào cũng xoay quanh tương tác: các mô hình latent action hiện tại học bằng tái tạo chuyển tiếp giữa hai khung hình, nên chúng bị chi phối bởi chuyển động gây nhiễu như đầu/người quay phim rung lắc, thay vì động tác tay–đối tượng.
  • Động lực học thời gian khác nhau giữa người và robot: dù ngữ nghĩa tương tác giống nhau, cách thực thi (tốc độ, độ chi tiết điều khiển, cơ thể) khác biệt đáng kể, khiến việc truyền trực tiếp sang chính sách robot trở nên khó khăn.

II. Main Idea:​

WING học hành động từ video góc nhìn người và truyền sang robot qua hai thành phần chính:

  • WING-LAM — latent action xoay quanh tương tác: tách chuyển động của mỗi cặp khung hình thành (1) chuyển động toàn cục do người quan sát (ước lượng bằng phép warp affine từ các điểm nền) và (2) chuyển động cục bộ do tương tác (phần dư sau khi bù camera). Một teacher hai nhánh học tách hai tín hiệu này, rồi distill vào student chỉ dùng RGB với mất mát nhất quán khi làm nhiễu camera — kết quả là latent action giữ động lực học tay–vật, lọc chuyển động camera.
  • Spectral Latent Guidance — chỉ giữ dao động "chậm": phân tích cho thấy thành phần tần số thấp của latent action có độ tương đồng ngữ nghĩa mạnh nhất giữa người và robot. WING áp dụng Discrete Cosine Transform (DCT) theo trục thời gian, chỉ giữ K=4 hệ số tần số thấp làm guidance; một predictor nhẹ ước lượng guidance này từ quan sát + chỉ dẫn, rồi điều kiện hóa việc sinh hành động của robot qua cross-attention có cổng.

Ví dụ đời thường: giống như xem video một đầu bếp nấu ăn quay bằng camera đeo đầu — thay vì chép lại cả cảnh máy rung lắc và nhịp tay nhanh của đầu bếp, ta chỉ rút ra "nấu ăn gồm các giai đoạn chậm rãi: mở nắp, đổ nguyên liệu, khuấy" rồi tự thực hiện lại theo nhịp tay của mình.

III. Main Results:​

  • Mô phỏng: tỉ lệ thành công trung bình 99.20% trên LIBERO (vượt π0.5 với 96.90% và Fast-WAM 97.60%), 93.80% trên RoboTwin 2.0 (vượt LingBot-VA 92.20%), và 57.7% trên RoboCasa–GR1 (vượt LDA-1B 55.4%).
  • Thế giới thực (4 tác vụ thao túng hai tay): 75.0% ở thiết lập chuẩn, vượt FastWAM và GR00T-N1.7; cạnh tranh ngang π0.5 ở thiết lập generalization.
  • Phân tích biểu diễn: WING-LAM giải mã được chuyển động tương tác nhưng gần như không chứa thông tin camera; ít nhạy nhất với nhiễu camera, đồng thời đạt độ chính xác phân loại hành động cao nhất trên LARY-Bench.
  • Ablation: thiếu WING-LAM hoặc thiếu DCT đều làm hiệu suất giảm trên cả LIBERO và thực tế; K=4 hệ số DCT là tối ưu (K=2 quá ít, K=8 đầy đủ phổ thì không cải thiện).
  • Pretraining: spectral guidance vượt trội so với chỉ pretrain video, dùng hand-pose, hay dự đoán latent action trực tiếp — cho thấy latent action nên làm hướng dẫn phụ trợ, không phải mục tiêu hành động.

IV. Conclusion & Future Works:​

Bài báo chứng minh rằng để mở rộng robot learning bằng kinh nghiệm con người, không nên mô hình hóa mọi biến thiên quan sát được, mà phải xác định cấu trúc tương tác nhất quán xuyên suốt người quan sát và cơ thể robot. WING thực hiện điều này bằng latent action lọc nhiễu camera + guidance tần số thấp. Hạn chế: mô hình teacher phụ thuộc vào điểm theo dõi chuyển động và xấp xỉ warp toàn cục đơn giản, kém chính xác khi parallax/độ sâu lớn; chi phí và độ phức tạp pipeline tăng. Hướng tương lai: mô hình chuyển động tự chứa hơn, nhận thức độ sâu, và cơ chế guidance hiệu quả hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng spectral latent guidance cho truyền tri thức đa dạng hơn: kết hợp mô hình chuyển động có nhận thức độ sâu (thay vì warp affine) để cải thiện tách tương tác trong video egocentric có parallax mạnh.
  2. Nghiên cứu cách chọn số hệ số tần số DCT một cách thích ứng theo tác vụ thay vì cố định K=4, và cơ chế guidance nhẹ hơn để giảm chi phí huấn luyện.
  3. Áp dụng tư tưởng giữ cấu trúc tần số thấp chung giữa người–robot cho các bài toán truyền kỹ năng khác như điều khiển xe, drone hoặc avatar ảo từ video con người.

2. Patent:​

  1. Hệ thống huấn luyện robot từ video điện thoại thông minh: người dùng quay video góc nhìn thứ nhất khi làm việc nhà; ứng dụng trên điện thoại tách chuyển động camera do người quay khỏi động tác tay–đồ vật, rút ra các pha thao tác chậm rồi gửi lên đám mây làm hướng dẫn cho robot hút bụi/lau nhà thực hiện tương tự.
  2. Trợ lý robot bếp học nấu từ video mạng xã hội: tải video nấu ăn quay bằng camera đeo đầu, hệ thống lọc chuyển động lắc đầu của người quay, giữ lại trình tự thao tác chậm (cắt, xào, nêm), và điều phối cánh tay robot nhà bếp thực hiện theo đúng nhịp.
  3. Module hiệu chuẩn camera trên robot dịch vụ: khi camera lắp trên robot bị rung hoặc lệch góc trong lúc di chuyển, hệ thống tự phân tách chuyển động do robot gây ra khỏi tương tác với đối tượng, đảm bảo lệnh điều khiển không bị nhiễu bởi dao động camera.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.03607
ArXiv Abstracthttps://arxiv.org/abs/2610.03607
PDF Downloadhttps://arxiv.org/pdf/2610.03607.pdf
Github RepositoryN/A

12. UNREAL: Unifying Retrieval and Long-Context with a Single Model (15 votes)​

Tác giả: Edan Kinderman, Elad Hoffer, Yochai Blau, Brian Chmiel, Ron Banner, et al.

Xuất bản lúc: 2026-10-06

Tag: RAG, Retrieval-Augmented Generation, Long-Context LLMs, Contrastive Learning, Intrinsic Retrieval, Decoder-Only LLM

I. Main Problem:​

Hiện tại, việc chọn lọc bằng chứng (evidence selection) cho LLM được xử lý bằng hai hệ thống tách biệt tùy theo quy mô:

  • Long-context: nhét toàn bộ prompt dài vào model, model phải tự lọc nhiễu ngầm bên trong — dễ bị distractor đánh lừa, hiệu suất sụt nhanh khi context dài, chi phí tính toán tăng bậc hai.
  • Corpus-scale (RAG): dùng một retriever ngoài (embedding model + reranker) chọn đoạn văn trước khi generate — tạo pipeline hai model phải train, deploy và giữ đồng bộ.

Cả hai thực chất là cùng một phép toán (chọn bằng chứng theo query), chỉ khác quy mô — nhưng lại được xây dựng như hai giải pháp cạnh tranh.

II. Main Idea:​

UNREAL (UNifying REtrieval And Long-Context) chứng minh một cơ chế chọn bằng chứng duy nhất nằm bên trong chính LLM có thể phủ từ context 8K token đến corpus 3 tỷ token (21M chunk Wikipedia), mà không đổi kiến trúc backbone:

  • Chunk embeddings: dùng chính LLM đông lạnh (frozen) để encode từng chunk, lấy trạng thái residual-stream ở một tầng trung gian (giàu ngữ nghĩa hơn tầng cuối).
  • Residual-state queries: thêm vài retrieval token học được (soft prompt) vào cuối query; đọc trạng thái của các token này tại nhiều tầng, trộn bằng hệ số tầng học được, rồi chấm điểm chunk bằng toán tử MaxSim kiểu ColBERT.
  • Chỉ < 500K tham số trainable (retrieval tokens + layer weights), tất cả đóng băng lại; hoạt động được trên mọi kiến trúc đọc từ residual stream (dense attention, linear attention, state-space, hybrid).
  • Train bằng contrastive InfoNCE với hard negatives; khi generate, chỉ đưa các chunk được chọn trở lại cùng LLM.

Ví dụ đời thường: giống người đọc một cuốn sách dài không cần đọc hết mà gắn vài tab nhớ vào đúng đoạn mình cần — giờ tab đó được học để tự nhảy đến trang chứa đáp án, dù cuốn sách là 100 trang hay cả một thư viện.

III. Main Results:​

  • Retrieval corpus-scale: cả 4 backbone (dense Qwen3.5-4B, Muse-Glimmer-30B, linear-attention hybrid Qwen3.5-35B-A3B, Mamba hybrid Nemotron-3.5-Lightning) đều vượt các hệ retriever-reranker SOTA trên index 21M chunk. Tốt nhất: recall@10 tăng 49.1% → 73.2% (HotpotQA), 31.7% → 60.1% (2WikiMultiHopQA), 8.8% → 14.4% (MuSiQue); gain lớn nhất ở bài multi-hop.
  • End-to-end QA: dùng cùng một LLM cho retrieval lẫn generation, UNREAL đạt EM/F1 cao nhất trên cả 3 benchmark multi-hop.
  • Long-context: cơ chế chọn lọc tương tự loại distractor trước khi generate — NoLiMa tăng 1.0% → 24.83% ở 128K token, LV-Eval F1 tăng 49.97% → 54.66% ở 256K, HELMET vượt cả full-context lẫn retriever ngoài.
  • Quy mô cực lớn: benchmark tự dựng 8K–100M token cho thấy UNREAL generate được với bằng chứng từ 100M token, vượt giới hạn context của mọi LLM hiện tại.
  • Hiệu quả: vượt full-context về FLOPs từ ~18K token, giảm time-to-first-token từ ~32K token trở đi, tăng tốc mạnh khi context dài (tỷ lệ tuyến tính thay vì bậc hai).

IV. Conclusion & Future Works:​

Kết quả ủng hộ cái nhìn thống nhất: corpus retrieval và long-context inference là cùng một bài toán chọn bằng chứng ở các quy mô khác nhau — một selector model-internal là nền tảng chung, cho phép LLM tự truy xuất thông tin không cần retriever riêng. Hạn chế: dữ liệu train chỉ từ Wikipedia QA, chưa kiểm chứng trên miền/ngôn ngữ khác; chi phí lưu trữ index đa vector cao hơn dense index đơn vector; tập trung bài toán evidence-sparse. Hướng tương lai: train retrieval ngay trong model song song với generation; các benchmark long-context nên ghi nhãn bằng chứng cần thiết và tách bạch bài toán evidence-sparse khỏi bài toán cần tích hợp toàn bộ đầu vào; UNREAL có thể làm thành phần trong các pipeline RAG agentic đa lượt.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng retrieval token học được cho LLM đa ngôn ngữ, đa miền (y khoa, pháp lý) để kiểm chứng tính khái quát của cơ chế chọn bằng chứng nội tại ngoài Wikipedia.
  2. Huấn luyện đồng thời retrieval và generation trong cùng một LLM thay vì train retrieval head riêng, nhằm xem kỹ năng chọn bằng chứng có hình thành tự nhiên từ pretraining hay cần supervision tách biệt.
  3. Xây dựng benchmark long-context có chú thích evidence chuẩn, phân loại rõ bài toán sparse-evidence (giải được bằng chọn chunk) và evidence-dense (cần tích hợp toàn cục), để đánh giá công bằng giữa full-context và retrieval.

2. Patent:​

  1. Trợ lý AI trên điện thoại trả lời câu hỏi từ kho tri thức khổng lồ: app dùng chính model ngôn ngữ có sẵn trên máy để chấm điểm và chọn đoạn tài liệu liên quan, không cần tải thêm model tìm kiếm riêng, tiết kiệm bộ nhớ và pin.
  2. Hệ thống đọc tài liệu dài trên thiết bị di động: người dùng hỏi về hợp đồng hoặc giáo trình hàng trăm trang, điện thoại tự đánh dấu và chỉ đưa các đoạn chứa câu trả lời vào model, giảm thời gian phản hồi và lưu lượng xử lý đám mây.
  3. Chatbot hỗ trợ khách hàng nhúng trong ứng dụng ngân hàng: một model duy nhất vừa tìm đúng điều khoản trong kho quy định nội bộ vừa soạn câu trả lời, loại bỏ nhu cầu duy trì hệ thống tìm kiếm riêng và đồng bộ hóa giữa hai hệ thống.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.08463
ArXiv Abstracthttps://arxiv.org/abs/2610.08463
PDF Downloadhttps://arxiv.org/pdf/2610.08463.pdf
Github RepositoryN/A

13. Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents (14 votes)​

Tác giả: Feiyu Gavin Zhu, Xiaoyu Zhu, Jiqi Yang, Rui Yang, Arnab Kumar Mondal, et al.

Xuất bản lúc: 2026-10-01

Tag: Multimodal Agents, Efficient Reasoning, Reinforcement Learning, GRPO, Vision-Language Models, Tool Use, Inference Efficiency

I. Main Problem:​

Các tác nhân multimodal (ReAct-style) trước mỗi hành động phải sinh reasoning tự do (freeform) theo từng token một, gây độ trễ suy luận lớn:

  • Với mô hình nhỏ (2B–4B) trên thiết bị, khả năng lập luận hạn chế nên reasoning dài mà hiếm khi cải thiện chất lượng hành động — chi phí sinh token bị lãng phí.
  • Các phương pháp hiện có (prompt ngắn, phần thưởng cho reasoning ngắn) chỉ giảm số lượng token, không tháo được phụ thuộc tuần tự giữa các token trong giải mã autoregressive.
  • Trong tác vụ tìm kiếm, câu hỏi thay đổi nhưng lập luận mức cao (thực thể đã biết / thiếu thông tin → cần tìm kiếm) lặp lại, cho thấy không gian reasoning thật sự cần thiết hẹp hơn toàn bộ không gian ngôn ngữ.

II. Main Idea:​

Selection-based Structured Reasoning (SSR) đổi bản chất reasoning từ sinh sang chọn:

  • Xây thư viện reasoning R gồm các đoạn ngôn ngữ tự nhiên ngắn, tái sử dụng được (ở đây 6 candidate: tìm ảnh để nhận diện thực thể, tìm kiếm văn bản, zoom chi tiết ảnh, trả lời từ bằng chứng, trả lời từ ảnh, trả lời bằng kiến thức chung).
  • Mỗi lượt, mô hình chấm điểm từng candidate bằng log-likelihood chuẩn hóa độ dài điều kiện theo lịch sử tương tác, softmax rồi lấy mẫu — dùng chính LM làm bộ phân loại, không cần task head phụ.
  • Parallel reasoning decoding: vì candidate đã biết trước, mọi token được tính likelihood song song bằng teacher forcing, các candidate cùng được chấm đồng thời trên KV cache dùng chung — không sinh token nào mới trong bước reasoning.
  • Candidate được chọn được chèn vào context làm hướng dẫn ngôn ngữ cho việc sinh hành động cụ thể (query, crop, câu trả lời). Huấn luyện được với cả SFT và RL (GRPO/GSPO/SAPO) — objective reasoning chỉ là một tỉ lệ categorical, nên SSR train trực tiếp bằng RL mà không cần SFT warm-up.

Ví dụ đời thường: giống nhân viên thay vì mỗi lần đều tự viết một bản báo cáo dài về "nên làm gì tiếp", chỉ cần lật xem thực đơn sẵn có 6 lựa chọn và chỉ tay vào mục hợp nhất — quyết định xong tức thì, rồi mới tự điền chi tiết cụ thể của công việc.

III. Main Results:​

  • Hiệu suất cạnh tranh: SSR 4B + GRPO đạt 61.37% success rate trung bình trên 7 benchmark (MMSearch, HR-MMSearch, FVQA, SimpleVQA, LiveVQA, MAT-Search, InfoSeek), ngang SOTA cùng cỡ (TAPO+GSPO 61.25%) và vượt MMSearch-R1/SenseNova-MARS 4B; SSR 2B đạt 51.26%, ngang model zero-shot 8B.
  • Tiết kiệm độ trễ vượt trội: giảm >90% latency reasoning mỗi lượt và 28–54% tổng latency suy luận mỗi câu hỏi, throughput reasoning hiệu dụng tăng ~40 lần (~3000 tok/s vs ~70 tok/s), ổn định trên cả 4 objective (GRPO, GSPO, SAPO, SFT) và cả 2 cỡ model.
  • So với 4 baseline efficient reasoning (Chain-of-Draft, Sketch-of-Thought, efficiency-reward RL, Probe & Prefill): SSR có success rate cao nhất (58.36%) và reasoning nhanh hơn ≥7 lần; p95 reasoning chỉ 0.071s (chênh 10ms so với mean, trong khi baseline chênh 0.3–0.9s).
  • Ablation: chọn candidate bằng index thay vì full text làm giảm 3.9% success → semantics của candidate quan trọng; reasoning library lớn hơn giúp tăng dần 37.24% → 61.37%; 99.9% lượt hành động khớp kiểu hành động kỳ vọng của candidate đã chọn, và phân bố lựa chọn thích nghi theo từng benchmark.

IV. Conclusion & Future Works:​

SSR cho thấy tác nhân tìm kiếm nhỏ không cần reasoning trên toàn bộ không gian ngôn ngữ ở mỗi bước — tổ chức lập luận lặp lại thành không gian compact, tái sử dụng được vừa duy trì hiệu suất vừa cắt mạnh chi phí suy luận. Hạn chế: giảm nhẹ hiệu suất dưới GSPO/SAPO do xấp xỉ gradient cho bộ chọn kém chính xác qua nhiều lần cập nhật gradient; reasoning library hiện viết tay và dùng chung cho mọi benchmark. Hướng tương lai: tự động học/xây dựng thư viện reasoning, cải thiện xấp xỉ gradient cho selector, và mở rộng sang các tác vụ agentic ngoài tìm kiếm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tự động học và mở rộng thư viện reasoning candidate cho SSR thay vì viết tay, kết hợp khai thác từ dữ liệu trajectories thành công để phát hiện các pattern lập luận mới.
  2. Cải thiện độ chính xác của gradient xấp xỉ cho bộ chọn reasoning categorical trong GRPO/GSPO/SAPO để khôi phục hiệu suất khi nhiều bước gradient trên mỗi rollout.
  3. Áp dụng selection-based reasoning cho các lớp tác nhân khác (điều hướng web, điều khiển GUI trên điện thoại, robot thao tác) để kiểm chứng tính tổng quát của ý tưởng không gian reasoning hẹp.

2. Patent:​

  1. Trợ lý tìm kiếm bằng hình ảnh trên điện thoại chạy model nhọ cục bộ: thay vì chờ model suy nghĩ dài bằng văn bản trước mỗi thao tác, ứng dụng chấm điểm song song một bộ sẵn các kịch bản lập luận (nhận diện ảnh, tìm kiếm, soi chi tiết, trả lời) rồi thực hiện ngay, giảm thời gian phản hồi mỗi bước xuống còn một phần mười.
  2. Hệ thống điều khiển ô tô/drone dùng camera với module chọn-hành-động tiết kiệm điện: từng lượt quan sát, thiết bị chỉ cần một lần chạy song song để chọn kịch bản quyết định thay vì sinh chuỗi suy luận dài, kéo dài thời lượng pin và giảm độ trễ phản ứng.
  3. Khung huấn luyện tác nhân đa phương thức tiết kiệm chi phí đám mây: do bước reasoning được chọn lọc và tính song song trên KV cache dùng chung, doanh nghiệp có thể triển khai agent tìm kiếm 2B–4B với chi phí suy luận giảm 30–50% mỗi phiên hội thoại so với agent sinh suy luận tự do cùng hiệu suất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.01892
ArXiv Abstracthttps://arxiv.org/abs/2610.01892
PDF Downloadhttps://arxiv.org/pdf/2610.01892.pdf
Github Repositoryhttps://github.com/zfy0314/ssr-unofficial

14. AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation (13 votes)​

Tác giả: Giulio Zeloni, Enrico Lo Conte, Salvatore Rionero, Giuseppe Santoro, Alessandro Rastelli, et al.

Xuất bản lúc: 2026-10-01

Tag: RAG, LLM-as-a-Judge, Quality Gates, Evaluation, Uncertainty Quantification, Beta-Binomial, Enterprise AI

I. Main Problem:​

Doanh nghiệp triển khai RAG phải ra quyết định lặp lại: cho phép release, yêu cầu rà soát, hay chặn một phiên bản hệ thống. Ba khoảng trống giữa chấm điểm và ra quyết định:

  • Bằng chứng thiếu hụt thường trực: trace thiếu context, provider lỗi, judge trả về output sai định dạng — lấy trung bình trên dữ liệu còn lại sẽ trộn lẫn "đo được là xấu" với "không được đo".
  • Ước lượng điểm (point estimate) phóng đại độ tin cậy trên tập đánh giá nhỏ, stratified.
  • Công cụ đo chưa được kiểm chứng: LLM judge có bias và độ tin cậy phụ thuộc từng domain — độ đồng thuận đo ở domain này không chuyển sang domain khác.

II. Main Idea:​

AGO AI Quality Gate — khung quality-gate kiểu "evidence-first" đặt lớp ra quyết định lên trên các thành phần đánh giá RAG có sẵn (RAGAs, ARES, guardrails). Bốn thành phần chính:

  • Mô hình quyết định 4 trạng thái: promote / manual review / block / not evaluable — dữ liệu thiếu và lỗi protocol của judge là kết quả tường minh, không bị đổ thành giá trị mặc định ("no implicit pass": thiếu bằng chứng thì không bao giờ promote).
  • Chấm điểm phân tầng: deterministic checks → local guardrails (PII, injection...) → LLM-judge RAG triad (context relevance, adherence, answer relevance) qua một call JSON có ràng buộc; output judge hỏng bị đánh là lỗi protocol và đưa sang manual review, không bao giờ ép thành điểm hợp lệ.
  • Cổng beta-binomial stratified: mỗi stratum có posterior Beta với khoảng tin cậy 95%; rủi ro hồi quy giữa baseline và candidate được định lượng xác suất ρ = P(pB < pA − δ) bằng Monte Carlo — thay cho so sánh pass-rate điểm.
  • Meta-evaluation bắt buộc: judge phải được kiểm chứng độ đồng thuận với người (Cohen's κ, MCC, AUROC, bootstrap CI) trên golden set của từng engagement trước khi được phép ảnh hưởng đến quyết định.

Ví dụ đời thường: giống bác sĩ ký giấy xuất viện — không chỉ nhìn một con số xét nghiệm (điểm judge), mà phải ghi rõ mẫu nào không lấy được, kiểm tra lại máy đo có chuẩn không (validate judge), và nếu dữ liệu mờ thì chuyển hội chẩn (manual review) chứ không bao giờ ký "đủ điều kiện" cho qua.

III. Main Results:​

  • Judge chất lượng chi phối mọi thứ: trên RAGBench (12 dataset, N=1200/judge, cùng instance), gpt-4.1-nano chỉ đạt AUROC 0.603 (sát mức ngẫu nhiên) dù output hoàn hảo, không một lỗi protocol — trong khi gpt-4o đạt 0.783 (MCC 0.433).
  • Hiệu năng judge phụ thuộc domain ngay cả với model mạnh: AUROC của gpt-4o dao động 0.62 (cuad) → 0.88 (expertqa); tại ngưỡng vận hành, MCC từ 0.040 (emanual) đến 0.618 (msmarco) — chứng minh judge phải được đo lại từng engagement.
  • Cổng thống kê hiệu quả hơn cổng naive: trong kịch bản hồi quy, profile decision-grade giảm unsafe promotion xuống 22.2%–35.1% so với 29.3%–41.8% của cổng naive; đồng thời đo được chi phí false alarm và throughput cải tiến.
  • Mô hình độc lập giữa 2 runs là conservative có chủ đích — thiên lệch về phía manual review, vì rà soát thừa chỉ tốn thời gian tư vấn còn promote nhầm là sự cố production.
  • Các audit sanity đã bắt được 2 lỗi pipeline (payload cắt document, trùng instance ID) trước khi chạy — nhấn mạnh giá trị của protocol đóng băng.

IV. Conclusion & Future Works:​

Đóng góp cốt lõi là lớp quyết định: biến missing evidence, lỗi protocol của judge, bất định thống kê và hiệu lực judge theo từng domain thành đầu vào tường minh của quyết định release thay vì giả định ẩn sau một con điểm. Kết luận thực tiễn: chất lượng judge phải được đo mỗi engagement, và point estimate riêng lẻ không phải quyết định release. Hướng mở: khai thác các nhãn TRACe còn lại (utilization, completeness) cho judge layer, và mở rộng so sánh phiên bản có tương quan giữa các item chia sẻ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển judge layer tận dụng đầy đủ schema TRACe của RAGBench (relevance, utilization, completeness) thay vì chỉ adherence và context relevance như hiện tại.
  2. Mô hình so sánh baseline–candidate có tương quan cho các item chia sẻ, thay cho giả định độc lập hiện tại, để giảm thiên lệch conservative của cổng.
  3. Điều tra chiến lược chọn judge theo chi phí-chất lượng đo được per engagement: khi nào judge rẻ đủ tốt để chạy ở chế độ observe/review, khi nào bắt buộc judge frontier.

2. Patent:​

  1. Hệ thống kiểm soát phát hành chatbot doanh nghiệp trên điện thoại/máy tính bảng: trước khi cập nhật phiên bản, ứng dụng tự chạy bộ câu hỏi kiểm thử, đối chiếu câu trả lời với tài liệu truy xuất được; nếu dữ liệu đánh giá thiếu hoặc kết quả mờ thì chặn cập nhật và gửi yêu cầu con người duyệt thay vì tự động phát hành.
  2. Bộ kiểm thẩm định tự động cho trợ lý AI truy vấn tài liệu nội bộ: đo mức độ câu trả lời trung thực với nguồn trích dẫn bằng mô hình chấm điểm, nhưng chỉ tin kết quả sau khi đối chiếu với nhãn người trên bộ câu hỏi mẫu của chính lĩnh vực đó, và báo cáo khoảng tin cậy thay vì một tỉ lệ đơn lẻ.
  3. Cổng an toàn có trọng số theo nhóm câu hỏi cho ứng dụng AI trên điện thoại: tỉ lệ câu trả lời đạt được tổng hợp theo từng nhóm chủ đề với trọng số ưu tiên doanh nghiệp tự cấu hình, và phiên bản mới chỉ được phép lên sóng khi xác suất chất lượng tụt hơn phiên bản cũ dưới ngưỡng cho phép.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.01218
ArXiv Abstracthttps://arxiv.org/abs/2610.01218
PDF Downloadhttps://arxiv.org/pdf/2610.01218.pdf
Github RepositoryN/A

15. DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation (12 votes)​

Tác giả: Karn Tiwari, Varnith Chordia, Prathosh A P

Xuất bản lúc: 2026-10-03

Tag: Knowledge Distillation, On-Policy Distillation, RLVR, GRPO, Large Language Models, Reinforcement Learning, Reasoning

I. Main Problem:​

Hai phương pháp post-training phổ biến cho LLM có điểm mù bổ sung (complementary blind spots):

  • On-Policy Distillation (OPD): cung cấp tín hiệu giáo viên dày đặc ở mức token, nhưng mù với kết quả — token được cập nhật chỉ vì khác phân phối với teacher, kể cả khi cả trajectory đã đúng; sự khác biệt teacher–student thường phản ánh khác phong cách chứ không phải lỗi suy luận (AUROC chỉ ~0.5 trên toán).
  • RLVR/GRPO: tối ưu đúng kết quả trajectory, nhưng gán cùng một advantage cho mọi token (credit assignment thô) và mất tín hiệu hoàn toàn khi cả group rollout đều thất bại (reward-uniform groups).

Kết hợp ngây thơ hai tín hiệu dễ gây xung đột supervision: discrepancy lớn có thể thống trị update, và imitate teacher mạnh làm giảm exploration, gây entropy collapse.

II. Main Idea:​

DiffGate — objective kết hợp GRPO với teacher guidance có chọn lọc, có giới hạn, được gate theo độ khó:

  • Chỉ áp teacher guidance cho trajectory thất bại (thừa số 1−R): verifier quyết định trajectory nào cần sửa, teacher quyết định sửa token nào.
  • Gate theo độ khó nhóm: nhân với (1−p)^γ (p = tỉ lệ success của group) — guidance mạnh nhất khi cả group đều fail (GRPO im lặng), yếu dần khi student giỏi lên, bằng 0 trên trajectory đúng.
  • Bị chặn (bounded): gap log-probability teacher–student được nén qua 2·tanh(Δ/2) ∈ (−2, 2), giữ hướng update nhưng ngăn discrepancy cực đoan thống trị optimization.

Token-level advantage tổng hợp: G = A_GRPO + λ(1−p)^γ(1−R)·2tanh(Δ/2), tối ưu qua clipped PPO surrogate. Với λ=0 thu được GRPO thuần.

Ví dụ đời thường: giống thầy giáo chấm bài theo nhóm — học sinh làm đúng thì không sửa gì; cả nhóm đều sai bài khó thì thầy ngồi sửa chi tiết từng bước cho từng em, còn bài dễ chỉ sai vài em thì gợi ý nhẹ, để các em tự sửa.

III. Main Results:​

  • Code: so với GRPO cùng cấu hình, DiffGate cải thiện avg@8 +1.7 (0.6B) và +1.8 (1.7B), pass@8 +1.6 và +5.7; vượt mọi baseline OPD trên cả hai metric.
  • Toán: avg@8 chênh GRPO trong ±0.5 điểm nhưng pass@8 tăng +1.1 và +3.9 — cải thiện pass@8 ở cả 4 cấu hình model–domain (solution coverage tốt hơn).
  • OOD (science: GPQA, MMLU-STEM, OlympiadBench-Physics) không cần train thêm: avg@8 đạt 31.2/39.2, vượt base (21.7/27.5) và OPD tốt nhất (30.6/36.7).
  • Scale 4B student (teacher 14B/8B): vẫn vượt OPD mạnh nhất (+2.9 avg@8 toán, +2.5 code).
  • Ablation: difficulty gating +1.3–2.4 avg@8; bỏ bounding làm tăng gradient norm 1.4–3.3× và giảm accuracy; group nhỏ (n=4) càng lợi cho DiffGate (GRPO −1.9, DiffGate −1.2).
  • Phân tích training: teacher guidance duy trì tín hiệu trên all-failure groups (chiếm ~20% prompt code đến cuối training); entropy cao hơn, gradient spikes giảm mạnh (213 → 0.7), giảm entropy collapse.

IV. Conclusion & Future Works:​

DiffGate hóa giải mismatch local–global giữa OPD và RLVR bằng cách nhồi teacher guidance có giới hạn, được gate theo độ khó vào update GRPO, tập trung supervision vào trajectory thất bại/khó — cải thiện coverage nghiệm và ổn định hơn cả OPD lẫn GRPO riêng lẻ.

Hạn chế & hướng mở: mới đánh giá trên toán và code với student ≤ 4B; hiệu quả trên agentic reasoning và long-horizon decision-making chưa được khảo sát; chi phí tính toán giới hạn quy mô thử nghiệm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng difficulty-gated teacher guidance cho bài toán agentic và ra quyết định dài hạn, nơi reward thưa thớt kéo dài và all-failure groups xuất hiện thường xuyên hơn.
  2. Nghiên cứu cơ chế thay thế teacher cố định bằng teacher thích ứng (theo tiến độ student) để tự động điều chỉnh độ mạnh guidance theo giai đoạn training.
  3. Kết hợp gate độ khó với các phương pháp credit assignment tinh hơn ở mức token (process reward) để định vị chính xác token lỗi trong trajectory fail.

2. Patent:​

  1. Hệ thống huấn luyện trợ lý AI trên điện thoại: mô hình nhỏ chạy local tạo nhiều câu trả lời cho một câu hỏi; máy chủ chấm đúng/sai từng câu rồi chỉ gửi về hướng dẫn chi tiết từng bước cho những câu sai, ưu tiên bài khó — tiết kiệm băng thông và tránh 'sửa' những câu đã đúng.
  2. Ứng dụng luyện thi thông minh: sinh nhiều lời giải cho một bài toán, nhóm các lời giải theo tỉ lệ làm đúng; với bài cả nhóm đều sai, hệ thống đưa lời giải mẫu chi tiết có giới hạn (không áp đặt toàn bộ) để học sinh học cách làm mà không mất khả năng tự khám phá.
  3. Nền tảng tinh chỉnh chatbot doanh nghiệp: pipeline kết hợp verifier (test tự động cho code, kiểm tra đáp án cho toán) với mô hình teacher lớn trên cloud, tự động điều chỉnh mức độ can thiệp của teacher theo độ khó từng nhóm câu hỏi của nhân viên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04596
ArXiv Abstracthttps://arxiv.org/abs/2610.04596
PDF Downloadhttps://arxiv.org/pdf/2610.04596.pdf
Github RepositoryN/A

16. SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving (12 votes)​

Tác giả: Gunho Park, Kyoungho Jeun, Juntaek Oh, Byeongjun Shin, Baeseong Park, et al.

Xuất bản lúc: 2026-09-28

Tag: Mixture-of-Experts, LLM Inference, Expert Pruning, vLLM, Knowledge Distillation, Model Serving, MoE

I. Main Problem:​

Các mô hình Mixture-of-Experts (MoE) chỉ kích hoạt vài expert mỗi token, nhưng khi serving theo lô (continuous batching), mỗi bước decode phải nạp gần hết toàn bộ pool expert từ bộ nhớ GPU — ví dụ batch size 64 trên Qwen3.6-35B-A3B đã truy cập ~75% pool 60 GiB. Bước decode chỉ sinh 1 token/sequence nên không đủ tính toán để bù chi phí nạp trọng số, khiến decode bị bóp nghẹt bởi lưu lượng trọng số expert.

  • Cách pruning expert truyền thống cắt giảm pool cho cả prefill và decode, nhưng prefill vốn là giai đoạn compute-bound (xử lý nhiều token song song nên tái sử dụng trọng số đủ nhiều) — cắt expert ở prefill không tăng throughput mấy mà chỉ mất độ chính xác.
  • Ngoài ra, điểm benchmark che giấu biến dạng hành vi sinh: model đã prune có thể giữ điểm cao nhưng sinh reasoning quá ngắn (HumanEval+ từ 2.3k xuống 0.3k token) hoặc quá dài (MATH-500 từ 2.4k lên 6.6k token), thậm chí chạy tới hạn token mà không dừng.

II. Main Idea:​

SlimWise tách riêng việc phân bổ expert cho hai giai đoạn inference: prefill chạy với full model (đủ expert), còn decode chạy với model đã prune — và điểm then chốt là decoder đã prune dùng trực tiếp KV cache do full model sinh ra, không cần chuyển đổi (vì pruning giữ nguyên kiến trúc attention và định dạng KV cache).

  • Bàn giao KV cache này không cần training đã phục hồi phần lớn độ chính xác mất do pruning, vì prompt representation đầy đủ giúp decoder thiếu expert bù lại phần thiếu.
  • Có hai cách triển khai tương đương: checkpoint decoder đã prune (PD-disaggregated — tiết kiệm bộ nhớ cho thêm KV cache) hoặc phase-aware masking: mask router chỉ khi decode, giữ router gốc khi prefill (PD-colocated).
  • Với phần tổn thất còn lại, SlimWise thêm distillation rẻ: chỉ train 0.42% tham số (shared expert, router, norm) trong 100M token, và đặc biệt train decoder học cách tiếp tục từ KV cache của teacher (mô phỏng đúng điều kiện deploy), kèm shared expert phụ khởi tạo zero kiểu LoRA.

Ví dụ đời thường: giống như người thuyết trình dùng slide đầy đủ để chuẩn bị nội dung (prefill full model), nhưng khi trả lời câu hỏi từng người một (decode) chỉ cần trích một nửa bộ tài liệu — vì đã nắm sẵn ý chính từ phần chuẩn bị, nên trả lời vẫn chuẩn mà nhẹ đầu hơn.

III. Main Results:​

  • Decode throughput tăng tới 1.81× ở mức prune 50% và 2.39× ở 75% (chỉ giữ 1/4 expert) trên Qwen3.6-35B-A3B, với PD-disaggregated serving, SLO 50 token/s; prefill throughput gần như không đổi.
  • KV cache handoff không cần training thu hẹp đáng kể khoảng cách accuracy so với full model trên cả 2 backbone (Qwen3.6-35B-A3B, Gemma 4-26B-A4B) và cả 3 tiêu chí pruning (routing mass, EAN, REAP).
  • Distillation chỉ cập nhật 0.42% tham số (~6 giờ trên 4 GPU B200): đưa accuracy gần về baseline và kéo độ dài sinh về gần mức full model — ví dụ ở 75% pruning, GSM8K từ 0.867 lên 0.959, p90 MATH-500 từ 32.8k (chạm hạn token) giảm còn 14.0k.
  • Trên Gemma 4 với EAN pruning (trường hợp sụp nặng nhất), SlimWise + distill phục hồi từ mức gần như mất hoàn toàn (accuracy ~0.05–0.17) lên 0.92–0.97 trên math/coding.
  • PD-colocated cũng cải thiện 1.36–2.28×, thấp hơn chút do overhead masking router (~0.5 ms/bước).

IV. Conclusion & Future Works:​

SlimWise chứng minh pruning nên được tách riêng theo giai đoạn inference: cắt expert chỉ ở decode (memory-bound) thay vì cả hai, kết hợp bàn giao KV cache trực tiếp và distillation rẻ, thu được throughput decode cao hơn rõ rệt với tổn thất chất lượng tối thiểu. Hai hạn chế: chi phí prefill không giảm nên tốc độ end-to-end phụ thuộc tỷ lệ thời gian decode; PD-colocated vẫn giữ full pool trong bộ nhớ nên không giảm footprint trọng số.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng tư tưởng tách phân bổ expert theo giai đoạn cho các mô hình hybrid (linear attention + full attention) khác, tối ưu riêng cách xử lý recurrent state khi bàn giao giữa prefill và decode.
  2. Nghiên cứu tiêu chí chọn expert phụ thuộc giai đoạn: chọn tập expert giữ lại riêng cho decode dựa trên hành vi routing ở chế độ sinh thay vì tái dùng thống kê calibration chung.
  3. Phát triển chiến lược distillation tự động điều chỉnh theo mức độ biến dạng độ dài sinh, cân bằng giữa accuracy và độ dài output trên từng benchmark.

2. Patent:​

  1. Hệ thống serving LLM trên đám mây/nền tảng AI trên điện thoại: server chạy giai đoạn đọc prompt bằng toàn bộ chuyên gia của model, sau đó chuyển sang giai đoạn trả lời chỉ dùng một nửa chuyên gia, tái dùng trực tiếp bộ nhớ ngữ cảnh đã lưu — giúp phản hồi nhanh hơn gần gấp đôi mà chất lượng gần như không đổi.
  2. Dịch vụ AI chatbot trên điện thoại với chế độ tiết kiệm pin: phần xử lý khi người dùng đang gõ tin nhắn (hiểu ý đồ) dùng model đầy đủ, phần gõ trả lời từng chữ chạy model đã lược bớt bộ nhớ, giảm lượng dữ liệu phải nạp liên tục nên tiết kiệm điện và giảm độ trễ.
  3. Phương pháp tinh chỉnh rẻ model đã lược expert cho thiết bị biên: chỉ cập nhật một lớp xử lý chung nhỏ và bộ định tuyến (chưa tới 1% tham số) bằng cách học mô phỏng model gốc trên bộ nhớ ngữ cảnh do model gốc tạo ra, giúp model nhẹ chạy được trên điện thoại mà độ chính xác gần bằng bản đầy đủ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.34117
ArXiv Abstracthttps://arxiv.org/abs/2609.34117
PDF Downloadhttps://arxiv.org/pdf/2609.34117.pdf
Github RepositoryN/A

17. Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding (11 votes)​

Tác giả: Hoang Phan, Minh Pham, Chau Pham, Chinmay Hegde, Trung Le, et al.

Xuất bản lúc: 2026-10-05

Tag: Reinforcement Learning, RLVR, Large Language Models, Reasoning, Vision-Language Models, Reward Sparsity, Curriculum Learning, GRPO

I. Main Problem:​

RLVR (reinforcement learning với reward kiểm chứng được) bị nghẽn bởi reward sparsity: khi bài toán vượt quá khả năng hiện tại của mô hình, mọi rollout sampled đều sai, reward gần như đồng nhất và không có tín hiệu học tập để cải thiện. Hệ quả:

  • quá trình training đình trệ đúng trên các bài khó — những bài quan trọng nhất để nâng reasoning
  • với mô hình nhỏ/yếu, tình trạng càng trầm trọng vì hiếm khi tự tìm ra trajectory đúng
  • các cách tiếp cận cũ (dùng off-policy demonstrations, expert traces, rejection sampling từ mô hình mạnh hơn) đòi hỏi dữ liệu phụ phải khớp định dạng của tác vụ RL, dễ gây distribution mismatch, học vẹt và kém khái quát.

II. Main Idea:​

Rationale-Guided Policy Optimization (RGPO) dùng lời giải mẫu (rationale) như giàn giáo tạm thời thay vì mục tiêu bắt chước cố định. Quy trình:

  • Vòng 1: mô hình tự giải bài không gợi ý (on-policy rollout chuẩn, giữ nguyên objective RLVR như GRPO/REINFORCE++)
  • Vòng 2 (chỉ khi thất bại): đưa thêm một phần rationale làm hint, mô hình tạo lời giải độc lập mới cho bài gốc
  • Cổng reward: chỉ chấp nhận lời giải có hint nếu nó đúng và tốt hơn mọi rollout không hint, rồi distil nó về điều kiện prompt gốc (không hint) — để lợi ích được chuyển về đúng phân phối lúc inference
  • Cơ chế hint thích ứng: bài nào cứ sai thì tiết lộ thêm 1/N rationale, bài nào đã giải được thì rút bớt hint, tự động tạo curriculum theo khả năng từng bài của mô hình

Nhờ vậy rationale không cần khớp định dạng rollout RL, và mô hình không bị phụ thuộc hint lúc test.

Ví dụ đời thường: giống thầy giáo cho học sinh tự làm trước; chỉ khi học sinh kẹt mới lộ dần từng bước gợi ý, và cuối cùng học sinh phải tự viết lại toàn bộ lời giải — không được chép phách có gợi ý.

III. Main Results:​

  • Simulation có kiểm soát: GRPO thuần đạt 0% trên bài khó sau 3 epoch; RGPO đạt 99.5% hard-test accuracy, đồng thời giữ 99%+ trên bài dễ. Chỉ cần trung bình 7.4 guided response được chấp nhận là đủ bootstrap học.
  • Language model (Qwen2.5-3B, DAPO-Math-27K): RGPO đạt trung bình in-distribution 26.8 (GRPO: 19.7; baseline mạnh nhất HINT: 21.8), vượt HINT +5.0 điểm; out-of-distribution 32.2 so với 29.9 của HINT. Cải thiện mạnh nhất trên MATH-500 (+6.6) và Minerva Math (+8.7).
  • Vision-language models (Qwen2-VL-2B/7B): RGPO hội tụ nhanh hơn 2.34–3.18× số bước so với GRPO/REINFORCE++; trên Qwen2-VL-7B đạt 70.1 MMStar-Math (+23.7 so với base model) và 73.65 MathVista-Math, vượt các mô hình reasoning đa phương thức mạnh như R1-VL-7B, Mulberry, MM-Eureka.
  • Ablations: bỏ reward gate → sụt về mức của việc học vẹt rationale có lỗi; full hint luôn bật → mô hình shortcut, trả lời cực ngắn từ hint, generalize kém và training kém ổn định (entropy collapse).

IV. Conclusion & Future Works:​

RGPO là cách thực dụng và tổng quát để giảm reward sparsity, ổn định RL và nâng reasoning cho cả mô hình text-only lẫn multimodal: rationale được dùng làm phương tiện tìm kiếm trajectory đúng, không phải mục tiêu training, và hint được tăng/giảm thích ứng theo khả năng từng bài. Reward gate là thành phần then chốt chống học vẹt supervision không hoàn hảo. Hướng mở rộng: cải thiện scheduler hint và cách phân đoạn rationale, áp dụng cho các tác vụ agentic dài hạn, và kết hợp rationale tự sinh khi không có ground-truth.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cơ chế fading hint thích ứng dựa trên lý thuyết assistance dilemma cho RLVR: nghiên cứu định lượng tốc độ annealing tối ưu của giàn giáo rationale theo độ khó từng ví dụ.
  2. RGPO cho agentic tool-use dài hạn: dùng trace thành công có gợi ý làm nguồn bootstrap khi reward thưa trong chuỗi hành động nhiều bước.
  3. Tự động tạo và kiểm chứng rationale gợi ý khi không có lời giải mẫu: kết hợp verifier với mô hình tự sinh hint đa dạng cho các bài toán chưa có ground-truth reasoning.
  4. Phân tích entropy và độ ổn định tối ưu của reward-gated distillation so với hybrid SFT–RL trên các response template khác nhau.

2. Patent:​

  1. Ứng dụng học toán trên điện thoại: app cho học sinh làm bài trước; nếu sai nhiều lần, hệ thống lộ dần từng bước lời giải gốc làm gợi ý, rồi yêu cầu học sinh tự làm lại bài không gợi ý — gợi ý tự động thu hẹp khi học sinh đã thành thạo.
  2. Hệ coaching lập trình: khi người dùng viết code sai liên tục, trợ lý AI trên điện thoại cung cấp từng phần gợi ý thuật toán (không đưa code mẫu), chỉ chấp nhận lời giải của người dùng nếu chạy đúng, và tự giảm gợi ý theo tiến độ.
  3. Nền tảng đào tạo nhân viên doanh nghiệp: mô-đun đào tạo tự động theo dõi khả năng từng học viên trên từng tình huống, chỉ can thiệp bằng hướng dẫn từng phần khi học viên bị kẹt, tránh làm giảm nỗ lực tự giải quyết vấn đề.
  4. Gia số dịch thuật/đa ngôn ngữ trên thiết bị di động: khi người dùng dịch sai lặp lại, hệ thống lộ dần cấu trúc câu mẫu rồi rút dần, giúp người học tự dịch mà không phụ thuộc gợi ý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.07342
ArXiv Abstracthttps://arxiv.org/abs/2610.07342
PDF Downloadhttps://arxiv.org/pdf/2610.07342.pdf
Github Repositoryhttps://github.com/VietHoang1512/rgpo

18. Adaptive Latent Capacity for World Models (11 votes)​

Tác giả: Idan Achituve, Lior Dikstein, Idit Diamant, Arnon Netzer, Hai Victor Habi

Xuất bản lúc: 2026-09-26

Tag: World Models, JEPA, Latent Planning, Representation Learning, Model Predictive Control, Self-Supervised Learning

I. Main Problem:​

Các world model dạng JEPA (như LeWM) dùng embedding rộng nhưng không sắp xếp thông tin theo độ quan trọng: chúng phân phối thông tin dự đoán đều khắp các tọa độ latent. Hệ quả:

  • Embedding hẹp phải tinh chỉnh cẩn thận theo từng tác vụ và giới hạn khả năng biểu diễn cảnh
  • Embedding rộng lại làm predictor khó học, lỗi dự đoán tích lũy qua từng bước rollout trong lập kế hoạch
  • Các regularizer chống collapse như SIGReg/VICReg chỉ khuyến khích phương sai đồng đều, không tạo thứ tự ưu tiên cho các tọa độ đầu
  • Muốn dùng độ rộng khác nhau cho từng tác vụ phải huấn luyện lại mô hình riêng cho mỗi độ rộng.

II. Main Idea:​

ALeWM (Adaptive LeWorldModel) giữ nguyên embedding rộng khi học, nhưng ép thông tin dự đoán tập trung vào một prefix ngắn (vài tọa độ đầu tiên). Cơ chế gồm hai thành phần mới:

  • Capacity network q_ψ(k|w): học phân phối xác suất trên độ dài prefix cho từng chuỗi quan sát, dùng straight-through Gumbel–Softmax để lấy mẫu; lúc triển khai chọn prefix cố định cho cả episode từ ảnh khởi đầu và ảnh mục tiêu
  • MixSIGReg: regularizer mới khớp embedding đã mask với hỗn hợp Gaussian-tiên-nghiệm (Gaussian trên tọa độ active, zero trên phần còn lại), tạo profile phương sai giảm dần theo các block tọa độ — tọa độ đầu được dùng thường xuyên hơn nên phải giữ thông tin hữu ích
  • Loss dự đoán lồng nhau: predictor nhận prefix ngắn đã mask và action, phải dự đoán toàn bộ embedding bước kế tiếp — ép tọa độ đầu mang thông tin tái sử dụng được ở mọi độ rộng

Phân tích lý thuyết cho thấy phương sai tọa độ j bằng xác suất nó còn active (giảm dần), và khi lỗi dự đoán tối thiểu được phân rã theo block, đặt thông tin hữu ích nhất lên đầu sẽ tối thiểu hóa lỗi kỳ vọng.

Ví dụ đời thường: giống viết tóm tắt theo thứ tự quan trọng — luôn đặt ý chính ở đoạn mở đầu để dù chỉ đọc vài dòng đầu, người đọc vẫn nắm được nội dung cốt lõi; phần chi tiết để sau, đọc hay không tùy nhu cầu.

III. Main Results:​

  • Hệ động lực kiểm soát (oscillator 4 biến trạng thái, quan sát 10 chiều): ALeWM 8 chiều đạt R² = 0.983 với 4 tọa độ đầu, ngang mô hình LeWM khớp đúng chiều, trong khi LeWM rộng hơn (d=6,8) suy giảm (0.930, 0.904)
  • 4 tác vụ điều khiển trực quan (TwoRoom, PushT, Reacher, OGBench-Cube) với 3 backbone ViT: ALeWM đạt success rate cao nhất trên mọi cấu hình
  • So với LeWM độ rộng tối đa: tăng +1.5 đến +17 điểm phần trăm đồng thời giảm 67–98% dung lượng lập kế hoạch trung bình (ví dụ Cube: +10.3 pp với prefix 16 thay vì 192 chiều)
  • So với LeWM đã tinh chỉnh độ rộng: vẫn thắng +0.3 đến +7.2 pp, dùng ít chiều hơn trong 11/12 so sánh
  • Ablation: MixSIGReg quan trọng hơn SIGReg thuần (Cube +8.17 pp, prefix giảm từ 128 xuống 16); capacity học động vượt Nested Dropout với phân phối cố định; không có prefix cố định nào tối ưu trên mọi tác vụ — chọn theo episode là cần thiết.

IV. Conclusion & Future Works:​

ALeWM cho thấy có thể giữ embedding rộng để học biểu diễn, đồng thời tập trung thông tin dự đoán vào prefix ngắn, thông qua capacity network học được và regularizer MixSIGReg phù hợp với cách sử dụng không đồng đều các tọa độ. Một mô hình duy nhất phục vụ nhiều 'ngân sách' trạng thái latent mà không cần huấn luyện lại, với lập kế hoạch hiệu quả hơn. Hạn chế và hướng tương lai:

  • Capacity network học chung nên nhạy với khởi tạo ngẫu nhiên
  • Tiên nghiệm dạng đa thức theo hạng capacity và hệ số α còn tùy chọn; cách khác mượt hơn ở ranh giới capacity có thể cải thiện
  • Ước lượng Gumbel–Softmax straight-through có gradient lệch — cần phương pháp không lệch
  • Mở rộng sang chọn capacity linh hoạt hơn trong episode thay vì cố định.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng tư tưởng prefix có thứ tự cho world model sinh đồng thời quan sát và hành động (world action models), để robot dùng phần đầu latent cho điều khiển nhanh và phần sau cho dự đoán cảnh chi tiết.
  2. Kết hợp capacity selection với tiên nghiệm phụ thuộc giá trị task (thay vì chỉ hạng) để một world model phục vụ nhiều tác vụ điều khiển khác nhau trong cùng môi trường.
  3. Nghiên cứu bảo đảm nhận diện (identifiability) cho biểu diễn prefix lồng nhau dưới giả định động lực học tổng quát hơn điều kiện linear-Gaussian hiện có.

2. Patent:​

  1. Hệ điều khiển robot trên điện thoại tự động chọn độ chi tiết trạng thái: ứng dụng phân tích ảnh mục tiêu và ảnh hiện tại, tự quyết định dùng bao nhiêu 'thông số nội bộ' là đủ để lập kế hoạch, giúp chạy nhanh và tiết kiệm pin thay vì luôn xử lý ở độ phân giải tối đa.
  2. Module nén trạng thái cho xe tự hành và drone: mô hình học đặt thông tin giao thông quan trọng (vật cản, làn đường) vào vài thành phần đầu của vectơ trạng thái, cho phép hệ thống nhẹ trên thiết bị biên phản ứng nhanh với tình huống khẩn cấp dù chỉ dùng phần trạng thái rút gọn.
  3. Nền tảng mô phỏng đám mây cho nhiều robot cùng lúc: một mô hình thế giới chung phân bổ 'độ rộng trạng thái' khác nhau cho từng robot tùy độ phức tạp nhiệm vụ, giảm đáng kể chi phí tính toán trên máy chủ so với cách chạy mô hình riêng cho từng robot.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.32921
ArXiv Abstracthttps://arxiv.org/abs/2609.32921
PDF Downloadhttps://arxiv.org/pdf/2609.32921.pdf
Github RepositoryN/A

19. GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution (11 votes)​

Tác giả: Geyi Yang, Zikun Qu, Xiang Li, Zhiyong Wang, Min Zhang, et al.

Xuất bản lúc: 2026-10-01

Tag: GUI Agents, Computer Use, Self-Improving Agents, Harness Optimization, Multimodal LLMs, Agent Evaluation

I. Main Problem:​

Các tác nhân GUI (điều khiển máy tính qua giao diện đồ họa) phụ thuộc rất lớn vào harness — chương trình vận hành xung quanh mô hình: cách dựng quan sát, thực thi hành động, kiểm tra kết quả, phục hồi lỗi và dừng vòng lặp. Các phương pháp tối ưu harness tự động (Self-Harness, Meta-Harness) chủ yếu dựa trên trace văn bản ở các miền phi-GUI và gặp ba khó khăn riêng của GUI:

  • Ý định mô hình vs hiệu ứng hình ảnh: trace văn bản có thể tuyên bố thành công trong khi màn hình vẫn hiện dialog chưa đóng (bấm Save nhưng tác vụ chưa xong).
  • Kết quả thực thi biến động: cùng một tác vụ, cùng decoding tất định, agent vẫn lúc thành công lúc thất bại (11.8–20.4% tác vụ có cả điểm 0 và điểm dương trong 3 lần chạy) — một trace thất bại đơn lẻ là bằng chứng không đủ.
  • Tìm lỗi cục bộ → thay đổi runtime tái sử dụng: một bản vá từ một tác vụ không chắc giúp tác vụ khác; cần nối các lỗi lặp lại thành cơ chế chung và chứng minh vá thực sự sửa đúng lỗi đó.

II. Main Idea:​

GUI-HARVEST tối ưu harness của agent GUI mà không đổi trọng số mô hình, qua vòng lặp tự cải thiện gồm 4 vai trò, dùng bằng chứng từ 3 lần chạy lặp mỗi tác vụ:

  • Evidence Analyst: căn chỉnh đầu ra mô hình, hành động đã thực thi với ảnh chụp màn hình trước/sau từng bước (qua công cụ GAFT), tạo các finding gắn với chuyển tiếp giao diện cụ thể; so sánh các lần chạy cùng tác vụ để tìm bước quyết định phân biệt thành bại.
  • Cross-task Clusterer: gom các finding đã xác minh từ nhiều tác vụ thành behavior modes (mẫu lỗi lặp lại, hỗ trợ bởi ít nhất 2 tác vụ).
  • Harness Engineer: ánh xạ mỗi mode thành bản vá mã nguồn có giới hạn, và — điểm mới — ghi lại dự đoán hành vi quan sát được trước khi đánh giá (vd vá kiểm tra hoàn thành phải dự đoán agent sẽ đóng dialog lưu trước khi báo thành công).
  • Validator: chỉ thăng cấp bản vá khi qua cổng điểm số (không giảm trên cả Search và Validation, tăng ở ít nhất một) và cổng hành vi (dự đoán được bằng chứng màn hình xác nhận); thất bại thì rollback. Một ledger ghi mọi quyết định để định hướng vòng sau; tập test được niêm phong đến khi tối ưu xong.

Ví dụ đời thường: giống thợ sửa xe không tin lời khách mô tả mà quay video quá trình hỏng lặp lại 3 lần, đối chiếu từng khoảnh khắc trước/sau, rút ra lỗi lặp giữa nhiều ca, sửa một chi tiết — rồi yêu cầu chính mình đã đoán trước "tiếng kê sẽ biến mất ở giây thứ 5" phải đúng, chứ không chỉ nhìn đồng hồ đo thấy đẹp hơn.

III. Main Results:​

  • OSWorld-Verified (15 bước), cả 6 backbone đông cứng đều tăng: Qwen3-VL-8B +6.05 (Test), Qwen3-VL-32B +10.16 Test / +12.33 Full (đạt 50.94%), OpenCUA-32B +1.49, OpenCUA-72B +2.93, Gemini 3.1 Pro +6.20, GPT-5 +5.51.
  • Harness tối ưu ở 15 bước vẫn cải thiện ở ngân sách 50 và 100 bước mà không tối ưu thêm; Gemini 3.1 Pro đạt 79.14% ở 100 bước.
  • Transfer chéo nền tảng: mang harness đông cứng sang WindowsAgentArena (50 bước, không tối ưu WAA): GPT-5 +13.87 điểm, Qwen3-VL-32B +6.47.
  • So với các optimizer harness khác (cùng backbone, cùng harness khởi đầu Qwen3-VL-32B): GUI-HARVEST +10.16 vs Self-Harness +2.00, Meta-Harness +4.38; vượt cả harness LFF đã công bố trên cả hai backbone OpenCUA.
  • So với các agent GUI công bố cùng backbone: vượt CoAct-1 + GPT-5 tới 22.61 điểm, VLAA-GUI + Gemini 3.1 Pro tới 21.68 điểm ở 15 bước.
  • Hiệu quả chi phí: harness GPT-5 ở 15 bước gần bằng độ chính xác Agent S3 ở 100 bước (62.4% vs 62.6%) với chi phí API giảm ~72% (72 USD vs 260 USD).
  • Ablation: bỏ bằng chứng hình ảnh gây sụt lớn nhất (44.54% Test); bỏ gom cụm cross-task, chạy 1 lần thay vì 3, hay bỏ cổng hành vi đều kém hơn bản đầy đủ — mọi thành phần đều có đóng góp.

IV. Conclusion & Future Works:​

GUI-HARVEST chứng minh tự cải thiện agent GUI qua thích ứng harness là khả thi: chỉ sửa mã vận hành xung quanh mô hình đông cứng, với bằng chứng đa phương thức lặp lại và kiểm chứng hành vi, vẫn đạt lợi ích khái quát hóa trên tác vụ chưa thấy và chuyển sang nền tảng khác. Điểm rút ra: chẩn đoán và xác thực riêng cho GUI (ảnh chụp, so sánh trong tác vụ, dự đoán hành vi trước khi đánh giá) tốt hơn các quy trình tối ưu harness generic. Hạn chế được ghi nhận: các lỗi còn lại là hành động "thực thi thành công nhưng nhắm sai đối tượng", không để lại tín hiệu cục bộ nào để harness tự sửa — cải tiến chỉ-harness khó đi xa hơn. Hướng tương lai hợp lý: kết hợp tín hiệu trạng thái ứng dụng sâu hơn ảnh chụp (API, accessibility tree) để phát hiện lỗi kiểu này, và mở rộng tối ưu harness cho tác vụ dài hạn nhiều ứng dụng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng nguyên tắc 'dự đoán hành vi trước khi đánh giá' cho tự tối ưu prompt/memory của agent nói chung, thay cho việc chỉ dựa vào điểm số tổng hợp dễ gây chọn nhầm bản vá.
  2. Nghiên cứu thêm lần chạy lặp (K > 3) và chiến lược chọn task thăm dò thông tin nhất cho quá trình thu thập bằng chứng tối ưu harness, cân bằng chi phí API và chất lượng chẩn đoán.
  3. Kết hợp thích ứng harness đông cứng với cơ chế phục hồi dựa trên trạng thái ứng dụng (thay vì chỉ ảnh chụp) để xử lý lớp lỗi 'hành động đúng kỹ thuật nhưng sai mục tiêu' mà harness hiện không phát hiện được.

2. Patent:​

  1. Hệ thống tự tinh chỉnh phần mềm điều khiển máy tính trên điện thoại/máy tính: agent thực hiện mỗi thao tác người dùng 3 lần, chụp màn hình trước-sau từng bước, tự so sánh để tìm chỗ hay lỗi (như quên đóng hộp thoại), rồi tự sửa luồng điều khiển — chỉ chấp nhận bản sửa khi thao tác thực tế thay đổi đúng như dự đoán đã ghi trước.
  2. Trợ lý tự động hóa văn phòng có 'sổ tay kinh nghiệm': mỗi lần thất bại ở một tác vụ soạn thảo/bảng tính, hệ thống ghi lại bằng chứng hình ảnh, gom các lỗi giống nhau từ nhiều tác vụ thành một sửa đổi chung cho chương trình điều khiển, giúp mọi người dùng khác không gặp lại lỗi đó.
  3. Bộ kiểm thử tự sửa cho robot phần mềm RPA trong doanh nghiệp: chạy lặp quy trình nghiệp vụ trên máy ảo, đối chiếu ảnh màn hình đầu-cuối với mục tiêu, tự đề xuất và thử nghiệm từng thay đổi nhỏ trong kịch bản điều khiển với cam kết kết quả quan sát được được ghi trước, rollback nếu sai.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.00948
ArXiv Abstracthttps://arxiv.org/abs/2610.00948
PDF Downloadhttps://arxiv.org/pdf/2610.00948.pdf
Github Repositoryhttps://github.com/GaryYang12345/GUI-HARVEST

20. EmbodiedSmith: Scaling Embodied Data through Recursive Self-Improvement Flywheel in Simulation (11 votes)​

Tác giả: Yikai Qin, Yifei Deng, Mingjian Liang, Wenxuan Song, Zepeng Lin, et al.

Xuất bản lúc: 2026-10-06

Tag: Robotics, Embodied AI, Simulation, 3D Scene Generation, Recursive Self-Improvement, Generative AI, Robotic Foundation Models

I. Main Problem:​

Huấn luyện các mô hình nền tảng robot cần dữ liệu đa dạng và môi trường đánh giá có thể mở rộng. Mô phỏng là hướng đi khả thi, nhưng các pipeline sinh dữ liệu hiện tại bị giới hạn bởi:

  • Dữ liệu ít đa dạng: cảnh và tài sản có sẵn sẵn trong dataset, kỹ năng robot được định nghĩa trước hoặc theo luật cứng.
  • Thiếu tính vật lý thực tế: không hỗ trợ vật biến dạng và chất lỏng — những thành phần cốt lõi của thế giới vật lý.
  • Tỷ lệ thành công tác vụ thấp: sinh cảnh tách rời sinh tác vụ, kế hoạch hành động không được kiểm chứng tính khả thi; vấn đề càng nghiêm trọng với tác vụ dài hạn (long-horizon).
  • Hỗ trợ hình thái robot hạn chế: thiếu mobile manipulator, humanoid và bàn tay khéo léo.

II. Main Idea:​

EmbodiedSmith là một framework sinh dữ liệu embodied có thể mở rộng thông qua vòng lặp tự cải thiện đệ quy (RSI) trong mô phỏng. Thành phần cốt lõi là một vòng lặp tinh chỉnh agentic: sinh cảnh dự đoán trước yêu cầu tác vụ phía dưới, còn sinh tác vụ gợi ý các chỉnh sửa cảnh có mục tiêu — hai bên cải thiện lẫn nhau qua từng vòng.

  • Sinh tài sản 3D: kết hợp tài sản nguồn mở được chuẩn hóa bằng VLM với tài sản tự sinh (image-to-3D, vật khớp, vật biến dạng, chất lỏng), đều qua kiểm tra hình học và vật lý.
  • Sinh cảnh: VLM phân tích mô tả ngôn ngữ thành đồ thị quan hệ (vùng chức năng, bề mặt đỡ, hướng tiếp cận robot), rồi giải bố cục phân cấp với Beam-DFS, kiểm chứng reachability bằng CuRobo.
  • Sinh tác vụ: agent dùng 5 công cụ (build, run, inspect, revise, finish) để xây Skill DAG, chạy mô phỏng, nhận đánh giá độc lập từ VLM, sửa và chạy lại cho đến khi đạt.
  • Hình thái mở rộng: adapter riêng cho humanoid G1 (29-DoF) và bàn tay dexterous 22-DoF, giữ nguyên kỹ năng tầng trên.

Ví dụ đời thường: giống thợ mộc làm tủ — đo kỹ chỗ đặt tủ trước, lắp thử ngăn kéo thấy kẹt thì chỉnh lại thân tủ rồi lắp lại, thay vì làm xong tủ mới phát hiện không dùng được.

III. Main Results:​

  • Sinh cảnh vượt SOTA so với Holodeck, LayoutVLM, SAGE, EmbodiedGen V2, SceneSmith: CF 7.13 (+28.0% so với baseline mạnh nhất), SL 7.27 (+17.6%), PP 7.68 (+16.5%), VQ 7.32 (+23.0%); va chạm thấp nhất (COL 0.29), không vật thể vượt biên, OPN cao nhất (0.9875).
  • Sinh demonstration đáng tin cậy hơn: ASR cao hơn mọi baseline trên 16 tác vụ (10 thao tác cố định, 6 di động, chia đều ngắn/dài hạn), đánh giá trên seed mô phỏng độc lập.
  • Ablation chứng minh RSI quyết định: bỏ execution feedback làm ASR gần như về 0% ở mọi loại tác vụ; bỏ placement validation gây sụt giảm mạnh nhất ở tác vụ dài hạn cố định.
  • Đa hình thái: tạo thành công demonstration cho cánh tay đơn, hai tay, humanoid G1 và bàn tay dexterous (mở ngăn kéo bằng ngón tay).
  • Downstream: dữ liệu đa dạng hơn cải thiện khả năng khái quát hóa của policy.

IV. Conclusion & Future Works:​

EmbodiedSmith thống nhất sinh tài sản, cảnh và tác vụ trong một pipeline duy nhất, dùng vòng lặp RSI để cảnh và tác vụ tự cải thiện lẫn nhau, duy trì tỷ lệ thành công cao kể cả với tác vụ dài hạn. Framework mở rộng được cho humanoid, bàn tay khéo léo, vật biến dạng và chất lỏng, đóng vai trò vừa là nguồn pretraining vừa là môi trường đánh giá cho mô hình nền tảng robot. Hạn chế đã ghi nhận: vật biến dạng trong cấu hình hiện tại chưa hồi phục hoàn toàn hình dạng sau tương tác; tích hợp tài sản vật lý vào bộ sinh cảnh còn là công việc tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn cơ chế RSI hai chiều giữa sinh cảnh và sinh tác vụ: định lượng mức độ dự đoán nhu cầu tác vụ của scene generator ảnh hưởng thế nào đến tỷ lệ thành công tác vụ dài hạn.
  2. Mở rộng sinh vật biến dạng có tính chất vật liệu theo vùng (part-aware) với khả năng hồi phục hình dạng sau va chạm, thu hẹp khoảng cách vật lý với thế giới thực.
  3. Khảo sát hệ thống ảnh hưởng của độ đa dạng theo trục (tác vụ, môi trường, hình thái robot) lên khả năng khái quát hóa của policy, dùng EmbodiedSmith làm nền tảng phân tích có kiểm soát.
  4. Tích hợp trực tiếp tài sản vật lý đã kiểm chứng vào bộ sinh cảnh tự động, loại bỏ bước pipeline thủ công còn lại.

2. Patent:​

  1. Hệ thống tự dựng môi trường mô phỏng cho đào tạo robot qua điện thoại: người dùng mô tả bằng giọng nói ('bếp để dọn bữa sáng'), hệ thống tự tạo căn phòng 3D, đặt đồ vật đúng chức năng, rồi sinh hàng nghìn lần thực hành của robot và chỉ giữ lại những lần thành công.
  2. Phần mềm trên điện thoại giúp robot gia đình 'thử trước khi làm': trước khi thực hiện lệnh nấu ăn hoặc dọn dẹp, robot dựng bản sao mô phỏng của căn bếp thật, chạy thử kế hoạch, tự sửa lại vị trí đồ vật trong mô phỏng nếu kẹt, rồi mới thao tác thật — tránh làm vỡ đồ.
  3. Nền tảng tạo dữ liệu huấn luyện cho robot hình người và bàn tay giả: doanh nghiệp nhập mô tả công việc, hệ thống tự sinh cảnh làm việc, lập trình chuỗi động tác, kiểm tra bằng chuyên gia ảo, và xuất ra bộ dữ liệu huấn luyện hoàn chỉnh mà không cần robot vật lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.07969
ArXiv Abstracthttps://arxiv.org/abs/2610.07969
PDF Downloadhttps://arxiv.org/pdf/2610.07969.pdf
Github RepositoryN/A

21. Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment (11 votes)​

Tác giả: Yihuai Hong, Shauli Ravfogel, Chen Zhao, Eunsol Choi

Xuất bản lúc: 2026-09-30

Tag: LLMs, Chain-of-Thought, Interpretability, Linear Probes, Faithfulness, Post-training, DPO, GRPO

I. Main Problem:​

Chain-of-Thought của LLM thường bị xem là bằng chứng cho cách mô hình suy luận, nhưng nhiều dấu hiệu cho thấy đoạn lời giải thích đó không trung thực với tính toán bên trong: mô hình có thể đổi cách kể mà không đổi kết quả, hoặc trả lời đúng bằng một đường tắt nhưng vẫn viết ra quy trình từng bước. Điều này làm giảm monitorability, gây rủi ro trong ứng dụng nhạy cảm và làm người dùng khó tin vào lời giải thích. Vấn đề trung tâm là làm sao đo lường mức độ lời giải thích khớp với cơ chế nội tại, và có thể cưỡng ép sự trung thực đó sau huấn luyện hay không.

II. Main Idea:​

Bài báo đề xuất CoT-Interpretability Alignment (CIA): đối chiếu hai nhị phân cho cùng một chiến lược vàng S — B_CoT là mô hình có nói rõ đang dùng S trong lời giải thích không, và B_INT là công cụ interpretability có phát hiện S trong biểu diễn nội tại không. CIA là macro F1 giữa B_INT và B_CoT, nên chấm cả trường hợp trung thực nhưng sai lẫn trung thực và đúng, thay vì chỉ nhìn độ chính xác cuối cùng.

  • Các công cụ kiểm tra nội tại gồm Linear Probes, bổ sung bởi Tuned Lens cho two-hop factual reasoning, Biasing Features cho hint intervention, và Attention Pattern Analysis cho phép nhân.
  • Ba tác vụ kiểm thử khả năng khác nhau: Two-Hop Factual Reasoning cho suy luận kết hợp kiến thức, Hint Intervention cho ảnh hưởng của ngữ cảnh gợi ý sai, và Integer Multiplication cho tính toán theo thuật toán từng bước.
  • Sau đó, tác giả dùng chính tín hiệu interpretability làm nhãn thưởng cho Rejection Sampling, DPO, và GRPO: giữ hoặc ưu tiên những câu trả lời mà lời giải thích nói đúng những gì mô hình thực sự tính, đồng thời vẫn thưởng cho độ chính xác tác vụ để tránh mô hình học cách lười hoặc đóng khung một chiến lược cố định.

Ví dụ đời thường: giống một chiếc máy tính có giọng nói giải thích từng bước; bài báo lắp thêm “mắt thần” nhìn vào mạch bên trong. Nếu giọng nói nói “em nhân từng phần rồi cộng lại” nhưng mạch thật ra nhớ đáp án, hệ thống phạt sự lệch pha đó — hoặc buộc mạch thật sự đi theo phép nhân, hoặc buộc giọng nói thành thật khai báo rằng nó đã đoán/nhớ.

III. Main Results:​

  • Mức khớp nội tại hiện tại còn thấp: CIA ở ba mô hình Llama3.1-8B-Instruct, Gemma2-9B-it, Qwen3-8B chỉ đạt khoảng 0.448–0.759 trên ba tác vụ. Mô hình chính xác hơn chưa chắc trung thực hơn: Gemma2 tốt hơn trên TwoHopFact nhưng kém trung thực hơn; Qwen3 mạnh trên nhân hai chữ số nhưng không trung thực nhất.
  • Kiểu sai khác nhau theo tác vụ: TwoHopFact thường là lời giải thích nêu bridge entity nhưng nội tại không dùng nó; nhân hai chữ số thường là viết các tích riêng mạch lạc nhưng kết quả đến từ direct recall; hint intervention thì nhiều mô hình bị gợi ý kéo đi nhưng CoT không thừa nhận đã dùng gợi ý.
  • Post-training cải thiện rõ: 25/27 ô thí nghiệm tăng CIA có ý nghĩa so với base. Mức tăng tương đối trung bình tốt nhất khoảng 25.5%; Rejection Sampling mạnh nhất trên TwoHopFact, DPO mạnh nhất trên MMLU-Hint, còn nhân hai chữ số phụ thuộc mô hình. Độ chính xác tác vụ được giữ hoặc tăng, có tác vụ tăng tới +0.185.
  • Khái quát hóa có chọn lọc: huấn luyện trên TwoHopFact và MMLU-Hint giúp lẫn nhau vì cùng học cách thành thật báo cáo ảnh hưởng của kiến thức/ngữ cảnh; còn nhân hai chữ số gần như không chuyển sang hai tác vụ kia, vì nó đòi hỏi đổi cách tính bên trong theo thuật toán đã nói.
  • Không chỉ là “qua mặt” probe: khi thay công cụ interpretability phụ trợ, xu hướng cải thiện vẫn giữ. Phân tích chuyển trạng thái và can thiệp nhân quả cho thấy nhân hai chữ số tăng mạnh causal effect rate trên tập migrated, còn TwoHopFact/MMLU-Hint chủ yếu thay cách khai báo trong CoT.

IV. Conclusion & Future Works:​

Kết luận chính là tính trung thực tham số của CoT vừa đo được, vừa cải thiện được bằng cách lấy tín hiệu từ interpretability làm chuẩn và đưa vào huấn luyện sau. Điểm quan trọng không chỉ là tăng điểm khớp, mà là phân biệt hai cơ chế cải thiện: change how it reports cho suy luận dựa trên kiến thức/ngữ cảnh, và change how it reasons cho tính toán số học. Giới hạn lớn là độ tin cậy còn phụ thuộc công cụ interpretability hiện tại. Hướng tương lai: xử lý chuỗi suy luận dài gồm nhiều khả năng cơ bản có mục tiêu trung thực có thể xung đột, và nghiên cứu cách dịch hậu kỳ suy luận ẩn trong latent space của Looped Transformers/Latent Reasoning thành giải thích dễ hiểu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khung kiểm toán trung thực đa tầng cho trợ lý AI: kết hợp nhiều dạng suy luận trong một lần huấn luyện, giải quyết xung đột giữa mục tiêu “nói đúng quy trình”, “thừa nhận đã dùng gợi ý”, và “không bịa nguồn kiến thức”.
  2. Phương pháp chẩn đoán nhân quả thời gian chạy cho mô hình suy luận ẩn: biến đổi tính toán trong không gian tiềm ẩn thành lời giải thích hậu kỳ mà người dùng có thể đối chiếu với dấu vết bên trong.
  3. Hệ thống học tăng cường lai dùng bằng chứng cơ chế nội tại làm phần thưởng, nhằm cải thiện độ tin cậy của lời giải thích trong các tác vụ dài có nhiều bước trung gian và nhiều khả năng suy luận lồng nhau.

2. Patent:​

  1. Chế độ “giải thích trung thực” trên điện thoại cho máy tính và trợ lý học toán: khi người dùng yêu cầu lời giải từng bước, ứng dụng so sánh các bước đã hiển thị với đường tính thật bên trong; nếu kết quả chỉ do ghi nhớ hoặc đoán, ứng dụng yêu cầu mô hình sửa lại cách trình bày hoặc tính lại theo đúng thuật toán trước khi chấp nhận đáp án.
  2. Trợ lý di động cho tư vấn y tế/pháp lý có nhật ký kiểm chứng: mỗi khuyến nghị đi kèm lời giải thích trích dẫn đúng dữ kiện, điều khoản hoặc triệu chứng mà hệ thống thực sự đã dùng; phần mềm phát hiện khi câu trả lời đến từ trực giác shortcut và tự gắn cờ “không đủ bằng chứng nội bộ” cho người dùng cuối.
  3. Công cụ kiểm thử mô hình AI nhúng trên thiết bị cho ngân hàng và chăm sóc khách hàng: trước khi triển khai một phiên bản trợ lý, hệ thống tự sinh câu hỏi mồi, đo xem lời giải thích có khớp cơ chế bên trong không, rồi chặn bản cập nhật nếo lời giải thích chỉ mô phỏng quy trình mà không thật sự sử dụng các bước đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.38972
ArXiv Abstracthttps://arxiv.org/abs/2609.38972
PDF Downloadhttps://arxiv.org/pdf/2609.38972.pdf
Github Repositoryhttps://github.com/yihuaihong/CIA-minimal-repro

22. NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale (10 votes)​

Tác giả: Songlin Jiang, Zhiyu Li, Terry Kong, Yu Yao, Youngeun Kwon, et al.

Xuất bản lúc: 2026-10-06

Tag: RL Systems, Distributed Training, Agentic RL, Model Checkpointing, Delta Compression, Large-Scale Inference

I. Main Problem:​

Trong agentic reinforcement learning (RL), bước rollout chiếm hơn 70% thời gian huấn luyện, nên rollout được tách ra chạy trên cụm phục vụ (serving cluster) khác cụm huấn luyện. Sau mỗi bước cập nhật, hệ thống phải đồng bộ lại trọng số (refit) từ cụm training sang cụm rollout:

  • Chuyển toàn bộ checkpoint 1T tham số giữa hai vùng AWS mất 87.5 phút.
  • Nhưng đo thực tế cho thấy chỉ ~1% giá trị trọng số thay đổi sau mỗi bước (do BF16 làm tròn hầu hết update của optimizer) — tức 98-99% lượng bytes truyền là lãng phí.
  • Các hệ thống hiện tại dù khai thác được sự thưa thớt này vẫn thiếu ít nhất một trong năm yêu cầu: bit-exact, chỉ gửi delta, đặt trọng số đúng theo runtime gốc, giao vận tách biệt giữa hai cụm (không collective xuyên cụm), và khôi phục sau sự cố giữa chừng.

II. Main Idea:​

NeMo-DCR gửi chỉ những thay đổi nhưng vẫn đảm bảo bit-exact — máy nhận có đúng từng bit như khi truyền toàn bộ checkpoint. Cơ chế gồm bốn thành phần:

  • Hệ tọa độ canonical (đặt tên/chỉ số theo format Hugging Face mà cả training lẫn serving đều hiểu): ánh xạ affine cố định chiếu trực tiếp thay đổi từ training shard vào tọa độ canonical (phủ >96% bytes trọng số trong các checkpoint MoE), phần còn lại đi qua residual conversion so sánh với baseline.
  • Mã hóa hỗn hợp XOR/overwrite + nén: thay đổi affine dùng mặt nạ XOR (lật đúng các bit khác biệt, nén tốt nhờ nhiều bit 0 đầu), các trường hợp khác dùng overwrite tuyệt đối — cả hai đều tái tạo chính xác bits mới, loại trừ sai số làm tròn dấu phẩy động.
  • Áp dụng in-place qua native loader của serving runtime (giống page table ánh xạ địa chỉ ảo sang vật lý): receiver không cần bản sao baseline, retry bằng overwrite sửa các ghi dở, joint commit ràng buộc policy với baseline nguồn.
  • Giao vận pipelined qua object storage hoặc relay tree (mỗi payload chỉ vượt ranh giới cụm một lần), chồng lấp giai đoạn xây delta và áp dụng, không cần collective xuyên cụm.

Ví dụ đời thường: như cập nhật một cuốn sổ tay chung giữa hai văn phòng — thay vì photocopy nguyên cuốn (87 phút), bạn chỉ gửi danh sách "trang X, dòng Y: đổi thành..." kèm cách mã hóa chênh lệch (XOR), và người nhận tự tìm đúng vị trí theo hệ thống đánh số chung, đối chiếu bản gốc của mình để sửa; nếu sót nửa chừng thì gửi lại bản ghi đầy đủ dạng overwrite.

III. Main Results:​

  • Nhanh hơn 12-40× so với truyền full checkpoint ở mô hình 30B-1T, ngay cả trong tình huống stress với tỉ lệ thay đổi 3-5% (cao hơn mọi tỉ lệ đo thực tế 0.6-1.2%).
  • Refit 1T chỉ mất 150 giây thay vì 87.5 phút (35×); 120B mất 22.6 giây thay vì 750 giây (33×).
  • XOR mask nhỏ hơn 1.7-2.2× so với overwrite sau nén; mã hóa hỗn hợp cắt 38-40% payload; projection trực tiếp giúp xây delta nhanh hơn 1.08-1.16×.
  • Bit-exact được chứng minh (Proposition 1 + kiểm chứng thực nghiệm mọi tham số/buffer); khi giết receiver giữa chừng refit, cả hai transport đều bám sát quỹ đạo reward và KL của dense NCCL refit (reward trung bình 0.41 giống hệt).
  • Transport chiếm 77-94% độ trễ refit relay-tree, cho thấy hệ thống đã gần tới cận dưới lý thuyết của truyền tải.

IV. Conclusion & Future Works:​

NeMo-DCR cho thấy refit chính xác từng bit không cần truyền toàn bộ trọng số, khiến đồng bộ policy xuyên cụm trở nên khả thi ở quy mô nghìn tỉ tham số. Điểm then chốt là tách bài toán thành mô tả thay đổi trong tọa độ canonical và giao phần đặt trọng số cho native loader của serving runtime, thay vì tái cài đặt các quy tắc placement phức tạp (fused QKV, routed experts, transpose...). Cùng một mã nguồn hoạt động cho cả Qwen3 lẫn kiến trúc hybrid Mamba-Transformer Nemotron, không cần logic riêng theo mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng delta refit sang cập nhật gia tăng của optimizer state và KV cache versioned cho RL bất đồng bộ hoàn toàn.
  2. Kết hợp dự đoán tỉ lệ thay đổi trọng số theo learning rate schedule để tự điều chỉnh ngân sách băng thông refit động.
  3. Áp dụng mã hóa XOR/delta canonical cho fine-tuning liên tục (continual fine-tuning) và dịch vụ model-serving cập nhật liên tục trên điện thoại/máy biên.

2. Patent:​

  1. Hệ thống đồng bộ mô hình AI giữa điện thoại và máy chủ: máy chủ chỉ gửi các mặt nạ bit XOR của trọng số thay đổi kèm tọa độ tensor chuẩn; điện thoại tự áp dụng in-place qua trình nạp trọng số gốc, tiết kiệm băng thông và pin khi cập nhật mô hình hằng ngày.
  2. Cơ chế khôi phục cập nhật mô hình an toàn trên thiết bị biên: nếu mất điện giữa lúc ghi trọng số mới, thiết bị ghi đè hoàn toàn tập thay đổi ở lần thử lại và xác nhận bản mới bằng bản ghi commit chung, tránh trạng thái trọng số lẫn lộn giữa hai phiên bản.
  3. Dịch vụ cập nhật mô hình học tăng cường phân tán: giao vận delta trọng số qua cây chuyển tiếp (relay tree) chỉ với một lần vượt ranh giới mạng cho mỗi gói tin, cho phép cụm máy phát sinh dữ liệu ở một trung tâm dữ liệu nhận policy mới gần như tức thì từ cụm huấn luyện ở trung tâm khác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.08430
ArXiv Abstracthttps://arxiv.org/abs/2610.08430
PDF Downloadhttps://arxiv.org/pdf/2610.08430.pdf
Github Repositoryhttps://github.com/NVIDIA-NeMo/RL

23. DiVeR: Decision-Critical Verifier Learning for VLA Test-Time Scaling (10 votes)​

Tác giả: Seongheon Park, Heecheol Kim, Shulin Tian, Lilika Makabe, Namiko Saito, et al.

Xuất bản lúc: 2026-10-04

Tag: Vision-Language-Action, Robotics, Test-Time Scaling, Verifier, Best-of-N, Imitation Learning

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) tiến bộ nhờ mở rộng dữ liệu robot, nhưng chi phí thu thập dữ liệu robot rất cao. Một hướng thay thế hiệu quả là Test-Time Scaling: lấy mẫu nhiều candidate action rồi dùng verifier chọn candidate tốt nhất (Best-of-N).

Vấn đề: các verifier phân loại hiện có học từ kết quả cả trajectory (thành công/thất bại) nhưng gán trọng số đều cho mọi state dọc theo quỹ đạo. Thực tế:

  • Tại routine states (di chuyển trong không gian trống, vận chuyển sau khi grasp), các candidate gần như giống nhau → chọn cái nào cũng ít ảnh hưởng, tín hiệu học yếu
  • Chỉ một tập thưa và cục bộ các decision-critical states (trước khi grasp, trước khi đặt xuống) mà lựa chọn action sai lệch nhỏ có thể phá hỏng cả tác vụ

Trọng số đồng đều làm loãng tín hiệu học từ những state hiếm nhưng quyết định nhất.

II. Main Idea:​

DiVeR (Decision-criticality-weighted Verifier) ước lượng độ quan trọng của quyết định từ sự phân tán của action representations rồi dùng nó để tái trọng số việc học verifier:

  • Tại mỗi state, lấy mẫu K candidate action từ policy đông băng, trích hidden representation z từ action expert của VLA
  • Đo độ phân tán bằng phương sai trung bình theo tọa độ của các representation (u_t) — phân tán cao = critical state, phân tán thấp = routine state
  • Chuẩn hóa u_t trong từng trajectory rồi biến thành trọng số w_t = exp(β·ũ_t) (exponentiated weighting)
  • Huấn luyện verifier nhẹ (MLP ~66K tham số) bằng binary cross-entropy có trọng số, với đầu vào là action-expert representation và nhãn kết quả trajectory

Không cần step-level annotation, không cần tương tác thêm với môi trường; chi phí inference gần như không đáng kể.

Ví dụ đời thường: giống như giáo viên chấm bài không đọc trâng trọng từng dòng mà tập trung vào các bước lật bài quyết định — chỗ sai một dấu là hỏng cả bài toán; còn những dòng viết đúng quy trình thì chấm nhanh qua.

III. Main Results:​

  • LIBERO-Long (π0, N=32): +5.8% so với single-sample và +2.8% so với baseline mạnh nhất; π0.5 đạt 97.5%.
  • RoboCasa (atomic tasks): +5.9% (π0) và +11.6% (π0.5) so với N=1; cải thiện đều trên mọi nhóm tác vụ.
  • Robot thật Franka Research 3 (4 tác vụ): 71.9% so với 65.6% (uniform verifier) và 58.3% (base) — tức +6.3 và +13.6 điểm phần trăm.
  • So với verifier dựa trên VLM (RoboMeter): cao hơn +4.6% success rate trong khi giảm độ trễ từ 0.743s xuống 0.001s (hơn 700× nhanh hơn).
  • Ablation thành phần: action-expert representation (+1.0/+3.7 điểm so với SVM gốc) và decision-criticality weighting (+3.2/+4.1 điểm nữa) đều đóng góp rõ rệt.
  • Verifier MLP đơn giản tốt hơn LSTM và transformer; representation của action expert đã đủ giàu thông tin, không cần thêm đặc trưng ảnh.
  • Khái quát hóa cross-task: verifier huấn luyện trên một nhóm tác vụ chuyển tốt sang các nhóm tác vụ chưa thấy.
  • Phân tích định tính: tại cùng decision-critical state, DiVeR chọn được action chính xác (vị trí gripper đúng trước ngăn kéo, đặt khối đúng phía trên) trong khi verifier uniform thất bại.

IV. Conclusion & Future Works:​

DiVeR cho thấy không phải state nào cũng đáng giá như nhau trong verifier learning: độ phân tán của action representation là proxy thực dụng cho decision criticality, giúp tập trung supervision vào các state thưa nơi lựa chọn candidate có hậu quả lớn nhất. Phương pháp bổ sung cho các hướng cải tiến policy (không cần thu thập dữ liệu mới hay retrain), nhẹ về tính toán và áp dụng được cho mọi kiến trúc VLA có action representation nội bộ (đã kiểm chứng thêm với OpenVLA autoregressive).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Ứng dụng decision-criticality weighting cho chuỗi tác vụ dài hạn (long-horizon): theo dõi độ phân tán candidate theo thời gian để phát hiện 'điểm rẽ' của toàn bộ quy trình và ưu tiên verifier ở các điểm chuyển phase giữa các sub-task.
  2. Kết hợp DiVeR với world model: dùng criticality score không chỉ để reweight verifier mà còn để điều chỉnh ngân sách lấy mẫu N động — lấy nhiều candidate hơn tại critical states, ít hơn tại routine states để tiết kiệm test-time compute.
  3. Mở rộng ý tưởng forking-token từ LLM sang robot đa nhiệm: học verifier chung cho nhiều robot và môi trường, kiểm tra xem decision-critical states có chia sẻ cấu trúc ngữ nghĩa chung (grasp, placement, insertion) hay không.

2. Patent:​

  1. Hệ thống chọn hành động thông minh cho robot cộng tác: robot lấy mẫu nhiều động tác ứng viên, một mô-đun đánh giá nhẹ chạy ngay trên bộ điều khiển tính độ phân tán của các ứng viên để tự phát hiện thời điểm quyết định (sắp gắp, sắp đặt) và chỉ khi đó mới chạy bộ chọn hành động cẩn thận — tiết kiệm pin và giảm độ trễ so với chấm điểm bằng mô hình thị giác-ngôn ngữ lớn trên đám mây.
  2. Ứng dụng điện thoại điều khiển robot gia dụng: người dùng ra lệnh bằng giọng nói, robot thử nhiều phương án cử động nhỏ, ứng dụng trên điện thoại dùng độ 'rời rạc' giữa các phương án để cảnh báo và xin người dùng xác nhận trực quan ngay tại các bước hỏng là mất cả tác vụ (như đặt cốc lên đĩa, đóng ngăn kéo).
  3. Module kiểm soát chất lượng tự động cho dây chuyền lắp ráp: gắn verifier nhẹ học từ lịch sử lần chạy thành công/thất bại của máy, tự xác định các điểm cần giám sát chặt trong chu trình sản xuất và phát cảnh báo dừng máy sớm khi lựa chọn hành động tại điểm đó bất thường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.04933
ArXiv Abstracthttps://arxiv.org/abs/2610.04933
PDF Downloadhttps://arxiv.org/pdf/2610.04933.pdf
Github RepositoryN/A