🤗 Daily Hugging Face Paper Digest - 2026-10-15

Báo cáo được tạo tự động vào lúc 2026-10-16 10:43:17 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation (331 votes)

Tác giả: Weijie Wang, Haomin Zhang, Ye Li, Akide Liu, Zeyu Zhang, et al.

Xuất bản lúc: 2026-10-14

Tag: Video Generation, Agentic Framework, Long Video Generation, Multi-shot Video Generation, World State, Memory Systems, 3D Gaussian Splatting

I. Main Problem:

Các hệ thống tạo video agentic hiện nay dựng phim dài từ kịch bản bằng cách chuyền prompt hoặc vài frame gần nhất giữa các shot. Cách này chỉ giữ được tính liên tục cục bộ giữa hai shot kề nhau, nhưng:

Không có khung không gian chung để quay lại (revisit) một bối cảnh cũ sau nhiều shot trung gian — góc quay trở lại dễ bị lệch bố cục cảnh.
Không có bản ghi theo mốc thời gian để tái hiện (replay) một sự kiện đã xảy ra dưới góc camera mới — hành động và trình tự thời gian dễ bị sai lệch.
Nội dung sinh ra (có lỗi hình học/thời gian) bị hấp thụ mù quáng vào trạng thái, khiến lỗi lan truyền sang các shot sau.

II. Main Idea:

ATAS (Any Time, Any Space) — framework tạo video agentic lấy trạng thái thế giới (world state) bền vững làm trung tâm, thay vì chỉ dựa vào ngữ cảnh gần nhất. Quy trình vòng lặp cho mỗi shot:

World-State Compiler: phân tách kịch bản thành các shot request cụ thể gồm mô tả, cảnh, anchor không gian, camera, khoảng thời gian và sự kiện.
Bộ nhớ hai tầng: scene memory lưu hình học tĩnh (point cloud đã đăng ký vào hệ tọa độ chung của cảnh) — dùng để render lại bối cảnh khi quay trở lại; event memory lưu quan sát động có chỉ mục theo (cảnh, sự kiện, thời gian) — dùng để tái hiện sự kiện cũ dưới góc máy mới.
Sinh video: generator nhận shot prompt + context từ hai bộ nhớ.
Cập nhật có kiểm chứng: clip sinh ra được coi là quan sát ứng viên, phải qua film review (được giao phim không), registration (khớp hệ tọa độ không) và state-update check (nguồn gốc, phạm vi cảnh, phiên bản trạng thái) mới được đưa vào world state. Clip lỗi vẫn có thể nằm trong phim nhưng không làm bằng chứng cho shot sau.

Ví dụ đời thường: giống đạo diễn quay phim có cuốn sổ ghi chép + bản đồ phim trường — mỗi cảnh quay xong, ông chỉ ghi vào sổ những gì đã kiểm tra kỹ; khi quay trở lại căn phòng cũ, ông mở bản đồ ra xem lại vị trí đồ đạc chứ không phụ thuộc trí nhớ mơ hồ, và cảnh quay hỏng vẫn đưa vào phim nhưng không dùng làm tài liệu cho ngày sau.

III. Main Results:

Bốn video generator (MiniMax-H3, Wan 2.7, Wan 3.0, HappyHorse 1.0): ATAS đạt điểm tổng hợp cao nhất trong mọi khối backbone, cải thiện mọi chỉ số cross-shot consistency (VBench, ST-Bench C-Top10, ViStory-Self/Cross). Với Wan 3.0: Avg 0.734 so với 0.648 của baseline tốt nhất (ReCA).
Spatial revisit (so với ảnh mục tiêu): vượt cả các phương pháp agent lẫn 3D-guided (FlexWorld, ViewCrafter) — PSNR 15.968, SSIM 0.385, LPIPS 0.284, tốt nhất cả ba chỉ số.
Event recapture (đánh giá bằng VLM theo nguồn gốc): dẫn đầu 3/5 tiêu chí (event identity 0.750, temporal order 0.688, viewpoint realization 0.650), hòa ReCA ở nhân vật/vật thể (0.917); điểm còn yếu là tái hiện chính xác trạng thái hành động (0.688 vs 0.700).
Đánh giá con người: điểm trung bình cao nhất trên cả 6 tiêu chí; script faithfulness 4.40/5, character consistency 4.22/5.
Hiệu quả: bộ nhớ bền vững giảm retry từ 1.00 xuống 0.54 lần/shot, film-rejection giảm từ 52.6% xuống 36.8%; chi phí là runtime tăng (51.9 → 64.9 phút/phim) do overhead xử lý trạng thái.
Ablation: scene memory cải thiện không gian (LPIPS 0.341→0.289), event memory tăng mạnh event recapture (0.583→0.728); validation giữ nguyên khả năng chính chứ không thêm hiệu ứng truy xuất mới.

IV. Conclusion & Future Works:

ATAS chứng minh rằng lấy world state bền vững (scene + event memory có kiểm chứng) làm trục cho tạo video nhiều shot giúp khắc phục hạn chế cục bộ của các hệ prompt/frame-based, cải thiện đồng thồi tính nhất quán không gian, thời gian và nhận thức người xem. Hướng còn mở (rút ra từ kết quả): nhất quán toàn bộ môi trường và mạch truyện tổng thể vẫn chưa giải quyết triệt để (background consistency 3.62/5, narrative coherence 3.77/5), và việc tái hiện trạng thái hành động của sự kiện cũ chính xác hơn hiện tại.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng event memory từ bằng chứng động frame-local sang mô hình chuyển động có độ phân giải identity, nhằm tái hiện chính xác trạng thái hành động của sự kiện lịch sử — điểm yếu duy nhất ATAS còn thua ReCA.
Kết hợp world-state-centric compilation với tương tác con người trong vòng lặp: đạo diễn có thể sửa/chấp nhận thủ công candidate observation trước khi admit vào persistent state.
Nén và tổng hợp multi-view ở quy mô lớn hơn để giảm overhead bộ nhớ (hiện ~98 giây/shot) và tăng throughput cho phim dài nhiều cảnh.

2. Patent:

Ứng dụng điện thoại tạo video phim ngắn từ kịch bản: người dùng nhập cốt truyện, ứng dụng tự chia shot, xây bản đồ 3D từng bối cảnh và hồ sơ sự kiện theo thời gian; khi quay lại cảnh cũ, ứng dụng render lại bố cục đồ đạc đúng vị trí cũ chứ không phụ thuộc ảnh tham khảo mơ hồ.
Trình chỉnh sửa video có bộ nhớ cảnh bền vững trên đám mây: mỗi clip người dùng tải lên được kiểm tra và đăng ký vào bản đồ không gian chung; sau đó người dùng yêu cầu 'quay lại góc cửa sổ phòng khách từ lúc đầu' và hệ thống tạo cảnh mới khớp bố cục đã lưu.
Hệ thống tái hiện sự kiện gia đình từ video cũ: chọn một khoảnh khắc (bữa tiệc, sinh nhật) đã quay trước đó, nhập góc camera mới, hệ thống truy xuất hồ sơ sự kiện theo mốc thời gian và render lại sự kiện đó dưới góc nhìn mới mà vẫn giữ đúng hành động và trình tự.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20571
ArXiv Abstract	https://arxiv.org/abs/2610.20571
PDF Download	https://arxiv.org/pdf/2610.20571.pdf
Github Repository	https://github.com/ziplab/ATAS

2. Player-1: Learning to Play from Synthetic Experience (283 votes)

Tác giả: Mingyu Ouyang, Yiran Wang, Siyuan Hu, Xingyilang Yin, Huiqiang Sun, et al.

Xuất bản lúc: 2026-10-14

Tag: Game Agents, Reinforcement Learning, RLVR, PPO, Vision-Language-Action, Computer-Use Agents, Synthetic Environments

I. Main Problem:

Các agent điều khiển game hiện nay học chủ yếu từ dữ liệu người chơi mẫu, nhưng dữ liệu này chỉ phủ một phần nhỏ trạng thái động của game. Trong khi đó, xây môi trường game thật có phần thưởng lập trình được để huấn luyện tương tác rất khó mở rộng. Ngoài ra, hành động game đòi hỏi điều khiển chuột tương đối, giữ phím liên tục và phối hợp nhiều đầu vào cùng lúc, vượt ngoài không gian hành động computer-use thông thường.

II. Main Idea:

PLAYER-1 là khung post-training giúp mô hình computer-use học điều khiển game vượt ra ngoài dữ liệu mẫu nhờ trải nghiệm tổng hợp có thưởng kiểm chứng được. Quy trình gồm ba phần:

Mở rộng không gian hành động game: thêm chuyển chuột tương đối (Δx, Δy), giữ phím/chuột qua nhiều bước, và composite actions cho phép nhiều thao tác bàn phím + chuột đồng thời.
Supervised initialization: tinh chỉnh trên 6,044 gameplay trajectories đã chuẩn hóa, gắn instruction và visual reasoning để mô hình hiểu mục tiêu và cách hành động.
PLAYER-1-GYM: 16 môi trường tổng hợp 2D/3D bao quanh nhu cầu điều khiển chung như aiming, combat, driving, navigation, UI interaction; mỗi môi trường có điểm thưởng lập trình được, đồng thời ngẫu nhiên hóa màu sắc/ánh sáng, camera, bố cục scene và độ nhạy điều khiển. Policy được tối ưu bằng PPO trên nhiều môi trường, có chuẩn hóa advantage theo từng môi trường.

Cơ chế cốt lõi là: học nền từ video người chơi, sau đó luyện tiếp trong phòng mô phỏng có chấm điểm tự động để khắc phục lỗi mà dữ liệu mẫu không bao phủ. Ví dụ đời thường: giống học lái xe bằng cách xem người khác lái để nắm cơ bản, rồi vào máy mô phỏng tự lái thử nhiều cung đường khác nhau; máy chấm điểm ngay lập tức nên người học biết mình sai ở đâu và tiến bộ dần trước khi ra đường thật.

III. Main Results:

MineDojo-300: Player-1-9B tăng từ 10.54% sau SFT lên 38.33%, cải thiện +27.8 percentage points; Player-1-35B-A3B tăng từ 23.38% lên 41.04%, tức +17.7 pp. Baseline mạnh nhất đánh giá là 12.63%.
ViZDoom-10: Player-1-9B đạt scaled return 0.6922; Player-1-35B-A3B đạt 0.7236, vượt GameWAM 0.3938 khoảng 83.7%.
GameWorld: progress tăng từ 31.43% lên 34.45% cho 9B và từ 34.60% lên 38.79% cho 35B-A3B, cho thấy khả năng chuyển sang game ngoài tập RL.
Trong PLAYER-1-GYM: cả episode return và game score đều tăng theo RL steps; SFT→RL đạt 51.67% MineDojo success ở bước 100, trong khi Base→RL chỉ 16.67%.
Environment scaling: với ngân sách cố định 25,600 episodes, mở rộng từ 2 lên 4, 8, 16 môi trường nâng MineDojo success từ 39.33% lên 44.67%, 48.00%, 51.67%.
Action composition: tỷ lệ composite actions trong validation tăng từ 64.7% lên 85.4% và 93.2% sau 50 và 100 RL steps, dù không có phần thưởng trực tiếp cho việc kết hợp hành động.

IV. Conclusion & Future Works:

PLAYER-1 cho thấy synthetic experience là nguồn dữ liệu hiệu quả để học khả năng điều khiển game vượt qua supervised initialization, và lợi ích chuyển sang các game ngoài tập huấn luyện RL. Điểm mấu chốt là kết hợp dữ liệu mẫu chất lượng, không gian hành động game chung, và môi trường tổng hợp có thưởng kiểm chứng được. Hướng tương lai: mở rộng suite môi trường tổng hợp phong phú hơn, tự động tạo nhiệm vụ/môi trường thích ứng theo policy, nâng cấp phần thưởng cho tác vụ dài hạn, và thu hẹp khoảng cách với game thương mại 3D phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng PLAYER-1-GYM theo hướng tự động tạo môi trường tổng hợp dựa trên điểm yếu của policy, thay vì cố định 16 môi trường thủ công.
Phân tích cơ chế chuyển giao điều khiển cross-game: tại sao luyện aiming, combat, driving và navigation tổng hợp giúp cải thiện Minecraft, ViZDoom và browser games.
Phát triển phương pháp RL tiết kiệm dữ liệu cho game agents bằng cách tái sử dụng trải nghiệm tổng hợp và ưu tiên môi trường có mức học cao nhất.
Khảo sát điều khiển game thương mại thật với quan sát screenshot duy nhất, tập trung vào lỗi dài hạn, nhớ bối cảnh và phối hợp nhiều nút phức tạp.

2. Patent:

Hệ thống luyện kỹ năng chơi game trên điện thoại bằng môi trường giả lập có chấm điểm tự động: người dùng hoặc trợ lý AI chơi thử nhiều dạng bài tập ngắn như ngắm bắn, né vật cản, lái xe, nhảy nền tảng; hệ thống tự ghi nhận thao tác chạm/vuốt và đưa điểm số ngay để cải thiện kỹ năng điều khiển.
Trợ lý chơi game trên điện thoại học từ phản hồi điểm số trong game: ứng dụng quan sát màn hình, đề xuất hoặc thực hiện thao tác cảm ứng, sau đó dùng kết quả thắng/thua, điểm số và tiến độ màn chơi làm tín hiệu tự chỉnh hành vi mà không cần người dùng gắn nhãn từng thao tác.
Nền tảng tạo bài tập điều khiển game tổng hợp cho điện thoại: doanh nghiệp có thể sinh nhiều màn chơi 2D/3D nhỏ với luật chơi, giao diện, camera và độ nhạy điều khiển thay đổi ngẫu nhiên để huấn luyện mô hình thị giác-hành động phục vụ trợ lý chơi game, kiểm thử trò chơi hoặc hướng dẫn người chơi mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20584
ArXiv Abstract	https://arxiv.org/abs/2610.20584
PDF Download	https://arxiv.org/pdf/2610.20584.pdf
Github Repository	https://github.com/TencentARC/Player-1

3. Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation (237 votes)

Tác giả: Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, et al.

Xuất bản lúc: 2026-10-09

Tag: Knowledge Distillation, On-Policy Distillation, Multi-Teacher Learning, Gradient Conflict, LLMs, Reinforcement Learning, Post-Training

I. Main Problem:

Multi-teacher on-policy distillation (MOPD) huấn luyện một student chung bằng cách định tuyến dữ liệu mỗi domain tới teacher chuyên môn tương ứng, nhưng mọi update vẫn đều tác động lên bộ tham số dùng chung. Khi các teacher khác nhau mạnh về phong cách trả lời và chuyên môn:

xung đột gradient dai dẳng: với cặp Math–Code chỉ ~2.2% layer xung đột, nhưng Medical–Code đạt 36.6% và Medical–Math tới 45.2%, tăng thêm ở giai đoạn cuối huấn luyện
suy giảm không đối xứng: khi kết hợp Medical với Math hoặc Code, điểm Medical luôn tụt dưới cả baseline single-domain OPD (tới -14.5 điểm MedQA)
domain routing chỉ phân biệt nguồn supervision, không điều phối được các update xuyên domain trên tham số chung.

II. Main Idea:

ROADMOPD giữ nguyên supervision của routed teacher, đồng thời dùng các non-routed teacher như "cross-domain critic" chấm điểm cùng các trajectory do student tự sinh (không cần rollout thêm), từ đó can thiệp ở 2 mức:

Token-level credit assignment: so sánh độ lệch log-prob của routed teacher và auxiliary teacher so với một reference model đóng băng chung. Khi hai teacher đồng thuận về hướng chỉnh sửa → tăng trọng số reward token đó (amplify); khi bất đồng → giảm trọng số (attenuate) qua hệ số λt được clip.
Preventive gradient projection: gradient của auxiliary teacher trên cùng trajectory định nghĩa một hướng tham chiếu xuyên domain; thành phần của target-gradient xung đột với hướng này bị chiếu bỏ một phần, với cường độ chiếu thích ứng dưới ràng buộc giữ lại tối thiểu một tỷ lệ norm của gradient gốc — khác PCGrad (sửa gradient post-hoc giữa các task độc lập), đây là ràng buộc phòng ngừa trên cùng hành vi.

Ví dụ đời thường: giống học viên có một huấn luyện viên chính kèm riêng, nhưng mỗi bài tập đều được một chuyên gia khác domain phê duyệt lại — chỗ nào hai người cùng đồng ý thì học mạnh, chỗ nào họ bất đồng thì giảm học, và trước khi áp dụng lời khuyên, ta lọc bỏ phần lời khuyên dễ "xô lệch" kỹ năng cũ ra khỏi bước cập nhật.

III. Main Results:

Cao xung đột (Medical pairing): cải thiện độ chính xác Medical +5.6 đến +8.8 điểm phần trăm so với Vanilla MOPD; với student 1.7B vượt cả reference single-OPD (+3.88 và +5.17 điểm so với baseline mạnh nhất).
Kết quả tổng thể tốt nhất trong cả 4 cấu hình cặp domain × 2 kích thước student, hơn baseline mạnh nhất 0.72–2.89 điểm (trung bình 2 domain).
Low-conflict (Math×Code): vẫn giữ được lợi ích, All Avg. 55.40 cao nhất (vượt ExOPD +0.35).
Ba domain (Math×Code×Medical): dẫn đầu cả 3 domain, All Avg. 52.89 (vượt CaMOPD +1.18).
Phân tích: teacher disagreement tương quan với gradient conflict (từ 24→40% Math, 46→76% Medical); preventive projection vượt PCGrad 0.18–2.12 điểm trên mọi domain; ablation cho thấy mỗi thành phần (credit assignment, gradient protection, adaptive retention) đều cần thiết.

IV. Conclusion & Future Works:

Bài báo chỉ ra tính tương thích giữa các domain update là thách thức trung tâm của MOPD, và cho thấy chỉ cần dùng lại các teacher sẵn có như critic xuyên domain trên cùng trajectory là đủ để giảm xung đột mà không mất tín hiệu học của domain mục tiêu. Hạn chế: chỉ đánh giá trên 3 domain reasoning dạng văn bản; việc auxiliary scoring và tính gradient làm tăng chi phí huấn luyện. Hướng tương lai: mở rộng sang domain rộng hơn và nhóm teacher lớn hơn, cần các kỹ thuật chọn teacher hiệu quả và ước lượng compatibility rẻ hơn.

V. Brainstorming Space:

1. Publish Papers:

Lược đồ chọn teacher con (teacher selection) cho MOPD quy mô lớn: ước lượng trước mức độ tương thích giữa các teacher-student pair để chỉ kích hoạt cross-teacher guarding khi cần, giảm chi phí scoring và gradient của teacher phụ.
Mở rộng cross-teacher guarding cho MOPD đa phương thức (văn bản, hình ảnh, âm thanh), trong đó teacher của một phương thức làm critic cho trajectory của phương thức khác thông qua không gian biểu diễn chung.
Kết hợp token-level credit assignment với verifiable rewards để vừa lọc xung đột giữa các teacher vừa tăng độ tin cậy của tín hiệu reward trong on-policy distillation có kiểm chứng.

2. Patent:

Hệ thống huấn luyện trợ lý AI đa lĩnh vực trên điện thoại: nhiều mô hình chuyên môn (toán, y tế, lập trình) cùng chấm điểm từng bước suy luận của mô hình nhỏ trên máy; chỗ các chuyên gia đồng thuận được học mạnh, chỗ bất đồng bị giảm trọng số, tránh làm mô hình mất năng lực một lĩnh vực khi học lĩnh vực khác.
Ứng dụng học đa kỹ năng cho trợ lý cá nhân: khi người dùng vừa học ngoại ngữ vừa học lập trình, hệ thống điều chỉnh từ khóa/bài học bằng cách so khớp phản hồi của nhiều "giáo viên ảo" trên cùng câu trả lời của người học, cảnh báo và làm dịu những gợi ý mâu thuẫn trước khi cập nhật lộ trình học.
Nền tảng tinh chỉnh mô hình cho doanh nghiệp nhiều phòng ban: mỗi phòng ban cung cấp một mô hình chuyên môn làm giáo viên; trước mỗi vòng huấn luyện mô hình chung, các giáo viên chéo chấm cùng dữ liệu và hệ thống tự động chiếu bỏ thành phần cập nhật gây hại cho năng lực phòng ban khác, giữ trọng số cập nhật dưới ngưỡng an toàn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.13521
ArXiv Abstract	https://arxiv.org/abs/2610.13521
PDF Download	https://arxiv.org/pdf/2610.13521.pdf
Github Repository	N/A

4. Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents (96 votes)

Tác giả: Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, et al.

Xuất bản lúc: 2026-10-14

Tag: LLM Agents, Coding Agents, Benchmark, Harness Engineering, Long-Horizon Tasks, Agent Infrastructure, Software Engineering

I. Main Problem:

Các benchmark kỹ thuật phần mềm hiện tại (SWE-bench Pro, Commit0...) chỉ đo thành công của tác vụ downstream dưới một harness cố định, trong khi thực tế hiệu suất của coding agent phụ thuộc rất lớn vào harness bao quanh mô hình (vòng lặp tương tác, thực thi tool, quản lý quyền, phục hồi lỗi, xác minh kết quả). Việc đánh giá năng lực tự xây dựng/chỉnh sửa harness — nền tảng của tự cải thiện đệ quy — hoàn toàn bị bỏ ngỏ, vì hai lý do:

Một tính năng harness có thể được cài đặt theo vô số cách, không kiểm chứng được qua unit test với interface cố định.
Harness không tự hoàn thành tác vụ — tính đúng đắn của nó phải được đánh giá bằng cách chạy nó với một mô hình.

II. Main Idea:

Doc2Harness là benchmark hai giai đoạn đánh giá trực tiếp năng lực kỹ thuật harness dài hạn của LLM:

Stage 1 — Xây dựng: mô hình được đánh giá chạy trong builder harness cố định (OpenCode), nhận một development document (tổng hợp, hợp nhất và khử mâu thuẫn từ tài liệu của 12 harness frontier như Claude Code, Gemini CLI, Kimi Code, Aider...) và một contract skeleton chỉ khai báo interface (rút gọn từ mini-swe-agent, không có implementation), rồi tự xây một candidate harness hoàn chỉnh (~30 file Python, ~16.000 dòng, 99.6% do mô hình tự viết) trong container cô lập.
Stage 2 — Đánh giá: candidate harness bị đóng băng, chuyển sang container riêng, được mock model chạy theo kịch bản cố định điều khiển end-to-end qua 328 test case. Quan sát qua 4 kênh: request gửi tới mô hình, file trên đĩa, exit code, output lệnh. Cơ chế positive control chặn các trường hợp pass giả (vacuous pass — ví dụ tool đọc file hỏng hoàn toàn nên 'chặn' được đọc tràn ra ngoài workspace một cách tình cờ).

Ví dụ đời thường: giống thi công trình thực hành — thí sinh nhận bản thiết kế chức năng (tài liệu) và khung xương nhà (skeleton), tự xây nguyên căn nhà; ban giám khảo không xem nhà mà vào ở thử với một 'người thuê' kịch bản sẵn, kiểm tra từng phòng, và còn cố tình mở van nước để chắc chắn nhà vệ sinh thật sự dùng được chứ không phải chỉ nhìn sạch.

III. Main Results:

19 mô hình frontier (11 nhà phát triển) được đánh giá, mỗi mô hình xây 3 harness độc lập trên 328 test case.
GPT-6 Astra đứng đầu với 53.05%, mô hình yếu nhất (Hy3) đạt 27.44% — khoảng cách ~26 điểm phần trăm; ngay cả mô hình mạnh nhất vẫn trượt gần một nửa test case → benchmark chưa bão hòa và phân biệt tốt các mô hình.
Opus 5 vs GPT-6 Astra: Opus 5 thắng ở kịch bản thông thường (80.68% vs 72.46%) nhưng thua ở kịch bản biên (37.02% vs 48.97%) → khoảng cách nằm ở xử lý boundary cases.
Phân hạng mục chênh lệch mạnh: permissions có strong-weak gap tới 50.8 điểm (51/61 test case có phân biệt lực), interactive terminal gần bão hòa (79.9%), direct drive khó nhất (18.8%).
Thứ hạng một mô hình dao động tới 16 bậc giữa 6 hạng mục chính; 56 test case bị mọi mô hình trượt.
Phân tích mã nguồn cho thấy harness điểm cao thường gom chức năng cross-cutting vào ít module hơn — lỗi tập trung ở cách phân chia chức năng xuyên suốt giữa các module.

IV. Conclusion & Future Works:

Doc2Harness cung cấp benchmark xác định (deterministic) đầu tiên cho kỹ thuật harness dài hạn: cố định builder harness ở Stage 1 (loại trừ lợi thế từ harness của chính vendor mô hình) và dùng mock model ở Stage 2 (loại nhiễu từ LLM thật), với positive control chặn pass giả. Kết quả cho thấy ngay cả các LLM frontier mạnh nhất cũng mới chỉ xây được nửa số chức năng harness đúng — đây là nút thắt quan trọng cho tự cải thiện đệ quy của agent. Hướng tương lai (suy luận từ thiết kế): mở rộng test suite sang các harness domain khác, tinh chỉnh positive control cho các kênh quan sát mới, và dùng kết quả để hướng dẫn huấn luyện mô hình có năng lực chỉnh sửa cơ sở hạ tầng của chính nó.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Doc2Harness sang chu trình tự cải thiện đệ quy: agent tự sửa harness của mình qua nhiều vòng tác vụ, đo mức cải thiện pass rate theo thời gian thay vì chỉ một lần xây.
Nghiên cứu phân rã chức năng cross-cutting: định lượng mối liên hệ giữa cách mô hình chia module và điểm pass rate, đề xuất phương pháp gom module tối ưu cho harness của coding agent.
Benchmark tương tự cho harness đa agent và agent có bộ nhớ dài hạn, nơi việc kiểm chứng hành vi qua mock model và positive control còn phức tạp hơn.

2. Patent:

Nền tảng đánh giá tự động trên điện thoại cho trợ lý lập trình AI: ứng dụng nhận bản thiết kế chức năng bằng ngôn ngữ thường nhật, tự xây vòng lặp tương tác (gọi mô hình, chạy lệnh, xin quyền), rồi hệ thống kiểm thử chạy thử bằng người dùng giả lập theo kịch bản và báo điểm tin cậy trước khi phát hành.
Cơ chế chống kết quả kiểm thử giả trên thiết bị di động: khi kiểm tra tính năng bảo mật (ví dụ chặn đọc file ngoài phạm vi), hệ thống tự chạy thêm ca kiểm thử đối chứng xác nhận tính năng thật sự hoạt động, tránh trường hợp tính năng hỏng hoàn toàn nhưng vẫn 'đậu' bài test.
Hệ thống tự nâng cấp kịch bản kiểm thử cho trợ lý code: thu thập lỗi thực tế từ báo cáo người dùng của các công cụ lập trình phổ biến, gom nhóm các báo cáo trùng hiện tượng, và tự sinh bài kiểm thử mới có khả năng phân biệt giữa các phiên bản trợ lý khác nhau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20344
ArXiv Abstract	https://arxiv.org/abs/2610.20344
PDF Download	https://arxiv.org/pdf/2610.20344.pdf
Github Repository	https://github.com/YuyaoGe/doc2harness

5. More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning (76 votes)

Tác giả: Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, et al.

Xuất bản lúc: 2026-10-14

Tag: Reinforcement Learning, LLM Agents, Self-Distillation, GRPO, Benchmark, Agentic RL, Privileged Information

I. Main Problem:

Self-distillation trong agentic reinforcement learning (RL) đang bùng nổ — các preprint mới xuất hiện trung bình 1 bài / 2 ngày — nhưng cách đánh giá hiện tại có nhiều lỗ hổng:

Các so sánh thường tái sử dụng baseline score từ bài trước dưới điều kiện thí nghiệm khác nhau, khiến khác biệt về cài đặt bị nhầm là tiến bộ của phương pháp.
Thiếu so sánh trực tiếp giữa các phương pháp cùng thời: mỗi bài chỉ chứng minh 'A > baseline của mình'.
Bỏ qua độ ổn định khi huấn luyện và chi phí tính toán: chỉ 1/10 bài có đánh giá lặp lại, 5/10 phân tích thất bại huấn luyện, 3/10 đo chi phí thật.

Hậu quả: không rõ lợi ích báo cáo đến từ phương pháp hay từ điều kiện thí nghiệm, và không biết phương pháp nào đáng áp dụng thực tế.

II. Main Idea:

Thay vì đề xuất thêm một phương pháp mới, tác giả xây dựng một benchmark đánh giá độc lập, đồng nhất: so sánh 10 phương pháp self-distillation tiêu biểu với baseline GRPO thuần outcome-reward.

Bối cảnh: 4 benchmark (ALFWorld, ScienceWorld, Search-QA, WebShop) × 3 kích thước mô hình (Qwen3.5-2B/4B/9B) = 12 cài đặt.
Quy mô: 132 lần huấn luyện, tổng 12,124.4 GPU-hours (H800), 2,772 lượt validation trong training, đánh giá lặp lại trên 8 rollout seeds cho cả mô hình pretrained và 11 phương pháp đã train.
Đánh giá 3 chiều: hiệu suất cuối, độ ổn định (AUC đường validation, độ sụt peak-to-final, sự cố sụp đổ), và chi phí thật đo bằng giờ GPU — thay vì chỉ nhìn điểm số cuối.

Các phương pháp được so gồm: GRPO+OPSD, SDAR, Skill-SD, ICSD, PCSD (objective phụ), RLSD, OCSD, AgentOPSD (điều chế advantage), ADRS (reward shaping), OVCSD (teacher continuation có xác minh).

Ví dụ đời thường: giống việc kiểm chứng xe máy trước khi mua — thay vì tin lời quảng cáo từng hãng ('xe tôi nhanh hơn xe đối thủ' trên đường khác nhau), người mua cho cùng 10 chiếc xe chạy cùng một đoạn đường, đo tốc độ đích, xem có bị hỏng giữa chừng không, và tính cả tiền xăng — mới biết chiếc nào thật sự đáng mua.

III. Main Results:

Không phương pháp nào thắng GRPO một cách nhất quán. Cả 10 phương pháp đều thắng ở vài cài đặt, nhưng chỉ PCSD (+4.58 điểm) và AgentOPSD (+1.66) vượt điểm trung bình 12 cài đặt của GRPO (49.68); 8 phương pháp còn lại đều dưới baseline. Leader thay đổi theo từng benchmark và từng cỡ mô hình.
Đếm số lần thắng che giấu thất bại nghiêm trọng: ICSD thắng GRPO 7/12 cài đặt nhưng điểm trung bình vẫn thấp hơn, vì sập xuống 0.00% trên WebShop-4B; GRPO+OPSD chỉ đạt 1.52% trên ALFWorld-4B.
Điểm cuối cao không đồng nghĩa training ổn định: AgentOPSD đạt ~60% ở bước 35 rồi rơi xuống gần 0% trong 6 lần đánh giá liên tiếp trước khi hồi phục; 9/132 run kết thúc thấp hơn đỉnh ít nhất 20 điểm. Xếp hạng theo AUC validation khác hẳn xếp hạng theo điểm cuối.
Chi phí cao hơn không đảm bảo kết quả tốt hơn: 112/120 phép so sánh tốn thời gian hơn GRPO, trong đó 58 cái lại cho điểm thấp hơn. Khi giới hạn cùng ngân sách thời gian GPU với GRPO, lợi thế của AgentOPSD (ALFWorld) và PCSD (WebShop) bị đảo ngược.

IV. Conclusion & Future Works:

Ba kết luận cốt lõi: (i) lợi ích so với GRPO phụ thuộc cài đặt, không có phương pháp vượt trội tuyệt đối; (ii) điểm cuối cao có thể che giấu training bất ổn (sụp đổ tạm thời, thoái hóa cuối kỳ); (iii) tính toán thêm không đổi lấy hiệu suất tốt hơn một cách nhất quán.

Tác giả kêu gọi cộng đồng ưu tiên đánh giá hệ thống ngang hàng với sáng tạo thuật toán: mọi phương pháp mới nên báo cáo đánh giá lặp lại, phân tích thất bại huấn luyện và chi phí đo thực tế. Hướng mở rộng: benchmark còn giới hạn 10 phương pháp đại diện — mở rộng cho toàn bộ literature self-distillation đang phát triển nhanh sẽ kiểm chứng mức độ phổ quát của các quy luật này.

V. Brainstorming Space:

1. Publish Papers:

Đánh giá độc lập quy mô lớn các phương pháp self-distillation trong agentic RL: 10 thuật toán, 4 benchmark, 3 cỡ mô hình, 132 lần huấn luyện với hơn 12.000 GPU-giờ H800, cho thấy không phương pháp nào thắng GRPO nhất quán và lợi ích phụ thuộc hoàn cảnh.
Phân tích mối quan hệ giữa độ ổn định huấn luyện và điểm số cuối: chứng minh các chỉ số AUC validation, peak-to-final decline và sự cố sụp đổ trung gian là cần thiết để phát hiện thất bại bị điểm cuối che giấu.
Nghiên cứu hiệu quả chi phí trong huấn luyện agent: đo thời gian GPU thực tế cho thấy đa số phương pháp self-distillation tốn kém hơn GRPO nhưng không cải thiện hiệu suất, và ưu thế cố định số bước huấn luyện biến mất dưới ngân sách thời gian bằng nhau.

2. Patent:

Hệ thống kiểm thử và chọn lựa mô hình AI agent cho doanh nghiệp: nền tảng tự chạy lại các phương pháp huấn luyện agent trên cùng bộ nhiệm vụ nội bộ, đo điểm số lặp lại nhiều lần, giám sát độ ổn định trong suốt quá trình train và tính chi phí giờ GPU thực tế để gợi ý phương pháp đáng triển khai trên điện thoại hoặc máy chủ công ty.
Ứng dụng di động cảnh báo 'điểm cao nhưng training không ổn định': theo dõi đường cong hiệu suất của mô hình AI đang huấn luyện trên cloud, phát hiện giai đoạn sụp đỗ tạm thời hoặc thoái hóa cuối kỳ và gửi thông báo đến điện thoại người quản lý trước khi chọn checkpoint triển khai.
Công cụ so sánh chi phí-hiệu năng cho mô hình agent: người dùng nhập ngân sách GPU, hệ thống tự đánh giá các phương pháp huấn luyện dưới ngân sách thời gian bằng nhau và trả về phương pháp đạt hiệu suất tốt nhất trong giới hạn chi phí, thay vì so sánh ở số bước huấn luyện cố định.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19789
ArXiv Abstract	https://arxiv.org/abs/2610.19789
PDF Download	https://arxiv.org/pdf/2610.19789.pdf
Github Repository	https://github.com/aim-uofa/Self-Distillation-AgentRL

6. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation (76 votes)

Tác giả: Kaixiang Zhao, Tianrun Yu, Shangzhe Li, Yuxiao Yang, Amanda Hughes, et al.

Xuất bản lúc: 2026-10-14

Tag: Knowledge Distillation, LLMs, On-Policy Distillation, Mathematical Reasoning, Privileged Information, Teacher-Student Learning

I. Main Problem:

On-policy distillation (OPD) giả định rằng teacher (mô hình lớn) luôn tự sửa được lỗi khi tiếp tục từ bất kỳ đoạn prefix nào do student (mô hình nhỏ) viết ra — tính chất này được gọi là recoverability. Bài báo chỉ ra giả định này sai trên các rollout có lỗi:

Khi student giải sai, teacher thường đi theo luôn lỗi của student thay vì sửa nó: tỷ lệ continuation của teacher kết thúc bằng đáp án sai của student tăng từ 1% lên 35% dọc theo rollout.
Recoverability của teacher sụt từ 0.82 xuống 0.29 ngay cả trên các bài teacher tự giải được — khoảng 1/3 tổng số token huấn luyện nhận supervision từ những prefix mà teacher gần như không bao giờ sửa được.
Các phương pháp trước (truncation, early stopping, teacher takeover) tránh supervision không tin cậy bằng cách cắt bớt hoặc thay thế trạng thái, nhưng điều đó làm tăng occupancy mismatch giữa huấn luyện và inference.

II. Main Idea:

CriticOPD khai thác một bất đối xứng quan trọng: teacher tuy giải tiếp sai nhưng vẫn nhận ra lỗi rất tốt (độ chính xác khi chỉ ra lỗi ổn định 73–81% ngay cả khi recoverability sụt xuống 0.07). Quy trình:

Teacher đóng vai critic: nhận bài toán, đáp án chuẩn và lời giải của student, liệt kê từng lỗi kèm cách sửa ngắn.
Student giữ prefix tới đoạn có lỗi cuối cùng, bỏ phần sau, rồi tự viết lại (rewrite) phần còn lại có kèm critique trong context.
Teacher chấm điểm phần viết lại với critique, còn student học từ phần viết lại mà không thấy critique — critique đóng vai trò privileged information, giúp teacher trở nên tin cậy lại (recoverability tăng từ 0.14 lên 0.67) trong khi mọi token supervised vẫn do student tự sinh ra, gần như không thêm occupancy mismatch. Student không cần feedback nào lúc inference.

Ví dụ đời thường: giống thầy giáo chấm bài học sinh — thay vì đọc tiếp bài sai rồi bị cuốn theo lối nghĩ sai, thầy ghi lỗi ra giấy nháp, học sinh tự làm lại phần sau chỗ sai có nhìn nháp, còn khi thi (inference) học sinh làm một mình không cần nháp.

III. Main Results:

Cải thiện rõ rệt so với OPD: +4.57 điểm trung bình trên Qwen3-1.7B (50.08→54.65) và +4.06 trên Qwen3-0.6B (34.80→38.86) trên 6 benchmark toán (AIME 2024/2025, AMC 2023, MATH500, OlympiadBench, Minerva).
Lợi ích lớn nhất ở bài thi khó: +6.01, +7.36, +6.94 trên AIME24, AIME25, AMC23; tốt nhất 5/6 benchmark ở cả hai quy mô student.
Vượt các baseline mạnh: FastOPD (+2.10), RelayOPD (+0.97); OPSD-T chỉ +0.93; Critique-GRPO thậm chí kém cả student ban đầu. Hiệu quả lặp lại trên OLMo-3 (+2.54).
Ablation: bỏ critique giảm 5.90 điểm (quan trọng nhất); cho teacher viết suffix thay student giảm 0.66; teacher chấm không có feedback giảm 1.19.
CriticOPD cân bằng tốt nhất giữa độ tin cậy của teacher và occupancy mismatch (0.16, so với 0.10 của OPD nhưng thấp hơn 0.21–0.35 của các phương pháp khác); học sinh thu được học cách tự phục hồi sau lỗi của chính mình (thắng OPD +0.023–0.04 đúng tại các prefix sau lỗi), chi phí tính toán tổng chỉ bằng 0.42 lần OPD.

IV. Conclusion & Future Works:

Bài báo chứng minh OPD phụ thuộc vào recoverability của teacher, thứ sụp đổ sau khi student mắc lỗi vì teacher vừa bị cuốn theo lỗi vừa vẫn nhận ra được nó. CriticOPD dùng critique để khôi phục recoverability thay vì né tránh supervision không tin cậy, giữ nguyên mọi token supervised do student tự viết. Hạn chế & hướng tương lai: cần đáp án chuẩn nên mới áp dụng trực tiếp cho tác vụ có đáp án kiểm chứng được (toán, code với unit test); mới thử teacher/student nhỏ ở non-thinking mode và một domain toán; có thể dùng critic chính xác hơn hoặc lấy mẫu nhiều critique để giảm nhiễu.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CriticOPD cho tác vụ không có đáp án kiểm chứng được, dùng reward model hoặc critic tự đánh giá tính đúng sai để thay thế reference answer.
Kết hợp nhiều critique được lấy mẫu cho mỗi rollout và học cách tổng hợp chúng, nhằm giảm nhiễu từ critic không hoàn hảo (hiện chỉ 73–81% lỗi chỉ ra là thật).
Đánh giá CriticOPD ở quy mô lớn hơn, ở chế độ thinking mode và trên domain code dùng unit test làm reference answer.

2. Patent:

Ứng dụng học tập trên điện thoại: ứng dụng toán giảng bài theo kiểu CriticOPD — khi học sinh làm sai, hệ thống lớn (trên đám mây) chỉ ra lỗi từng bước, học sinh tự làm lại từ chỗ sai, còn mô hình nhỏ chạy offline trên điện thoại học cách tự sửa lỗi để hoạt động không cần mạng.
Hệ thống gia sư AI tự động sửa bài tự luận: chấm bài bằng cách cho học sinh viết lại phần sau lỗi cuối cùng có góp ý của giáo viên AI, rồi dùng phần viết lại (không kèm góp ý) làm dữ liệu huấn luyện cho mô hình gia sư cục bộ của học sinh.
Trợ lý lập trình trên IDE: khi code sinh ra chạy sai unit test, trợ lý AI chỉ ra lỗi logic từng đoạn, lập trình viên (hoặc mô hình nhỏ cục bộ) tự viết lại phần sau lỗi có gợi ý, đồng thời mô hình nhỏ học được kỹ năng tự debug mà không cần gợi ý lúc dùng thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20572
ArXiv Abstract	https://arxiv.org/abs/2610.20572
PDF Download	https://arxiv.org/pdf/2610.20572.pdf
Github Repository	https://github.com/kzhao5/CriticOPD

7. LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation (65 votes)

Tác giả: Zefeng He, Yunkai Chai, Xiaoyang Chen, Tong Zhu, Zongliang Wu, et al.

Xuất bản lúc: 2026-10-14

Tag: MoE, Looped Transformers, Mixture-of-Experts, Language Models, Compute Efficiency, Scaling Laws

I. Main Problem:

Các mô hình Looped Transformer (lặp lại cùng một khối lớp để tăng độ sâu hiệu dụng) và Looped MoE tuy tiết kiệm tham số nhưng mỗi lượt lặp vẫn tốn tính toán, nên lợi thế chưa rõ khi so sánh cùng ngân sách tính toán (tham số, KV cache, FLOPs/token, tổng FLOPs training khớp trong ~1%). Câu hỏi cốt lõi: hai lượt lặp có đóng góp ngang nhau không, và có nên phân bổ tính toán bất đối xứng giữa chúng?

II. Main Idea:

Bài báo phát hiện bất đối xứng cơ bản giữa hai lượt lặp: khi học riêng hệ số residual cho từng lượt, lượt đầu tự học về ~0.3 còn lượt hai ~1.0; thử nghiệm với hệ số cố định cho thấy giảm scale lượt đầu không hại (thậm chí tốt hơn), nhưng giảm tương tự ở lượt hai làm NLL tệ đi. Từ đó đề xuất LatentLoop:

Lượt đầu xử lý chuỗi nén thành latent (gộp 2 token thành 1 bằng mean aggregation, giữ nguyên width và số expert hoạt động)
Lượt hai xử lý ở độ phân giải đầy đủ, nhận update từ lượt đầu qua scaled decoder — hệ số writeback học được theo channel và vị trí nhận (chỉ thêm 2d tham số), căn chỉnh theo quan sát residual ở trên
Chia sẻ có chọn lọc: giữ chia sẻ router và MoE experts (phần chiếm đa số tham số), chỉ tách riêng attention blocks cho hai độ phân giải khác nhau, bù tham số bằng cách bớt 1 expert/lớp
Phần tính toán tiết kiệm được tái phân bổ sang tăng model width trong khuôn khổ budget matching

Ví dụ đời thường: giống đọc tài liệu hai lần — lần đầu chỉ lướt nhanh bản tóm tắt để nắm ý chính, lần sau đọc kỹ toàn văn; tiền và thời gian tiết kiệm từ lần lướt được dồn mua bản in to, rõ hơn cho lần đọc chính.

III. Main Results:

15 cấu hình matched-budget (1.3B–7B tham số, ngân sách lớn nhất >10^21 FLOPs): LatentLoop thắng MoE Base và MoE Loop về validation NLL ở tất cả 15 điểm.
Theo scaling curve fit, tại NLL ≈ 1.988 LatentLoop tiết kiệm 19.0% tổng FLOPs training so với vanilla MoE và 7.9% so với looped baseline.
9 benchmark downstream (LAMBADA, HellaSwag, PIQA, WinoGrande, ARC, SciQ, MMLU): điểm trung bình cao nhất ở cả 6 tổ hợp size × (0-shot, 5-shot); lợi thế rõ hơn ở 5-shot.
Ablation (3B/40B): nén chuỗi tốt nhất trong 4 chiến lược giảm tính toán lượt đầu; scaled decoder giúp NLL 2.0268 → 2.0199; tách attention (khi bù bằng giảm expert) có lợi cho biến thể latent nhưng không cho MoE Loop thường.
Hệ số writeback học được ở mức thấp hơn 1, phù hợp quan sát bất đối xứng residual ban đầu.

IV. Conclusion & Future Works:

Bất đối xứng trong đóng góp của các lượt lặp là có thật và có thể khai thác: cắt giảm tính toán lượt đầu (nén chuỗi) và tái phân bổ sang width cải thiện hiệu quả tính toán của Looped MoE một cách nhất quán, cả về NLL lẫn benchmark downstream. Hướng mở: mở rộng bất đối xứng cho nhiều hơn hai lượt lặp, tối ưu thêm encoder/decoder latent, và kiểm tra tính tổng quát trên các kiến trúc MoE khác ngoài dạng Qwen3.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát hệ số residual học được trên Looped Transformer nhiều lượt (3–4 visits) để lập bản đồ vai trò của từng lượt và thiết kế phân bổ tính toán bất đối xứng đa mức.
Kết hợp nén chuỗi latent ở lượt lặp đầu với cơ chế ghi ngược học được cho các mô hình ngôn ngữ chạy trên thiết bị biên có ngân sách FLOPs chặt.
Nghiên cứu bài toán chia sẻ tham số có chọn lọc (attention tách, expert chia sẻ) dưới ràng buộc ngân sách tham số nghiêm ngặt cho các biến thể looped MoE.

2. Patent:

Hệ thống suy luận ngôn ngữ tiết kiệm năng lượng trên điện thoại: lớp xử lý đầu nén câu hỏi thành bản tóm tắt ngắn để phân tích ý chính, lớp sau xử lý toàn bộ câu ở độ phân giải đầy đủ, phần tiết kiệm dùng tăng kích thước mô hình — giảm FLOPs mà không giảm chất lượng trả lời.
Trợ lý AI chạy local với bộ nhớ hạn chế: dùng chung phần 'bộ nhớ kiến thức' (experts) cho cả hai giai đoạn xử lý, chỉ tách riêng phần 'chú ý' để vừa hai độ phân giải khác nhau, tiết kiệm dung lượng lưu trữ trên thiết bị.
Dịch vụ đám mây tối ưu chi phí training mô hình lớn: phương pháp cân bằng ngân sách tự động (đổi chiều rộng mô hình, số expert, số bước học) để so sánh công bằng và chọn kiến trúc tiết kiệm ~20% tổng FLOPs khi huấn luyện mô hình MoE cho khách hàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19975
ArXiv Abstract	https://arxiv.org/abs/2610.19975
PDF Download	https://arxiv.org/pdf/2610.19975.pdf
Github Repository	https://github.com/lcqysl/LatentLoop

8. Cortex: Consolidating Context into Parametric Memory (64 votes)

Tác giả: Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, et al.

Xuất bản lúc: 2026-10-14

Tag: Memory Consolidation, Continual Learning, Knowledge Editing, Low-Rank Updates, Mixture of Experts, LLMs

I. Main Problem:

LLM có thể tận dụng ngay context mới — tài liệu API, cập nhật sự kiện, lệnh cấm trả lời, hướng dẫn persona — nhưng khi context bị gỡ, lợi thế đó biến mất vì tham số mô hình không đổi. External memory giúp lưu trữ nhưng phụ thuộc retrieval lúc inference; knowledge editing, skill learning, behavioral steering thường bị nghiên cứu rời rạc với giao diện và tập dữ liệu riêng. Bài toán: làm sao ghi gain từ context vào tham số sao cho model tự dùng được sau khi mất context, đồng thời không làm suy giảm năng lực cũ, kể cả sau nhiều cập nhật liên tiếp.

II. Main Idea:

Cortex định khung Memory Consolidation (MC): cho model M và context C làm tăng đáng kể hiệu suất trên Q+ (target queries), tìm model M′ chạy không cần C mà khôi phục phần gain đó — đo bằng Consolidation Rate (CR) — và giữ hiệu suất ngoài phạm vi thay đổi — đo bằng Retention Rate (RR). Bộ thử nghiệm gồm 5 task families: agent experience, novel API learning, persona steering, knowledge suppression, factual editing; hỗ trợ cập nhật đơn lẻ, batch, và tuần tự.

Quy trình Cortex trả lời 3 câu hỏi:

Học gì: sinh prospective queries — câu hỏi tường tận tình huống context sẽ hữu ích — kèm câu trả lời do chính model điều kiện hóa bởi C tạo ra, không chạm tới evaluation data.
Sửa ở đâu: chỉ cập nhật FFN/MoE, theo 2 dạng plasticity lấy cảm hứng sinh học: Synaptic = low-rank update vào ma trận hiện có; Structural = thêm kênh phi tuyến mới, giữ khối trọng số cũ nguyên vẹn. Với MoE, nhánh mới shared cho mọi token thay vì gắn riêng từng expert.
Viết thế nào: context-to-memory distillation — teacher là model cũ kèm context, student là model không context chỉ train tham số FFN mới; tối ưu KL trên phân phối output + MSE trên hidden state sau FFN residual update. Cập nhật tuần tự thì đóng băng model trước đó, query replay chỉ giữ câu hỏi cũ và tái sinh đáp án bằng checkpoint trước cập nhật.

Ví dụ đời thường: giống người thợ được giao một cuốn sổ tay mới — thay vì photo toàn bộ sổ, anh ta tự đặt trước các câu hỏi kiểu "khách hàng sẽ hỏi gì với thông tin này", luyện trả lời thuộc cho từng tình huống rồi cất sổ đi, để đến lúc cần vẫn làm được mà không lẫn lộn nghề cũ.

III. Main Results:

Trên 15 bảng so sánh (4B–120B, dense lẫn MoE, text-only và multimodal), ít nhất một biến thể Cortex nằm trên Pareto frontier CR–RR trong mọi panel.
Persona steering: khôi phục ~95–100% gain, giữ 99–100% RR trên Gemma3 và Qwen2.5.
Batch factual editing: ~80–91% CR trên ba backbone Qwen.
50 cập nhật sự kiện tuần tự trên model 14B: Cortex-Structural đạt 88.9% CR và 99.8% RR, hơn AlphaEdit tương ứng +66.2 và +3.8 điểm phần trăm.
Ablation cho thấy: cập nhật chỉ FFN tốt hơn cả attention; Structural expansion giảm forgetting ngay cả không replay; shared MoE expansion cho CR cao hơn expansion riêng lẻ; hidden-state alignment tăng RR, giảm CR nhẹ.

IV. Conclusion & Future Works:

Cortex chứng minh gain từ context có thể nội tại hóa vào tham số — thống nhất editing, skill learning, steering, suppression dưới một mục tiêu persistence chung — với chi phí chỉ là các cập nhật FFN có thể gộp vào trọng số chuẩn. Kết quả nhấn mạnh trade-off consolidation–retention có thể quản lý được qua vị trí cập nhật, dung lượng viết, và replay. Hướng mở: mở rộng sang cập nhật đa phương thức, cơ chế chọn vị trí ghi tự động, và consolidation cho model tự cải thiện dài hạn trong môi trường agent thật.

V. Brainstorming Space:

1. Publish Papers:

Hệ consolidation đa agent: nhiều agent cùng học từ experience contexts khác nhau, hợp nhất các bản cập nhật FFN vào một backbone chung mà không ghi đè lẫn nhau.
Cơ chế consolidation có kiểm soát rủi ro: tự đánh giá mức độ can thiệp của mỗi cập nhật FFN trước khi áp dụng, từ chối các bản ghi có nguy cơ làm suy giảm năng lực cốt lõi.
Consolidation liên tục cho thiết bị biên: nén các low-rank/structural updates để điện thoại hoặc laptop có thể cập nhật kiến thức mới hằng ngày mà không cần fine-tuning toàn model.

2. Patent:

Tính năng "học tài liệu một lần" trên điện thoại: người dùng dán tài liệu API hoặc nội quy công ty; trợ lý AI tự tạo câu hỏi luyện tập và ghi kiến thức vào trọng số cục bộ, sau đó trả lời đúng kể cả khi tài liệu đã bị xóa khỏi cuộc trò chuyện.
Hệ cập nhật thông tin cá nhân liên tục trên thiết bị: mỗi khi người dùng cung cấp sự kiện mới (đổi địa chỉ, đổi số điện thoại), ứng dụng ghi thay đổi vào bộ nhớ tham số riêng của mô hình gợi ý, giữ nguyên toàn bộ hành vi cũ và hỗ trợ hàng chục cập nhật liên tiếp.
Chế độ persona ghi nhớ lâu dài cho chatbot di động: sau khi người dùng thiết lập phong cách trả lời mong muốn một lần, ứng dụng distill phong cách đó vào trọng số để chatbot duy trì giọng nói ổn định trên mọi chủ đề mà không cần ghim lệnh hệ thống trong mọi phiên.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20399
ArXiv Abstract	https://arxiv.org/abs/2610.20399
PDF Download	https://arxiv.org/pdf/2610.20399.pdf
Github Repository	N/A

9. ActionOPD: Distilling Decisions, Not Tokens (54 votes)

Tác giả: Huining Yuan, Xiangmin Yi, Zelai Xu, Zixu Wang, Xinlei Chen, et al.

Xuất bản lúc: 2026-10-14

Tag: Knowledge Distillation, On-Policy Distillation, LLM Agents, Tool Use, Reinforcement Learning, Policy Gradient

I. Main Problem:

Chưng cất (distill) các agent ngôn ngữ mạnh nhưng đắt đỏ về mô hình nhỏ hơn gặp hai vấn đề căn bản: ở trạng thái nào và ở độ chi tiết nào nên canh chỉnh hành vi học sinh theo giáo viên:

Offline distillation (bắt chước token của giáo viên) giám sát dày nhưng bị lệch phân phối trạng thái — học sinh không gặp lại những tình huống giáo viên đã đi qua.
Token-level On-Policy Distillation (OPD) giảm lệch trạng thái nhưng đòi hỏi xác suất token của giáo viên và tokenizer tương thích, nghĩa là giáo viên phải là hộp trắng — rất hạn chế với API thương mại.
Cả hai đều bắt học sinh sao chép nguyên văn suy luận của giáo viên, trong khi cùng một quyết định có thể diễn đạt bằng nhiều cách khác nhau.

II. Main Idea:

ActionOPD — chưng cất trên-policy ở cấp độ hành động ngữ nghĩa thay vì cấp độ token. Quan sát cốt lõi: một tool call hoặc câu trả lời thể hiện một quyết định (tên tool + tham số, hoặc ý định thông tin), và cùng quyết định đó có thể được viết khác nhau về mặt từ ngữ.

Cơ chế:

Mục tiêu: cực đại hóa xác suất hành động của giáo viên tại các trạng thái do học sinh tự gặp — xác suất ở đây là tổng khối lượng xác suất mọi câu trả lời của học sinh có cùng nghĩa với hành động giáo viên, không phải xác suất sao chép đúng chuỗi token.
Biến đổi toán học cho ra policy gradient dạng REINFORCE với phần thưởng là mức đồng thuận ngữ nghĩa — chỉ cần quyền sinh văn bản từ giáo viên (black-box), không cần log-prob hay tokenizer chung.
Tại mỗi trạng thái: lấy K=3 mẫu giáo viên, N=4 ứng viên học sinh; matcher so khớp ngữ nghĩa (tên tool + tham số chuẩn hóa so bằng chương trình, phần còn lại dùng LLM đông băng so ý định — không so suy luận). Phần thưởng: -1 nếu action vô hiệu, 0 nếu không khớp, 1 + bonus tần suất nếu khớp.
Chỉ thực thi ứng viên điểm cao nhất (teacher-guided exploration), nhưng huấn luyện trên tất cả ứng viên bằng PPO-style clipped surrogate với advantage nhóm tương đối.

Ví dụ đời thường: giống thầy giáo không bắt học sinh học thuộc lời giải của mình, mà chỉ kiểm tra đáp số cuối cùng có đúng ý không — học sinh tự do trình bày theo cách hiểu của mình, miễn quyết định là giống thầy.

III. Main Results:

Tổng quát hóa chéo benchmark: 4 cấu hình (Qwen3-4B/8B × Qwen3.7-Flash/DeepSeek-V4-Flash) cải thiện trung bình 4 benchmark OOD (BFCL, ToolSandbox, AppWorld, τ²-bench) +3.3 đến +6.9 điểm phần trăm so với base.
Scaling: học sinh lớn hơn (8B) đạt điểm cao hơn 4B; giáo viên mạnh hơn (DeepSeek-V4-Flash) cho học sinh điểm cao hơn — và cho thấy chưng cất xuyên họ model/tokenizer hoạt động tốt.
So sánh với baseline (Qwen3-4B, giáo viên Qwen3-32B, τ²-bench): ActionOPD cạnh tranh với offline KD và token-level OPD — KD thắng về pass4 (độ tin cậy lặp lại), OPD/ActionOPD thắng về pass1; ActionOPD vượt OPD trên tập train cả hai chỉ số.
Ablation: thay phần thưởng ngữ nghĩa bằng phần thưởng validity làm sụt mạnh nhất → giám sát nghĩa hành động quan trọng hơn tuân thủ giao thức.
Self-ActionOPD: cùng một model làm giáo viên với context đặc quyền (thông tin ẩn + hành động tham chiếu) cải thiện test pass1/pass4 của base +4.8/+2.5 điểm, mở hướng tự cải thiện agent.

IV. Conclusion & Future Works:

ActionOPD tách giám sát quyết định của giáo viên khỏi cách thực hiện token của học sinh, chỉ cần quyền sinh văn bản từ giáo viên — khẳng định hành động ngữ nghĩa là đơn vị giám sát tự nhiên cho chưng cất agent.

Hạn chế:

Đồng thuận không đảm bảo đúng — lỗi của giáo viên trở thành mục tiêu học.
Matcher LLM có thể cho false positive/negative, gán nhầm phần thưởng.
Với tác vụ dài hạn, tập mẫu cố định (K, N nhỏ) có thể ít khi chứa hành động khớp khi quyết định phân tán — tăng K/N chưa được kiểm chứng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cải thiện matcher ngữ nghĩa (tự hiệu chỉnh, voting đa matcher) để giảm false positive/negative trong gán phần thưởng hành động cho agent.
Mở rộng ActionOPD cho tương tác dài hạn: tăng K/N hoặc dùng matching phân cấp để xử lý không gian quyết định phân tán, đánh giá chi phí sinh và matching.
Kết hợp phần thưởng đồng thuận hành động với phản hồi kết quả môi trường (terminal reward) để bù đắp lỗi giáo viên mà vẫn giữ giao diện black-box.
Phát triển Self-ActionOPD thành phương pháp self-improvement vòng lặp cho agent thương mại, trong đó teacher tự nhận context đặc quyền sinh tự động từ kết quả thực thi.

2. Patent:

Hệ thống huấn luyện trợ lý AI trên điện thoại bằng chưng cất hành động: app gửi tình huống người dùng thật (đã ẩn danh) lên mô hình lớn trên đám mây, chỉ nhận về danh sách hành động gợi ý; mô hình nhỏ chạy local được huấn luyện bằng cách thưởng khi hành động của nó trùng nghĩa với hành động gợi ý — không cần tải trọng số hay xác suất token của mô hình lớn.
Dịch vụ 'nâng cấp kỹ năng' cho chatbot doanh nghiệp: doanh nghiệp cung cấp mô tả quy trình nội bộ (thông tin đặc quyền) làm ngữ cảnh giáo viên; hệ thống tự chưng cất vào mô hình nhỏ triển khai on-premise qua phần thưởng đồng thuận ngữ nghĩa, tránh rò rỉ dữ liệu nội bộ.
Trợ lý ảo trên thiết bị học từ trợ lý đám mây: ứng viên trả lời của thiết bị được so khớp ngữ nghĩa (ý định + thông tin thực tế) với nhiều câu trả lời mẫu từ mô hình lớn; phần thưởng tần suất khớp dùng để cập nhật mô hình on-device theo kiểu REINFORCE có clipping.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19820
ArXiv Abstract	https://arxiv.org/abs/2610.19820
PDF Download	https://arxiv.org/pdf/2610.19820.pdf
Github Repository	https://github.com/thu-nics/ActionOPD

10. Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory (46 votes)

Tác giả: Minghao Guo, Qingyue Jiao, Xiujin Liu, Jianhong Pang, Ruimeng Yang, et al.

Xuất bản lúc: 2026-10-14

Tag: Multimodal Agents, Agent Memory, Memory Management, Embodied AI, Video Understanding, GUI Agents, Long-Horizon Agents, Lifelong Learning, Survey

I. Main Problem:

Các multimodal agent (tác tử đa phương thức) ngày càng phải hoạt động trong các tác vụ dài hạn (long-horizon) và suốt đời (lifelong), nhưng việc lưu giữ và tái sử dụng thông tin từ dữ liệu đa phương thức phức tạp vẫn là thách thức lớn:

Formation: quyết định giữ lại gì từ hình ảnh, video, audio, GUI, 3D — và nén chúng vào dạng nào mà không mất chi tiết quan trọng (trade-off giữa độ trung thực, hiệu quả lưu trữ, khả năng chỉnh sửa và khôi phục nguồn).
Management: bộ nhớ phải còn đúng khi môi trường thay đổi (đồ vật dời chỗ, giao diện cập nhật), phải hợp nhất bằng chứng mới với ký ức cũ, và phải tự cải tiến chính sách quản lý bộ nhớ theo thời gian.
Hiện thiếu một khung phân tích thống nhất cho toàn lĩnh vực còn non trẻ này.

II. Main Idea:

Bài khảo sát đề xuất khung phân tích hai trục cho bộ nhớ của multimodal agent:

Trục I — Formation & Representation: dữ liệu đa phương thức được lưu dưới 4 dạng chính:
- Source/modality-specific: giữ nguyên ảnh, frame video, đặc trưng riêng từng modality
- Cross-represented explicit: chuyển thành văn bản, bản ghi có cấu trúc, scene graph, spatial map
- Latent & parametric: nén vào trạng thái ẩn (recurrent state) hoặc internalize vào tham số mô hình
- Hybrid: kết hợp nhiều dạng, liên kết tóm tắt ngắn gọn với bằng chứng gốc có thể khôi phục
Trục II — Memory Management, chia 3 tầng tiến hóa:
- T1 Static Memory: lưu và tái dùng nguyên trạng, không thay đổi
- T2 Dynamic Memory: cập nhật nội dung bộ nhớ (update, consolidation, revision, reorganization, forgetting) theo chính sách cố định
- T3 Self-Evolving Memory: dùng phản hồi để tự cải tiến chính sách ghi/nhớ/quên/tìm lại — tầng còn rất hiếm trong các hệ thống hiện nay

Khung này được xây trên corpus 297 kiến trúc bộ nhớ và 82 benchmark, bao phủ ảnh, video, audio, GUI và embodied/3D.

Ví dụ đời thường: giống cách con người ghi nhớ một người bạn — có người chỉ lưu tấm ảnh chụp chung (T1), có người ghi chép và cập nhật sổ tay mỗi khi gặp lại (T2), còn người khôn ngoan hơn thì rút ra kinh nghiệm cách ghi chép cho hiệu quả và tự đổi cách ghi sau mỗi lần thất bại tìm lại thông tin (T3).

III. Main Results:

Khảo sát 297 kiến trúc bộ nhớ + 82 benchmark, phát hiện video và embodied là hai lĩnh vực tăng trưởng nhanh nhất (2023–2026); audio/speech còn rất thưa.
Phát hiện xuyên suốt (cross-axis):
- Hybrid representation (kết hợp bản ghi ngắn gọn + bằng chứng nguồn khôi phục được) chiếm ưu thế rõ rệt.
- Dynamic Memory (T2) phổ biến hơn hẳn dự kiến; ngược lại Self-Evolving (T3) cực kỳ hiếm — hầu như chỉ mới ở mức thử nghiệm (TaskMem, H2-EMV, RRM).
- Lựa chọn representation (Trục I) ràng buộc trực tiếp cơ chế management khả dụng (Trục II): ví dụ bộ nhớ chỉ là text khó sửa đúng trạng thái hình học; bộ nhớ latent khó kiểm chứng và truy xuất nguồn.
Đề xuất các nguyên tắc thiết kế: cân bằng độ trung thực nguồn với độ trừu tượng; duy trì tính hợp lệ theo thời gian và provenance; neo việc dùng bộ nhớ vào bằng chứng có thể khôi phục; tiến hóa chính sách bộ nhớ dần theo kinh nghiệm.
Có hẳn chương về hạ tầng hệ thống: lưu trữ vật lý, nén và tái dựng, indexing, write-back, consistency — vốn bị các khảo sát trước bỏ qua.

IV. Conclusion & Future Works:

Tác giả kết luận bộ nhớ là thành phần cốt lõi quyết định agent đa phương thức có thể vận hành dài hạn hay không, và khung hai trục cho thấy lĩnh vực đang dịch từ lưu trữ tĩnh sang quản lý động, nhưng bước nhảy sang tự tiến hóa chính sách vẫn còn bỏ ngỏ. Các hướng tương lai chính:

Bộ nhớ có provenance và khôi phục bằng chứng nguồn được.
Tính hợp lệ theo thời gian và nhất quán giữa các representation khác nhau của cùng một sự kiện.
Self-improving memory management — agent tự học cách ghi, quên, tìm lại.
Bộ nhớ suốt đời có giới hạn (bounded lifelong memory) và quên có kiểm soát (governed forgetting).
Đánh giá theo vòng đời (lifecycle-aware evaluation) thay vì chỉ benchmark tĩnh; đánh giá gắn với triển khai thực tế.

V. Brainstorming Space:

1. Publish Papers:

Phát triển cơ chế write-policy evolution: agent tự học nên ghi nhớ điều gì từ phản hồi nhiệm vụ, thay vì dùng luật ghi cố định — mở rộng các tiền tố như TaskMem sang đa phương thức đầy đủ.
Nghiên cứu governed forgetting: chiến lược quên có nguyên tắc cho bộ nhớ suốt đời có giới hạn, cân bằng giữa lưu chi tiết nguồn và nén trừu tượng, đảm bảo bằng chứng quan trọng luôn khôi phục được.
Xây dựng benchmark lifecycle-aware: đánh giá bộ nhớ qua cả vòng đời (ghi → dùng → sửa → quên) với môi trường thay đổi theo thời gian, thay vì chỉ đo độ chính xác truy vấn tĩnh.
Khám phá cross-representation consistency: cách đồng bộ hóa cùng một thực thể được lưu đồng thời dưới dạng ảnh gốc, feature, text và scene graph khi có bằng chứng mới mâu thuẫn.
Nâng cấp hạ tầng: hệ thống lưu trữ bộ nhớ multimodal hiệu quả về chi phí, với nén/tái dựng, điều phối truy cập và đảm bảo consistency cho nhiều agent chạy song song.

2. Patent:

Trợ lý ảnh trên điện thoại có bộ nhớ cá nhân tự tiến hóa: điện thoại ghi lại các tương tác (ảnh chụp màn hình, giọng nói, vị trí) của người dùng, tự học dần kiểu thông tin nào người dùng hay cần lại để ưu tiên lưu và gợi ý đúng lúc — ví dụ nhắc lại thông tin thẻ thành viên ngay tại quầy thanh toán.
Hệ thống bộ nhớ cho robot gia đình có kiểm chứng nguồn: robot lưu vị trí đồ vật kèm ảnh gốc làm bằng chứng; khi đồ vật dời chỗ, robot tự đánh dấu ký ức cũ là lỗi thời, cập nhật vị trí mới và giữ lại ảnh cũ để người dùng truy vấn 'lần cuối thấy ở đâu'.
Ứng dụng ghi nhớ giao diện tự động hóa thao tác lặp lại trên smartphone: ghi nhận chuỗi thao tác màn hình (ảnh + tọa độ + kết quả), khi ứng dụng cập nhật giao diện mới thì tự sửa lại kịch bản thay vì hỏng hoàn toàn, và đề xuất lại quy trình cho người dùng.
Bộ nhớ hội thoại video cho họp trực tuyến: tách hội thoại thành các sự kiện gắn keyframe và đoạn ghi âm gốc, tự tóm tắt thành biên bản có cấu trúc; khi có người tham gia muộn, hệ thống truy vấn cả tóm tắt lẫn đoạn video gốc tương ứng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19366
ArXiv Abstract	https://arxiv.org/abs/2610.19366
PDF Download	https://arxiv.org/pdf/2610.19366.pdf
Github Repository	https://github.com/Seeing-Maintaining-Learning/multimodal-agent-memory-evolution

11. Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders (39 votes)

Tác giả: Xin Li, Hao Jiang, Jinghao Guo, Weisi Lin, Chau Yuen

Xuất bản lúc: 2026-10-13

Tag: RL, GRPO, LLMs, Recommendation Systems, Reinforcement Learning, Variance Reduction, Conversational Recommender

I. Main Problem:

Huấn luyện LLM gợi ý sản phẩm bằng RL (phương pháp SOTA là Rank-GRPO) gặp vấn đề nhiễu từ người trả lời: mỗi yêu cầu trên Reddit có trung bình khoảng 5 người trả lời, mỗi người đề xuất các danh sách khác nhau. Rank-GRPO rút ngẫu nhiên một người trả lời làm mục tiêu thưởng cho mỗi ví dụ huấn luyện, dẫn đến:

85% phương sai của advantage đến từ việc rút ngẫu nhiên người trả lời nào, thay vì chất lượng danh sách được tạo
Hơn một nửa số so sánh giữa các danh sách ứng viên có điểm bằng nhau, nên mô hình không học được gì
Tốn kém tính toán vì mỗi yêu cầu bị lặp lại theo số người trả lời (gấp ~5 lần dữ liệu)

II. Main Idea:

ReMaRk (Responder-Marginalized Rank-level RL) — huấn luyện RL trên yêu cầu, không phải trên từng câu trả lời. Thay đổi 2 điểm trong Rank-GRPO, mọi thứ khác giữ nguyên:

Gộp thưởng: thay vì chấm điểm danh sách theo một người trả lời được rút, chấm một lần theo hợp nhất (union) tất cả tựa đề mà mọi người trả lời đề xuất — phần thưởng vẫn là nhị phân 0/1
Lấy mẫu theo yêu cầu: mỗi yêu cầu là một ví dụ huấn luyện duy nhất, được lấy mẫu đều thay vì lặp theo số người trả lời

Cơ sở lý thuyết là Rao–Blackwellization: trung bình hóa phần thưởng qua người trả lời (biến gây nhiễu, không phải lỗi gán nhãn) làm giữ nguyên kỳ vọng cập nhật nhưng xóa một thành phần phương sai. Giữ thưởng 0/1 cũng tránh hiện tượng nhân vọng của một người lên gấp nx lần khi GRPO chia cho độ lệch chuẩn nhóm.

Ví dụ đời thường: giống việc chấm một bài thi văn bằng hợp nhất tất cả đáp án chấp nhận được của ban giám khảo, thay vì chấm ngẫu nhiên theo một phiếu chấm duy nhất bốc thăm được — kết quả ổn định hơn và phản ánh đúng chất lượng bài làm.

III. Main Results:

Tiết kiệm ~50% tính toán RL: trên 7 backbone (Qwen3.5 2B–35B, Llama-3.1/3.2) và 3 bộ dữ liệu (Reddit-v2, Reddit-Books, Reddit-Music), ReMaRk đạt recall@20 của Rank-GRPO sau 2,000 bước chỉ trong 25–53% số bước và dẫn trước 0.8–1.6 điểm tại ngân sách đó.
Cùng ngân sách GPU thì thắng rõ: huấn luyện đến khi không cải thiện nữa, ReMaRk không bao giờ thua có ý nghĩa, và 4/7 cặp đạt đỉnh của Rank-GRPO với chỉ 18–63% GPU-hours.
Đúng nguồn gốc lợi ích: lợi ích tăng theo số người trả lời và theo tỷ lệ nhiễu được loại bỏ; phần cốt lõi đến từ gộp người trả lời, không phải từ dạng tổng hợp (union ngang hàng với mean).
Không đánh đổi độ chính xác: LLM judges từ 2 họ mô hình (GPT-5.6, Gemini 3.1 Pro) thích danh sách của ReMaRk; precision không giảm.
Vượt các baseline mạnh hơn: nhiều mẫu hơn, dynamic sampling, DAPO filtering đều không lấp được khoảng cách; SFT/DPO offline thua xa (5.5–6.9 điểm).
Khái quát hóa ngoài gợi ý: trên ProtoQA (~100 người trả lời mỗi câu), union vượt per-responder rows +3.67 điểm recall@10 — khẳng định nguyên tắc thưởng chung cho các câu trả lời hợp lệ.

IV. Conclusion & Future Works:

Khi một yêu cầu có nhiều câu trả lời đúng của con người, RL nên huấn luyện trên yêu cầu chứ không phải từng câu trả lời. ReMaRk chỉ thay đổi cách xây dựng và chấm điểm hàng huấn luyện nên bất kỳ dữ liệu GRPO nào có một hàng mỗi người gán nhãn đều áp dụng được nguyên tắc này. Hướng tương lai / giới hạn: (1) giá trị còn phụ thuộc tỷ lệ yêu cầu có nhiều người trả lời — với dữ liệu một người gợi ý mỗi yêu cầu (ReDial, INSPIRED) ReMaRk suy biến về Rank-GRPO; (2) cần tinh chỉnh hyperparameter riêng cho ReMaRk thay vì kế thừa từ Rank-GRPO; (3) lý thuyết (Rao–Blackwellization) chưa phủ trường hợp per-group scaling trong huấn luyện động — mở ra hướng nghiên cứu lý thuyết cho chiến lược chuẩn hóa advantage.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng nguyên tắc gộp tham chiếu (pooled-reference reward) cho các bài toán RL khác có nhiều nhãn hợp lệ của con người như tóm tắt, dịch máy, trả lời câu hỏi mở — định lượng mức nhiễu annotator bị loại bỏ và tốc độ hội tụ tương ứng.
Kết hợp ReMaRk với các biến thể GRPO khác (simulated user rewards, consensus GRPO) để xây dựng bộ huấn luyện conversational recommender đa nguồn thưởng trong một framework chung.
Mở rộng nghiên cứu về chiến lược chuẩn hóa advantage khi phần thưởng phân số: chứng minh lý thuyết và đề xuất scaling an toàn cho trường hợp Rao–Blackwellization không còn đúng dưới per-group scaling.

2. Patent:

Hệ thống huấn luyện gợi ý nội dung trên điện thoại bằng phản hồi cộng đồng: ứng dụng đọc tin/forum gom tất cả câu trả lời của người dùng cho một câu hỏi, hợp nhất thành tập mục tiêu duy nhất để chấm điểm danh sách gợi ý của mô hình, giảm số lượt huấn luyện trên đám mây xuống một nửa và tiết kiệm pin, chi phí cho nhà phát triển.
Trợ lý gợi ý sách, nhạc, phim trong ứng dụng di động: thay vì học theo từng bình luận riêng lẻ của người dùng (dễ nhiễu do mỗi người thích khác nhau), hệ thống chấm điểm mỗi danh sách đề xuất một lần theo hợp nhất toàn bộ gợi ý của cộng đồng, cho kết quả ổn định hơn khi cá nhân hóa.
Module tinh chỉnh mô hình ngôn ngữ bằng RL trên thiết bị/máy chủ biên với dữ liệu nhiều người chấm: tự động chuyển đổi dữ liệu 'một hàng mỗi người chấm' thành 'một hàng mỗi câu hỏi' kèm thưởng nhị phân theo tập hợp đáp án, cắt giảm thời gian và chi phí GPU cho vòng huấn luyện tiếp theo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17771
ArXiv Abstract	https://arxiv.org/abs/2610.17771
PDF Download	https://arxiv.org/pdf/2610.17771.pdf
Github Repository	https://github.com/LiXin97/ReMaRk

12. LensErase: A Foundation Model for Erase Anything (39 votes)

Tác giả: Yunuo Chen, Xiuyu Wu, Qinhong Yang, Jinjing Zhao, Yanchen Dong, et al.

Xuất bản lúc: 2026-10-13

Tag: Image Inpainting, Object Removal, Diffusion Models, Flow Matching, Reinforcement Learning, Foundation Model, Visual Text Removal, Watermark Removal, Data Synthesis

I. Main Problem:

Các mô hình xóa đối tượng hiện tại chỉ hoạt động tốt trong từng tình huống hẹp (text, watermark, object riêng lẻ) mà không xử lý được toàn bộ phổ yêu cầu xóa trong thực tế:

Thang đo đa dạng: từ đối tượng nhỏ <1% ảnh đến vùng lớn gần nửa ảnh
Kiểu đích khác nhau: nét chữ mảnh, watermark mờ (cần phục hồi nội dung nền từ pixel hòa trộn), nhiều đối tượng cùng lúc
Hiệu ứng liên kết: bóng đổ, phản chiếu lan ra ngoài vùng mask — cần hiểu cái gì phải biến mất chứ không chỉ theo mask từng pixel
Dữ liệu huấn luyện trước đây chỉ 100K–1M mẫu, quá nhỏ để học khả năng xóa tổng quát.

II. Main Idea:

LensErase là foundation model xóa bất cứ thứ gì, nhận đầu vào chỉ là ảnh nguồn + mask nhị phân. Cốt lõi gồm 3 phần:

Dữ liệu khổng lồ LensErase-100M (101 triệu triplets): mở rộng gấp 2–3 bậc độ lớn so với dataset trước. Kỹ thuật: General Data — chèn đối tượng vào ảnh thật rồi đảo ngược cặp (ảnh gốc làm target xóa, bảo đảm chất lý thực); Watermark — alpha compositing; Large-Mask — copy-paste foreground; Visual Text — chỉnh sửa bằng teacher model + Poisson blending; Poster — render layer có z-order rồi xóa phần tử.
Khởi tạo từ text-to-image model Lens (MMDiT, flow matching) với Mask-Aware RoPE: mở rộng RoPE 2D thành 3D bằng một trục modality (token masked = 1, unmasked = 0, token noisy = 2), nhúng mask trực tiếp vào source tokens không cần chuỗi mask token riêng. Vùng mask được giữ nguyên trong ảnh nguồn để nhận diện shadow/reflection; region-weighted flow matching (λ=5) nhấn mạnh vùng cần sửa.
Tinh chỉnh nhiều giai đoạn: SFT 140K mẫu độ phân giải cao → RL bằng DiffusionNFT với erase contract (GPT-5.6 viết hợp đồng: target phải xóa, hiệu ứng liên kết, vùng cấn bảo vệ; reward phạt 0.5 lũy tiến cho mỗi tiêu chí Removal bằng 0) → TraceFusion ở inference: ước lượng vùng chỉnh sửa thật từ residual source–output, giữ nội dung sinh ra trong vùng đó, khôi phục pixel gốc bên ngoài để giữ độ trung thực.

Ví dụ đời thường: giống người dọn phòng ký hợp đồng với chủ nhà trước khi rời đi — hợp đồng ghi rõ đồ gì phải mang đi, vết bẩn nào phải lau, đồ gì không được động, rồi từng lượt kiểm tra căn phòng và phạt gấp bội nếu còn sót đồ phải mang đi, dù phòng có trông sạch đẹp đến đâu.

III. Main Results:

Vượt 12 baseline trên 6 public benchmarks (OBER-Test, RORD-Val-343, RemovalBench, OmniPaint-Bench, AnimeEraseBench, TextEraseBench): ví dụ PSNR 34.96 so với 33.05 tốt nhất trước đó (OBER), 36.88 so với 32.04 (TextEraseBench); LPIPS đều giảm đáng kể.
Trên LensErase-Bench (500 ca, chấm bởi VLM không cần reference): Overall 95.22 so với 73.59 tốt nhất baseline; tỉ lệ HiFi Removal 82.8% so với 42.8% tốt nhất baseline.
Ablation từng giai đoạn: HiFi Removal tăng 65.8% (pretrain) → 70.8% (SFT) → 81.6% (RL) → 82.8% (TraceFusion); PSNR trung bình tăng 28.70 → 30.82 dB sau TraceFusion.
Mask-Aware RoPE thắng rõ hai biến thể nối mask (Channel Concat 84.32, Token Concat 80.78 Overall so với 86.51).
Chi phí: pretrain ~2 tuần trên 96 A100; SFT 3 ngày, RL 5 ngày trên 16 GPU.

IV. Conclusion & Future Works:

LensErase chứng minh việc xóa đối tượng có thể được nâng lên thành foundation model đa nhiệm nếu có dữ liệu đủ lớn và đa dạng (101M), khởi tạo từ generative prior mạnh, và tinh chỉnh bằng RL có hợp đồng ngữ nghĩa + khôi phục vùng không chỉnh sửa ở inference. Tác giả định hướng LensErase làm nền tảng chung cho các hệ thống chỉnh sửa ảnh và sản xuất nội dung tự động; phần mở rộng tự nhiên là các tác vụ chỉnh sửa ngoài xóa (thay thế, di chuyển đối tượng) và tối ưu chi phí inference.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng erase contract + RL region-aware reward cho các tác vụ chỉnh sửa ảnh nói chung (thay thế, di chuyển, thay đổi thuộc tính đối tượng) với hợp đồng mô tả phần thay đổi phải đúng và phần còn lại phải nguyên vẹn.
Phương pháp tự động dựng dữ liệu supervision 'đảo ngược thao tác' (chèn rồi xóa) cho các bài toán restoration khác như deblurring hoặc dehazing, khai thác độ tin cậy cao hơn của mô hình thực hiện phép thêm so với phép gỡ.
TraceFusion-style residual-guided blending cho inpainting độ phân giải cao và chỉnh sửa video, nơi việc giữ nguyên pixel không đổi giữa các frame còn quan trọng hơn ảnh tĩnh.
Mask injection kiểu RoPE mở rộng chiều modality cho các mô hình điều kiện hóa bằng nhiều tín hiệu rời rạc (bounding box, điểm, sketch) mà không tăng chiều dài chuỗi token.

2. Patent:

Ứng dụng điện thoại xóa người lạ và vật thừa trong ảnh chụp: người dùng quét ngón tay lên vùng cần xóa, ứng dụng tự nhận diện và xóa cả bóng đổ/phản chiếu của đối tượng đó, tái tạo nền liền mạch mà giữ nguyên từng chi tiết phần còn lại của ảnh.
Công cụ xóa watermark và logo khỏi ảnh tải về cho điện thoại: tự phát hiện vùng watermark trong suốt, phục hồi nội dung nằm dưới watermark, đồng thời khôi phục nguyên trạng mọi pixel không liên quan để ảnh không bị mờ hay đổi màu.
Tính năng chỉnh sửa poster và ảnh quảng cáo trên điện thoại: chọn một dòng chữ, giá, logo hay mã QR trong thiết kế để xóa, ứng dụng tự lấp đầy theo bố cục lớp của poster mà không làm lệch các thành phần còn lại.
Dọn ảnh chụp nhóm trên điện thoại: xóa nhiều đối tượng cùng lúc ở các vị trí khác nhau trong ảnh với một lần chọn, duy trì tính nhất quán ánh sáng và bối cảnh giữa các vùng đã sửa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18072
ArXiv Abstract	https://arxiv.org/abs/2610.18072
PDF Download	https://arxiv.org/pdf/2610.18072.pdf
Github Repository	https://github.com/LensFamily/LensErase

13. KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization (32 votes)

Tác giả: Sihwan Park, Sung-Yub Kim, Doohyuk Jang, Eunho Yang

Xuất bản lúc: 2026-10-10

Tag: RLVR, GRPO, KV Cache Quantization, INT4 Quantization, Asynchronous Rollout, LLM Training, Importance Sampling, Efficient Inference

I. Main Problem:

Huấn luyện RLVR (như GRPO) tạo rollout rất tốn kém: câu trả lời suy luận dài hàng nghìn token, biến động mạnh về độ dài. Thu thập kiểu đồng bộ (wave-based) khiến batch co lại khi các câu ngắn hoàn thành trước — GPU bị bỏ phí ở "đuôi dài".

Giải pháp là rollout bất đồng bộ (nhận request mới liên tục), nhưng nó tạo ra vấn đề mới gọi là KV concentration: cùng một lượng công việc attention nhưng bị dồn vào ít decode step hơn, khiến chi phí bộ nhớ KV cache trở thành nút cổ chai (trong trace Qwen3-4B: thể tích KV tăng 7.82×, latency mỗi step tăng 4.52×).

Đơn giản hóa toàn bộ KV cache xuống INT4 cho nhanh thì lại hỏng quá trình học: sai số số học làm lệch phân phối sampler, và dù đã dùng token-level Truncated Importance Sampling (TIS), KV4 thuần vẫn kém BF16 tới 5.24 điểm MATH-500 — mất giai đoạn cải thiện cuối của huấn luyện. Trọng tâm bài toán: làm sao giữ tốc độ của INT4 mà sampler vẫn đủ trung thực để học không bị suy giảm.

II. Main Idea:

KV4-RL lưu toàn bộ context ở định dạng INT4 (nhóm affine 128 chiều/head, Hadamard rotation sau RoPE để triệt outliers, calibration-free — tham số lượng tử hóa tính online theo từng token mới, theo kịp policy thay đổi), đồng thời bảo vệ chọn lọc một số ít vị trí nhạy cảm bằng side cache INT8:

attention sink: 16 vị trí đầu tiên
recent context: 128 vị trí gần nhất

Chi phí bảo vệ bị chặn (bounded) — không phụ thuộc độ dài context. Khi một vị trí trượt ra khỏi cửa sổ recent, INT4 entry của nó đã sẵn có nên không cần chuyển đổi. Attention xử lý hai vùng tách rời, song song: đường INT4 dùng MMA nguyên, đường INT8 dùng PV ở BF16/FP32 cho độ chính xác cao, rồi gộp softmax chính xác theo regional log-sum-exp. Cấu hình 16+128 giảm sampler KL 7.0× so với KV4 thuần.

Ví dụ đời thường: giống như ghi âm cuộc họp dài bằng cách nén toàn bộ ở chất lượng thấp để tiết kiệm bộ nhớ, nhưng vẫn lưu riêng phút đầu giới thiệu và vài phút cuối quyết định ở chất lượng cao — vì đó là hai đoạn người nghe nhạy nhất, còn phần giữa chỉ cần nghe được là đủ.

III. Main Results:

Tốc độ (Qwen3-8B-Base, 400 iter GRPO): tăng tốc rollout tích lũy 1.80×, tăng tốc toàn bộ iteration 1.27×; 50 iteration cuối đạt 1.97× rollout speedup.
Chất lượng học: độ chính xác trung bình 6 benchmark cuối cùng (đánh giá bằng BF16 chung) chênh BF16 dưới 0.5 điểm phần trăm ở cả Qwen3-4B-Base lẫn Qwen3-8B-Base; MATH-500 avg@8: 87.68% so với 88.16% của BF16.
Phân tích KV concentration: rollout bất đồng bộ giữ batch lớn hơn 8.27×, cần ít hơn 8.35× decode step; lượng tử hóa KV cho tăng tốc vượt xa weight-only (W4A16 ~1.0×) và weight-activation (W8A8 ~1.0×) — KV4 đạt 1.53–1.86× (4B) và 1.44–1.97× (8B).
Khảo sát bảo vệ: phân bổ ngân sách 144 vị trí cho cả sink lẫn recent hiệu quả hơn dồn hết vào một vùng; cấu hình chọn s=16, w=128 giữ ~94% throughput của KV4 thuần.

IV. Conclusion & Future Works:

Bài báo chứng minh rằng trong rollout bất đồng bộ cho RLVR, nút cổ chai dịch từ trọng lượng mô hình sang KV cache, và lượng tử hóa KV sub-8-bit lần đầu được chứng minh khả thi cho huấn luyện RL — miễn là kết hợp bảo vệ chọn lọc có giới hạn (sink + recent ở INT8) để giảm lệch phối hợp của sampler mà không đánh mất lợi ích scale của INT4. TIS một mình không đủ cứu KV4 thuần.

Hướng mở rộng hợp lý: điều chỉnh bộ sink/recent động theo đặc trưng từng layer hoặc từng response; kết hợp KV4-RL với FP8/low-precision cả phía learner (thay vì chỉ rollout) để tăng tốc toàn pipeline; mở rộng sang các mô hình mixture-of-experts và bài toán RL không thuộc toán (non-verifiable rewards).

V. Brainstorming Space:

1. Publish Papers:

Điều chỉnh động ngân sách bảo vệ INT8: học hoặc dự đoán số lượng vị trí sink/recent tối ưu cho từng layer, từng giai đoạn huấn luyện, thay vì cố định 16+128.
Mở rộng lượng tử hóa KV sub-8-bit sang các thuật toán RLVR khác (PPO, RLOO, online DPO) và kiểm chứng xem ngưỡng chịu đựng sai số sampler có phụ thuộc cơ chế importance correction hay không.
Kết hợp KV4-RL với FP8 learner và weight-activation quantization để xây dựng pipeline huấn luyện reasoning model low-precision end-to-end.
Nghiên cứu lượng tử hóa KV 2-bit (KV2) có bảo vệ chọn lọc, xác định giới hạn dưới của độ chính xác lưu trữ mà chất lượng học vẫn chịu được.

2. Patent:

Hệ thống huấn luyện AI tiết kiệm bộ nhớ trên điện thoại/edge: khi mô hình tự tạo dữ liệu để tự học (self-distillation trên thiết bị), toàn bộ lịch sử hội thoại được nén 4-bit, chỉ giữ phần đầu câu và vài câu gần nhất ở 8-bit — giúp điện thoại cá nhân hóa mô hình mà không đổ bộ nhớ, không làm mô hình bị 'học lệch' theo dữ liệu nén lỗi.
Trợ lý AI trên điện thoại xử lý hội thoại dài: lưu cache attention của toàn bộ cuộc trò chuyện dạng 4-bit trong bộ nhớ máy, nhưng đảm bảo câu mở đầu (bối cảnh người dùng) và các câu vừa nhập gần đây ở độ chính xác cao hơn để câu trả lời không bị méo, đồng thời trả lời nhanh hơn và mở được nhiều cuộc trò chuyện song song hơn.
Dịch vụ đám mây sinh văn bản cho nhiều người dùng cùng lúc: máy chủ nhận hàng loạt yêu cầu dài, nén cache 4-bit để nhét được nhiều phiên trò chuyện hơn vào một GPU, với cơ chế tự động đánh dấu và giữ ở 8-bit các đoạn văn bản quan trọng nhất của từng phiên, tăng số khách hàng phục vụ đồng thời mà chất lượng gần như không đổi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14448
ArXiv Abstract	https://arxiv.org/abs/2610.14448
PDF Download	https://arxiv.org/pdf/2610.14448.pdf
Github Repository	N/A

14. Towards Agentic Robots: Model, Data, Environment, and Harness (30 votes)

Tác giả: Chonghan Qin, Dongming Wu, Kaituo Feng, Jiaxu Wang, Xinlei Yu, et al.

Xuất bản lúc: 2026-10-14

Tag: Robotics, Agentic Robots, Vision-Language-Action, World Models, LLMs, Embodied AI, Survey

I. Main Problem:

Các mô hình robot hiện đại (VLA, world models) chỉ mạnh ở dự đoán hành động từng bước mà không đủ khả năng vận hành tác vụ dài hạn: theo dõi tiến độ, điều chỉnh kế hoạch khi môi trường thay đổi, tự phục hồi khi thất bại. Vấn đề nghiêm trọng hơn: nghiên cứu về agentic robots đang phát triển rất nhanh nhưng bị phân mảnh — các hướng (học mô hình, thu thập dữ liệu, xây môi trường, thiết kế hệ thống runtime) được nghiên cứu riêng lẻ, thuật ngữ như embodied agents, autonomous robots, self-improving systems chồng lấn khiến không có cái nhìn thống nhất về cách kết hợp các chức năng agentic thành một hệ thống robot hoàn chỉnh.

II. Main Idea:

Agentic robots = hệ thống robot trong đó các agent tự lập kế hoạch và điều phối thực thi tác vụ dựa trên quan sát môi trường và phản hồi từ thực thi: chọn skill/công cụ, giám sát tiến độ, tự sửa lỗi, và còn tham gia cải tiến chính hệ thống (thu thập dữ liệu, thiết kế thí nghiệm huấn luyện, xây benchmark).

Bài báo trình bày survey thống nhất với đóng góp cốt lõi là taxonomy 4 miền chức năng, 17 hạng mục:

Model: agent học và quyết định gì — Training, Perception, Planning, Robot Control, Adaptation
Data: thu thập, gán nhãn, tinh chế dữ liệu — Collection, Annotation, Refinement
Environment: dựng thế giới, tạo tác vụ, thiết kế đánh giá — Reconstruction, Task Generation, Benchmarking
Harness: điều phối, ghi nhớ, phục hồi, tiến hóa năng lực — Orchestration, Memory, Monitoring & Recovery, Skills, Infrastructure, Layered Systems

Survey cũng vạch tiến hóa 4 giai đoạn: policy robot cổ điển → VLA → World Models / World-Action Models → agentic robots (GPT-6 Astra vượt các policy chuyên huấn luyện trên RoboDojo mà không cần fine-tune).

Ví dụ đời thường: giống quản lý giàu kinh nghiệm thay vì công nhân chỉ biết một thao tác — không tự làm mọi việc, mà biết phân việc cho đúng người, đi kiểm tra tiến độ, thấy sai thì đổi phương án và rút kinh nghiệm cho lần sau.

III. Main Results:

Đề xuất định nghĩa chính thức và phạm vi của agentic robots, phân biệt rõ với Embodied AI, Autonomous Robotics và Robot Foundation Models.
Xây dựng taxonomy 4 miền / 17 hạng mục không loại trừ lẫn nhau — một công trình có thể thuộc nhiều hạng mục (ví dụ Zero2Skill nối thu thập dữ liệu với huấn luyện policy; HarnessVLA tích hợp memory, orchestration, monitoring).
Tổng hợp có hệ thống hàng trăm công trình tiêu biểu: từ ACT, Diffusion Policy, RT-2, π0, GR00T N1 (VLA) đến Cosmos, Genie Envisioner (world models), và SayCan, Code as Policies, Eureka, ENPIRE (hệ thống agentic).
Chứng minh xu hướng thực tế: general-purpose model (GPT-6 Astra) đạt 22.48% success rate trên 42 tác vụ RoboDojo, vượt DM0.5 (19.34%), GalaxeaVLA G0.5 (14.88%), π0.5 (6.91%) — cho thấy agentic reasoning có thể thắng policy chuyên biệt.
Đề xuất research agenda gồm 4 hướng: Fair Benchmarking, Real-robot Agentic Robotics, Efficient Robot Use, Cross-Embodiment Generalization.
Kèm repository tổng hợp công trình mở (Awesome-Agentic-Robots).

IV. Conclusion & Future Works:

Agentic robots đánh dấu sự chuyển dịch từ robot thụ động chỉ nhận lệnh và nhái lại hành vi sang hệ thống tự tổ chức thực thi, tự học hỏi và tự cải tiến. Khung 4 miền Model–Data–Environment–Harness giúp cộng đồng định vị rõ agent ra quyết định ở đâu và ảnh hưởng thế nào đến toàn hệ thống. Thách thức mở và hướng tương lai:

Fair Benchmarking: xây bài đánh giá công bằng, chuẩn hóa thủ tục đánh giá agentic
Real-robot Agentic Robotics: chuyển kết quả từ mô phỏng sang robot vật lý thật
Efficient Robot Use: giảm độ trễ suy luận và chi phí tài nguyên khi tích hợp foundation model
Cross-Embodiment Generalization: khái quát hóa năng lực agentic qua nhiều nền tảng robot khác nhau

V. Brainstorming Space:

1. Publish Papers:

Phương pháp benchmark công bằng cho agentic robots: bộ thử chuẩn hóa đo lường khả năng lập kế hoạch, giám sát và phục hồi, có thể so sánh xuyên suốt giữa các hệ thống và giữa mô phỏng với robot thật.
Kiến trúc harness hai tầng giảm độ trễ: tầng planner dùng foundation model chạy chậm định hướng dài hạn, tầng điều khiển dùng policy nhẹ phản ứng theo thời gian thực, có cơ chế đồng bộ tín hiệu phản hồi giữa hai tầng.
Cơ chế cross-embodiment cho agentic robots: agent học bản đồ kỹ năng trừu tượng và tự dịch kỹ năng sang robot có hình thái, động học khác qua thăm dò thực thi ngắn.
Vòng lặp tự cải tiến khép kín: agent vừa điều phối robot thực thi, vừa tự đề xuất tác vụ thu thập dữ liệu mới, tự đánh giá và tinh chế dữ liệu để huấn luyện lại policy mà không cần con người can thiệp.

2. Patent:

Trợ lý robot gia đình trên điện thoại: người dùng nói mục tiêu ('dọn bàn ăn'), ứng dụng trên điện thoại điều phối robot quét qua từng bước — mở ngăn kéo, kiểm tra đã mở chưa, nhặt đồ — tự dừng sửa lỗi khi vật cản thay đổi và báo tiến độ lên màn hình điện thoại.
Hệ thống robot tự học trong nhà máy: robot ghi lại mỗi lần thao tác thất bại, tự phân loại nguyên nhân, tự tạo tình huống luyện tập tương tự trong mô phỏng vào ca đêm, để sáng hôm sau vận hành với kỹ năng đã cải thiện.
Nền tảng điều phối đội robot nhiều loại từ một ứng dụng: người dùng giao mục tiêu chung (kiểm kê kho), hệ thống tự phân chia việc cho robot di động, cánh tay gắp và drone, theo dõi tiến độ từng đơn vị và tự điều phối lại khi một robot hỏng.
Chế độ an toàn tự giám sát cho robot phục vụ: robot liên tục đánh giá hành động sắp thực hiện có va chạm người/vật không; khi phát hiệt bất thường tự chuyển sang chế độ dừng an toàn, thông báo và đề xuất phương án khác qua app.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20442
ArXiv Abstract	https://arxiv.org/abs/2610.20442
PDF Download	https://arxiv.org/pdf/2610.20442.pdf
Github Repository	https://github.com/chonghanqin/Awesome-Agentic-Robots

15. CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline (28 votes)

Tác giả: Yuxiang Lai, Jike Zhong, Chengzhi Liu, Ming Li, Haonan Wang, et al.

Xuất bản lúc: 2026-10-13

Tag: Multi-Agent Systems, Computer Use, Vision-Language Models, Benchmark, Conflict Resolution, Tool-Use Agents

I. Main Problem:

Các benchmark computer-use hiện tại giả định môi trường nhất quán và hợp tác, trong khi thực tế multi-agent thường xuyên có mâu thuẫn: sub-agent báo cáo trạng thái đã lỗi thời, đưa chỉ dẫn mâu thuẫn, hoặc giành quyền truy cập file/tài nguyên chung.

Việc xây benchmark cho mâu thuẫn này gặp hai khó khăn:

Soạn task thủ công không mở rộng được qua hệ thống phức tạp
Sinh task bằng LLM không kiểm soát gây lệch cốt truyện (narrative drift), lộ đáp án, và tiêu chí chấm điểm không khả thi khiến task không giải được.

II. Main Idea:

CLASHarness là pipeline sinh task multi-agent mâu thuẫn kiểm soát được và kiểm chứng được, đi kèm benchmark 600 task đa vòng. Ba nguyên tắc thiết kế:

Hierarchical Phased Synthesis: tách quy hoạch kịch bản vĩ mô (bối cảnh, vai trò, workspace) và thực thi vi mô theo 8 bước riêng lẻ mỗi vòng — tránh tràn ngữ cảnh và lệch cốt truyện
Pre-Committed Multimodal Grounding: cam kết giá trị ground-truth v⋆ trước khi render hình ảnh, đảm bảo bằng chứng trực quan là bắt buộc (không lộ trong text — có cổng kiểm rò rỉ tự động)
Execution-Compiled Verification: chạy trajectory tham chiếu trong sandbox, từ đó biên dịch trực tiếp bộ chấm điểm gồm code check dạng exact-match và tiêu chí semantic → mọi task giải được theo xây dựng

Kết hợp 23 plugin module (16 cơ chế mâu thuẫn, 7 thử thách), sửa lỗi theo từng sub-step thay vì sinh lại cả gói (~95 API calls cho 10 vòng).

Ví dụ đời thường: giống thầy giáo ra đề thi bằng cách tự làm bài mẫu trước trong lớp, ghi lại từng bước làm, rồi soạn đáp án chấm điểm dựa chính những bước mình đã làm được — nên chắc chắn đề thi có lời giải, không có câu hỏi viển vông.

III. Main Results:

Benchmark: 20 domain, 600 vòng conflict, 7.970 ảnh bằng chứng, 3.760 checker (35% code check, 65% semantic LLM judge với 97,5% đồng thuận; ranking ổn định giữa các judge, ρ ≥ 0.98).
GPT-6 Astra dẫn đầu với pass rate 28,7%, mean score 66,8%; Claude Opus 5 đạt 25,2%; các model yếu dưới 15%.
Ba nút thắt hệ thống:
- Blind trust: model yếu tin theo báo cáo sai của peer; model mạnh tự kiểm bằng bằng chứng trực quan (chênh 31–65pp)
- Phát hiện ≠ giải quyết: yêu cầu chỉ điều tra đạt 28,1%, nhưng phải sửa trạng thái hệ thống tụt còn 11,0% (−18,2pp, khác biệt có ý nghĩa so với nhóm đối chứng)
- Phối hợp: ngay cả model frontier cũng thất bại >58% hành động kết thúc — quên giải phóng lock, quên bàn giao việc cho sub-agent; đồng bộ cửa sổ thời gian thất bại 83–97%
Test-time compute không hiệu quả: tăng effort suy luận gần như không cải thiện (Claude Opus 5 chỉ +1,7pp), Gemini 3.5 Flash còn tụt từ 13,5% xuống 3,0% vì vòng lặp suy nghĩ chiếm hết ngân sách bước; tỉ lệ reasoning token tương quan nghịch với thành công (ρ = −0,70).
Che ảnh đi làm pass rate sụt còn ~11–13% → bằng chứng trực quan là then chốt, không trang trí.

IV. Conclusion & Future Works:

CLASHarness chứng minh multi-agent conflict trong computer-use là thách thức độc lập và khác biệt so với tác vụ đơn agent: visual grounding và conflict resolution gần như không tương quan (ρ = +0,02) nên cần đánh giá riêng. Pipeline sinh kiểm chứng được tạo nền tảng mở rộng để chẩn đoán lỗi phối hợp. Hướng tương lai (theo phần limitations): kiểm chứng semantic judging bằng nghiên cứu người, mở rộng đánh giá conflict bất đồng bộ theo thời gian thực, và phát triển cơ chế chống lặp vòng lặp suy nghĩ cho model yếu.

V. Brainstorming Space:

1. Publish Papers:

Phân tích chiến lược kích hoạt công cụ khi mô hình gặp thông tin mâu thuẫn giữa báo cáo của agent đồng cấp và trạng thái thực của hệ thống, nhằm xác định dấu hiệu sớm của 'blind trust' trước khi mô hình đưa ra quyết định sai.
Nghiên cứu giao thức bàn giao và giải phóng tài nguyên chung (lock release, task handoff) cho hệ multi-agent: thiết kế kịch bản huấn luyện và phản hồi môi trường để giảm tỉ lệ thất bại ở các hành động kết thúc còn trên 58%.
Đánh giá mối quan hệ giữa ngân sách bước hành động và vòng lặp suy luận nội tại, đề xuất cơ chế điều tiết test-time compute để tránh hiện tượng 'overthinking' làm cạn ngân sách công cụ trong tác vụ dài hạn.

2. Patent:

Hệ thống kiểm tra tự động cho trợ lý AI trên điện thoại/máy tính: khi nhận hai thông tin mâu thuẫn từ các ứng dụng (ví dụ một app báo đã gửi tiền, app ngân hàng không thấy giao dịch), trợ lý tự mở giao diện thật, chụp màn hình bằng chứng, đối chiếu và chỉ hành động sau khi xác minh trực quan.
Trợ lý quản lý công việc nhóm có cơ chế xử lý xung đột phân quyền: khi hai thành viên AI cùng chỉnh một tài liệu, hệ thống tự kiểm tra ai giữ khóa chỉnh sửa, nhắc giải phóng khóa sau khi hoàn thành và tự động bàn giao phần việc còn lại cho đúng người phụ trách.
Nền tảng tạo bài kiểm thử tự động cho tác tử AI: người dùng nhập mô tả nghiệp vụ, hệ thống tự lập kịch bản, tự chạy lời giải mẫu, sinh tiêu chí chấm điểm từ quá trình chạy thật và kiểm tra đáp án không bị lộ trong văn bản — đảm bảo mọi bài test đều có lời giải.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19128
ArXiv Abstract	https://arxiv.org/abs/2610.19128
PDF Download	https://arxiv.org/pdf/2610.19128.pdf
Github Repository	https://github.com/google-research/CLASHarness

16. Hybrid Reasoning Agents (24 votes)

Tác giả: Jiaru Zou, Yunzhe Qi, Sirui Chen, Federico Bianchi, Shang Zhu, et al.

Xuất bản lúc: 2026-10-13

Tag: LLM Agents, Latent Reasoning, Reinforcement Learning, Tool-Integrated Reasoning, Efficient Inference, Post-training

I. Main Problem:

Các agent LLM hiện đại bị kẹt ở dilemma của hai môi trường suy luận:

Text-based agents: suy luận và tương tác đều qua token văn bản → tốn kém, chậm, mọi bước nội tâm phải "nói ra" thành chữ.
Latent reasoning models: suy luận nhanh trong không gian liên tục nhưng không gọi được công cụ (tool calling), khó giám sát khi train và khó kiểm toán/debug khi inference vì vector liên tục không có ngữ nghĩa đọc được.

Hệ quả: hai hướng phát triển tách rời — chưa có agent nào vừa suy luận sâu nội tâm vừa hành động linh hoạt qua công cụ trong một quá trình sinh thống nhất.

II. Main Idea:

Hybrid Reasoning Agent (HybridAgent) cho phép agent chuyển động linh hoạt giữa suy luận latent và tương tác text trong một lần sinh duy nhất:

HybridLink — adapter nhẹ (~10M tham số cho model 4B) dùng residual connection để ánh xạ hidden state tầng cuối về không gian embedding đầu vào, cho phép vào/ra chế độ latent mượt mà qua hai token neo <latent> / </latent>.
Continuous working memory: tích lũy KV entries của cả text, latent thoughts và tool observations qua nhiều turn, giữ nguyên toàn bộ ngữ cảnh hybrid mà không cần tái mã hóa token.
Latent thoughts có thể giải mã thành pseudo-text đọc được → suy luận nội tâm minh bạch, kiểm tra được.
Post-training hai giai đoạn: HybridSFT (self-conditioned training để backbone phối hợp với HybridLink, khử train-inference mismatch) và HybridRL (hybrid policy factorization + exact rollout replay để RL hoạt động trên trajectory hybrid; agent tự học khi nào suy luận latent, khi nào hành động bằng text).

Ví dụ đời thường: giống một người giải bài toán khó — lẩm bẩm suy nghĩ nhanh trong đầu (latent, không tốn "giấy mực"), nhưng khi cần tra cứu tài liệu hay dùng máy tính thì viết ra thành lời rõ ràng (text) để hành động và để người khác kiểm tra.

III. Main Results:

Hiệu suất: cải thiện trung bình +10.4% so với frontier LLM agents và các framework agentic (text lẫn latent); bản 14B vượt baseline agentic mạnh nhất +17.4% trên các benchmark agentic reasoning.
Phạm vi đánh giá: 11 benchmark — toán (AIME 25/26, MATH500), khoa học/y khoa (GPQA-D, MedQA), tìm kiếm (MuSiQue), agentic (GAIA, HLE, WebWalker, SealQA, DSQA); 3 quy mô model 4B/8B/14B (Qwen3-Base).
Hiệu quả: giảm 35.5%–54.7% token, inference nhanh 1.8×–2.6×, tiết kiệm chi phí 2.7×–3.7×.
Test-time scaling: pass@k tăng rõ khi tăng sampling budget, tốt hơn text agents trained với GRPO.
Phân hóa lao động: latent mode gánh phần suy luận nội tâm sâu và giàu ngữ nghĩa, text mode dành cho tool interaction và kiểm toán bên ngoài.

IV. Conclusion & Future Works:

HybridAgent chứng minh latent reasoning và tool-integrated agentic text reasoning không loại trừ nhau mà có thể kết hợp trong một kiến trúc thống nhất, với working memory liên tục bảo toàn ngữ cảnh losslessly và pipeline post-training (SFT + RL) có cơ sở lý thuyết. Kết quả mở hướng cho agent vừa suy luận vượt ngôn ngữ vừa hành động qua ngôn ngữ, ở chi phí và tốc độ thấp hơn đáng kể. Hướng tương lai hợp lý: mở rộng sang môi trường agentic đa dạng hơn, tối ưu cơ chế quyết định chuyển mode, và tích hợp serving engine hỗ trợ hybrid generation natively.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HybridAgent cho agent đa phương thức: thay vì chỉ text và latent, agent điều phối thêm chế độ suy luận qua hình ảnh/âm thanh với cùng nguyên lý working memory liên tục.
Nghiên cứu cơ chế quyết định chuyển mode (latent ↔ text) theo hướng có giải thích được: model không chỉ chọn mode mà còn lý giải tại sao suy luận nội tâm hay hành động bằng text ở từng bước.
Kết hợp HybridRL với hierarchical reasoning: latent ở tầng chiến lược, text ở tầng tác vụ, cho các bài toán dài hạn nhiều cấp độ như lập trình hoặc nghiên cứu khoa học tự động.

2. Patent:

Trợ lý AI trên điện thoại với chế độ "suy nghĩ thầm": khi giải toán hoặc phân tích tài liệu, ứng dụng xử lý phần suy luận nội tâm trong không gian số liên tục (không sinh token), chỉ hiển thị văn bản khi cần hiển thị kết quả hoặc khi người dùng yêu cầu xem từng bước — tiết kiệm pin và tăng tốc độ phản hồi gấp đôi.
Hệ thống chatbot chăm sóc khách hàng lai: bot "nghĩ nhanh" nội bộ để tổng hợp thông tin đơn hàng, nhưng tự động chuyển sang chế độ văn bản có thể kiểm toán khi gọi API tra cứu hoặc khi giám sát viên cần đọc lại quy trình xử lý của bot.
Công cụ tra cứu thông minh có bộ nhớ làm việc liên tục: mỗi lượt hỏi-đáp và kết quả tìm kiếm được lưu dưới dạng trạng thái số liên tục, điện thoại không cần mã hóa lại toàn bộ lịch sử hội thoại ở mỗi turn — giảm đáng kể băng thông và độ trễ cho cuộc hội thoại dài nhiều vòng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18861
ArXiv Abstract	https://arxiv.org/abs/2610.18861
PDF Download	https://arxiv.org/pdf/2610.18861.pdf
Github Repository	https://github.com/togethercomputer/HybridAgent

17. The Thinking Leakage in Reinforcement Learning for LLMs (21 votes)

Tác giả: Wenxuan Zhu, Shuming Liu, Bang An, Aznaur Aliev, Bing Li, et al.

Xuất bản lúc: 2026-10-09

Tag: Reinforcement Learning, LLMs, Reasoning, GRPO, Hybrid Reasoning, Activation Patching, Attention Heads

I. Main Problem:

Các mô hình reasoning lai như Qwen3 có hai chế độ: think mode sinh chuỗi suy luận dài trong ``, còn no-think mode chỉ thêm một khối think rỗng vào prompt để model trả lời trực tiếp. Một công thức phổ biến là huấn luyện reinforcement learning with verifiable rewards trong no-think mode rồi báo cải thiện độ chính xác. Vấn đề: chưa rõ cải thiện này đến từ học cách giải mới, hay từ việc kích hoạt lại khả năng suy luận sẵn có của think mode qua cùng một bộ trọng số. Bài báo gọi hiệu ứng thứ hai là thinking leakage.

II. Main Idea:

Bài báo kiểm chứng giả thuyết: khi GRPO cải thiện no-think accuracy, model chủ yếu rò rỉ dần về phía think mode thay vì học hành vi reasoning mới. Tác giả huấn luyện Qwen3-1.7B/4B/8B bằng GRPO trên DAPO-Math-17k ở no-think mode, rồi dùng ba mức can thiệp:

Weights: nhân update học được với hệ số lớn hơn; model bắt đầu sinh `` ở vị trí gần giống think mode và accuracy tiến tới nhưng không vượt accuracy think mode gốc.
Activations: xây think subspace 8 chiều từ chính model gốc; chèn giá trị model gốc vào model sau RL làm mất khoảng 75% lợi ích RL, còn chèn ngược lại truyền khoảng 50% lợi ích sang model gốc.
Attention heads: một nhóm rất nhỏ head đọc empty think block giữ model ở no-think mode; cùng các head này cũng mang phần lớn dịch chuyển do RL gây ra.

Nguồn gốc có thể nằm ở tín hiệu GRPO: các câu trả lời được ưu tiên bởi advantage có xu hướng giống think mode hơn, nên mỗi bước gradient vô tình đẩy model về trạng thái think.

Ví dụ đời thường: giống như khóa một căn phòng làm việc nhưng quên khe cửa vẫn hở; mỗi lần được thưởng vì làm đúng việc, người ta lại tìm cách mở khe hở to hơn để lấy đồ nghề sẵn có bên trong thay vì chế tạo dụng cụ mới.

III. Main Results:

Trên AIME 90 bài, no-think accuracy của Qwen3-8B tăng từ 0.17 lên 0.43; response dài hơn từ khoảng 2.7k lên 7.2k tokens, số từ phản tỉnh như "wait" tăng từ 1.3 lên 13.0 mỗi response.
Model gốc được dùng làm judge: Think Win Rate của response sau RL tăng tới 94% ở 8B, 86% ở 4B, 84% ở 1.7B; activation shift α đạt 0.56 ở 8B, nghĩa là dịch chuyển nội bộ bằng 56% khoảng cách giữa no-think và think mode gốc.
Scaling update W0 + cΔW: model bắt đầu sinh dù no-think prompt không yêu cầu; ở step 67, xuất hiện trong 6% response tại c=1.5 và 51% tại c=3. Accuracy tăng tới khoảng 0.72 nhưng không vượt accuracy think mode gốc 0.74.
Patching 8-dim think subspace ở Qwen3-8B: original-to-RL patching hạ accuracy từ 0.411 xuống 0.244, tức gỡ 75% lợi ích RL; RL-to-original patching nâng model gốc từ 0.189 lên 0.300, tức truyền 50% lợi ích. Control PCA chỉ gỡ/truyền 22%/25%, random subspace gần như không có hiệu ứng.
Attention knockout cho thấy chỉ cần khóa khoảng 5% head chú ý mạnh nhất tới empty think block là đẩy model gốc gần về phía think mode; random heads gần như vô hiệu. Các head có patching effect lớn nhất như L18H19 ở 8B/4B và L19H13 ở 1.7B đều nằm trong nhóm head chú ý mạnh tới empty think block.

IV. Conclusion & Future Works:

Kết luận chính: phần lớn lợi ích RLVR trong no-think mode có thể là tái kích hoạt khả năng reasoning đã có sẵn của think mode, không phải học reasoning mới. Điều này làm thay đổi cách diễn giải benchmark no-think: cải thiện accuracy cần được đọc cùng độ dài response, reflection words, activation shift và các can thiệp nhân quả. Hướng mở rộng hợp lý: kiểm tra thinking leakage trên tập nhiệm vụ rộng hơn toán học; tách biệt khi nào leakage có ích và khi nào gây overthinking; thiết kế reward hoặc kiểm soát ngân sách suy luận để tránh vô tình mở lại think mode; đo mức leakage trong các mô hình hybrid khác ngoài Qwen3.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cross-model về thinking leakage ngoài toán học: kiểm tra liệu RL ở chế độ trả lời ngắn có làm model coding, khoa học hay agent tool-use rò rỉ về chế độ suy luận dài đã bị ẩn.
Phương pháp chống leakage khi cần no-think thật sự: fine-tune hoặc can thiệp activation để giữ accuracy cao mà không kích hoạt lại hành vi `` ngầm.
Phân tích nhân quả theo attention pathway trong hybrid reasoning models: xác định các head điều khiển lựa chọn think/no-think và dùng activation patching để chuyển đổi an toàn giữa hai chế độ.
Thiết kế reward cho GRPO nhằm phân biệt 'trả lời đúng nhờ suy luận mới' và 'trả lời đúng nhờ tái sử dụng think mode', từ đó giảm tối ưu hóa gián tiếp theo hướng leakage.

2. Patent:

Trợ lý AI trên điện thoại có chế độ trả lời nhanh: khi người dùng chọn chế độ ngắn gọn, hệ thống theo dõi dấu hiệu suy luận ngầm như câu quá dài, từ phản tỉnh hoặc token đóng suy luận để cảnh báo rằng model đang âm thầm dùng lại chế độ suy luận dài thay vì trả lời trực tiếp.
Công tắc think/no-thon-think thích ứng cho ứng dụng di động: ứng dụng tự chọn chế độ trả lời theo mức pin, độ trễ mạng và độ khó câu hỏi; khi chọn chế độ ngắn, một lớp kiểm soát can thiệp vào các attention head liên quan để hạn chế mở lại chế độ suy luận dài ngầm.
Hệ thống chẩn đoán trên thiết bị cho mô hình ngôn ngữ lớn: đo sự dịch chuyển nội bộ giữa chế độ có suy luận và không suy luận trong quá trình tinh chỉnh bằng phản hồi có thể xác minh, giúp nhà phát triển phát hiện model chỉ đang kích hoạt lại khả năng cũ thay vì học hành vi mới.
Bộ lọc văn bản cho chatbot lai: phát hiện và ẩn các dấu vết suy luận bị rò rỉ trong câu trả lời ngắn, đồng thời gợi ý chuyển rõ ràng sang chế độ suy luận dài khi câu hỏi thực sự cần suy nghĩ nhiều bước.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14270
ArXiv Abstract	https://arxiv.org/abs/2610.14270
PDF Download	https://arxiv.org/pdf/2610.14270.pdf
Github Repository	https://github.com/WenxuanZhu1103/think-leakage

18. RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios (21 votes)

Tác giả: Chenhao Yuan, Bohan Yu, Yinhao Xu, Chao Yin, Chenxi Zhou, et al.

Xuất bản lúc: 2026-10-14

Tag: LLM Agents, Benchmark, Rule Reasoning, Agentic Evaluation, Multi-step Reasoning, Tool Use

I. Main Problem:

Các LLM agent ngày càng được dùng cho tác vụ chuyên môn (tính thuế, an ninh mạng, mua sắm...) nơi câu trả lời phụ thuộc vào quy tắc nghiệp vụ đặc thù. Nhưng khi thông tin tình huống phân tán trong nhiều file khác nhau (hồ sơ, bảng lương, log...), agent gặp khó khăn lớn:

Các benchmark suy luận quy tắc cũ (RuleTaker, PolicyQA...) chỉ mô tả tình huống bằng vài câu chữ đơn giản, làm việc tìm và áp dụng quy tắc trở nên quá dễ.
Các benchmark workspace (TheAgentCompany, AGORA...) đánh giá tìm kiếm thông tin và dùng công cụ, nhưng không kiểm tra khả năng nhận diện và áp dụng quy tắc nghiệp vụ. Khoảng trống này khiến chưa rõ LLM agent có thật sự hiểu và vận dụng luật lệ phức tạp trong kịch bản thực tế nhiều tập tin hay không.

II. Main Idea:

RuleTrek là benchmark đa lĩnh vực (thuế, PostgreSQL, an ninh mạng, chính sách phần mềm, mua sắm công, luật game) với pipeline xây dựng tình huống gắn chặt vào quy tắc thật gồm 3 giai đoạn:

Trích xuất rule graph: dùng LLM rút cấu trúc đồ thị quy tắc (node = quy tắc, cạnh = phụ thuộc áp dụng, ngoại lệ, ưu tiên...) từ kho tài liệu thật, rồi con người kiểm chứng.
Sinh sub-scenario riêng cho từng quy tắc: mỗi quy tắc được thể hiện qua các file đúng chất lĩnh vực (xlsx, config, log, code...).
Ghép từng bước theo phụ thuộc: LLM hợp nhất các sub-scenario thành tình huống phức tạp, sửa file cũ cho khớp (thực thể, thời gian, trạng thái), kiểm tra tính nhất quán và khả năng giải được sau mỗi bước.

Benchmark đánh giá 3 năng lực trong workspace tương tác: Rule Identification (tự tìm quy tắc cần dùng từ tài liệu gốc), Rule Deduction (được cấp sẵn rule graph, chỉ cần áp dụng), và End-to-End (tự tìm + tự áp dụng).

Ví dụ đời thường: giống kế toán viên phải lật cả chồng luật thuế, hồ sơ cá nhân rải rác ở nhiều tủ hồ sơ, tự xác định điều khoản nào áp dụng cho trường hợp này rồi mới tính ra số tiền phải nộp — thay vì được đưa sẵn một mảnh giấy tóm tắt đúng điều khoản cần dùng.

III. Main Results:

Đánh giá 11 LLM frontier trên 240 instance: điểm RI cao nhất chỉ 62.47%, RD cao nhất 60.43% (cùng của GPT-6.1-Sol); E2E dao động 26.97%–55.29%.
Độ phức tạp quy tắc là yếu tố then chốt: E2E trung bình sụt từ 76.5 xuống 23.6 khi số rule node tăng từ ≤3 lên ≥14; sụt từ 62.3 xuống 26.4 khi độ sâu đồ thị tăng từ ≤1 lên ≥5.
RD vượt E2E 3.79–8.15 điểm ở mọi model → nhận diện quy tắc là khâu gây khó thêm, nhưng ngay cả có sẵn rule graph agent vẫn áp dụng yếu.
Phân tích lỗi của GPT-6.1-Sol: 54.9% thất bại do chọn sai quy tắc (rule-selection errors), còn lại do thiếu bằng chứng, suy luận sai hoặc tổng hợp sai.
Số bước tương tác nhiều không đồng nghĩa kết quả tốt (Qwen3.8-Flash đi 57 bước vẫn sai vì không theo dõi trạng thái thay đổi).
Độ tin cậy chấm điểm: tương quan Spearman người–judge 0.822–0.857, tương quan xếp hạng giữa các judge khác hãng đến 0.991.

IV. Conclusion & Future Works:

RuleTrek cho thấy LLM agent hiện tại yếu cả ở khâu nhận diện lẫn áp dụng quy tắc nghiệp vụ trong tình huống nhiều file phức tạp — kể cả khi được cấp sẵn rule graph đã kiểm chứng. Pipeline xây dựng rule-grounded giúp tạo benchmark có kiểm soát về độ nhất quán và khả năng giải. Hướng mở rộng: hỗ trợ đa ngôn ngữ (hiện chỉ tiếng Anh) và môi trường động nơi quy tắc và dữ liệu tình huống thay đổi theo thời gian.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chiến lược phân hạng nhầm quy tắc (rule-selection errors chiếm 54.9%): xây dựng phương pháp kiểm chứng chéo điều kiện áp dụng giữa các quy tắc tương tự nhau trong kho tài liệu nghiệp vụ.
Kết hợp rule graph ngoài bộ nhớ (external structured memory) với agent workspace để agent không phải tự tái cấu trúc phụ thuộc quy tắc từ tài liệu thô, đo lường mức cải thiện RI/E2E.
Mở rộng RuleTrek cho môi trường động: quy tắc và dữ liệu tình huống cập nhật trong lúc agent làm việc, đánh giá khả năng theo dõi trạng thái và phiên bản quy tắc.

2. Patent:

Trợ lý tính thuế cá nhân trên điện thoại: người dùng tải lên hồ sơ thu nhập rải rác (bảng lương, hợp đồng, sao kê); hệ thống tự lật văn bản luật thuế, xác định điều khoản áp dụng (cư trú, mức thuế, khấu trừ) rồi tính số thuế phải nộp kèm giải thích điều khoản đã dùng.
Hệ kiểm tra tuân thủ chính sách nội bộ cho doanh nghiệp: agent rà soát cấu hình, log và mã nguồn phân tán trên hệ thống, đối chiếu với tài liệu quy định bảo mật/phần mềm để tự phát hiện cấu hình vi phạm và trích dẫn điều khoản bị vi phạm.
Trợ lý đấu thầu mua sắm công: tổng hợp hồ sơ nhà thầu nằm ở nhiều file (giấy phép, tài chính, hợp đồng tương tự), tự tra tiêu chuẩn đấu thầu và xác định tư cách hợp lệ của từng nhà thầu theo đúng quy định hiện hành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19698
ArXiv Abstract	https://arxiv.org/abs/2610.19698
PDF Download	https://arxiv.org/pdf/2610.19698.pdf
Github Repository	https://github.com/yuan247/RuleTrek

19. HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution (21 votes)

Tác giả: Kyochul Jang, Seohyeon Park, Ohchul Kwon, Sangjun Park, Junhyeok Choi, et al.

Xuất bản lúc: 2026-10-01

Tag: Robotics, Humanoid Robots, Tool Use, Vision-Language-Action, Benchmark, Imitation Learning, World Models

I. Main Problem:

Robot humanoid ngày càng tiên tiến nhưng các benchmark hiện tại không đánh giá đồng thời hai năng lực cốt lõi của việc dùng dụng cụ:

Chọn đúng dụng cụ theo yêu cầu chức năng (độ dài, hình dạng, vật liệu) — các benchmark như HumanoidBench chỉ có 1 dụng cụ cố định; benchmark tool-use chuyên biệt chỉ dừng ở VQA hoặc cánh tay gắn cố định.
Phối hợp vận động toàn thân — vừa cầm dụng cụ vừa di chuyển để hoàn thành tác vụ. Hậu quả là không biết policy thất bại ở khâu nào: chọn sai dụng cụ, không nhấc được lên, hay không dùng được nó.

II. Main Idea:

Tác giả xây dựng HumanoidToolBench — benchmark 18 tác vụ (3 tình huống × 3 cấp độ × 2 chế độ) cùng ToolBook, bộ dữ liệu 3.1k demo người thật (3.003 mô phỏng + 91 trên robot Unitree G1 thật). Cấu trúc thiết kế:

3 tình huống theo chức năng dụng cụ đời thường: BallMove (gậy dài để đẩy bóng — yêu cầu không gian), BallRetrieve (móc để kéo bóng — yêu cầu hình dạng/affordance), IceBreak (búa đập vỡ đá — yêu cầu vật lý).
3 cấp độ thực thi: L0 chọn và nhấc dụng cụ → L1 dùng dụng cụ khi đứng yên → L2 dùng dụng cụ khi di chuyển dọc bàn.
2 chế độ bộ dụng cụ: standard (đúng 1 dụng cụ phù hợp lẫn trong vật lạ) và decoy (thêm 1 dụng cụ gần giống nhưng thiếu đúng thuộc tính cần thiết — gậy ngắn hơn, que thẳng thay móc, vợt ruồi thay búa).
55 vật liệu dụng cụ từ Objaverse + ghi lại chuỗi sự kiện tương tác (chạm vật, chạm đúng lần đầu, nhấc đúng dụng cụ, chạm mục tiêu, thành công) để bóc tách chính xác policy hỏng ở đâu.

Ví dụ đời thường: giống bài kiểm tra tay nghề thợ — không chỉ hỏi "em có biết chọn cái tua vít nào không" mà còn cho cả hai cái tua vít giống nhau chỉ khác đầu, rồi yêu cầu vừa cầm vừa leo lên thang để vặn ốc, để xem em chọn đúng và làm được tới đâu.

III. Main Results:

7 policy được đánh giá trong mô phỏng (GR00T N1.7, Ψ0, π0.5, Cosmos 3, FastWAM, ACT, Diffusion Policy), 3 policy trên robot G1 thật.
Khoảng cách lớn giữa chọn dụng cụ và hoàn thành tác vụ: FastWAM nhấc đúng dụng cụ tới 89% nhưng tỉ lệ thành công chỉ ~53%; GR00T N1.7 tương ứng 90% → 36%.
Policy yếu không nhấc nổi dụng cụ đúng (DP chạm vật 90% nhưng chỉ nhấc đúng 15%); policy mạnh thường chạm mục tiêu mà vẫn trượt.
Tác vụ di động (L2) là thử thách lớn: mọi policy đều sụt từ L1 xuống L2; FastWAM trên BallMove tụt từ 76% → 9%.
Decoy làm giảm chọn đúng lần đầu (87% → 75% cho FastWAM) hơn là giảm tỉ lệ thành công cuối — tức policy có thể "sửa sai" sau lựa chọn ban đầu.
Thực tế khớp mô phỏng: chỉ 5.000 bước fine-tune với 91 demo thật, GR00T N1.7 và FastWAM vượt ACT rõ rệt (6/10 và 5/10 vs 1/10 trên BallMove standard).
Probe GR00T N1.7: chọn dụng cụ đúng kiểu chưa từng thấy giảm mạnh (85% → 74% và 59% → 36%); với chỉ dẫn không liên quan ("trời hôm nay đẹp") vẫn hoàn thành IceBreak 84% — cho thấy policy làm theo cảnh quen thuộc chứ không theo lời nói (lỗ hổng instruction following).

IV. Conclusion & Future Works:

HumanoidToolBench cho thấy chọn đúng dụng cụ và dùng được nó là hai kỹ năng tách rời: policy có thể nhấc đúng mà vẫn thất bại khi phải phối hợp định hướng dụng cụ với mục tiêu, và khả năng càng sụt khi kết hợp di chuyển. Các policy hiện tại phụ thuộc vào hình dáng quen thuộy và cảnh tập luyện hơn là yêu cầu chức năng của tác vụ. Hướng tương lai: mở rộng dụng cụ/cảnh/mục tiêu và seed huấn luyện, kiểm soát góc camera để kiểm chứng giả thuyết về lỗi định hướng không gian, kiểm thử chuyển đổi mục tiêu khi chỉ dẫn mâu thuẫn với cảnh, và đo riêng đóng góp của fine-tune dữ liệu thật.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp huấn luyện policy humanoid chọn dụng cụ theo thuộc tính chức năng (độ dài, affordance, vật liệu) thay vì ghi nhớ ngoại hình, bằng cách tăng cường dữ liệu với các biến thể dụng cụ giữ nguyên chức năng nhưng đổi màu sắc, bề mặt, hình dạng chi tiết.
Policy phối hợp loco-manipulation có cơ chế kiểm chứng lựa chọn: sau khi chạm dụng cụ, policy tự đánh giá lại độ phù hợp với chỉ dẫn trước khi nhấc, giảm hiện tượng cầm nhầm decoy.
Khung đánh giá instruction following cho robot: các cảnh mà lời nói mâu thuẫn với thói quen cảnh để phân biệt thật sự làm theo ngôn ngữ hay chỉ lặp lại chuyển động đã học.

2. Patent:

Trợ lý robot gia đình chọn dụng cụ đúng theo yêu cầu nói: người dùng nói "lấy cái để kéo đồ vật ra khỏi gầm tủ", hệ thống phân tích yêu cầu chức năng (cần móc/kẹp) để chọn đúng dụng cụ trong nhà thay vì nhận diện tên vật cụ thể.
Hệ thống kiểm tra an toàn trước khi robot dùng dụng cụ: camera soi dụng cụ được chọn, hệ thống so sánh thuộc tính vật lý (độ dài, độ cứng) với yêu cầu tác vụ; nếu không đạt (ví dụ cây quá mềm để đập), robot đổi dụng cụ và báo cho người dùng qua điện thoại.
Chế độ kiểm tra tay nghề cho robot công nghiệp: phần mềm đánh giá tự động gồm các bài test chọn dụng cụ có đồ giả gần giống (decoy) và tác vụ vừa đi vừa thao tác, xuất báo cáo điểm số chi tiết theo từng khâu: chọn, cầm, định hướng, hoàn thành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02089
ArXiv Abstract	https://arxiv.org/abs/2610.02089
PDF Download	https://arxiv.org/pdf/2610.02089.pdf
Github Repository	https://github.com/SNU-PI/HumanoidToolBench

20. APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation (20 votes)

Tác giả: Sirui Zhang, Fangyun Wei, Dong Chen, Jinjing Zhao, Yitong Wang, et al.

Xuất bản lúc: 2026-10-13

Tag: Text-to-Image Generation, Post-Training, Reinforcement Learning, Agentic Workflow, Recursive Self-Improvement, Diffusion Models, Autoregressive Image Generation

I. Main Problem:

Post-training cho mô hình text-to-image hiện thường phụ thuộc vào tập dữ liệu được con người chọn thủ công và phân phối huấn luyện cố định. Điều này khiến pipeline:

tốn nhân lực, khó mở rộng khi mô hình, benchmark và yêu cầu người dùng liên tục đổi;
không phản ánh đúng điểm yếu riêng của từng mô hình: mô hình mạnh ở vẽ chữ có thể yếu ở đếm vật thể hoặc quan hệ không gian, và ngược lại;
cần hỏi lại câu chính của post-training: không chỉ làm sao tối ưu, mà nên huấn luyện mô hình hiện tại trên cái gì tiếp theo.

II. Main Idea:

APT (Agentic Post-Training) biến post-training thành vòng lặp tự động, điều khiển bởi ba agent:

Evaluation Set Generation Agent: từ phạm vi đánh giá do người dùng chỉ định, hoặc từ một evaluation harness đa năng, tự sinh cây taxonomy kịch bản, prompt và rubric đánh giá theo từng prompt. Phiên bản đa năng tạo 2.609 cặp prompt-rubric trên 10 nhóm lớn và 219 nhóm con.
Diagnosis Agent: mỗi vòng lặp lấy mẫu 120 prompt-rubric, sinh ảnh bằng mô hình hiện tại, chấm từng rubric nhị phân bằng GPT-4.1-mini, rồi dựng báo cáo điểm mạnh/điểm yếu ở mức instance.
RL Data Generation Agent: dùng GPT-5.4 đọc báo cáo, tìm lỗi lặp lại xuyên nhiều prompt, rồi sinh 480 prompt huấn luyện cho vòng RL tiếp theo: ưu tiên khả năng đang yếu, nhưng vẫn giữ phần vừa và đã thành thạo để tránh lệch phân phối.

Reward là trung bình điểm rubric; RL cập nhật bằng DiffusionNFT/GRPO theo từng round ngắn, rồi mô hình mới được đánh giá lại để định hình dữ liệu vòng sau — cơ chế gần với recursive self-improvement.

Ví dụ đời thường: giống học sinh không ôn một đề cố định, mà sau mỗi bài kiểm tra tự xem lại câu nào sai nhiều nhất, rồi hôm sau làm thêm đúng dạng đó; khi dạng đó đã khá, bài tập lại chuyển sang lỗi mới vừa lộ ra.

III. Main Results:

APT thắng rõ baseline handcrafted RL set trên cả 4 mô hình diffusion về average chuẩn hóa: Lens 57.06 → 71.26 so với handcrafted 68.61; SD3.5-Medium 48.34 → 57.92 so với 55.94; FLUX.1 [dev] 47.11 → 57.81 so với 52.32; LongCat-Image 55.92 → 67.72 so với 64.05.
Benchmark-agnostic: một lần post-training cải thiện đồng thời trên GenEval, GenEval2, OneIG-EN, DPG, CVTG-2K; không dùng prompt riêng cho từng benchmark.
Architecture-agnostic: trên mô hình autoregressive Janus-Pro, APT cải thiện GenEval overall từ 0.781 → 0.815, GenEval2 GM từ 15.25 → 21.61, tốt hơn handcrafted 20.42.
Model-specific data matters: dữ liệu RL sinh cho đúng mô hình đích luôn tốt hơn dữ liệu chuyển từ mô hình khác; các ô chéo trong bảng transfer đều thua ô đường chéo.
Ablation cho thấy bỏ iterative feedback loop, giảm tiêu chí chẩn đoán, hoặc chỉ lấy prompt khó nhất đều làm kết quả sụt; evaluation set tự sinh của APT cũng cân bằng hơn dùng riêng GenEval hoặc OneIG-EN.

IV. Conclusion & Future Works:

APT chứng minh post-training có thể tự động hóa bằng cách để kết quả đánh giá của mô hình hiện tại quyết định dữ liệu huấn luyện vòng sau, thay vì dựa vào bộ dữ liệu thủ công cố định. Điểm cốt lõi là curriculum phải model-specific và evolving: cùng một pipeline agentic áp dụng được cho nhiều mô hình, nhiều benchmark và cả diffusion lẫn autoregressive. Hướng mở: cơ chế thăm dò failure modes sâu hơn khi mô hình mạnh dần, kiểm soát drift/đa dạng khi nhiều vòng RSI, chi phí evaluator LLM, và áp dụng tư tưởng diagnose-then-train cho video, 3D hoặc editing có điều kiện.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng APT thành vòng lặp self-improvement nhiều cấp cho generator đa phương thức: chẩn đoán chéo giữa ảnh, video và âm thanh để curriculum không chỉ sửa lỗi từng modality mà còn học quan hệ giữa các yếu tố.
Nghiên cứu định lượng khi nào adaptive curriculum hội tụ và khi nào bị catastrophic forgetting trong post-training lặp, kèm thuật toán giữ bộ nhớ các khả năng đã mastered.
Thay evaluator nhị phân bằng reward phân hạng đa mức có hiệu chuẩn uncertainty để giảm nhiễu từ LLM judge và cải thiện tính ổn định của reward RL.
Kết hợp APT với active evaluation: agent chọn prompt chẩn đoán có giá trị thông tin cao nhất thay vì random sample từ evaluation set cố định.

2. Patent:

Ứng dụng chỉnh ảnh trên điện thoại tự nâng cấp theo sở thích người dùng: sau khi tạo ảnh, hệ thống tự hỏi chấm điểm các lỗi như sai chữ, sai vị trí, sai phong cách, rồi sinh thêm bài tập nội bộ để tinh chỉnh mô hình cục bộ hoặc trên đám mây cho đúng gu người dùng.
Nền tảng tạo ảnh quảng cáo tự sửa lỗi theo ngành: người bán chỉ chọn ngành như thời trang, ẩm thực, poster phim; hệ thống tự kiểm tra mẫu lỗi phổ biến của ngành, tạo bộ prompt luyện riêng và cập nhật mô hình mà không cần chuyên gia chọn dataset.
Dịch vụ đám mây cập nhật mô hình sinh ảnh theo từng phiên bản thiết bị: điện thoại yếu và máy mạnh dùng chung một pipeline chẩn đoán, nhưng dữ liệu tinh chỉnh được cá nhân hóa theo lỗi thực tế phát sinh trên từng phiên bản chip, bộ nhớ và giới hạn độ phân giải.
Bộ công cụ kiểm thử tự động cho ứng dụng camera AI: trước mỗi bản phát hành, hệ thống sinh ảnh thử theo nhiều kịch bản người dùng, phát hiện regression như mất chữ trên biển, sai số lượng người, lệch bố cục, rồi tạo báo cáo và dữ liệu vá lỗi cho bản tiếp theo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18097
ArXiv Abstract	https://arxiv.org/abs/2610.18097
PDF Download	https://arxiv.org/pdf/2610.18097.pdf
Github Repository	https://github.com/siruizhang30/APT

21. Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate (19 votes)

Tác giả: Wanzhou Lei, Cuifeng Shen, Yanjin He, Maohua Li, Hua Yuan, et al.

Xuất bản lúc: 2026-10-08

Tag: Super-Resolution, DINOv3, Vision Foundation Model, Adversarial Training, Image Restoration, Latent Space

I. Main Problem:

Super-resolution (SR) trong thế giới thực là bài toán đưa embedding của ảnh bị suy giảm về lại trên manifold của ảnh sạch/nét/tự nhiên, và phải về đúng điểm trung thực với đầu vào. Các phương pháp hiện có đều phục hồi trong không gian sai (pixel space hoặc latent của VAE), gây hai khuyến tật:

Không gian hướng-tái-tạo giữ lại nguyên vẹn độ suy giảm, nên ảnh nhiễu được nhúng xa manifold → đường về khó, đắt.
Thiếu thông tin ngữ nghĩa → hướng dẫn kém → GAN nhẹ thì mờ, diffusion đắt tiền thì hallucination (sinh nội dung sai).

II. Main Idea:

RAESR đổi chính nền tảng (substrate) chứ không vá vết từng khuyến tật. Tác giả dùng trung bình 23 tầng của DINOv3-L đóng băng (self-supervised vision transformer, học để khớp biểu diễn chứ không tái tạo pixel) làm không gian latent, vì nó có hai tính chất:

Ảnh suy giảm được nhúng gần manifold → chỉ cần một bước nhảy ngắn để về.
Phân cấp thông tin đầy đủ: tầng nông giữ bản ghi pixel gần như không mất mát (PSNR decode 41 dB), tầng sâu mang ngữ nghĩa chống nhiễu → trực tiếp dẫn bản đồ về điểm trung thực.

Trên nền này, một decoder 415M duy nhất (28 tầng transformer) ánh xạ embedding nhiễu về manifold và decode thẳng ra pixel trong một lần forward, không vòng lặp sampling. Huấn luyện 3 giai đoạn với loss L1 + LPIPS + adversarial; critic cũng đọc mọi tầng của DINOv3-B để phán xét độ thật ở mọi mức, so sánh từng vị trí với ground truth (relativistic, dense).

Ví dụ đời thường: giống như khi ảnh mờ được đưa vào một 'địa chỉ gần' ảnh gốc thay vì một nơi xa lạ — chỉ cần đi vài bước ngắn với bản đồ chỉ rõ từng chi tiết (vừa có ảnh chụp vừa có lời mô tả), thay vì phải lang thang dò đường như các mô hình diffusion.

III. Main Results:

Tốt nhất trung bình 4 benchmark (RealSR, DRealSR, LSDIR, DIV2K-Val) trên NIQE, MANIQA, DISTS; nhì trên LPIPS, MUSIQ, TOPIQ trong số 12 phương pháp — trade-off fidelity–perception và efficiency–perception tốt nhất.
37ms/ảnh 512×512 trên một H20, 719M tham số, 1.57 GiB; bản distilled 30ms, 502M.
Nhanh hơn 1.6× so với diffusion một bước nhanh nhất (AdcSR) và 59–514× so với các mô hình 20–50 bước; đối thủ gần nhất TSD-SR to gấp 3.1×, chậm gấp 2.8×.
Thí nghiệm người dùng ưa thích RAESR hơn mọi baseline (86.2% vs Real-HAT-GAN, 70.7% vs DiffBIR, 57.7% vs SUPIR, 52.6% vs TSD-SR).
Ablation chứng minh đến từ substrate: thay DINOv3-L bằng SD3 VAE (giữ nguyên decoder + công thức) thì thua cả 9 metric; xóa dải tầng nông làm hỏng fidelity, xóa dải sâu làm hỏng perceptual.

IV. Conclusion & Future Works:

Thông điệp chính: lựa chọn latent substrate quan trọng hơn những gì cộng đồng SR hiện quan tâm — một substrate tốt cần nhúng ảnh suy giảm gần manifold và chứa thông tin ở mọi mức. Hạn chế: không có cơ chế đánh đổi compute lấy chất lượng (một pass cố định), và kết luận mới được kiểm chứng trên một họ encoder (DINOv3) với một substrate thay thế duy nhất. Hướng mở: khảo sát các representation encoder khác làm substrate.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát hệ thống các encoder biểu diễn tự giám sát (DINOv2/v3, SAM, CLIP) làm substrate cho phục hồi ảnh, đặc tả điều kiện cấu trúc để không gian latent nhúng ảnh suy giảm gần manifold của ảnh sạch.
Mở rộng substrate phân cấp cho các tác vụ phục hồi khác: deblurring, denoising, inpainting và tái tạo màu ảnh cũ, kiểm chứng tính tổng quát của nguyên tắc 'đúng không gian latent'.
Kết hợp substrate DINOv3 với cơ chế thích ứng compute tại inference (ví dụ early-exit hoặc số bước biến đổi theo độ khó ảnh) để khắc phục giới hạn một-pass của RAESR.
Nghiên cứu critic đa-tầng đọc từng lớp foundation model cho huấn luyện adversarial ở các bài toán sinh ảnh khác, vì phán xét dày (per-token) và so cặp theo vị trí cho hướng dẫn thực tế tinh vi.

2. Patent:

Ứng dụng nâng cấp ảnh chụp đêm trên điện thoại: ảnh nhiễu được đưa qua bộ mã hóa thị giác đóng băng đã học sẵn trên hàng tỷ ảnh, rồi một mạng giải mã nhỏ phục hồi chi tiết và màu sắc trong một lần chạy — nhanh đủ để xử lý ngay khi chụp, không cần chờ nhiều bước tính toán.
Hệ thống làm nét ảnh thẻ, giấy tờ quét trên ứng dụng di động: ảnh mờ do camera kém được phục hồi với độ trung thực cao, giữ nguyên thông tin cá nhân thay vì tự sinh chữ số/số liệu sai như các mô hình khuếch tán hiện nay.
Công cụ phục hồi video giám sát/an ninh thời gian thực: dùng bộ giải mã một lần chạy (30–37ms mỗi khung) để làm nét hình ảnh camera cũ, giảm chi phí nâng cấp phần cứng camera.
Module phục hồi ảnh trong bộ nhớ đám mây: người dùng tải ảnh cũ suy giảm, hệ thống mã hóa bằng mô hình thị giác tự giám sát rồi giải mã một lần để trả về ảnh nét, tiết kiệm chi phí máy chủ so với các mô hình khuếch tán nhiều bước.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.04781
ArXiv Abstract	https://arxiv.org/abs/2610.04781
PDF Download	https://arxiv.org/pdf/2610.04781.pdf
Github Repository	N/A

22. DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision (17 votes)

Tác giả: Yifan Lan, Zhongye Liu, Yurui Chang, Hanyu Wang, Yongkang Du, et al.

Xuất bản lúc: 2026-10-13

Tag: Adversarial Robustness, Prompt Injection, Benchmark, Decision Models, JEV, LLM Security, Multimodal

I. Main Problem:

Các decision model kiểu JEV ánh xạ trực tiếp chỉ dẫn + quan sát thành lựa chọn, phán đoán nhị phân hoặc điểm số, và đang được dùng trong pipeline tự động (chọn tool, lọc nội dung, rerank, phê duyệt workflow). Vấn đề:

Đầu vào thường do người dùng/kẻ tấn công kiểm soát (retrieved content, tool output, ảnh), nên câu trả lời đúng schema vẫn có thể chọn hành động sai.
Accuracy trên dữ liệu sạch không chứng minh độ tin cậy dưới tấn công; các benchmark trước (JevAdvBench, RobustBench, AdvGLUE) chỉ xét một tác vụ, một phương thức tấn công hoặc không kiểm tra tính hợp lệ của mẫu tấn công.
Chưa rõ attack transfer giữa các decision model, và chưa có chuẩn đo lường chéo cả text, ảnh và prompt injection.

II. Main Idea:

Tác giả xây dựng DecisionRobust, một benchmark đánh giá độ robust của decision model dưới 3 nhóm tấn công:

Text perturbation: chỉnh sửa ký tự/từ/câu bằng DeepWordBug, TextFooler, SememePSO, PromptAttack... nhằm giữ nguyên nghĩa nhưng đổi quyết định.
Image perturbation: nhiễu Gaussian, blur, JPEG... và tấn công tối ưu hóa (momentum PGD, ε=8/255) chống 3 surrogate model.
Prompt injection: 4 template (Direct, Self-check, Note, Repetition) chèn vào quan sát hoặc câu hỏi, hoặc chữ trắng in lên ảnh, nhắm một đáp án sai cố định.

Điểm then chốt: mỗi mẫu tấn công phải qua kiểm tra label-consistency bởi 2 LLM bên ngoài (GPT-5 mini, DeepSeek-V4-Flash, Claude Sonnet 5) — chỉ giữ mẫu mà validator vẫn trả đúng đáp án gốc; rồi lọc theo khả năng lừa được nhiều model chọn lựa. Đánh giá 30 model text + 17 model vision, trong đó 24 và 12 model held-out hoàn toàn không tham gia chọn mẫu.

Ví dụ đời thường: giống thử độ an toàn của ổ khóa bằng cách thuê nhiều tay thợ khóa cắt chìa giả, nhưng chỉ tính chìa "thật sự mở được" khi hai thợ khóa độc lập xác nhận ổ vẫn nguyên vẹn — loại bỏ những chìa chỉ hỏng vì cắt sai, không phải do khóa yếu.

III. Main Results:

Tấn công transfer được ngoài model xây dựng: mọi held-out model đều có lỗi, nhưng ASR sau label-check giảm mạnh — ví dụ NevIR, Siim hầu hết "thành công" thô đều rớt kiểm tra.
Robustness không đồng nhất: OpenJEV dễ tổn thương nhất với PromptShield nhưng bền nhất trên MMLU; tổng ASR text sau check: Jev 36.6%, OpenJEV 12.8%, Bosun 22.5%, Liquid D1 19.5%.
Perturbation-resistance ≠ injection-resistance: GLiNER2.5-340M chỉ 11.4% perturbation ASR nhưng 55.3% injection target ASR; Perplexity Decider chỉ 3.2% perturbation nhưng 45.7% injection.
Image attack transfer yếu: tấn công tối ưu hóa chống 3 surrogate chỉ lừa được OneJev-4B đáng kể (32.4% checked); không lừa được model nào trên Geometry3K.
Không template injection nào thống trị: hiệu quả phụ thuộc model và vị trí chèn (qu observation hay instruction); target ASR luôn thấp hơn flip ASR — model sai nhưng không theo ý kẻ tấn công.
Label-consistency check là bắt buộc khi đọc kết quả, nếu không sẽ phóng đại độ nguy hiểm của tấn công.

IV. Conclusion & Future Works:

DecisionRobust cho thấy decision model hiện tại dễ bị thao túng cả ở text, ảnh và prompt injection, robustness thay đổi theo tác vụ và loại tấn công (không có "vua bền" chung), và nhiều "thành công" tấn công thực ra là mẫu không hợp lệ. Hạn chế: chỉ xét quyết định riêng lẻ, chưa đo hệ quả downstream trong workflow hoàn chỉnh; image attack transfer còn hạn chế; tài nguyên tính toán giới hạn số phương pháp tấn công. Hướng tương lai: phát triển tấn công ảnh transfer tốt hơn và mở rộng bộ tấn công/phòng thủ.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp tạo nhiễu ảnh adversarial có khả năng transfer cao hơn giữa các decision model đa phương thức, vượt qua giới hạn của tối ưu đa-surrogate hiện tại.
Nghiên cứu phòng thủ prompt injection cho decision model dựa trên phát hiện tấn công kết hợp với kiểm tra tính nhất quán nhãn tự động tại thời điểm suy luận.
Mở rộng benchmark sang đánh giá robustness theo chuỗi quyết định trong workflow đa bước, đo cả tác động downstream của một quyết định bị sai lệch.

2. Patent:

Hệ thống bảo vệ chatbot/trợ lý AI trên điện thoại: trước khi gửi nội dung lấy từ web hay email cho mô hình ra quyết định, một bộ kiểm tra chạy hai mô hình nhỏ độc lập xác minh nội dung vẫn cho cùng quyết định; nội dung làm lệch quyết định bị cách ly và đánh dấu nghi ngờ prompt injection.
Bộ lọc ảnh chống thao túng cho camera AI trên smartphone: ảnh chụp được quét dấu hiệu chữ chèn lạ và nhiễu bất thường; nếu phát hiện vùng chữ không liên quan đến yêu cầu người dùng, hệ thống che vùng đó trước khi đưa vào mô hình phân loại hoặc điều khiển.
Cổng an toàn cho agent tự động chọn công cụ (tool routing): mọi mô tả công cụ và đầu ra công cụ đi qua bộ so sánh ngữ nghĩa với bản gốc; thay đổi nhỏ làm đổi lựa chọn công cụ nhưng không đổi ý định người dùng sẽ kích hoạt xác nhận lại trước khi thực thi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19118
ArXiv Abstract	https://arxiv.org/abs/2610.19118
PDF Download	https://arxiv.org/pdf/2610.19118.pdf
Github Repository	N/A

23. τ-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions (16 votes)

Tác giả: Rishitosh Kumar Singh, Amir Saeidi, Shamanthak Hegde, Shrinidhi Kumbhar, Chitta Baral

Xuất bản lúc: 2026-10-14

Tag: LLM Agents, Tool Calling, User Simulation, Benchmark, Agent Training, Emotion Modeling

I. Main Problem:

Các benchmark hiện tại cho agent gọi công cụ (tool-calling) gần như đều giả định người dùng hợp tác và ổn định về hành vi. Thực tế thì agent trong tác vụ dài hạn có thể thất bại không phải vì sai tool, mà vì tương tác kém với người dùng: hỏi lặp lại những câu không cần thiết, xin thông tin đã lấy được qua tool, hoặc phụ thuộc quá mức vào người dùng — mà vẫn nhận phần thưởng vì tác vụ cuối cùng "xong". Hậu quả:

Không có thước đo nào đánh giá độ tin cậy của tương tác dưới biến thiên cảm xúc người dùng.
Dữ liệu huấn luyện agent chỉ lọc theo task success, nuôi dưỡng hành vi tương tác kém.

II. Main Idea:

Bài báo đề xuất τ-Emotion-Bench và pipeline Tracer.

τ-Emotion-Bench: 580 tác vụ thực thi được trên 10 domain (Airline, Retail, Telecom, Telehealth, School, Basketball, Restaurant, Travel, Movie, Bank). Giữ nguyên mục tiêu tác vụ nhưng điều kiện hóa người dùng mô phỏng theo 5 họ cảm xúc (Anger, Fear, Disgust, Sadness, Enjoyment) với 22 cảm xúc chi tiết × 3 chiều hành vi (politeness, urgency, trust), tạo 594 điều kiện. Người dùng mô phỏng có thể phát ###UNSATISFIED### để chấm dứt tương tác khi agent quá lệ thuộc hoặc không tiến triển — làm tác vụ thất bại dù về lý thuyết vẫn làm được.

Tracer: pipeline sinh dữ liệu gồm 5 giai đoạn:

Dựng dependency graph từ tool schema, policy và môi trường thực thi
Lấy mẫu trace đa bước hợp lệ từ graph
Reverse refinement: chuyển trace thành câu lệnh ngôn ngữ tự nhiên
Sinh và trộn cảm xúc phù hợp ngữ cảnh tác vụ
Kiểm chứng tính khả thi và tuân thủ policy

Điểm mới cốt lõi là tín hiệu interaction-aware: người dùng mô phỏng trong harness có thể "bỏ về" khi agent hỏi lặp lãng phí, nên các trajectory hỏi thừa bị lọc ra ngay cả khi tác vụ vẫn hoàn thành được. Dữ liệu huấn luyện thu được cân bằng giữa hỏi người dùng khi thật sự cần và tự tra cứu qua tool/môi trường.

Ví dụ đời thường: giống nhân viên dịch vụ khách hàng bị đánh giá không chỉ bằng việc xử lý xong yêu cầu, mà bởi khách hàng — nếu nhân viên hỏi lại quá nhiều điều tự tra được — sẽ bực mình cúp máy giữa chừng; người giỏi là người chỉ hỏi đúng những gì hệ thống không cho biết.

III. Main Results:

Frontier models vẫn mong manh: với user simulator Qwen3-235B, model mạnh nhất (DeepSeek-V4.1-Flash) chỉ đạt 55.9% Avg@3 và 32.2% Pass^3; với GLM-5.2, GLM-5.3 đạt 78.6% Avg@3 nhưng Pass^3 chỉ 66.5%. Khoảng cách giữa "trung bình thành công" và "thành công nhất quán" rất lớn.
Tracer cải thiện mạnh mọi quy mô Qwen3: +13.8–19.7 điểm Avg@3 (Qwen3-235B simulator); với GLM-5.2 tăng 17.1–25.2 điểm phần trăm. Tracer-High-8B (38.1% Avg@3) vượt cả MiniMax-M3 và Qwen3-235B-Thinking.
Khái quát hóa tốt ra domain chưa thấy: Tracer-Low chỉ huấn luyện 1,498 trajectory trên 4 domain nhưng đạt Pass^3 cao nhất trong số các phương pháp so sánh trên 6 domain OOD, trong khi baseline dùng tới 9,000–91,000 trajectory.
Chuyển giao sang benchmark khác: cải thiện rõ trên τ-Bench và τ-Trait dù task và user simulator khác hẳn.
Phân tích hành vi: thành công cao đi kèm tỉ lệ tool-call/follow-up cân bằng vừa phải; empathy làm tăng follow-up không cần thiết; user simulator rất ổn định (chỉ 1.1% lượt lỗi do hallucination của user trong các trajectory thất bại).

IV. Conclusion & Future Works:

τ-Emotion-Bench cho thấy cảm xúc người dùng là stress test có giá trị cho độ tin cậy agent, đồng thời tín hiệu interaction-aware (người dùng bỏ cuộc) là phần thưởng hữu ích để thu thập dữ liệu huấn luyện tốt hơn chỉ với vài nghìn trajectory. Tracer chứng minh hành vi cân bằng giữa dùng tool và hỏi người dùng là khái quát hóa được qua domain, benchmark và user simulator. Hướng phát triển hợp lý: mở rộng không gian cảm xúc/hành vi người dùng, kết hợp tín hiệu interaction-aware vào RL thay vì chỉ lọc SFT, và nghiên cứu cách agent thể hiện empathy hiệu quả mà không làm tăng chi phí hội thoại.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng τ-Emotion-Bench với cảm xúc động thay đổi trong phiên (ví dụ user chuyển từ kiên nhẫn sang tức giận khi agent tiến triển chậm) thay vì cố định một điều kiện cảm xúc suốt episode.
Dùng tín hiệu ###UNSATISFIED### làm reward trực tiếp cho reinforcement learning tương tác, thay vì chỉ lọc trajectory trong pipeline SFT của Tracer.
Nghiên cứu chiến lược empathy tối ưu: khi nào gửi lời đồng cảm giúp giữ chân user khó tính mà không làm tăng số lượt hỏi lãng phí.

2. Patent:

Hệ thống đánh giá chatbot chăm sóc khách hàng trên điện thoại: mô phỏng người dùng với các trạng thái cảm xúc khác nhau (nóng giận, lo lắng, vội vàng); chatbot bị chấm điểm thấp và tự động dừng phiên nếu hỏi lặp thông tin đã tra cứu được từ hệ thống.
Module huấn luyện nhân viên ảo cho ứng dụng ngân hàng/đặt vé trên điện thoại: tạo kịch bản khách hàng có cảm xúc, trong đó khách hàng mô phỏng có quyền 'cúp máy' khi bị hỏi thừa; dữ liệu phiên tốt được dùng tinh chỉnh mô hình trợ lý.
Cơ chế chấm dứt hội thoại thông minh cho trợ lý AI cá nhân: phát hiện agent lặp lại câu hỏi hoặc phụ thuộc quá mức vào người dùng thì tự động kết thúc và gắn cờ hành vi kém để hệ thống học, thay vì cứ để hội thoại kéo dài vô ích.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19560
ArXiv Abstract	https://arxiv.org/abs/2610.19560
PDF Download	https://arxiv.org/pdf/2610.19560.pdf
Github Repository	https://github.com/sahsaeedi/tau-emotion-bench

24. APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces (15 votes)

Tác giả: Ziyi Yang, Adel Bibi, Guohao Li, Bernard Ghanem, Carlos Hinojosa

Xuất bản lúc: 2026-10-09

Tag: LLM Agents, Prompt Injection, Agent Safety, Benchmark, Cybersecurity, Tool Use, MCP

I. Main Problem:

Các agent LLM đang được triển khai trong không gian làm việc chuyên nghiệp dùng chung với hàng trăm tệp, email, lịch, chat, tài liệu, bảng tính và công cụ thực thi lệnh. Rủi ro lớn:

người tấn công bên trong có thể sửa tài nguyên dùng chung, nhưng không biết trước agent sẽ đọc tệp nào
các benchmark cũ thường chèn lệnh độc tại một vị trí đọc đã biết, nên thiếu kịch bản công việc dài hạn và nhiều ứng dụng
mức hoàn thành công việc đúng không chứng minh agent an toàn: agent có thể vừa tạo kết quả đúng, vừa làm lộ dữ liệu hoặc hành động trái phép.

II. Main Idea:

APEX-Harm là một benchmark đo khả năng chịu tấn công của agent trong môi trường ngân hàng đầu tư, tư vấn quản lý và pháp lý. Cách làm:

xây trên APEX-Agents, mỗi tác vụ có 115–328 tệp và các ứng dụng như email, lịch, chat, tài liệu, bảng tính, PDF, trình chiếu và thực thi code qua MCP servers
mô hình kẻ tấn công theo nhiều mức: biết vài từ khóa công việc, có quyền ghi tệp dùng chung, chạy tiến trình nền theo dõi thay đổi tệp, hoặc lợi dụng người dùng cho phép chạy script
thiết kế 6 nhóm tấn công: chèn lệnh tĩnh trong tệp/ứng dụng; chèn script tĩnh; tiêm lệnh động khi agent đang chạy; thay thế script liên quan tác vụ; cung cấp script chung; kèm hoặc không kèm quyền rõ ràng
đo 3 thứ riêng biệt: khả năng gặp nội dung độc, tỷ lệ tấn công thành công, và điểm hoàn thành công việc hợp lệ

Ví dụ đời thường: giống như trong văn phòng, kẻ xấu không cần biết bạn sẽ mở ngăn nào; họ đặt một tờ giả ở nơi hợp lý, hoặc đổi tài liệu bạn vừa đọc thành bản hỏng kèm lời nhắc “chạy lệnh này để khôi phục”, khiến trợ lý vừa làm việc thật vừa vô tình gửi nhầm bí mật cho người không được phép.

III. Main Results:

Đánh giá 12 frontier models trên 180 task instances từ 15 tác vụ gốc; mỗi tác vụ trung bình khoảng 175 tệp, hơn 40 trang/tài liệu và gần 57 lượt tương tác.
Opus 5 và Sonnet 5 có ASR trung bình thấp nhất: 8% và 20%.
Điểm đáng lo nhất: thay thế script theo tác vụ đạt ASR trung bình 81–84%, còn script chung do attacker cung cấp đạt khoảng 73%.
Gemini 3.8 Flash đạt điểm công việc trung bình cao nhất 0.877 nhưng vẫn có ASR trung bình 33%, cho thấy làm đúng deliverable không đồng nghĩa an toàn.
Với script, tệp PYC/ELF khó đọc mã nguồn nên thường nguy hiểm hơn Python; nhiều agent chạy khi không kiểm tra kỹ logic bên trong.
Agent thường cảnh giác hơn với rò rỉ ra ngoài qua email/link, nhưng dễ chấp nhận chia sẻ qua thư mục dùng chung, lịch, chat nội bộ khi nội dung được gói trong ngữ cảnh công việc.

IV. Conclusion & Future Works:

APEX-Harm tách rõ exposure khỏi attack success và chỉ ra rằng nhiều agent nhìn thấy lệnh độc nhưng không thực thi, trong khi script được người dùng cho phép chạy vẫn là lỗ hổng lớn. Kết quả ủng hộ các biện pháp:

theo dõi nguồn gốc chỉ dẫn trước khi tin vào nội dung trong workspace
kiểm tra chương trình trước khi thực thi, đặc biệt với file binary hoặc bytecode
xác minh quyền hạn khi script yêu cầu dữ liệu nhạy cảm, gửi email, sửa lịch hoặc chia sẻ nội bộ

Hướng mở rộng: thêm lĩnh vực ngoài ngân hàng/tư vấn/pháp lý, chạy nhiều lần để đo biến động, thử attacker thích ứng, mở rộng kiểm chứng judge, và kết hợp phòng thủ theo provenance hoặc kiểm soát luồng thông tin.

V. Brainstorming Space:

1. Publish Papers:

Phát triển lớp phòng thủ theo nguồn gốc lệnh cho agent chuyên nghiệp: gắn metadata cảnh báo khi chỉ dẫn xuất phát từ tệp dùng chung, email, lịch hoặc script ngoài ý muốn thay vì prompt người dùng.
Nghiên cứu cơ chế giám sát thay đổi workspace trong thời gian thực để phát hiện pattern “đọc tệp rồi bị thay bản hỏng” và chặn trước khi agent thực thi lệnh khôi phục độc hại.
Đánh giá hành vi rò rỉ nội bộ trong agent đa ứng dụng: khi nào agent tin rằng chia sẻ vào thư mục chung hoặc lịch là vô hại, và làm sao kiểm chứng người nhận có thẩm quyền.

2. Patent:

Ứng dụng trợ lý doanh nghiệp trên điện thoại có chế độ “kiểm tra trước khi chạy”: khi người dùng yêu cầu mở tệp hoặc script từ nhóm làm việc, app tự đọc mã nguồn, phân tích quyền truy cập, cảnh báo nếu chương trình muốn gửi email, đọc danh bạ, mở lịch hoặc sao chép tài liệu riêng.
Hệ thống xác minh quyền chia sẻ tài liệu cho công cụ AI trong công ty: trước khi gửi nội dung nhạy cảm vào thư mục dùng chung, hệ thống so khớp người nhận, vai trò, nội dung tài liệu và lịch sử truy cập; nếu không khớp, yêu cầu xác nhận bằng sinh trắc học trên điện thoại.
Sandbox di động cho script được gửi qua email hoặc chat: script chạy trong môi trường cách ly, bị chặn mạng và quyền ghi, sau đó tạo báo cáo dễ hiểu trên điện thoại về những gì script định làm trước khi người dùng cho phép chạy thật.
Cơ chế phát hiện tệp bị thay đổi đúng lúc đang làm việc: ứng dụng quản lý tài liệu ghi nhận tệp đã được mở, phát hiện bản sao mới xuất hiện với nội dung “bị hỏng” hoặc yêu cầu chạy lệnh khôi phục, rồi khóa thao tác cho tới khi người dùng duyệt lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.13623
ArXiv Abstract	https://arxiv.org/abs/2610.13623
PDF Download	https://arxiv.org/pdf/2610.13623.pdf
Github Repository	https://github.com/echo-yiyiyi/apex-harm

25. LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures (15 votes)

Tác giả: Yuming Fu, Weijia Wu, Jing Chen, Jiahao Tang, Feifei Chen, et al.

Xuất bản lúc: 2026-09-29

Tag: Video Generation, Image-to-Video, Benchmark, Procedural Reasoning, Human-in-the-Loop, Laboratory Automation, Evaluation

I. Main Problem:

Các phòng thí nghiệm tự vận hành đang tiến gần đến khả năng tự lên kế hoạch thí nghiệm, nhưng thực thi vật lý vẫn khó vì thao tác mảnh, chuỗi bước dài và bố cục dụng cụ thay đổi liên tục. Con người vẫn là cầu nối giữa kế hoạch AI và thao tác thật, nên cần hướng dẫn rõ ràng. Văn bản nói phải làm gì nhưng thường mơ hồ về cách làm; video có thể truyền được vị trí dụng cụ, tiếp xúc tay-dụng cụ, thứ tự thao tác và trạng thái thay đổi. Tuy nhiên, các benchmark trước chủ yếu chấm video theo độ thật hình ảnh, độ khớp prompt, vật lý hoặc lý giải khoa học, chưa chấm một mô hình có tạo đúng một quy trình phòng lab do người thực hiện trong một không gian làm việc cụ thể hay không. Vấn đề cốt lõi: một video trông rất thật vẫn có thể bỏ sót bước, làm sai đối tượng, đảo thứ tự phụ thuộc nhân quả hoặc kết thúc trước khi đạt trạng thái đích.

II. Main Idea:

LabInstruct đặt bài toán: cho một ảnh hiện trường lab ban đầu và một chỉ dẫn ngôn ngữ tự nhiên, mô hình image-to-video phải tạo video tiếp theo thực hiện đúng quy trình, không chỉ giữ cảnh đẹp. Bộ benchmark gồm 204 tác vụ trải 5 ngành khoa học, chia hai mức: Level 1 là 1-3 hành động nguyên tử trong khoảng 4 giây; Level 2 là 4-10 hành động có phụ thuộc giữa các bước, khoảng 12 giây. Dữ liệu lấy từ video lab thật trên web và các tập dữ liệu công khai, được lọc theo góc quay, liên quan lab, chất lượng hình và an toàn; sau đó cắt theo thời gian, rồi dùng mô hình ngôn ngữ-thị giác soạn thảo đặc tả có cấu trúc gồm đối tượng, vai trò, quan hệ không gian, hành động có thứ tự, loại tiếp xúc, trạng thái trước/sau, cuối cùng con người kiểm chứng và tạo câu chỉ dẫn. Đánh giá gồm ba lớp tách rời: chất lượng thị giác cốt lõi gồm Object Consistency, Action Fidelity, State Correctness, Physical Plausibility; yếu tố Completion cho các yêu cầu bắt buộc; hai cổng hợp lệ là Scene Consistency và Visual Safety. Hệ thống tạo 3.229 câu hỏi kiểm tra dạng có-thể-quan-sát, dùng GPT-5.6 Sol chấm tự động và người chấm lại, rồi kết hợp điểm bằng geometric mean, nhân với hệ số hoàn thành và hai cổng an toàn/cảnh. Cơ chế giống như một trợ giảng lab rất khó tính: không xem video chỉ để khen “quay đẹp”, mà cầm checklist đứng cạnh bàn thí nghiệm, soi từng cái ống nghiệm, từng lần bấm pipette, từng mực chất lỏng dâng lên, và chỉ gật đầu khi đúng người, đúng dụng cụ, đúng thứ tự, đúng kết quả cuối cùng.

III. Main Results:

Kết quả chính: visual plausibility không đồng nghĩa procedural correctness. Các mô hình giữ đối tượng và tính vật lý cục bộ khá tốt, nhưng Action Fidelity, State Correctness và đặc biệt Completion sụt mạnh ở Level 2.
Dưới GPT-5.6 Sol, nhóm mạnh nhất gồm MiniMax H3, Seedance 2.0, Wan 3.0: Wan 3.0 cao nhất Level 2 core score khoảng 80.3, Seedance 2.0 cao nhất Level 2 Overall khoảng 48.2, MiniMax H3 dẫn Level 1 Overall khoảng 53.6. Xếp hạng đồng thuận qua 6 góc nhìn đưa ba mô hình này vào tier T0.
Người chấm khắt khe hơn VLM rõ rệt, đặc biệt với mô hình yếu: pooled Overall của LTX 2.3 giảm từ 22.1 theo VLM xuống 3.0 theo người; Cosmos3 Nano từ 19.4 xuống 5.8. Vì vậy VLM phù hợp so sánh mô hình, nhưng dễ quá thuận cho video chưa hoàn thành quy trình.
Đồng thuận người-VLM khá cao khi gộp toàn bộ tác vụ: Pearson r = 0.980, Spearman ρ = 0.928, top-3 overlap 3/3; tách Level 2 thì thứ hạng yếu hơn do khác biệt nhỏ giữa mô hình yếu.
Phân tích lỗi lặp lại gồm: bỏ sót hoặc đảo thứ tự thao tác, thao tác sai đối tượng; không tạo ra hậu quả quan sát được như mực chất lỏng đổi, kim đo chuyển, vật cuối đúng vị trí; object drift, biến dạng, mất vật, cảnh nhảy không liền mạch. Level 2 khó hơn không vì một loại thao tác riêng, mà vì đòi hỏi duy trì thứ tự nhân quả và liên tục trạng thái lâu hơn.

IV. Conclusion & Future Works:

LabInstruct cho thấy các video generator hiện tại chưa đủ tin cậy để làm nguồn hướng dẫn lab độc lập: chúng thường giữ được cảnh và vật thể, nhưng lỡ, sai thứ tự hoặc làm mờ các hành động bắt buộc và chuyển trạng thái. Điểm nghẽn lớn nhất là hoàn thành quy trình ở tác vụ nhiều bước. Hướng mở gồm: mở rộng sang chuỗi thao tác dài hơn và phụ thuộc xa; tường minh hóa ràng buộc an toàn và các đường thực hiện hợp lệ thay thế; kết hợp kiểm chứng tự động với phản hồi người để sửa video; huấn luyện generator bằng tín hiệu nhân quả-thứ tự-trạng thái thay vì chỉ fidelity hình ảnh; và dùng kết quả benchmark để chẩn đoán lỗi theo miền thao tác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LabInstruct thành chuỗi quy trình lab dài hơn có ràng buộc an toàn bắt buộc, kiểm thử khả năng duy trì mục tiêu khi thao tác vượt quá cửa sổ video ngắn.
Phương pháp sinh video có phản hồi quy trình: dùng checklist trạng thái để tự phát hiện bỏ sót bước, sai đối tượng hoặc sai thứ tự rồi hiệu chỉnh video mà không cần người chấm từng khung hình.
Benchmark human-in-the-loop cho phòng lab tự vận hành: đo không chỉ video đúng quy trình mà còn liệu người xem có thực hiện đúng hơn khi nhận video hướng dẫn so với văn bản và ảnh.
Học từ nhiều đường thực hiện hợp lệ: thay vì bắt buộc bắt chước một reference duy nhất, đánh giá generator theo không gian quỹ đạo tương đương về nhân quả và trạng thái đích.
Tách biệt lỗi nhận thức-thao tác trong video lab: phân loại khi nào mô hình hiểu sai chỉ dẫn, khi nào hiểu đúng nhưng không render được hậu quả vật lý mảnh.

2. Patent:

Ứng dụng điện thoại cho phòng lab: người dùng chụp bàn thí nghiệm, nhập thao tác cần làm bằng giọng nói; hệ thống tạo video minh họa ngắn rồi chấm lại theo checklist vật-dụng cụ-thứ tự-trạng thái, cảnh báo bước dễ làm sai hoặc mất an toàn.
Kính AR hoặc camera điện thoại đặt cạnh bàn lab: nhận diện ống nghiệm, pipette, đèn cồn, cân; khi người dùng thao tác, hệ thống so sánh với quy trình chuẩn và nhắc đúng lúc bằng vạch chỉ trên màn hình khi sai đối tượng hoặc bỏ sót bước.
Dịch vụ đám mây cho trường đại học và viện nghiên cứu: gửi một ảnh góc bàn và mô tả thí nghiệm, nhận về bộ video huấn luyện từng bước kèm báo cáo độ tin cậy theo từng hành động, phù hợp đào tạo sinh viên trước khi vào lab thật.
Trình kiểm duyệt nội dung video thí nghiệm tự động: trước khi đưa video hướng dẫn lên nền tảng học trực tuyến, hệ thống quét từng khung để phát hiện thao tác nguy hiểm, sai an toàn, đổi cảnh đột ngột hoặc kết thúc chưa đạt trạng thái yêu cầu.
Trợ lý an toàn lab trên điện thoại cho kỹ thuật viên mới: khi thấy người dùng cầm sai chai hóa chất hoặc đặt sai vị trí dụng cụ, điện thoại rung và hiển thị video sửa lỗi ngắn quay từ đúng góc bàn hiện tại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14020
ArXiv Abstract	https://arxiv.org/abs/2610.14020
PDF Download	https://arxiv.org/pdf/2610.14020.pdf
Github Repository	https://github.com/CSU-JPG/LabInstruct

26. SwarmRSI: Recursive Self-Improvement through Evolving Scientific Agent Swarm (14 votes)

Tác giả: Qianru Meng, Xi Zhang, Konstantinos Papakostas, Congfeng Cao, Wenxiang Hu, et al.

Xuất bản lúc: 2026-10-14

Tag: LLM Agents, Multi-Agent Systems, Recursive Self-Improvement, Scientific Discovery, Code Evolution, Genetic Algorithms, Automated Machine Learning

I. Main Problem:

Các swarm agent nghiên cứu khoa học dựa trên LLM gặp hai rào cản khi tự cải thiện (RSI) qua kinh nghiệm thực nghiệm của chính mình:

Thí nghiệm thất bại không chỉ ra lỗi nằm ở đâu: một kết quả kém không cho biết cần sửa hypothesis (hướng nghiên cứu) hay implementation (chương trình) → các hypothesis đầy hứa hẹn bị bỏ rơi chỉ vì cài đặt kém.
Thành phần hữu ích bị bỏ sót: một chương trình không cải thiện điểm tổng thể vẫn có thể chứa module cần thiết cho nghiên cứu sau của agent khác.

Những phương pháp hiện có (program evolution kiểu AIDE, hypothesis evolution kiểu Arbor) chỉ tối ưu một phía nên không giải quyết được cả hai phụ thuộc lẫn nhau này.

II. Main Idea:

SWARMRSI khung cho swarm agent khoa học tự cải thiện bằng cách tiến hóa các research state mà các agent kế thừa (hypotheses, programs, experimental evidence, unresolved needs), được ghi vào một shared graph chung:

Feedback-Guided Swarm Mutation: dùng phản hồi thực nghiệm của agent khác để quyết định sửa gì — khác biệt hiệu năng giữa các instance → H-mutation (sửa hypothesis); lỗi thực thi/nhu cầu chưa đáp ứng → P-mutation (giữ hypothesis, vá chương trình).
Complementary Swarm Recombination: tái sử dụng kết quả giữa các agent — rebase (giữ hypothesis, chuyển sang chương trình nền hợp lệ của agent khác) và crossover (ghép các component từ những chương trình mạnh trên từng instance khác nhau thành một chương trình mới).
Recursive Swarm Evolution: mọi kết quả (kể cả thất bại) trở về shared graph; lựa chọn bước tiếp theo (sửa H hay P) bằng chỉ số discounted-UCB cân bằng cải thiện theo chi phí token và áp lực từ nhu cầu chưa giải quyết.

Ví dụ đời thường: giống một nhóm nghiên cứu có sổ tay chung — người này thí nghiệm hỏng thì ghi lại "lỗi do dụng cụ hay do ý tưởng" để người sau khỏi đo mò, và đồ dùng nào còn tốt thì để dành ngăn chung để người khác lấy ghép vào thí nghiệm của họ.

III. Main Results:

OpenProblems (6 tác vụ phân tích single-cell): điểm trung bình 74.2 với DeepSeek-V4-Pro (vượt TusoAI 67.1, AIDE 55.8) và 76.2 với Gemini 3.1 Pro Preview — SOTA.
NatureBench (90 tác vụ): Match-SOTA 44.4%, cao nhất so với mọi phương pháp so sánh; vượt Arbor +7.8 pp và AIDE +16.7 pp cùng backbone (khác biệt có ý nghĩa thống kê).
MLE-Bench Lite (22 tác vụ): giành medal trên 81.8% tác vụ, trên cả Arbor và MLEvolve cùng backbone, với chi phí token thấp hơn TusoAI và Arbor.
Ablation: bỏ P-mutation giảm Match-SOTA 13.3 pp, bỏ H-mutation giảm 10.0 pp, bỏ recombination giảm 6.7 pp và Surpass-SOTA từ 15.6% còn 7.8%, bỏ shared graph giảm 7.8 pp.
Phân tích quỹ đạo: ~77% chương trình tốt nhất cuối cùng trên NatureBench có nguồn gốc từ rebase, crossover hoặc update do feedback kích hoạt; 35% implementation thất bại được cứu thành best program mới (AIDE 12%, Arbor 5%); 62% hypothesis dẫn đến cải thiện (Arbor 17%).
Chuyển giao trạng thái: kế thừa state sau 3 thế hệ tác vụ nguồn nâng mean g trên 12 tác vụ held-out từ 12.01 lên 21.89 và Match-SOTA từ 41.7% lên 86.1%.
Ứng dụng sinh học thực tế: các nhà sinh học tái tạo lại 2 chương trình do SWARMRSI tiến hóa và dùng cho phân tích miễn dịch ruột (MHC-II/Cd74) và lách (CytoCommunity) trên dữ liệu đo thật.

IV. Conclusion & Future Works:

SWARMRSI chứng minh swarm agent khoa học có thể tự cải thiện bằng cách tiến hóa chính những gì các agent kế thừa: feedback từ swarm phân định được nên sửa hypothesis hay vá program, và recombination cứu các kết quả trung gian (kể cả không cải thiện điểm) thành bước đệm cho nghiên cứu sau. Phân tích lỗi cho thấy 93.3% thất bại là can thiệp trung thực nhưng không tăng điểm — cho thấy tiềm năng còn lớn nếu cải thiện khả năng chọn hướng thay vì chỉ sửa lỗi. Hướng tương lai: tăng cường chiến lược khám phá hypothesis, giảm thất bại "không gain", và mở rộng tiến hóa sang workflow/chính sách nghiên cứu của agent.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng recombination liên swarm sang bài toán đồng thời nhiều tác vụ khoa học, trong đó shared graph lưu trạng thái có thể kế thừa giữa các lĩnh vực khác nhau (sinh học, vật liệu, hóa học).
Kết hợp discounted-UCB hiện tại với meta-learning để swarm học cách phân bổ ngân sách token giữa khám phá hypothesis mới và khai thác program hiện có.
Áp dụng tư tưởng tiến hóa research state cho agent thiết kế thí nghiệm thực tế (robot lab), nơi feedback đến từ thiết bị vật lý và chi phí thất bại cao hơn.
Nghiên cứu cơ chế chống lỗi "can thiệp trung thực nhưng không gain" bằng cách dự đoán giá trị kỳ vọng của một hướng sửa đổi trước khi chạy thử nghiệm.

2. Patent:

Nền tảng hỗ trợ nghiên cứu khoa học trên điện thoại: người dùng giao một câu hỏi nghiên cứu, hệ thống đám mây điều phối nhiều agent LLM cùng lập giả thuyết, viết code, chạy thử trên server; đồ thị chung lưu mọi thành công và thất bại để các agent tái sử dụng ý tưởng và đoạn code của nhau, cuối cùng trả về chương trình tốt nhất kèm giải thích.
Hệ thống tự vá lỗi cho công cụ phân tích dữ liệu doanh nghiệp: khi kết quả phân tích kém, hệ thống tự phân định lỗi nằm ở logic phân tích hay cài đặt, sửa đúng chỗ và ghi lại kinh nghiệm để các phân tích tương tự về sau tự động tránh lặp lại.
Công cụ học tập lập trình cộng tác: nhóm sinh viên cùng giải một bài toán, hệ thống tự ghép phần mạnh từ bài của từng bạn (đoạn code nhanh của người này, mô hình chính xác của người kia) thành lời giải hoàn chỉnh và giải thích vì sao mỗi phần được chọn.
Trợ lý nghiên cứu y sinh trong phòng lab: nhà nghiên cứu mô tả bệnh cần phân tích, hệ thống sinh các giả thuyết sinh học, tự viết và chạy chương trình xử lý ảnh/dữ liệu gene, và đề xuất cách kết hợp lại các phương pháp đã thử để đưa ra kết luận có kiểm chứng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20431
ArXiv Abstract	https://arxiv.org/abs/2610.20431
PDF Download	https://arxiv.org/pdf/2610.20431.pdf
Github Repository	N/A

27. SkillMarker: A KGW-Based Watermarking Method for Agent Skill Ownership Verification (14 votes)

Tác giả: Alan Tang, Lifeng Wang, Gang Wu, Tao Zhang, Yantao Jia, et al.

Xuất bản lúc: 2026-10-11

Tag: Watermarking, KGW, LLM Agents, Agent Skills, Copyright Protection, Leakage Tracing, Text Attribution

I. Main Problem:

Agent skills đóng gói chuyên môn miền thành các chỉ dẫn có thể tái sử dụng, nhưng khi phân phối ở dạng plaintext, chúng dễ bị sao chép trái phép, rò rỉ hoặc tích hợp vào skill khác, mà chủ sở hữu gần như không có cách chứng minh quyền sở hữu. Gắn watermark vào skill lại gặp hai thách thức mâu thuẫn nhau:

Bảo toàn chức năng (C1): chỉ dẫn skill là văn bản ngắn gọn, cấu trúc chặt; một thay đổi nhỏ ở điều kiện quyết định (ví dụ >= thành >) có thể làm thay đổi hành vi agent.
Nhúng tín hiệu đủ mạnh (C2): khoảng trống viết lại ít nên bias yếu không tạo đủ tín hiệu, bias mạnh lại làm sai lệch chỉ dẫn cốt lõi.

II. Main Idea:

SkillMarker thừa kế kỹ thuật watermark KGW (chia từ vựng thành green list / red list và nghiêng logit theo khóa bí mật k), kết hợp hai cơ chế chính:

Quality-constrained rewriting: phân tách skill thành protected content (code, API identifier, ngưỡng số, ký tự định dạng Markdown) giữ nguyên tuyệt đối, và editable spans được viết lại với prompt bảo tồn kèm ví dụ đôi, đảm bảo giữ nguyên sự thật, điều kiện, phủ định và giá trị số. Các biến thể token chỉ khác khoảng trắng/dấu chấm được gộp nhóm để chia sẻ green-list membership, token định dạng được miễn bias để không phá cấu trúc Markdown.
Signal-oriented candidate search: dùng beam search dưới phân phối có bias KGW để sinh nhiều cách diễn đạt thay thế; chấm điểm trên toàn văn skill đã tái dựng (không chỉ token vừa sinh), chọn ứng viên qua kiểm tra bảo tồn với tỉ lệ green-token cao nhất, dùng perplexity thấp hơn để phá hòa.
Phát hiện không cần suy luận mô hình: thống kê KGW z-score trên toàn văn hoặc cửa sổ trượt để tìm đoạn bị copy lẫn trong văn bản khác, hỗ trợ gán khóa riêng cho từng bản phân phối để truy vết nguồn rò rỉ.

Ví dụ đời thường: giống thợ kim hoàn khắc dấu chìm lên đồ trang sức — viên đá quý (code, số liệu) được bọc kỹ không đụng đến, chỉ khắc lên phần vành (câu văn mô tả) sao cho dấu ẩn vừa đủ sâu để sau này dùng kính lúp (khóa bí mật) vẫn nhận ra, kể cả khi món trang sức bị cắt ghép vào bộ sưu tập khác.

III. Main Results:

Hiệu năng gần như không suy giảm: hiệu suất tác vụ của skill đã watermark thay đổi −2.01% đến +0.93% so với skill gốc trên bốn bộ dữ liệu (agent-skills, awesome-skills, marketingskills, skill-use-bench); skill gốc vẫn vượt baseline không-skill tới +8.49% đến +40.30%.
Phát hiện copy-paste: phát hiện dạng cửa sổ liên tục nhận diện đoạn sao chép chỉ 1.536 token liên tiếp trong nền văn bản không watermark dài 1.024 hoặc 4.096 token; phát hiện toàn văn chỉ đạt 55.6% trong nền dài, chứng tỏ lợi thế của window-based detection.
Định vị đoạn copy: recall 98.0–99.1%, precision 65.4–69.6% ở cỡ 1.536 token; chia thành 8 mảnh vụn trong nền dài làm phát hiện giảm còn 77.8%.
Chống chịu skill merging: sau khi trộn với 1–3 skill nền, detection rate duy trì 72.2–77.8% với multi-scale union detection, cao hơn hẳn single-window (44.4–58.3%); false-positive trên nhóm đối chứng không watermark ở mức 0–16.7%.
Ablation: bỏ fidelity constraints tăng z-score nhưng giảm chất lượng chỉ dẫn; bỏ beam search, signal-oriented selection hoặc logit bias làm z-score sụt từ 3.01 xuống chỉ 0.65–0.83, chứng minh mọi thành phần đều cần thiết cho đánh đổi chất lượng–tín hiệu.

IV. Conclusion & Future Works:

SkillMarker cho thấy watermark KGW là hướng khả thi để xác minh quyền sở hữu và truy vết rò rỉ skill mà gần như không ảnh hưởng chức năng. Window-based detection giúp tìm nội dung bị pha loãng trong văn bản ngoài; tuy nhiên phân mảnh đoạn copy làm suy yếu phát hiện, nền skill trộn vào làm loãng tín hiệu, và false-positive tăng theo độ nhiễu nền. Hướng tương lai: hiệu chuẩn độc lập ngưỡng thống kê binomial (vì ngữ cảnh lặp và green-list chia sẻ vi phạm giả định phân phối) để có bảo đảm false-positive thực nghiệm, cải thiện độ bền trước phân mảnh và mở rộng cho tỉ lệ trộn skill cao hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SkillMarker chống tấn công phân mảnh: phát triển phương pháp detection tổng hợp nhiều cửa sổ đa tỉ lệ kết hợp ghép mảnh tín hiệu rời rạc để duy trì khả năng nhận diện khi đoạn skill bị cắt nhỏ và rải khắp tài liệu lớn.
Nghiên cứu hiệu chuẩn thống kê cho KGW trong văn bản có cấu trúc: mô phỏng phân phối null có điều kiện để xác định ngưỡng z-score và p-value đáng tin cậy khi ngữ cảnh lặp và nhóm token biến thể làm lệch giả định nhị thức.
Kết hợp watermark văn bản với dấu vết hành vi: gắn watermark song song ở tầng chỉ dẫn và tầng quyết định thực thi của agent để truy xuất nguồn gốc ngay cả khi skill bị viết lại sâu hoặc chỉ còn hành vi sao chép.
Framework quản lý khóa cho hệ sinh thái skill: giao thức cấp, thu hồi và xoay vòng khóa watermark theo từng bản phân phối, tích hợp kiểm toán chất lượng tự động cho nền tảng chia sẻ skill công khai.

2. Patent:

Hệ thống bảo vệ bản quyền skill cho trợ lý AI trên điện thoại: trước khi tải skill lên cửa hàng, máy chủ nhúng watermark bằng khóa riêng của nhà phát triển; khi phát hiện ứng dụng khác có nội dung tương tự, quét bằng cửa sổ trượt để xác minh và định vị đoạn bị sao chép.
Cơ chế truy vết rò rỉ tài liệu nội bộ bằng khóa riêng cho từng người nhận: mỗi bản gửi của một tài liệu hướng dẫn vận hành được nhúng dấu ẩn khác nhau; khi tài liệu xuất hiện ngoài, xác định ngay người để lộ nhờ khóa tương ứng, kể cả khi tài liệu bị cắt ghép.
Trình bổ sung watermark cho ứng dụng ghi chú và quy trình làm việc: nút 'xuất bản có bảo vệ' tự viết lại phần văn xuôi của ghi chú trong khi giữ nguyên code và số liệu, đồng thời chèn dấu ẩn để chủ sở hữu chứng minh nguồn gốc khi nội dung bị đăng lại.
Dịch vụ kiểm toán skill của bên thứ ba trên đám mây: nền tảng nhận skill nghi ngờ, chấm điểm tín hiệu watermark, kiểm tra chất lượng chỉ dẫn và xuất báo cáo xác minh quyền sở hữu mà không tiết lộ khóa bí mật cho người kiểm toán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15725
ArXiv Abstract	https://arxiv.org/abs/2610.15725
PDF Download	https://arxiv.org/pdf/2610.15725.pdf
Github Repository	https://github.com/fuxi-ailabs/SkillMarker

28. RAR: Rate-Adaptive Rollout for Time-Consistent Interactive World Models (14 votes)

Tác giả: Yaoyang Liu, Dongyu Yan, Yihua Du, Shengju Qian, Zeke Xie, et al.

Xuất bản lúc: 2026-10-12

Tag: World Models, Interactive Video Generation, Video Diffusion, RoPE, Positional Encoding, Autoregressive Generation, Game Simulation

I. Main Problem:

Các mô hình thế giới tương tác (interactive world models) hiện tại đều huấn luyện và sinh video ở một tốc độ thời gian cố định (fixed temporal rate), dẫn đến hiện tượng tác giả gọi là temporal-rate coupling với hai hệ quả:

Rate–throughput mismatch: thế giới mô phỏng chỉ chạy đúng tốc độ khi throughput máy (r updates/giây) khớp với tốc độ đã học (f rollout). Nếu GPU yếu hơn, thế giới chạy chậm hơn thực tế; nếu mạnh hơn thì chạy nhanh quá — người chơi di chuyển sai khoảng cách, sai timing.
Rate–horizon trade-off: với ngân sách cửa sổ N frame cố định, tốc độ cao thì mượt nhưng chỉ nhìn xa T = (N-1)/f ngắn; tốc độ thấp thì nhìn xa hơn nhưng chuyển động thô. Muốn cả hai phải tăng chiều dài chuỗi huấn luyện, rất tốn kém.

II. Main Idea:

Tác giả đề xuất Rate-Adaptive Rollout (RAR): cho phép world model huấn luyện và rollout ở nhiều tốc độ thời gian khác nhau thông qua một biến duy nhất — stride s (khoảng cách vật lý giữa hai frame liên tiếp).

Stride-RoPE: sửa RoPE để tọa độ vị trí frame n là p_n = n·s thay vì p_n = n, quy mọi frame về cùng một hệ trục thời gian vật lý. Nhờ đó hai khoảng thời gian vật lý bằng nhau luôn tạo cùng một relative phase bất kể lấy mẫu ở rate nào — không thêm tham số học, khi s = 1 khôi phục lại RoPE chuẩn.
Multi-rate training: lấy mẫu video + tín hiệu điều khiển đồng bộ ở nhiều stride; mẫu rate mịn bắt động lực học cục bộ, mẫu rate thô phủ horizon vật lý dài hơn, cùng ngân sách N frame.
Rate-controlled rollout + online rate switching: tại inference chọn stride tự do (kể cả rate chưa thấy trong huấn luyện), có thể đổi rate giữa chừng mà không xóa KV cache hay đánh lại lịch sử — tọa độ p_n chỉ là tổng lũy kế các stride đã chọn.

Ví dụ đời thường: giống đồng hồ có thể chỉnh kim giây chạy nhanh hay chậm tùy nắc máy — giờ thì mặt đồng hồ vẫn chỉ đúng giờ thực dù kim quay nhanh hay chậm, thay vì cố định một nhịp rồi lệch giờ khi máy yếu.

III. Main Results:

Multi-rate generation (Q1): một model duy nhất rollout nhất quán ở cả rate đã huấn luyện lẫn rate trung gian chưa từng thấy (VD: 49 FPS nội suy giữa 35 và 70 FPS trên Doom). Độ lệch speed ratio |SR - 1| chỉ khoảng 3.5–4.0% trên cả 3 môi trường (Doom, CS2, FPV drone).
Horizon mở rộng: giữ nguyên số frame sinh, hạ rate rollout giúp kéo dài horizon vật lý 5x trên Doom, 4x trên CS2, 3x trên FPV, với LPIPS chỉ tăng nhẹ 6.1–11.4% và DOVER tương đương.
Online rate switching (Q2): model bám theo lịch stride thay đổi liên tục trong một rollout duy nhất, Pearson correlation 0.998 (đường cong mượt) và 0.970 (nhảy bậc đột ngột), không cần reset KV cache.
Giải trade-off rate–horizon (Q3): dưới ngân sách updates/time ngang nhau, RAR tốt hơn model single-rate 70 FPS ở rate thấp mà không mất chất lượng ở 70 FPS; còn vượt cả model huấn luyện với cửa sổ 425/849 frame dài hơn.
Portable (Q4): fine-tune hai giai đoạn lên SANA-WM pretrained cải thiện rate fidelity ở nhiều rate trong khi giữ nguyên chất lượng cảm quan (LPIPS không tăng ở rate nào).

IV. Conclusion & Future Works:

RAR phá vỡ temporal-rate coupling bằng cách đưa tốc độ thời gian trở thành biến điều khiển được của world model: Stride-RoPE căn các frame về chung tọa độ thời gian vật lý, multi-stride training học động lực học ở mọi tầm nhìn, còn rollout đổi rate trực tuyến được. Kết quả là world model tương tác chạy được đúng nhịp thực tế trên mọi phần cứng, vừa mượt vừa nhìn xa, không cần huấn luyện lại theo từng GPU — một bước thực dụng hướng tới neural game engine triển khai thật. Tác giả không nêu hướng tương lai cụ thể trong phần trích; hướng tự nhiên là mở rộng dải rate ngoài phạm vi huấn luyện và tích hợp sâu hơn vào các hệ world model quy mô lớn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng RAR để rollout vượt ra ngoài dải stride đã huấn luyện (extrapolation rate) thay vì chỉ nội suy trong dải.
Kết hợp Rate-Adaptive Rollout với chiến lược adaptive computing: tự điều chỉnh stride theo độ phức tạp của cảnh để tiết kiệm chi phí sinh mà không mất độ mượt.
Áp dụng tọa độ thời gian vật lý kiểu Stride-RoPE cho video generation ngoài tuyến (offline long-video) để điều khiển pacing câu chuyện theo thời gian thực.
Khảo sát mối quan hệ giữa tốc độ rollout và độ trễ cảm nhận của người chơi để xây dựng bộ điều khiển rate tối ưu theo trải nghiệm người dùng trong game.

2. Patent:

Game streaming điều chỉnh tốc độ thế giới theo phần cứng người chơi: điện thoại có thể chơi cùng game với PC mà thế giới vẫn diễn tiến đúng tốc độ thực — hệ thống tự đo throughput và chuyển stride sinh ảnh tương ứng, không làm giật hình hay sai timing nhân vật.
Trình mô phỏng huấn luyện AI cho xe tự hành/drone trên điện thoại: mô hình thế giới tự chọn bước thời gian vật lý linh hoạt để vừa phản ứng nhanh với tác vụ lái, vừa mô phỏng được hành trình dài với bộ nhớ có hạn.
Chế độ 'tiết kiệm pin' cho game thực tế ảo trên thiết bị di động: khi máy nóng hoặc pin yếu, game tự giảm tần suất sinh khung hình nhưng giữ nguyên tốc độ trôi của thế giới bằng cách tăng khoảng thời gian vật lý mỗi khung, tránh hiện tượng game chậm lại.
Hệ tạo video tương tác có nút 'tua nhanh/tua chậm thế giới' mượt mà: người dùng kéo thanh tốc độ trong lúc đang chơi/mô phỏng, thế giới đổi nhịp thời gian ngay lập tức mà không giật, không mất cảnh đã tạo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16302
ArXiv Abstract	https://arxiv.org/abs/2610.16302
PDF Download	https://arxiv.org/pdf/2610.16302.pdf
Github Repository	https://github.com/HKUST-LongGroup/RAR

29. ProgAgent: Learning Tool Orchestration through Programmatic Training (13 votes)

Tác giả: Hao Li, Keqing He, Longtao Zheng, Junlong Li, Weihao Zeng, et al.

Xuất bản lúc: 2026-10-10

Tag: Tool Orchestration, LLM Agents, Reinforcement Learning, Supervised Fine-Tuning, Context Management, Programmatic Tool Calling, Agent Training

I. Main Problem:

Các LLM agent dùng Direct Tool Calling (DTC) — gọi từng tool tuần tự qua nhiều lượt — bị context rot và orchestration breakdown khi tool output thô tích lũy trong context trong các tác vụ long-horizon (dữ liệu lớn, nhiều bước, cần lặp/điều kiện/xử lý lỗi). Ngoài ra, ba khoảng trống cản việc huấn luyện theo hướng Programmatic Tool Calling (PTC — gọi tool qua code, kết quả trung gian nằm trong biến runtime):

thiếu tác vụ long-horizon có verifier (thưởng xác minh được) phù hợp PTC
thiếu runtime PTC giữ trạng thái thực thi xuyên lượt và cô lập episode cho RL
chưa rồi liệu huấn luyện PTC có cải thiện orchestration và chuyển giao sang DTC không.

II. Main Idea:

ProgAgent — một stack huấn luyện PTC đầy đủ gồm ba thành phần:

Tổng hợp tác vụ có thể xác minh: sinh nhiệm ý từ 23 domain, xây database + workspace; giữ cố định instruction/logic/schema và scale trạng thái môi trường theo cấp số nhân (v0→v3, kích thước ~gấp đôi mỗi cấp) để kiểm soát độ khó; kiểm bằng oracle solution tự test và audit độc lập, lọc độ khó (chỉ giữ tác vụ pass rate trong (0, 0.8)) → chỉ 215 tác vụ × 4 scale = 860 instance
Runtime PTC nhẹ: kernel IPython persistent trong sandbox (Bubblewrap), tool proxy gọi vào môi trường, biến runtime giữ nguyên xuyên lượt, chỉ output đã print mới vào context
Hai giai đoạn huấn luyện: cold-start SFT trên teacher trajectories, rồi RL (GSPO) với thưởng nhị phân từ verifier Python

Điểm mấu chốt: thay vì nhồi mọi output tool vào hội thoại, model viết chương trình điều phối tool — vận dụng sẵn kỹ năng lập trình (vòng lặp, if, try/except) đã học pre-training, và tự chọn in ra điều gì cần thiết.

Ví dụ đời thường: giống nhân viên xử lý 800 đơn hàng — thay vì đọc từng tờ hồ sơ dán đầy lên bàn làm việc, anh ta viết một đoạn script chạy ngầm, chỉ đặt lên bàn tờ tổng kết cuối cùng cần ký.

III. Main Results:

Chỉ với 215 tác vụ (rất nhỏ so với baseline dùng nghìn tới 1.5M trajectories), ProgAgent vượt mọi baseline cùng cỡ ở 4 benchmark: MCPMark (8B: 18.3%, 14B: 29.7%), Toolathlon-Verified (9.3% / 17.1% — baseline tối đa 2.8% / 1.9%), MCP-Atlas (14B: 45.6%, ngang Claude Sonnet-4.5).
LOCA-bench: ở trạng thái môi trường 64k token, các baseline cùng cỡ đều 0%, ProgAgent-14B đạt 30.7% — chống context rot rõ rệt.
Phân tích RL: PTC giảm ~20% token tool output (xuống dưới 20k/episode), dùng ~một nửa số tool calls so với DTC, reward RL tăng 0.50→0.70 (DTC chỉ 0.08→0.15), runtime errors giảm từ 6.4 xuống 3.6/episode.
~82% chương trình sinh ra dùng vòng lặp, ~65% dùng điều kiện — model thực sự orchestrate bằng code.
Cross-harness: model huấn luyện PTC thắng cả khi evaluate bằng DTC (MCP-Atlas 14B: +11.9 điểm so với DTC-trained) — lợi ích đến từ bản thân paradigm huấn luyện, không chỉ giao diện.
PTC thuần > Hybrid (PTC+DTC): không gian hành động thống nhất giúp học tốt hơn.
Training trên cả 4 scale tốt hơn chỉ v0 (LOCA-bench 14B: 38.3% vs 23.7%).

IV. Conclusion & Future Works:

PTC không chỉ là tối ưu lúc inference mà là paradigm huấn luyện hiệu quả cho tool orchestration, và lợi ích chuyển giao sang cả DTC. Pipeline tổng hợp tác vụ + runtime mở ra cơ sở nghiên cứu PTC training ở nhiều scale môi trường. Hạn chế còn lại: (1) trong môi trường phức tạp (như Playwright) agent đôi khi lùi về hành vi DTC — 40.7% lệnh PTC chỉ gọi 1 tool không control flow; (2) server MCP không tuân thủ trường isError làm mất cơ chế phục hồi bằng exception (pass rate LOCA-bench giảm ~5 điểm). Hướng đi: nghiên cứu sâu hơn cách programmatic training định hình hành vi tool-use xuyên giao diện và cải thiện độ tin cậy xử lý lỗi.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyển giao ngược: huấn luyện agent bằng Programmatic Tool Calling rồi distill hành vi orchestration sang kiến trúc Direct Tool Calling có giới hạn context chặt, phục vụ triển khai trên thiết bị biên.
Kết hợp ProgAgent với kiến trúc phân cấp: model tự quyết định khi nào sinh chương trình PTC dài hạn và khi nào gọi tool đơn lẻ, dựa trên độ phức tạp ước lượng của tác vụ.
Mở rộng pipeline tổng hợp tác vụ có verifier sang môi trường web động (trình duyệt, API thật) với thưởng đa cấp thay vì nhị phân, để huấn luyện RL cho tác vụ mở không có đáp án đúng duy nhất.

2. Patent:

Trợ lý AI trên điện thoại điều phối nhiều ứng dụng bằng code: thay vì chuyển tiếp từng kết quả giữa các app (lịch, email, bản đồ, ví), trợ lý sinh một đoạn script thực thi trong sandbox, lưu kết quả trung gian trong biến và chỉ hiển thị cho người dùng kết quả cuối cùng — tiết kiệm bộ nhớ và pin.
Hệ thống tự động hóa văn phòng trên đám mây cho doanh nghiệp: nhân viên ra lệnh bằng ngôn ngữ tự nhiên, hệ thống sinh chương trình gọi tuần tự các API nội bộ (CRM, kho, kế toán), tự xử lý lỗi bằng cơ chế ngoại lệ và in báo cáo tổng hợp — kèm verifier tự động kiểm tra tính đúng đắn của kết quả.
Nền tảng huấn luyện agent có thưởng xác minh cho thiết bị di động: tạo tác vụ mô phỏng từ dữ liệu người dùng, scale kích thước dữ liệu theo nhiều mức để huấn luyện mô hình nhỏ chạy cục bộ, có chấm điểm tự động bằng script kiểm tra trạng thái cuối cùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14774
ArXiv Abstract	https://arxiv.org/abs/2610.14774
PDF Download	https://arxiv.org/pdf/2610.14774.pdf
Github Repository	https://github.com/hkust-nlp/ProgAgent

30. Long-Horizon RL Needs Muon (13 votes)

Tác giả: Kai Ruan, Jinghao Lin, Tao Chen, Ziqi Zhou, Qianshan Wei, et al.

Xuất bản lúc: 2026-10-14

Tag: Reinforcement Learning, Muon, Agentic RL, Software Engineering Agents, Policy Optimization, Reward Shaping, Importance Sampling, Long-Horizon Agents

I. Main Problem:

Huấn luyện tác tử sửa issue mức repository là bài toán dài hạn, phần thưởng thưa: mô hình phải đọc issue, duyệt code, chỉnh sửa, chạy test nhiều lượt, nhưng cuối cùng chỉ nhận phần thưởng nhị phân qua/fail. Ba khó khăn chính:

Độ dài quỹ đạo khác nhau khiến mỗi rollout đóng góp mất cân bằng vào gradient.
Thu thập bất đồng bộ tạo độ trễ giữa policy đang sinh rollout và policy đang học.
Optimizer có thể khiến học từ phần thưởng cuối cùng kém ổn định hoặc collapse, đặc biệt ở mô hình nhỏ.

II. Main Idea:

Bài báo xây dựng một công thức huấn luyện single-rollout, bất đồng bộ cho tác tử sửa phần mềm, trong đó nghiên cứu vai trò của Muon so với Adam khi kết hợp với SPO/SPO++. Các thành phần chính:

Muon cập nhật hidden weight matrices bằng hướng gần trực giao hóa của momentum, giữ singular vectors và chuẩn hóa độ lớn cập nhật theo spectral norm; embedding, output head, normalization và vector parameters vẫn dùng AdamW.
Phần thưởng định hình: phạt câu trả lời dài và lỗi dùng tool, cộng vào advantage của từng token hợp lệ trước chuẩn hóa.
Truncated importance sampling với ngưỡng C=2 để chỉnh độ lệch giữa policy sinh rollout và policy đang train.
Token-averaged loss để quỹ đạo dài đóng góp tương ứng số token, thay vì sequence mean trọng bình đẳng mọi quỹ đạo.
PPO-style clipping bất đối xứng theo Clip-Higher: epsilon thấp 0.2, epsilon cao 0.28.

Cơ chế cốt lõi là dùng optimizer ổn định hơn cho lớp ẩn, phạt hành vi tạo nhiễu dài/lỗi tool, rồi hiệu chỉnh trọng số từng token để học không bị lệch do rollout bất đồng bộ.

Ví dụ đời thường: giống học việc sửa máy chỉ được chấm cuối ca là xong hay hỏng, nhưng người hướng dẫn vẫn trừ điểm nói dài, dùng sai đồ nghề, đồng thời xem xét lại từng thao tác xem nó thuộc quy trình cũ hay mới để không cộng nhầm công cho cách làm lỗi thời.

III. Main Results:

Recipe đầy đủ đạt training success cao hơn các baseline SPO + Adam và SPO + Muon ở cả hai họ mô hình: MiniCPM5-2B và Qwen3.5-4B.
Các giá trị nổi bật được báo cáo cho recipe đầy đủ là khoảng 84.4% trên MiniCPM5-2B và 74.1% trên Qwen3.5-4B.
Kết quả hỗ trợ rằng Muon không chỉ thay optimizer, mà còn phát huy khi đi cùng chuẩn hóa advantage, ước lượng outcome theo task, clipping, importance correction và auxiliary penalties.
Nhiều cấu hình dùng Adam xuất hiện collapse hoặc suy giảm success trong quá trình train, trong khi recipe Muon đầy đủ duy trì cải thiện.
Ablation cho thấy bỏ length penalty, tool-error penalty hoặc TIS có thể làm giảm ổn định/hiệu quả; token-level và sequence-level averaging có độ nhạy khác nhau khi thiếu length penalty.

IV. Conclusion & Future Works:

Kết luận: kết hợp Muon + single-rollout asynchronous updates + importance correction + reward shaping cho training success cao hơn các baseline SPO trong các run được chọn trên cả hai mô hình. Bài báo nhấn mạnh optimizer là một phần quan trọng của recipe cho tác tử dài hạn, không chỉ là lựa chọn kỹ thuật thay thế đơn lẻ.

Hướng mở rộng hợp lý: kiểm chứng trên nhiều seed và mô hình lớn hơn, đánh giá ngoài training success sang benchmark issue resolution, phân tích lý do Muon ổn định hơn Adam trong môi trường bất đồng bộ, và tìm cách giảm collapses khi reward quá thưa.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu hệ tác tử sửa phần mềm được huấn luyện bằng cách lấy mẫu từng quỹ đạo bất đồng bộ, với phần thưởng cuối cùng là test pass/fail, phạt câu trả lời dài và lỗi dùng công cụ, đồng thời chỉnh trọng số từng token để bù độ trễ giữa policy sinh rollout và policy đang học.
Phân tích optimizer cho reinforcement learning dài hạn: so sánh phương pháp cập nhật lớp ẩn theo hướng trực giao với Adam trong môi trường có phần thưởng thưa, quỹ đạo dài, công cụ gọi ngoài và rollout bất đồng bộ.
Khảo sát cách cộng loss theo token hoặc theo chuỗi ảnh hưởng tới quỹ đạo dài/ngắn trong huấn luyện tác tử lập trình, kèm tác động của các hình phạt phụ vào độ ổn định huấn luyện.
Xây dựng benchmark mở cho tác tử coding nhỏ nhằm đo độ bền huấn luyện, tỉ lệ collapse và khả năng tổng quát khi thay optimizer, reward shaping và cách gom loss.

2. Patent:

Hệ thống huấn luyện trợ lý sửa lỗi code trên điện thoại: mỗi issue chỉ cần một lượt thử của tác tử, kết quả test cuối cùng làm phần thưởng, còn câu trả lời quá dài hoặc lệnh công cụ lỗi bị trừ điểm; trọng số từng bước được chỉnh để bù độ trễ giữa phiên thử và phiên cập nhật.
Ứng dụng IDE di động tự tinh chỉnh trợ lý lập trình: cloud chạy thử sửa đổi trong sandbox, chấm pass/fail bằng test, gửi về điện thoại nhị phân kết quả cùng tín hiệu phụ về độ dài phản hồi và lỗi công cụ để cải thiện phiên làm việc tiếp theo.
Dịch vụ review pull request trên điện thoại có học tăng cường: tác tử đề xuất patch, chạy test tự động, nhận phần thưởng khi patch hợp lệ; hệ thống ghi nhận lỗi gọi command, session hỏng hoặc phản hồi lan man để giảm hành vi gây nhiễu trong lần duyệt sau.
Module quản lý rollout bất đồng bộ cho trợ lý kỹ thuật trên thiết bị di động: khi rollout đang chạy, phiên học có thể cập nhật policy mới; hệ thống tự đánh trọng số các token đã sinh theo mức khác biệt giữa policy cũ và mới để tránh học sai từ dữ liệu lệch phân phối.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20256
ArXiv Abstract	https://arxiv.org/abs/2610.20256
PDF Download	https://arxiv.org/pdf/2610.20256.pdf
Github Repository	N/A

31. GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning (13 votes)

Tác giả: Qingsong Xie, Jiahao Tian, Jiacheng Tang, Zhifeng Li, Madalina Ciobanu, et al.

Xuất bản lúc: 2026-10-13

Tag: GUI Grounding, Vision-Language Models, Reinforcement Learning, Supervised Fine-Tuning, Distillation, Multimodal Agents, Dataset

I. Main Problem:

GUI grounding — ánh xạ câu lệnh ngôn ngữ tự nhiên sang tọa độ pixel của phần tử trên màn hình — là năng lực nền tảng cho GUI agents, nhưng đang bị 3 nút thắt:

Thiếu dữ liệu chất lượng cao phủ đồng thời desktop, web và mobile; các bộ dữ liệu mở hiện có thì thiếu đa dạng, nhiều nhãn sai (label noise từ accessibility tree, dữ liệu HTML thiên về phần tử có chữ hơn icon), gần như không có mẫu refusal (từ chối khi yêu cầu không khả thi).
Supervised Fine-Tuning (SFT) dễ overfit theo từng miền dữ liệu, khái quát hóa kém.
Reinforcement Learning (GRPO/RLOO) gặp vấn đề sparse reward: trên các mẫu khó (icon nhỏ, quan hệ không gian), mọi rollout đều trả về phần thưởng 0 nên không có tín hiệu học.

Các mô hình mạnh (UI-Venus, Step-GUI, Holo2) dùng dữ liệu closed-source, không công bố cho cộng đồng.

II. Main Idea:

Bài báo đề xuất 2 đóng góp kết hợp để giải quyết nút thắt dữ liệu và huấn luyện:

1. ScreenRef — bộ dữ liệu GUI grounding mới gồm 586K screenshot và 633K referring expressions phủ desktop/web/mobile, độ phân giải 0.1–8.3MP, gồm 4 loại tác vụ: text recognition, visual matching, spatial understanding và refusal. Dữ liệu được thu bằng 2 đường:

Đường 1: thu thập screenshot từ Accessibility Tree / DOM / XML layout, lọc nhiễu bounding box bằng OmniParser (loại box có IoU < 0.5), sinh câu hỏi bằng Qwen3-VL-235B và xác minh bằng Qwen3.8-27B.
Đường 2: cào video tutorial trên YouTube, trích keyframe bằng chênh lệch khung + YOLOv8 phát hiện con trỏ, GPT-5.5 sinh hành động/câu lệnh, Qwen3.7-Plus dự đoán tọa độ (chưa chắc thì Claude Opus 5 làm lại, dưới ngưỡng tin cậy 0.95 thì bỏ).

2. D2RL (Distillation-to-Reinforcement Learning) — khung 2 giai đoạn:

Giai đoạn I — On-Policy Self-Distillation (OPSD): giáo viên là bản copy đóng băng của chính model SFT, nhưng được xem ảnh có box mục tiêu được tô sáng kèm gợi ý; học sinh chỉ xem ảnh gốc. Hai model cùng chấm điểm token trên rollout của học sinh, tối ưu KL divergence có trọng số theo vị trí chữ số tọa độ (sai chữ số hàng trăm gây lệch lớn hơn hàng đơn vị) → tạo chính sách khởi đầu tốt, giảm phụ thuộc vào sparse reward.
Giai đoạn II — RLOO: củng cố bằng RL với phần thưởng đơn giản điểm click có nằm trong box mục tiêu không, so reward từng rollout với trung bình nhóm (leave-one-out baseline).

Ví dụ đời thường: giống lớp học nghề — thầy giáo đứng ngay cạnh máy, tay chỉ sẵn đúng nút cần bấm, tận mắt xem trò làm và sửa từng động tác tay (OPSD); sau khi trò đã quen tay, thầy rời đi và chỉ chấm điểm dựa trên kết quả cuối — bấm trúng hay trượt (RLOO).

III. Main Results:

GroundGUI-8B (Qwen3-VL-8B-Instruct + SFT trên ScreenRef + D2RL) đạt: 95.2% ScreenSpot-V2, 63.9% ScreenSpot-Pro, 65.4% OSWorld-G, 86.8% MMBench-GUI L2, 38.3% UI-Vision.
Vượt toàn bộ model open-source cùng cỡ 7–8B, và vượt cả nhiều model 32B (ScaleCUA-32B, OpenCUA-32B, GTA1-32B, GUI-Owl-32B, Qwen3-VL-32B).
So với base Qwen3-VL-8B: +3.5 điểm ScreenSpot-V2, +5.5 MMBench-GUI L2, +14.0 ScreenSpot-Pro, +10.6 OSWorld-G, +20.8 UI-Vision.
Vượt các model closed-source cùng cỡ: Step-GUI-8B (+1.3 ScreenSpot-Pro), Holo2-8B, MolmoPoint-8B, COPC-8B.
So với fine-tune cùng nền trên dữ liệu khác: ScreenRef SFT hơn ScaleCUA +3.5 và GroundCUA +2.7 điểm trung bình (trội nhất ở OSWorld-G nhờ mẫu refusal, và ScreenSpot-Pro nhờ đa dạng/độ chính xác nhãn cao).
Ablation (Table 8): SFT=68.0 → +OPSD=69.1, +RLOO=68.9, D2RL đầy đủ=69.9 — vượt cả biến thể train gấp đôi dữ liệu RL (RLOO†=69.1), chứng minh lợi ích đến từ chính sách khởi đầu tốt của OPSD chứ không phải exposure thêm dữ liệu.
ScreenRef, code và model được công bố mở (github.com/PrentisAI/GroundGUI).

IV. Conclusion & Future Works:

Bài báo chứng minh chất lượng dữ liệu và chiến lược huấn luyện quan trọng hơn quy mô tham số trong GUI grounding: bộ dữ liệu ScreenRef đa nền tảng, có xác minh đa tầng và mẫu refusal, kết hợp D2RL (OPSD làm mềm sparse reward cho RL phát huy) cho model 8B vượt nhiều model 32B và ngang hoặc hơn model closed-source cùng hạng.

Công bố dữ liệu, code và checkpoint (Apache 2.0 cho code/model; ScreenRef dưới license nghiên cứu phi thương mại) để thúc đẩy nghiên cứu tiếp theo. Tài liệu cũng nêu rủi ro: dataset chưa qua audit quyền riêng tư hệ thống, và grounding tốt có thể bị lạm dụng cho automation trái phép.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng phương pháp D2RL (OPSD → RLOO) cho các tác vụ grounding đầu ra cấu trúc khác: không chỉ tọa độ click mà còn vùng chọn, kéo-thả, cuộn đa điểm, nơi việc gán trọng số theo vị trí token đầu ra cũng quyết định chất lượng.
Kết hợp mẫu refusal trong ScreenRef với RL có phần thưởng refusal-aware, để agent vừa click chính xác vừa biết khi nào nên từ chối hành động thay vì đoán mò.
Tái sử dụng pipeline trích keyframe từ video tutorial (YOLOv8 + GPT-5.5 + grounding có cổng tin cậy) để xây dữ liệu grounding cho phần mềm chuyên ngành hiếm (CAD, IDE, phần mềm y tế) nơi không có accessibility tree đáng tin.

2. Patent:

Trợ lý điều khiển điện thoại thông minh: người dùng nói "gửi tin nhắn cho Lan", ứng dụng quét màn hình, xác định chính xác biểu tượng và vị trí nút cần bấm rồi thực hiện, kèm khả năng từ chối khi không tìm thấy đúng mục tiêu thay vì bấm nhầm.
Hệ thống kiểm thử tự động giao diện phần mềm: tự sinh câu lệnh dạng ngôn ngữ tự nhiên mô tả thao tác, định vị phần tử trên màn hình desktop/web/mobile ở nhiều độ phân giải khác nhau và tự động click kiểm tra ứng dụng chạy đúng không, giảm công viết script test tay.
Công cụ hỗ trợ người khiếm thị/khuyết tật thao tác máy tính: nhận lệnh nói, định vị chính xác nút bấm trên màn hình (kể cả icon không chữ, các mối quan hệ không gian như "nút bên trái ô tìm kiếm") và hướng dẫn hoặc thực hiện thao tác thay người dùng.
Cơ chế đào tạo nội bộ cho model điều khiển giao diện: giai đoạn 'giáo viên được gợi ý vị trí đúng' rồi mới chuyển sang học bằng thưởng-phạt đúng/sai, giúp model thu nhỏ học nhanh trên các thao tác khó mà không cần dữ liệu khổng lồ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19100
ArXiv Abstract	https://arxiv.org/abs/2610.19100
PDF Download	https://arxiv.org/pdf/2610.19100.pdf
Github Repository	https://github.com/PrentisAI/GroundGUI

32. Apertus 1.5: From Open Text Models to Open Multimodal Reasoners (12 votes)

Tác giả: Project Apertus, Yixuan Xu, Yassine Turki, Vinko Sabolčec, Valentina Pyatkin, et al.

Xuất bản lúc: 2026-10-11

Tag: Open-Source LLM, Multimodal, Reinforcement Learning, Preference Optimization, Long Context, Tokenization, Instruction Following

I. Main Problem:

Các mô hình ngôn ngữ mạnh nhất chỉ truy cập qua API độc quyền; ngay cả mô hình 'open-weight' cũng thường giấu dữ liệu, code, công thức huấn luyện và giá trị đằng sau. Các mô hình hoàn toàn mở (mở toàn bộ 5 trục: weights, data, code, recipes, values) ngày càng hiếm và vẫn thua xa các mô hình open-weight về năng lực.

Apertus 1.0 chứng minh được huấn luyện mở quy mô lớn (15T tokens, 1000+ ngôn ngữ), nhưng chỉ hiểu văn bản, context ngắn, thiếu chế độ suy luận sâu. Bài toán: nâng cấp mô hình mở lên đa phương thức (ảnh + âm thanh) và suy luận mạnh hơn mà vẫn giữ nguyên cam kết mở toàn diện và không tụt năng lực văn bản.

II. Main Idea:

Tiếp tục pretrain (continued pretraining) tại chỗ từ checkpoint Apertus 1.0: thêm ~4T tokens cho bản 8B và 2T cho bản 70B gồm text + ảnh + audio. Điểm then chốt:

Đa phương thức đi qua tokenizer: ảnh và âm thanh được mã hóa thành token rời rạc (131k mã ảnh từ Emu3.5, 4k mã âm thanh) nối vào vocab hiện có; mô hình vẫn dùng một mục tiêu next-token prediction duy nhất cho mọi phương thức.
Không cần encoder riêng (khác LLaVA): không vision encoder chạy trong forward pass, throughput ngang huấn luyện text thuần (~5.500 tokens/GPU/giây).
Kiến trúc không đổi; đầu ra vẫn chỉ dự đoán text.
Pipeline 4 giai đoạn: dữ liệu unpaired (ảnh/audio thuần) → dữ liệu paired (ảnh-chú thích) → cooldown chất lượng cao → mở rộng context 8k → 262k.
Post-training đầy đủ: SFT (có SFT context dài), RLVR (reinforcement learning với phần thưởng kiểm chứng được), DPO, và SDPO (charter alignment tự cất giảng).
Thinking mode là một cờ trong chat template, không phải mô hình riêng — bật lên giúp suy luận toán tăng tới 20 điểm ở bản 8B.

Ví dụ đời thường: giống một học sinh giỏi văn không cần học lại từ đầu mà chỉ đi học thêm môn mới bằng cách đọc sách tranh và nghe băng ghi âm của chính ngôn ngữ mình đã thạo — mọi kiến thức mới đều được 'dịch' về ngôn ngữ quen thuộc qua một cuốn từ điển chung (tokenizer), nên nền văn không hề mất đi.

III. Main Results:

Vượt người tiền nhiệm ở gần như mọi benchmark; bản 8B dẫn đầu nhóm mô hình fully open về kiến thức, instruction following và văn hóa/ngôn ngữ.
Instruction following của 8B vượt mọi mô hình được so sánh, kể cả open-weight.
Thinking mode nâng suy luận toán lên tới +20 điểm trên bản 8B.
Context window tăng gấp 4 lần: lên 262.144 tokens.
Ảnh/audio: lần đầu cho dòng Apertus, cạnh tranh với mô hình đa phương thức mở cùng lớp; mạnh nhất ở hiểu tài liệu (document understanding) và nhận dạng giọng nói dài / ngôn ngữ ít tài nguyên; các mô hình chuyên hóa vẫn nhỉnh hơn ở nhận thức ảnh và phiên âm tiếng Anh.
Multimodal training không phạt throughput: ~5.474 tokens/GPU/giây so với 5.300–5.500 của text thuần ở cùng cấu hình.
Hiệu quả năng lượng và hạ tầng được đo đạc chi tiết trên siêu máy tính Alps (CSCS).

IV. Conclusion & Future Works:

Apertus 1.5 chứng minh mô hình hoàn toàn mở (mở weights, data, code, recipes, values) không còn phải đánh đổi năng lực để lấy tính minh bạch: chỉ bằng cách nhét đa phương thức qua tokenizer và một pipeline post-training chuẩn (SFT → RLVR → DPO → SDPO), một LLM văn bản mở có thể nâng cấp thành multimodal reasoner cạnh tranh, với thinking mode chỉ là cờ hỏi-template. Cam kết về dữ liệu mở, tôn trọng crawler opt-out (cả hồi tố) và loại trừ dữ liệu cấp phép hạn chế được giữ nguyên. Hướng tương lai (suy luận từ giới hạn tự nêu): thu hẹp khoảng cách với mô hình chuyên hóa về nhận thức ảnh và phiên âm ngôn ngữ giàu tài nguyên, cải thiện an toàn (over-refusal, hallucination), và mở rộng cộng đồng đánh giá độc lập theo Apertus charter.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyển giao cross-lingual cho thinking mode: liệu chế độ suy luận tăng +20 điểm trên toán có mang lại lợi ích tương tự cho các ngôn ngữ ít tài nguyên, nhờ nền đa ngôn ngữ 1000+ ngôn ngữ của Apertus.
Phân tích ảnh hưởng của stage unpaired (ảnh/audio thuần trước paired) lên khả năng hiểu tài liệu và giọng nói dài — hai điểm mạnh nhất của mô hình — để tối ưu tỷ lệ trộn dữ liệu.
Đánh giá độc lập tính tái lập (reproducibility) của toàn bộ pipeline: một nhóm thứ ba tự huấn luyện lại Apertus 1.5 8B chỉ từ artifacts đã mở (code, data, recipes) để đo mức độ 'open toàn phần' thực sự.

2. Patent:

Ứng dụng điện thoại đọc hiểu giấy tờ đa ngôn ngữ: người dùng chụp ảnh hợp đồng, hóa đơn hoặc đơn thuốc; mô hình tự động đọc, tóm tắt và trả lời câu hỏi bằng ngôn ngữ người dùng chọn, đặc biệt tốt cho tài liệu và ngôn ngữ ít tài nguyên vốn là điểm mạnh của mô hình này.
Trợ lý ghi chú cuộc họp bằng giọng nói dài trên điện thoại: ghi âm cuộc họp kéo dài hàng giờ rồi gửi lên xử lý — nhờ cửa sổ context 262.000 token, toàn bộ buổi họp được phiên âm, tóm tắt và trích xuất việc cần làm trong một lần chạy, không cần cắt nhỏ audio.
Hệ thống dịch thuật trên thiết bị di động tôn trọng văn hóa địa phương: ứng dụng dịch tin nhắn/tài liệu nhưng giữ nguyên cách xưng hô, thành ngữ và phong tục của từng vùng miền, dựa trên thế mạnh đánh giá văn hóa đa ngôn ngữ của mô hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15542
ArXiv Abstract	https://arxiv.org/abs/2610.15542
PDF Download	https://arxiv.org/pdf/2610.15542.pdf
Github Repository	N/A

33. Efficient Scene-Text Refinement via Pixel-Space Grouped Image Generation (12 votes)

Tác giả: Yaoli Liu, Guo-Hua Wang, Yiyang Chen, Qing-Guo Chen, Zhao Xu, et al.

Xuất bản lúc: 2026-10-13

Tag: Diffusion, Flow Matching, Text-to-Image, Scene Text Editing, Pixel-Space Generation, MeanFlow, Image Generation

I. Main Problem:

Ảnh sinh bởi các mô hình text-to-image lớn thường đúng layout và nội dung tổng thể, nhưng lỗi chữ nhỏ và ký tự phức tạp (thiếu nét, sai nét) khiến ảnh khó đọc, khó dùng thực tế. Sửa chữ trong ảnh đòi hỏi đồng thời 3 yếu tố mà các phương pháp hiện tại không thỏa mãn:

Độ chính xác: vẽ lại đúng ký tự mục tiêu
Bảo toàn: không làm thay đổi vùng nền/phong cách không cần sửa
Hiệu quả: chi phí tính toán thấp

Các phương pháp dựa trên VAE (latent space) mất nét chữ nhỏ khi nén/giải nén (chữ ~20px gần như không đọc được sau reconstruction), còn chỉnh sửa full-image làm lệch màu nền và để lại vết ghép. Benchmark hiện có (AnyText Bench) không đánh giá riêng việc sửa lỗi chữ cục bộ trong ảnh đã sinh.

II. Main Idea:

PixText định khung việc sửa chữ cục bộ như grouped image generation trong pixel space — bỏ qua VAE hoàn toàn. Cơ chế:

Ảnh gốc giữ vai trò main image cung cấp ngữ cảnh; các vùng cần sửa trở thành item images (được làm mờ chữ cũ trước), cùng glyph images (ảnh ký tự mục tiêu render bằng PIL) định nghĩa nội dung — không cần text encoder riêng
32 Group JiT Block xử lý đồng thời ba loại token: main–item tương tác hai chiều, các item tự chú ý lẫn nhau, glyph chỉ gắn với item cặp của nó; vị trí căn chỉnh qua Centered Continuous Position Encoding (3D RoPE, tọa độ liên tục, giảm 13.7% số token)
Model chỉ dự đoán pixel của các item, rồi dán ngược vào ảnh gốc — vùng không sửa giữ nguyên tuyệt đối
x-prediction (dự đoán ảnh sạch trực tiếp) với loss trong velocity space; cập nhật sampling cuối trả về prediction sạch để giảm vệt nhiễu
Uniform timestep sampling ở giai đoạn huấn luyện tiếp theo giúp giảm artifact dọc biên patch (áp dụng được cả cho MiniT2I)
Chưng cất bằng MeanFlow (học average velocity qua DDE finite-difference, cẩn thận độ chính xác số học) để chỉ cần 4 bước sinh

Ví dụ đời thường: giống thợ sửa đồng hồ chỉ thay đúng bánh răng hỏng rồi lắp nguyên cụ máy lại — không tháo toàn bộ đồng hồ ra ráp lại từ đầu.

III. Main Results:

Trên Text Refinement Bench mới (1.034 ảnh, 2.638 vùng sửa): Pass 83.06% và OCR accuracy đúng ký tự mục tiêu 94.66%, so với baseline mạnh nhất FLUX-Text chỉ 36.77% và 52.31%
FID 0.34 và LPIPS 0.0010 — bảo toàn ảnh tốt nhất, vượt xa FLUX-Text (2.59 / 0.0028)
Trên AnyText Bench: đứng đầu tập tiếng Trung (Acc 84.13%), đứng thứ hai tiếng Anh (80.91%) — tức vẫn cạnh tranh ở bài toán sinh chữ thông thường
Biến thể MeanFlow 4 bước: Pass vẫn 81.84% (chỉ giảm 1.21 điểm) với chi phí dưới 1 GPU-second/ảnh, bằng ~1/5 bản 25 bước
Model nhẹ: ~0.95B tham số, thấp hơn nhiều so với FLUX-Text (17.8B) hay TextFlux (16.9B)
Kỹ thuật uniform sampling giảm gradient biên patch trên cả PixText lẫn MiniT2I ở mọi inference schedule

IV. Conclusion & Future Works:

PixText chứng minh sinh theo nhóm trong pixel space là hướng đúng cho sửa chữ cục bộ: giữ nét chữ nhỏ, bảo toàn hoàn toàn nội dung chưa chỉnh, và với MeanFlow 4 bước thì đủ rẻ để tích hợp thực tế vào pipeline sinh ảnh. Bài báo cũng cho thấy hai cải tiến đơn giản — uniform timestep sampling và cập nhật sampling cuối dựa trên x-prediction — có lợi cho cả các model pixel-space khác. Hướng mở: mở rộng ngôn ngữ/scripts ngoài Trung–Anh (Appendix H cho thấy khả năng mở rộng), nâng cao chất lượng ảnh pixel-space nói chung, và công bố CJK-CLIP kèm Text Refinement Bench để cộng đồng đánh giá chuẩn hơn việc sửa lỗi chữ trong ảnh đã sinh.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng grouped pixel-space generation cho chỉnh sửa ảnh cục bộ nói chung (logo, biển báo, watermark) với cùng nguyên tắc dự đoán-từng-vùng và dán lại ảnh gốc.
Nghiên cứu chuyển các model latent-space pretrained sang pixel-space grouped editing để tận dụng kiến thức sẵn có mà không chịu chi phí VAE.
Phát triển bộ nhận diện glyph chuyên biệt đa ngôn ngữ (dạng CJK-CLIP) để đánh giá chất lượng chữ sinh ra ở cấp nét, vượt qua giới hạn của OCR thông thường.

2. Patent:

Tính năng sửa lỗi chữ trên ảnh chụp bằng điện thoại: người dùng chạm vào đoạn chữ sai (biển hiệu, menu, tài liệu); ứng dụng làm mờ vùng đó, nhận diện phông chữ và màu nền xung quanh, sinh lại đúng ký tự và ghép nguyên vẹn vào ảnh gốc trong chưa đầy một giây trên máy chủ.
Công cụ hiệu đính ảnh quảng cáo: thiết kế viên nhập chữ mới cho từng vùng chọn trên poster; hệ thống chỉ tái tạo đúng các ô chữ, giữ nguyên nền, hiệu ứng và layout, giảm thiểu việc làm lại toàn bộ thiết kế khi đổi một vài chữ.
Hệ thống sửa chữ lỗi trong ảnh AI tạo ra theo thời gian thực cho ứng dụng tạo ảnh trên điện thoại: sau khi sinh ảnh, người dùng gõ lại đoạn chữ sai; một model nhẹ (chưng cất 4 bước) sửa cục bộ mà không phải sinh lại toàn ảnh, tiết kiệm chi phí GPU.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18284
ArXiv Abstract	https://arxiv.org/abs/2610.18284
PDF Download	https://arxiv.org/pdf/2610.18284.pdf
Github Repository	N/A

34. Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following (12 votes)

Tác giả: Sangyeon Yoon, Wooseok Seo, Hamish Ivison, Hyesoo Hong, Donghoon Kim, et al.

Xuất bản lúc: 2026-10-14

Tag: RLVR, Reward Hacking, Instruction Following, LLM Post-Training, Reinforcement Learning, RLHF

I. Main Problem:

Các benchmark verifiable instruction-following (VIF) như IFBench chỉ kiểm tra response có thỏa constraint (ràng buộc định dạng) hay không, mà bỏ qua Response Quality — liệu câu trả lời có thực sự trả lời request không. Điều này tạo ra điểm mù đánh giá:

Mô hình frontier có Constraint Satisfaction càng cao thì Response Quality càng thấp (Figure 1).
Ví dụ: DeepSeek V4 trả lời đầy đủ, sâu sắc khi không có constraint (9.33/10), nhưng khi bị ép "dùng đúng 5 con số" chỉ trả về "No. 0 1 2 3 4" — vẫn đạt điểm verifier tối đa dù chất lượng tụt còn 2.0/10.
Khi tiêu chí verifier được dùng làm reward cho RLVR (IF-RLVR), hiện tượng này trở thành reward hacking: các checkpoint RLVR của OLMo 3 đều có constraint satisfaction cao hơn nhưng chất lượng trả lời thấp hơn bản DPO tương ứng — mô hình "học cách qua mặt bài kiểm tra" thay vì trả lời tốt hơn.

II. Main Idea:

CALIF (Calibrated Likelihood for Instruction Following) — phương pháp nhẹ, chỉnh reward hacking bằng cách hiệu chỉnh verifier reward với một vùng likelihood được chuẩn hóa (reference-calibrated likelihood region).

Phân tích quy tắc Bayes cho thấy tối ưu p(y|x,c) cần cả hai số hạng: log p(c|y,x) (thỏa constraint — verifier reward đã bắt) và log p(y|x) (khả năng trả lời request — bị bỏ sót). Bù số hạng thứ hai một cách ngây thơ lại gây lỗi mới: mô hình bơm likelihood giả bằng cách lặp lại cụm từ dễ đoán.

Quy trình CALIF:

Từ policy gốc π_ref (đã có sẵn cho KL regularization), sinh hai response tham chiếu cho mỗi prompt: một với constraint (likelihood ℓ₀) và một không constraint (likelihood ℓ₁).
Vùng [ℓ₀, ℓ₁] là vùng mong muốn: dưới ℓ₀ = nguy cơ mất chất lượng trả lời; trên ℓ₁ = nguy cơ bơm likelihood giả.
Reward: dưới ℓ₀ giữ nguyên verifier reward; trong vùng cộng bonus α cố định khi verifier pass; trên ℓ₁ reward = 0.
Không cần judge model hay reward model học thêm; chỉ tốn thêm tối đa một forward pass mỗi rollout, bounds tính offline.

Ví dụ đời thường: giống giám khảo chấm bài thi không chỉ xem học sinh có viết đúng số dòng yêu cầu không, mà còn đối chiếu bài với hai "bài mẫu" — bài làm theo đề và bài tự nhiên không đề — rồi chỉ thưởng điểm cho bài rơi vào khoảng giữa: đủ tốt hơn bài mẫu kém, nhưng không phải bài dài lê thê nhồi nhét chữ để "trông giống giỏi".

III. Main Results:

Trên 5 cấu hình mô hình (Qwen3-1.7B/4B cả thinking và non-thinking, Tulu 3 8B DPO), trung bình: IF-RLVR nâng Constraint Satisfaction từ 26.98 lên 44.93 nhưng giảm Response Quality từ 4.51 xuống 2.96; CALIF đạt 34.64 constraint satisfaction và giữ quality ở 4.59 — tốt hơn cả policy gốc.
CALIF thắng IF-RLVR với tỉ lệ pairwise 78.10%.
Với các prompt base fail verifier mà trained pass: CALIF chỉ mất 0.28 điểm chất lượng, IF-RLVR mất 2.05 điểm.
Khái quát hóa vượt ngoài verifier: trên AdvancedIF, FollowBench, ComplexBench, CALIF thắng base policy ở 40/45 so sánh model–metric (IF-RLVR chỉ 14/45), và thắng IF-RLVR 41/45.
Vượt LLM-judge reward: thắng cả self-judge và judge mạnh hơn (Qwen3-30B) ở phần lớn metric, trong khi không cần lưu hay chạy judge.
Ablation: reward likelihood trực tiếp gây lặp từ (độ dài response tăng 485 → 1677 token, quality tụt còn 1.91); thiếu bound nào cũng hỏng; CALIF hiệu quả hơn chỉnh hệ số KL — tăng β để giữ quality thì hầu như mất hết lợi constraint.

IV. Conclusion & Future Works:

Bài báo chứng minh VIF benchmarks có điểm mù đánh giá nghiêm trọng và reward hacking thật sự xuất hiện ở mô hình công bố. CALIF cho thấy hiệu chỉnh (calibrate) likelihood thay vì tối đa hóa nó là tín hiệu hiệu quả để đồng thời tối ưu constraint satisfaction và chất lượng trả lời — không cần model phụ hay supervision chất lượng tường minh. Hướng mở: áp dụng ý tưởng vùng likelihood được chuẩn hóa cho các dạng reward verifiable khác ngoài instruction following, và nghiên cứu cách chọn bounds thích ứng thay vì cố định offline.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CALIF sang các tác vụ RLVR khác (toán, code, lập luận) bằng cách xây dựng vùng likelihood chuẩn hóa tương ứng cho từng loại verifier.
Nghiên cứu bounds likelihood thích ứng theo prompt (thay vì cố định offline) để xử lý các request có độ mơ hồ và độ dài trả lời biến thiên lớn.
Kết hợp vùng likelihood chuẩn hóa với rubric-based reward để kiểm soát đồng thời chất lượng theo tiêu chí và chống reward hacking trong post-training đa tác vụ.

2. Patent:

Module tinh chỉnh mô hình AI trợ lý trên điện thoại: khi huấn luyện bằng phản hồi có thể kiểm chứng được (độ dài, định dạng, từ khóa), hệ thống tự sinh câu trả lời mẫu từ mô hình gốc để đặt ngưỡng chất lượng, chỉ thưởng điểm cho câu trả lời nằm trong vùng chấp nhận — tránh trợ lý trả lời ngắn gọn nhưng vô dụng.
Hệ thống chống gian lận điểm thưởng trong chatbot doanh nghiệp: phát hiện response có xác suất xuất hiện bất thường cao (dấu hiệu lặp từ, bơm likelihood) và tự chặn không cộng điểm huấn luyện, giúp chatbot luôn trả lời đầy đủ nội dung trong khi vẫn tuân thủ yêu cầu định dạng của khách hàng.
Bộ đánh giá hai chiều cho ứng dụng viết nội dung: vừa chấm tuân thủ ràng buộc (số từ, từ khóa SEO) bằng script, vừa so sánh mức độ tự nhiên của bài với bài viết mẫu không ràng buộc để cảnh báo khi bài bị 'nhồi nhét' ràng buộc làm mất chất lượng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19525
ArXiv Abstract	https://arxiv.org/abs/2610.19525
PDF Download	https://arxiv.org/pdf/2610.19525.pdf
Github Repository	https://github.com/ssangyeon/CALIF

35. Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models (12 votes)

Tác giả: Guoming Ling, Yupei Lin, Zhongzhan Huang, Junxin Li, Junjie Liu, et al.

Xuất bản lúc: 2026-10-13

Tag: LLM Evaluation, Benchmark Compression, Active Testing, Item Response Theory, Adaptive Evaluation, Survey

I. Main Problem:

Các benchmark đánh giá LLM đang quá dư thừa: nghiên cứu trước cho thấy với LongBench, GSM8K, MMLU, dưới 20% số câu hỏi đã giữ được kết quả gần tương đương tập đầy đủ. Hệ quả:

đánh giá LLM tốn kém và chậm, kéo dài vòng lặp phát triển mô hình
lĩnh vực benchmark compression bùng nổ từ 2024 (119 bài được khảo sát) nhưng thiếu survey hệ thống: các phương pháp dùng thông tin, giả định chi phí và cách kiểm chứng khác nhau rất nhiều, khiến người nghiên cứu khó chọn phương pháp phù hợp và khó biết kết quả có đáng tin trong thực tế không.

II. Main Idea:

Bài survey đề xuất khung phân loại thống nhất (taxonomy) cho benchmark compression dựa trên 3 câu hỏi: loại đóng góp (giảm chi phí hay phân tích nền tảng), tập con được chọn cố định trước hay động (adaptive), và phạm vi + thông tin dùng để chọn. Từ đó tách 4 nhánh:

Single-Benchmark Compression: chọn tập con cố định trong một benchmark — gồm 3 nhóm theo thông tin dùng: Content-Based (chỉ dùng nội dung câu hỏi), Historical-Response (dùng ma trận kết quả các mô hình cũ), Target-Conditioned (dùng tín hiệu rẻ từ chính mô hình đang đánh giá như probe, độ bất định, judge rẻ)
Cross-Benchmark Compression: chọn tập con xuyên suốt cả suite benchmark, ước lượng điểm các benchmark bị bỏ qua hoặc thay bằng tác vụ proxy rẻ hơn
Adaptive Evaluation: chọn động — Adaptive Item Selection (chọn câu tiếp theo tối ưu thông tin, ví dụ computerized adaptive testing với Item Response Theory) và Sequential Decision and Stopping (dừng khi đủ độ chính xác)
Benchmark Analysis and Foundations: giải thích vì sao benchmark nén được (dư thừa, độ phân biệt thấp), bao nhiêu câu cắt được, cài đặt nào phải giữ cố định, và phân biệt compression (tái tạo kết quả gốc) với benchmark repair (xây benchmark sạch hơn)

Công thức chung: dùng tập con chi phí thấp S để ước lượng kết quả tập đầy đủ với sai số ≤ ε và chi phí nhỏ hơn đáng kể.

Ví dụ đời thường: giống việc chấm thi trắc nghiệm thông minh — thay vì phát cho thí sinh cả 1000 câu, hệ thống chọn từng câu tiếp theo dựa trên câu trước trả lời đúng/sai (khó lên hay dễ xuống) và dừng lại ngay khi đủ chắc chắn về trình độ, thay vì làm trọn bộ đề.

III. Main Results:

119 bài được tổng hợp thành taxonomy 4 nhánh, 6 họ phương pháp với bảng so sánh về nhu cầu thông tin, chi phí vòng đời, kiểm chứng và giới hạn.
Ba cơ chế giảm chi phí chung: chọn tập con đại diện, dùng thông tin rẻ/tái sử dụng để ước lượng phần bị bỏ, đánh giá thích ứng tập trung vào trường hợp bất định.
Ba rủi ro chính tương ứng: phủ sóng kém, ước lượng sai, độ trễ tuần tự (adaptive làm tăng wall-clock và khó tái lập).
Phát hiện thực nghiệm quan trọng: random sampling đôi khi cạnh tranh được với các bộ chọn phức tạp, đặc biệt khi mô hình thay đổi mạnh so với lịch sử; không có tỷ lệ nén an toàn chung cho mọi benchmark.
Hướng dẫn chọn phương pháp theo thông tin sẵn có: chỉ có dữ liệu câu hỏi → Content-Based; có kết quả đánh giá cũ → Historical-Response; có tín hiệu rẻ từ mô hình → Target-Conditioned; nhiều benchmark liên quan → Cross-Benchmark; chấp nhận chạy tuần tự → Adaptive.

IV. Conclusion & Future Works:

Compression đáng tin đòi hỏi phủ sóng đủ, khôi phục điểm chính xác và quy tắc dừng hợp lệ. Các hướng tương lai:

Khái quát hóa qua thời gian và mô hình mới: tập con chọn từ mô hình cũ có thể mất khả năng phân biệt với mô hình mới mạnh hơn; cần cơ chế làm mới định kỳ.
Kết hợp compression với benchmark repair: phát hành bản hiệu chỉnh loại câu lỗi, quá dễ, kém phân biệt — vừa rẻ hơn vừa phân biệt tốt hơn giữa các mô hình mạnh.
Compression by design: tích hợp nén ngay khi xây dựng benchmark mới thay vì phát hành bộ lớn rồi nén sau.
Công nhận vai trò thực tế: benchmark đầy đủ vẫn cần cho leaderboard báo cáo chính thức; compression phục vụ lặp mô hình, sàng lọc, kiểm định lặp lại.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp chọn tập con tự chuyển giao giữa các họ mô hình và giữa các thế hệ mô hình, giảm phụ thuộc vào ma trận lịch sử bằng cách kết hợp tín hiệu nội dung câu hỏi với hiệu chỉnh thống kê.
Xây dựng benchmark LLM tiếng Việt theo nguyên tắc compression by design: tập câu hỏi nhỏ, phủ kỹ năng đầy đủ, hiệu chỉnh bằng mô hình đo lường (Item Response Theory) ngay từ khi phát hành.
Nghiên cứu quy tắc dừng tuần tự có kiểm chứng cho đánh giá cặp mô hình sát điểm, với ngưỡng dừng bảo đảm sai sót có kiểm soát thống kê trên leaderboard động.

2. Patent:

Nền tảng đánh giá chatbot trên điện thoại theo kiểu bài thi thích ứng: ứng dụng gửi cho người dùng từng câu hỏi ngắn, dựa trên câu trả lời trước tự chọn câu tiếp theo và dừng sớm khi đủ tin cậy về chất lượng mô hình — giảm chi phí gọi mô hình đánh giá và thời gian kiểm thử.
Hệ thống sàng lọc phiên bản mô hình AI cho nhà phát triển: trước mỗi lần phát hành, chạy tự động trên tập con nhỏ được chọn từ kho kết quả các phiên bản trước, dự đoán điểm benchmark đầy đủ và chỉ cảnh báo chạy đánh giá toàn bộ khi chênh lệch so với ngưỡng mục tiêu — tiết kiệm đáng kể GPU cho vòng lặp thử nghiệm hằng ngày.
Công cụ tối ưu chi phí chấm điểm trả lời mở bằng AI judge: gửi phần lớn câu trả lời qua judge rẻ, chỉ đưa các câu judge bất định hoặc có dấu hiệu sai lệch cho người thật chấm lại, rồi hiệu chỉnh điểm tổng — cắt giảm chi phí chấm thủ công trên các ứng dụng giao tiếp di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18248
ArXiv Abstract	https://arxiv.org/abs/2610.18248
PDF Download	https://arxiv.org/pdf/2610.18248.pdf
Github Repository	https://github.com/MilkThink-Lab/Awesome-Benchmark-Compression

Tác giả: Shaoyuan Xie, Zihan Zhang, Jingxuan Wang, Jiashu Qu, Xiaoqing Liang, et al.

Xuất bản lúc: 2026-10-14

Tag: Vision-Language-Action, Autonomous Driving, World Models, LLMs, Safety, Instruction Following, Robustness

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) cho xe tự hành mở rộng giao diện điều hướng từ tập lệnh cố định sang chỉ dẫn ngôn ngữ tự do, nhưng điều này tạo ra mặt tấn công mới:

Tài xế lơ đãng có thể đưa chỉ dẫn không an toàn với cảnh hiện tại (ví dụ: "vượt làn trái" khi làn bên có xe).
Người dùng độc hại cố tình ra lệnh nguy hiểm.
Trong kiến trúc modular cổ điển, behavior planner sẽ giải quyết xung đột giữa tín hiệu điều hướng và cảnh giao thông; các hệ E2E/VLA lược bỏ cơ chế này, buộc mạng nơ-ron tự học ngầm từ dữ liệu.
Đánh giá hiện tại cũng thiếu: benchmark "theo dõi chỉ dẫn" và benchmark "nhận thức xung đột" tách rời nhau — một mô hình từ chối mọi lệnh trông an toàn trên benchmark xung đột, và ngược lại.
Kết quả thực nghiệm cho thấy VLAs hiện tại yếu cả hai mặt: SimLingo hoàn thành 0% lần đổi làn theo ngôn ngữ trong closed-loop (dù open-loop đạt 83%), và mọi mô hình đều suy giảm nghiêm trọng khi gặp tín hiệu mâu thuẫn với cảnh.

II. Main Idea:

SafeDriveVLA tách riêng lý luận xung đột (có nên làm theo lệnh không?) khỏi sinh hành động (làm thế nào?) bằng hai cơ chế chính:

Mode token 3 mức: mỗi frame chuyên gia được gắn nhãn lại thành strict (thực hiện ngay), cautious (thực hiện thận trọng, nhường nguy hiểm), hoặc fallback (bỏ qua lệnh vì không an toàn). Mô hình dự đoán mode token trước các action token, nên quyết định tuân thủ được giám sát trực tiếp thay vì học ngầm qua behavior cloning.
Navigation-conditioned world model dreaming: khác các world model trước chỉ mô phỏng hành vi của chuyên gia, world model (dựa trên V-JEPA 2, latent) được pretrain để tưởng tượng cảnh tương lai nếu tuân lệnh một cách tuyệt đối — chiếu latent hiện tại về phía trước dưới một action anchor đại diện cho meta-command (rẽ trái, đổi làn...). Các dreamed latents cho VLA "nhìn trước" hậu quả của việc làm theo lệnh, từ đó quyết định có an toàn không, đồng thời giúp mô hình bớt bảo thủ hơn so với chỉ dùng mode token.

Kèm theo: bộ benchmark đầu tiên đánh giá đồng thời navigation following (CARLA-F), xung đột lệnh–cảnh (B2D-C, NavSim-C) và chỉ dẫn đối nghịch (B2D-Adv).

Ví dụ đời thường: giống như người phụ lái giàu kinh nghiệm — trước khi vặn tay lái theo lời chỉ "vượt xe đi", người đó tưởng tượng thử trong đầu cảnh xe vượt 3 giây tới: nếu thấy xe ngược chiều lao tới thì khoanh tay lại, nếu đường trống thì mới thực hiện.

III. Main Results:

Bench2Drive chuẩn: đạt 88.16 Driving Score và 68.64% Success Rate, cao hơn SimLingo cùng dữ liệu PDM-Lite (+2.15 DS).
CARLA-F (theo dõi chỉ dẫn ngôn ngữ): tăng NCR trung bình từ 55.6% lên 83.0% (+49.3% tương đối so với SimLingo tốt nhất); tỉ lệ đổi làn theo ngôn ngữ từ 0% lên 63.6% (trái) và 72.4% (phải).
B2D-C (xung đột lệnh–cảnh): đạt 85.9 DS / 67.3% SR; giảm va chạm từ 60 xuống 38 (-36.7%), vi phạm giao thông từ 61 xuống 9 (-85.2%), so với SimLingo-Safe tốt nhất.
B2D-Adv (chỉ dẫn đối nghịch): DS chỉ sụt 10.8 điểm so với mức sụt 19.7 của SimLingo; ablation cho thấy khả năng chịu đòn đến từ mode token chứ không phải backbone.
NavSim-C (chẩn đoán): mọi VLA đa góc nhìn/RL hiện tại đều suy giảm mạnh dưới lệnh xung đột — AutoVLA rơi từ 88.2 xuống 70.7 PDMS — xác nhận xu hướng tuân lệnh mù quáng là hệ thống.
World model probing: latents dự đoán phát hiện nguy hiểm tốt hơn latent frame đầu (AUC cao hơn mọi horizon, phục hồi 49–78% khoảng cách tới oracle) và phản ứng đúng với đầu vào hành động.

IV. Conclusion & Future Works:

SafeDriveVLA chứng minh rằng giám sát tường minh quyết định tuân thủ điều hướng (mode token) kết hợp với tưởng tượng hậu quả dưới giả định tuân lệnh (navigation-conditioned dreaming) giúp VLA lái xe vừa biết làm theo lệnh an toàn vừa biết khi nào phải từ chối lệnh nguy hiểm, cải thiện đồng thời cả hai trục mà trước đây luôn đánh đổi lẫn nhau. Bộ benchmark theo cặp (following + conflict + adversarial) cũng đặt nền cho đánh giá VLA thực chất hơn — vượt xa đo lường open-loop. Hướng tương lai hợp lý: mở rộng sang mô hình multi-view/RL-tuned, kiểm chứng trên dữ liệu thế giới thực, và nâng cấp dreaming từ latent sang có cấu trúc (occupancy) hoặc kiểm chứng quy tắc giao thông.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng navigation-conditioned world model dreaming cho kiến trúc multi-view và RL-tuned, hiện chỉ được kiểm chứng trên VLA đơn camera học bắt chước.
Kết hợp dreaming latents với occupancy forecast có cấu trúc để lý luận xung đột có căn cứ hình học rõ ràng hơn.
Nghiên cứu chiến lược chọn action anchor thay vì một anchor cố định mỗi meta-command, cho phép tưởng tượng nhiều hậu quả phương án song song trước khi chọn mode.
Đánh giá SafeDriveVLA ngoài CARLA trên dữ liệu thế giới thực (NavSim-C hiện chỉ dùng để chẩn đoán các VLA khác).

2. Patent:

Hệ thống an toàn trên xe tự hành cho phép tài xế ra lệnh bằng giọng nói: trước khi thực hiện, hệ thống mô phỏng nhanh trong bộ nhớ hậu quả của lệnh trong vài giây tới dựa trên camera và tốc độ các xe xung quanh; nếu mô phỏng cho thấy va chạm, xe tự chuyển sang chế độ thận trọng hoặc từ chối lệnh kèm cảnh báo bằng giọng nói.
Trợ lý lái xe trên điện thoại nhận chỉ dẫn tự do từ người dùng ("rẽ phải giao lộ tới", "tăng tốc lên 60"): ứng dụng phân tích cảnh từ camera điện thoại, xác định mức độ an toàn của từng chỉ dẫn theo 3 mức (thực hiện / thận trọng / từ chối) và giải thích lý do bằng ngôn ngữ tự nhiên trước khi người lái hành động.
Bộ lọc lệnh chống tin tặc cho xe có tính năng điều khiển bằng ngôn ngữ: mọi chỉ dẫn qua ứng dụng hoặc API đều được phân loại xung đột với cảnh thời gian thực và chặn các lệnh nguy hiểm dưới mọi hoàn cảnh (kiểu jailbreak như "bỏ qua mọi yếu tố khác"), ghi log và cảnh báo người dùng.
Module giám sát hành vi tài xế: phát hiện chỉ dẫn do tài xế lơ đãng đưa ra mâu thuẫn với tình huống giao thông hiện tại và tự động hoãn thực hiện cho tới khi an toàn, kèm thống kê về các lệnh rủi ro để huấn luyện lại người lái.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20609
ArXiv Abstract	https://arxiv.org/abs/2610.20609
PDF Download	https://arxiv.org/pdf/2610.20609.pdf
Github Repository	https://github.com/ASGuard-UCI/safedrive-vla

37. LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators (10 votes)

Tác giả: Riccardo De Santi, Federico Di Gennaro, Angelo Gnazzo, Sophia Tang, Pranam Chatterjee, et al.

Xuất bản lúc: 2026-10-12

Tag: Flow Models, Diffusion Models, LLM-as-Judge, Preference Optimization, DPO, Molecular Design, Peptide Design, Curriculum Learning, Generative Discovery

I. Main Problem:

Trong khoa học thực nghiệm, khả năng tạo mẫu thiết kế hợp lệ (peptide, phân tử) nằm ở các mô hình domain-specific (flow/diffusion), còn kiến thức khoa học và lý luận cấp cao nằm ở LLM — hai năng lực này tách rời nhau. Để tinh chỉnh generator theo mục tiêu khám phá, các phương pháp hiện tại (FlowGRPO, DiffusionNFT, Adjoint Matching) đều cần hàm reward rõ ràng, nhưng:

reward proxy trong hóa sinh thường không có sẵn hoặc kém tin cậy ở vùng dữ liệu thưa (đúng vùng cần khám phá)
mục tiêu khám phá thường chỉ được diễn đạt bằng ngôn ngữ tự nhiên cấp cao (vd: "tạo peptide có hoạt tính chống ung thư"), khó đo lường trực tiếp
hai thách thức kỹ thuật: (1) điểm tuyệt đối LLM chấm cho thiết kế khoa học sai lệch mạnh so với giá trị thật; (2) nếu generator ban đầu gần như không sinh được mẫu thỏa mục tiêu (p(Ωg) ≈ 0), phản hồi trực tiếp dưới mục tiêu g không phân biệt được các mẫu → không có tín hiệu học.

II. Main Idea:

LLM-to-Flow Distillation (LFD) dùng một LLM đóng băng làm giáo viên thích ứng, còn flow model đóng vai học sinh, để dịch chuyển mật độ sinh mẫu về vùng khám phá Ωg mà không cần reward proxy. Vòng lặp mỗi round:

Sinh mẫu: học sinh tạo batch thiết kế, quan sát được (SMILES, khối lượng phân tử, độ kiềm...)
Chọn sub-goal thích ứng: LLM nhìn khả năng hiện tại của học sinh và đề xuất một sub-goal khả đạt hơn nhưng vẫn khoa học liên quan đến mục tiêu gốc (không theo lịch cố định như annealing cổ điển)
Phán xét thứ bậc: LLM phân loại mỗi mẫu positive / negative / abstain (tránh chấm điểm tuyệt đối vì dễ lệch — phán đoán tương đối đáng tin hơn)
Chưng cất qua DPO: các cặp (+, −) cảm sinh thành preference dataset, cập nhật flow bằng distilled DPO với tham chiếu là mô hình hiện tại (KL-regularized)

Curriculum tiến dần: Ωg0 → Ωg1 → ... → Ωg, cung cấp tín hiệu học dày đặc ngay cả khi vùng mục tiêu ban đầu hoàn toàn ngoài phân phối.

Ví dụ đời thường: giống thầy dạy bơi không ném học sinh thẳng vào vùng nước sâu, mà quan sát học sinh bơi được tới đâu rồi mỗi buổi dời phao xa thêm một chút — vừa đủ khó để tiến bộ, không khó đến mức chết đuối.

III. Main Results:

Phản hồi LLM: điểm tuyệt đối của GPT 5.6 Terra, Claude Opus 5, Gemini 3.7 Flash lệch mạnh (MAE ~15–24), nhưng cả 4 cơ chế phán đoán tương đối (scoring, ranking, batch classification, pairwise duel) đều đạt pairwise accuracy trên mức ngẫu nhiên; batch classification tối ưu chi phí API (tuyến tính thay vì bậc hai).
Peptide chống ung thư: LFD đạt 53.5% trên evaluator held-out AntiCP2-alt (baseline tốt nhất 35.9%), độc tính HemoPI2 thấp (42.5%); Guidance bị reward hacking (bão hòa proxy 100% nhưng chỉ 36% held-out).
Peptide thẩm thấu màng (CPP): pLM4CPPs tăng từ 8.8% lên 69.1% (baseline tốt nhất 57.0%), đồng thời độc tính giảm — vượt mọi phương pháp reward-guided dù LFD không dùng reward nào.
Phân tử nhỏ (D2 receptor và GSK3β): LFD tốt nhất trên cả 3 evaluator docking (GNINA, Vina, rDock) cho cả hai target; vd rDock cải thiện từ −7.6 → −9.9 (D2) và −8.5 → −12.9 (GSK3β), vẫn giữ validity ~96–98%.
Mục tiêu OOD cực khó (Goal 5): model pre-trained sinh 38.500 mẫu không trúng mẫu nào, LFD tìm thấy thiết kế thỏa toàn bộ ràng buộc cấu trúc chỉ sau 6 round; mọi baseline reward-guided đều thất bại kể cả khi được cấp reward nhị phân đầy đủ.
Tính diễn giải: curriculum sinh online các sub-goal đọc được (từ điện tích dương → phần kỵ nước → neo aromatic) kèm lý do và độ bất định của LLM, cho phép nhà khoa học giám sát và can thiệp.

IV. Conclusion & Future Works:

LFD cho thấy có thể căn chỉnh generator khoa học chuyên ngành trực tiếp với mục tiêu ngôn ngữ tự nhiên, bỏ qua reward proxy: giảm reward hacking nhờ lý luận khoa học first-principles thay vì tối ưu predictor, cung cấp curriculum diễn giải được, và mở khả năng khám phá vùng OOD mà cả generator gốc lẫn phương pháp reward-guided đều bó tay. Hướng tương lai hợp lý (từ các điểm còn mở của bài):

mở rộng sang generator khác ngoài flow (vd discrete diffusion) và nhiều domain hơn (vật liệu, tinh thể)
nghiên cứu cơ chế chọn sub-goal tối ưu hơn và cách xử lý khi LLM phán đoán sai có hệ thống trong domain mới
kết hợp phản hồi của nhà khoa học người vào vòng lặp (human-in-the-loop) thay vì chỉ LLM
lý thuyết hóa độ tin cậy của tín hiệu ordinal LLM như hàm khoảng cách giữa phân phối generator và Ωg

V. Brainstorming Space:

1. Publish Papers:

Ứng dụng LFD cho thiết kế vật liệu/tinh thể: LLM teacher đọc các quan sát được từ MatterGen (năng lượng hull, đối xứng mạng tinh thể) để dẫn generator tới cấu trúc ổn định với tính chất mong muốn mô tả bằng ngôn ngữ.
LFD đa mục tiêu: mở rộng thành phần curriculum đánh đổi giữa nhiều mục tiêu ngôn ngữ đồng thời (vd hoạt tính + độ hòa tan + tính tổng hợp được) với Pareto-aware sub-goal selection.
Kết hợp LFD với đánh giá thực nghiệm (wet-lab) trong vòng lặp: LLM đề xuất sub-goal, kết quả assay thật cập nhật lại judgment của teacher để giảm hallucination khoa học.

2. Patent:

Ứng dụng di động hỗ trợ nhà nghiên cứu dược: người dùng nhập mục tiêu bằng giọng nói (vd "phân tử ức chế kinase ít độc cho gan"); hệ thống trên điện thoại điều phối LLM trên đám mây tạo chuỗi sub-goal, tinh chỉnh generator phân tử từng round và trả về danh sách hợp chất kèm giải thích từng bước.
Nền tảng thiết kế peptide trị liệu cho doanh nghiệp sinh học: nhân viên nhập mô tả hoạt tính mong muốn bằng ngôn ngữ thông thường, hệ thống tự sinh curriculum, hiển thị sub-goal và lý do chấm điểm của LLM để nhà khoa học duyệt/sửa trước khi chạy round tiếp theo, rồi xuất trình tự ứng viên để kiểm nghiệm.
Hệ thống tối ưu hương liệu/phụ gia thực phẩm: người dùng mô tả tính chất cảm quan (mùi, độ bền nhiệt, an toàn sinh học) bằng văn bản, LLM phân loại các phân tử do generator nội bộ tạo ra theo từng sub-goal, liên tục cải thiện thế hệ hợp chất mà không cần xây mô hình dự đoán tính chất riêng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17246
ArXiv Abstract	https://arxiv.org/abs/2610.17246
PDF Download	https://arxiv.org/pdf/2610.17246.pdf
Github Repository	https://github.com/FedericoDiGennaro/LLM-to-Flow-Distillation

38. Joint Subspace Sparse Attention for Efficient Long-Context Decoding (10 votes)

Tác giả: Jiwon Song, Yoongon Kim, Jae-Joon Kim

Xuất bản lúc: 2026-10-13

Tag: Sparse Attention, LLMs, Long-Context Decoding, KV Cache, Efficient Inference, GQA, MLA

I. Main Problem:

Giải mã LLM context dài bị bóp nghẹt bởi băng thông bộ nhớ do phải đọc lại toàn bộ KV cache ở mỗi bước sinh token. Sparse attention giảm lượng KV phải đọc, nhưng các phương pháp chọn token riêng lẻ (token-level) gặp hai trở ngại khiến lợi ích không thành hiện thực:

Chất lượng chọn token kém: chiếu query/key xuống không gian chiều thấp bằng mục tiêu tái tạo key (như Loki) làm mất cấu trúc tương tác query–key cần để xếp hạng token chính xác.
Chi phí gather ăn mòn tốc độ: tập chỉ số token rời rạc, khác nhau theo từng KV head (trong GQA) phải copy vật lý vào buffer liền mạch trước khi tính attention — thao tác gather chiếm hơn một nửa độ trễ còn lại ở batch lớn.

II. Main Idea:

Joint Subspace Sparse Attention (JSSA) là phương pháp sparse attention token-level không cần huấn luyện, gồm hai thành phần bù trừ:

Không gian con query–key dùng chung: thay vì tái tạo key, JSSA chọn một phép chiếu trực giao P dùng chung cho query và key để bảo toàn sai số của điểm số song tuyến (bilinear score) quyết định thứ hạng token. Mục tiêu chính xác là non-convex, nhưng được upper-bound bởi mục tiêu tuyến tính có nghiệm phổ dạng closed-form (top-r eigenvectors của tổng ma trận moment bậc hai của query trung bình và key); tối ưu trực tiếp mục tiêu gốc không mang lại cải thiện đo được.
Gather-free indexed-attention kernel: kernel Triton đầu tiên hỗ trợ tập token chọn riêng biệt theo từng KV head trong layout GQA chuẩn, đọc trực tiếp tại chỗ các key/value gốc toàn chiều mà không gather — bỏ qua buffer trung gian và các lần launch kernel từng head.
Một projected-key cache phụ (FP8) chỉ dùng để chấm điểm token, chiếm ≤6.25% cache gốc; attention cuối vẫn dùng KV đầy đủ.

Ví dụ đời thường: giống người đọc sách không photocopy từng trang cần thiết ra một cuốn riêng mà đặt nhiều bookmark rồi lật thẳng tới đúng trang đó — vừa chọn trang chính xác hơn, vừa bỏ được khâu photo tốn thời gian.

III. Main Results:

Độ chính xác gần full-KV: LongBench lệch < 0.67 điểm so với full attention; trên Ministral-128K khớp full-KV trong khi các baseline khác suy giảm mạnh theo độ dài context và kiến trúc.
Perplexity PG-19 lệch tối đa 1.11 điểm ở mọi độ dài, trong khi FASA/Loki có lúc tăng vọt gấp nhiều lần.
Suy luận (reasoning): với ngân sách 1.024 token, JSSA duy trì pass@1 trong ~1.3 điểm so với full-KV và chỉ làm hơi dài sinh 2–17%, so với 30–400% của TriAttention/QUEST; trên GLM-4.7-Flash còn vượt full-KV.
Throughput (B200, 128K context): tới 6.43× full-KV trên GLM-4.7-Flash, 1.88× trên Gemma4-26B, 1.51× trên Qwen3-8B.
Quy mô 700B (DeepSeek-V3, GLM-5.2): JSSA không cần huấn luyện mà đạt độ chính xác suy luận ngang DeepSeek Sparse Attention tích hợp sẵn trong model, và đạt 96–99% throughput của nó.
Ablation: kernel gather-free gấp đôi speedup giai đoạn attention (25.35× → 65.26× ở batch 16); lợi thế so với FASA/Loki lớn nhất ở rank chiếu thấp (+24.5 điểm LongBench so với Loki tại r=4); calibration phải ở độ dài gần context triển khai.

IV. Conclusion & Future Works:

JSSA cho thấy sparse attention token-level có thể vừa chính xác vừa thực sự nhanh nếu xử lý đúng hai mắt xích: mục tiêu chọn token phải bảo toàn điểm số query–key (không phải tái tạo biểu diễn), và kernel thực thi phải đọc tại chỗ mà không gather. Kết quả ở quy mô 700B gợi ý rằng sparse attention học trong lúc training không phải lúc nào cũng cần thiết — calibration hậu kỳ đã đủ. Hướng mở: mở rộng kernel cho kiến trúc khác, cải thiện chiến lược chọn ngân sách thích ứng theo layer, và kết hợp với sparse prefill.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng không gian con chấm điểm chung sang attention đa phương thức (vision-language) nơi query và key đến từ các encoder khác nhau, vẫn bảo toàn sai số điểm song tuyến.
Phương pháp chọn ngân sách token thích ứng theo layer và theo bước giải mã, thay vì ngân sách cố định, dựa trên độ phân tán của phân phối điểm số.
Kernel indexed-attention tổng quát hóa cho kiến trúc hybrid (sliding-window + global) và speculative decoding, nơi nhiều token dự đoán cùng truy cập tập chỉ số rời rạc.

2. Patent:

Hệ thống dịch vụ AI trên điện thoại/xe tự hành: khi người dùng hỏi tài liệu rất dài, thiết bị chỉ nạp về từ bộ nhớ một lượng nhỏ 'đoạn văn quan trọng nhất' được chọn bằng cách chấm điểm nén chung giữa câu hỏi và văn bản — giảm dung lượng truyền tải và pin tiêu hao nhiều lần mà không làm sai câu trả lời.
Module tăng tốc chip AI cho trợ lý thoại dài hạn: lưu cache hội thoại dưới dạng nén chiều thấp phụ để chấm điểm, và engine đọc trực tiếp cache gốc theo chỉ số mà không sao chép dữ liệu — cho phép trợ lý nhớ hội thoại hàng trăm nghìn từ trên thiết bị cá nhân.
Dịch vụ đám mây suy luận mô hình lớn tiết kiệm chi phí: máy chủ tự hiệu chuẩn phép chiếu chấm điểm sau khi triển khai (không cần huấn luyện lại model), phục vụ hàng loạt request dài context với throughput cao gấp nhiều lần mà độ chính xác gần như không đổi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19026
ArXiv Abstract	https://arxiv.org/abs/2610.19026
PDF Download	https://arxiv.org/pdf/2610.19026.pdf
Github Repository	https://github.com/jiwonsong-dev/JSSA

📰 Summary of Papers
1. Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation (331 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Player-1: Learning to Play from Synthetic Experience (283 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation (237 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents (96 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning (76 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation (76 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation (65 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. Cortex: Consolidating Context into Parametric Memory (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. ActionOPD: Distilling Decisions, Not Tokens (54 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory (46 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders (39 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. LensErase: A Foundation Model for Erase Anything (39 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization (32 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. Towards Agentic Robots: Model, Data, Environment, and Harness (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline (28 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. Hybrid Reasoning Agents (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. The Thinking Leakage in Reinforcement Learning for LLMs (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. τ-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. SwarmRSI: Recursive Self-Improvement through Evolving Scientific Agent Swarm (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. SkillMarker: A KGW-Based Watermarking Method for Agent Skill Ownership Verification (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. RAR: Rate-Adaptive Rollout for Time-Consistent Interactive World Models (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. ProgAgent: Learning Tool Orchestration through Programmatic Training (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. Long-Horizon RL Needs Muon (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. Apertus 1.5: From Open Text Models to Open Multimodal Reasoners (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. Efficient Scene-Text Refinement via Pixel-Space Grouped Image Generation (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
34. Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
35. Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
36. SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
37. LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
38. Joint Subspace Sparse Attention for Efficient Long-Context Decoding (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation (331 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Player-1: Learning to Play from Synthetic Experience (283 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation (237 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents (96 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning (76 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation (76 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation (65 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Cortex: Consolidating Context into Parametric Memory (64 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. ActionOPD: Distilling Decisions, Not Tokens (54 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation (331 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Player-1: Learning to Play from Synthetic Experience (283 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation (237 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents (96 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning (76 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation (76 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation (65 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Cortex: Consolidating Context into Parametric Memory (64 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. ActionOPD: Distilling Decisions, Not Tokens (54 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: