Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-08-28

Báo cáo được tạo tự động vào lúc 2026-08-29 10:06:25 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models (120 votes)​

Tác giả: Pengfei Zhou, Hexin Wang, Zhengfeiyang Zhang, Yixing Ma, Zhenglin Wan, et al.

Xuất bản lúc: 2026-08-26

Tag: World Models, Reinforcement Learning, Agentic Game Development, Verifiable Reward, RLHEV, Spatial Intelligence, Unity, Unreal, Godot

I. Main Problem:​

Các mô hình thế giới (world models) không gian hiện nay bị kẹt ở nút thắt khả năng xác minh (verifiability bottleneck): thiếu tín hiệu phần thưởng rẻ và đáng tin để hậu huấn luyện (post-training).

Hậu quả cụ thể:

  • Video generation: chỉ chấm chất lượng bằng FVD, CLIP, người chấm — đều là proxy mờ, nhiễu, dễ game.
  • 3D generation: ít dữ liệu (chỉ ~10⁷ assets so với 10⁹–10¹² ảnh/token) và không có bộ kiểm tra giá rẻ cho tính vật lý/ngữ nghĩa.
  • World simulators: tường annotation — cần ground truth 3D thế giới thực đắt đỏ, không mở rộng được.

Khác với code/math có verifier rẻ (compiler, test), không gian sinh ra phụ thuộc chú thích chủ quan trên đầu ra cuối, khiến học tăng cường (RL) hậu huấn luyện không thể chạy. Tác giả gọi chi phí này là thuế bất khả xác minh (unverifiability tax): cứ phải mua thêm data/compute/quét/người chấm.

II. Main Idea:​

Luận điểm cốt lõi: tiến bộ của một lĩnh vực bị kìm hơn bởi thiếu kênh phản hồi có thể mở rộng chứ không phải thiếu data hay compute. Game development chính là động cơ dữ liệu đệ quy (recursive data engine) sẵn có cho world models.

Cách thức — AWoMo + RLHEV:

  • AWoMo (Agentic World Model): agent xây dựng thế giới, đề xuất sửa scene, render, kiểm tra, sửa lỗi, học từ trace. Bốn giao diện: intent / action / verification / review.
  • RLHEV (Reinforcement Learning with Human-Engine Verification): kết hợp hai tín hiệu — engine cung cấp phần thưởng cấu trúc dày đặc, rẻ (va chạm, vật lý, navmesh, script, playability probes), con người cung cấp phán quyết thưa nhưng canh thẳng (chấp nhận/từ chối).
  • UWDP (Unified World-Development Protocol): đóng gói mỗi lần dev thành trace có cấu trúc state–action–check–review, biến việc xây game thành byproduct sinh dữ liệu huấn luyện.
  • Vòng lặp: model đề xuất → engine chạy và localize lỗi → agent sửa → người duyệt accept/reject → trace lưu làm data cho model sau.

Ví dụ đời thường: giống một xưởng may có máy kiểm lỗi tự động (máy đo đường may, vải hỏng) báo lỗi từng chỗ rẻ rề, còn ông thợ cả chỉ đứng xem thành phẩm cuối và gật/ lắc đầu; nhờ máy gánh hết mấy lỗi nhỏ, ông thợ chỉ chấm điểm lần cuối, rồi mỗi mẻ áo may xong tự biến thành bài học cho thợ mới.

III. Main Results:​

  • UnitySceneBench (200 example Unity asset-edit): Full RLHEV đạt primary score cao nhất 0.681 (accuracy 0.665, F1 0.733, AUC 0.690), vượt baseline mạnh nhất +0.098 primary, +0.120 accuracy.
  • Generation-side scaling: ở 720 instance, Full RLHEV đạt 0.8197 generation quality vs 0.7934 của Engine-based RLVR.
  • OOD generalization: transfer learning giúp dịch chuyển phân phối trong-family và cross-engine (Unity→Unreal, Unity→Godot) đều cho tín hiệu dương.
  • Embodied metrics: dữ liệu môi trường do AWoMo sinh cải thiện hiệu suất chính sách trên R2R, Gymnasium MuJoCo, D4RL Gym-MuJoCo.
  • Falsifiers định sẵn: P1 (engine reward > fuzzy proxy ở cùng compute), P2 (thêm human acceptance giúp hơn engine-only), P3 (positive OOD transfer) — đều được ủng hộ bởi thí nghiệm pilot.

IV. Conclusion & Future Works:​

Game engines chính là verifier rẻ đã tồn tại để mở rộng world models: chúng biến xây dựng thế giới thành vòng lặp phản hồi đệ quy, thống nhất hiểu và sinh không gian. Hướng tương lai: (1) tự-play — một agent xây thế giới, agent khác chơi/kiểm thử để tự cải thiện với ít người hơn; (2) thang phần thưởng (validity → physical → functional → playable) leo dần lên rich hơn; (3) tận dụng hệ sinh thái game/modding làm luồng tác vụ không gian có thể xác minh theo độ khó; (4) đảo ngược kinh tế chú thích — label thành byproduct của dev bình thường.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế verifier tự động đa cấp cho thế giới ảo: từ kiểm va chạm/navmesh đến probe chơi hoàn thành mục tiêu có giới hạn, gắn nhãn dày đặc rẻ hơn chú thích người.
  2. Nghiên cứu transfer learning cross-engine (Unity/Unreal/Godot) làm bằng chứng OOD cho world models, dùng rubric judge được người xác minh thay scalar native.
  3. Tự-play hai-agent: builder sinh thế giới và player khám phá/đánh giá playability để sinh phần thưởng quy mô lớn không cần người duyệt mỗi vòng.
  4. Đóng gói UWDP thành benchmark mở cho next-edit prediction và preference modeling trên trace phát triển game thực tế.

2. Patent:​

  1. Công cụ trợ lý làm game trên điện thoại: người dùng gõ ý tưởng scene, AI đề xuất sửa, engine trên máy kiểm lỗi va chạm/vật lý ngay, người chỉ gật đầu duyệt — tự động học từ mỗi lần sửa để lần sau đề xuất tốt hơn.
  2. Tính năng tự kiểm lỗi trong app thiết kế nội thất/3D (như IKEA Place): khi người dùng kéo đồ vật, engine báo ngay 'bàn xuyên tường' hay 'không đi được', giảm phải renders lại thủ công.
  3. Hệ thống huấn luyện robot ngay trong game引擎: môi trường ảo do AI build được verify tự động cung cấp dữ liệu轨迹 rẻ cho robot thực tế học di chuyển, tránh thu thập 3D thế giới thực đắt đỏ.
  4. Trình biên tập video/ảnh có verifier vật lý: sau khi AI sinh clip, engine kiểm 'vật có persist dưới occlusion không' và người duyệt mood — thay vì chỉ chấm CLIP mờ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.25518
ArXiv Abstracthttps://arxiv.org/abs/2608.25518
PDF Downloadhttps://arxiv.org/pdf/2608.25518.pdf
Github RepositoryN/A

2. PAWBench: How Far Are We from Probabilistically Aligned World Modeling? (74 votes)​

Tác giả: Yuandong Pu, Le Zhuo, Sayak Paul, Gabriel Jorge Menezes, Avram Đorđević, et al.

Xuất bản lúc: 2026-08-27

Tag: World Modeling, Video Generation, Probabilistic Alignment, Distributional Evaluation, Benchmark, VLM, LoRA, Diffusion

I. Main Problem:​

Các mô hình sinh video hiện nay được xem là world model, nhưng đa số đánh giá chỉ xét từng video đơn lẻ có plausible (hợp lý) hay không. Thực tế nhiều quá trình vật lý là ngẫu nhiên: cùng một khung hình ban đầu và cùng một hành động có thể dẫn tới nhiều kết cục vật lý khác nhau với xác suất khác nhau.

Vấn đề cốt lõi:

  • Một video plausible không chứng minh được phân bố đúng — mô hình có thể chỉ lặp đi lặp lại một tập con hẹp của các tương lai hợp lệ, hoặc phân bổ xác suất sai tỉ lệ.
  • Đánh giá hiện tại không kiểm tra phân phối mà chỉ kiểm tra từng mẫu riêng lẻ → che giấu sự thiếu hụt probabilistic alignment (căn chỉnh xác suất).
  • Chưa rõ: ngôn ngữ, nhiễu khởi tạo, hay huấn luyện có thể sửa được phân bố dự đoán này không.

II. Main Idea:​

PAWBench formalize probabilistic alignment thành tiêu chuẩn phân phối cho world model và đo nó qua lặp lại rollout (chạy sinh video nhiều lần) dưới cùng một khung hình ban đầu và cùng một action prompt.

Hai mức căn chỉnh:

  • Support alignment: mô hình có sinh được hết các kết cục hợp lệ không (không bỏ sót).
  • Probability-mass alignment: các kết cục đó có xuất hiện đúng tỉ lệ xác suất không.

Thiết kế benchmark:

  • PAW-Calibration (25 scenarios): có phân bố tham chiếu biết trước (tung đồng xu, quay vòng quay) → đo bằng TVD (total variation distance).
  • PAW-Coverage (25 scenarios): chỉ biết tập kết cục hợp lệ (lăn bóng bowling, lật chai) → đo tỉ lệ phủ được support.
  • PAWEval: dùng VLM (Gemini 3.5 Flash) áp dụng rubric để gán mỗi video vào một kết cục đầu cuối, sinh ra phân bố thực nghiệm.

Ví dụ đời thường: giống như thợ mộc thử gõ một nhát búa vào tấm gỗ cong rồi quan sát xem tấm gỗ hay rơi về trái hay phải — nếu gõ 50 lần mà nó luôn rơi trái dù vật lý nói 50/50, thì người thợ hiểu sai 'cơ chế may rủi' của tấm gỗ, dù mỗi lần rơi trông rất tự nhiên.

III. Main Results:​

  • Khảo sát 11 mô hình sinh video: không mô hình nào đạt đồng thời 3 yêu cầu (xác suất đúng, phủ support rộng, ổn định qua scene). Cosmos 3 Super I2V TVD thấp nhất (20.5) nhưng chỉ 80% scene qua được cổng readout; LTX-2.3 coverage cao nhất nhưng chỉ tính trên 72% scene qua cổng.
  • Calibration và Coverage là hai lỗi bổ sung: mô hình phủ rộng không phải là mô hình chia xác suất đúng.
  • Mô hình phản ứng sai với thay đổi vật lý: dưới can thiệp nhân quả (đổi góc nghiêng bút chì) phân bố thay đổi không đủ hoặc sai hướng; dưới can thiệp phi nhân quả (đổi chữ trên Galton board) chúng lại dạt xác suất dù quá trình vật lý không đổi.
  • Rollout budget: tăng K từ 1→100 chủ yếu tăng coverage, calibration gần như không đổi; Monte Carlo chứng minh TVD quan sát (trung bình 31.2) vượt xa nhiễu do mẫu hữu hạn (TVD < 9.22 với 99% mô phỏng).
  • PAWEval khớp con người 81.3% (722/888 video có kết cục rõ) → sai lệch không do tự động đọc kết cục.
  • Can thiệp: Prompt Engineering và Oracle PE cải thiện nhưng generator vẫn trượt 37.6–58.1% kết cục yêu cầu; C2C coupled noise mở rộng khám phá nhưng không đổi phân bố học được; LoRA fine-tune theo tỉ lệ ví dụ trái/phải làm dịch chuyển phân bố nhưng theo hướng giống nhau cho mọi scene → chỉnh được scene này thì hỏng scene kia.

IV. Conclusion & Future Works:​

Kết luận: video generator hiện tại còn rất xa probabilistically aligned world modeling — video đơn có vẻ plausible nhưng phân bố ẩn bỏ sót tương lai hợp lệ và chia sai xác suất, đồng thời không phân biệt được thay đổi nhân quả và phi nhân quả.

Hướng tương lai:

  • Học cách phân bố tương lai thay đổi theo trạng thái vật lý ban đầu (không chỉ chỉnh tần số toàn cục).
  • Kết hợp steering tại inference với thay đổi phân bố học được qua huấn luyện.
  • Mở rộng sang horizon dài, tương tác, và đánh giá động lực trung gian thay vì chỉ kết cục đầu cuối.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế protocol đánh giá phân phối cho world model video sử dụng rubric-based VLM judge, tách biệt cổng outcome-readout khỏi scoring để đo TVD và coverage độc lập.
  2. Nghiên cứu can thiệp nhân quả có kiểm soát (causal vs non-causal prompt/image change) để đo mức độ mô hình world model thực sự mã hóa được chuyển tiếp vật lý thay vì nhiễu thị giác.
  3. Phân tích xem việc thay đổi thành phần dữ liệu huấn luyện (tỉ lệ các outcome) có thể reshape learned predictive distribution theo hướng scene-dependent hay chỉ global shift.

2. Patent:​

  1. Ứng dụng trên điện thoại: app xem trước vật lý — người dùng chụp một cảnh (ví dụ xếp domino), app chạy nhiều rollout để hiển thị xác suất các kết cục có thể xảy ra trước khi người dùng thật sự làm, giúp lập kế hoạch trò chơi/quay video.
  2. Tính năng kiểm tra mô phỏng cho game/mô phỏng vật lý trên điện thoại: so sánh phân bố outcome do engine vật lý sinh ra với phân bố do mô hình video sinh ra để phát hiện lỗi render không khớp thực tế.
  3. Hệ thống huấn luyện robot bằng video: dùng PAW-Calibration làm bộ test tự động kiểm tra xem mô hình dự đoán hành động của robot có phân bổ xác suất đúng theo vật lý (va chạm, rơi) hay chỉ sinh cảnh plausible nhưng sai tỉ lệ, từ đó tinh chỉnh LoRA cho sát.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.27345
ArXiv Abstracthttps://arxiv.org/abs/2608.27345
PDF Downloadhttps://arxiv.org/pdf/2608.27345.pdf
Github Repositoryhttps://github.com/Andrew0613/PAWBench

3. UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City (70 votes)​

Tác giả: Tianjie Ju, Zheng Wu, Yueqing Sun, Yuhan Cui, Bobo Li, et al.

Xuất bản lúc: 2026-08-27

Tag: MLLM, Spatial Agency, Urban Navigation, 3D Simulation, Embodied AI, Vision-Language-Action, Digital Twin

I. Main Problem:​

Các multimodal LLM (MLLM) hiện tại nhận diện tốt một cảnh đường phố tĩnh, nhưng agency đô thị (khả năng hành động đáng tin ở quy mô thành phố thật) đòi hỏi bằng chứng thu được tại một góc nhìn phải vẫn còn dùng được sau khi agent di chuyển. Các benchmark hiện có đều hở một mảnh:

  • Môi trường game: cấu trúc không gian do game định nghĩa, không neo vào địa lý thật.
  • Không gian vật lý bounded (trong nhà): quá nhỏ để buộc observation cục bộ phải liên hệ với khung không gian lớn hơn.
  • Nghiên cứu đô thị từ ảnh aerial/street-view: giữ bối cảnh địa lý thật nhưng agent nhảy giữa các viewpoint chứ không di chuyển vật lý liên tục trong cùng một thành phố.
  • Simulator tương tác: khôi phục vòng lặp action-observation nhưng cảnh thường tự sinh, không giữ cấu trúc địa lý phức tạp georegistered của một đô thị có thật.

→ Chưa ai chứng minh được năng lực nhận diện đa phương thức cục bộ mạnh có tổng hợp thành spatial agency khi mọi quan sát và cử động phải nhất quán với cùng một thế giới thật.

II. Main Idea:​

UrbanGround là sandbox quy mô thật xây dựng từ dữ liệu 3D geospatial toàn lãnh thổ Hong Kong (3D Visualisation Map + 3D Pedestrian Network của Sở Đất đai HK), đưa vào Unity thành một thành phố có vật lý. Thiết kế cốt lõi:

  • Ba năng lực tích lũy định nghĩa spatial agency: Grounding (thiết lập quan hệ không gian cục bộ), Persistence (giữ quan hệ đó dùng được sau khi evidence rời khỏi tầm nhìn), Adaptation (sửa trạng thái khi điều kiện ngoài thay đổi).
  • Vòng lặp kín: agent (MLLM ngoài) nhận observation (ảnh first-person RGB + bản đồ tương tác), chọn 1 action có cấu trúc (move/sprint/look/jump/map...), simulator chạy vật lý có va chạm, ghi quỹ đạo theo tọa độ địa lý — agent không được xem đường ngắn nhất hay API chỉ đường.
  • Ba lớp: geospatial (neo thành phố + mạng lưới đi bộ vào 1 frame), simulation (vật lý, thời gian, thời tiết, người đi bộ, đóng đường), agent (giao tiếp client-server, swap model tự do).
  • Thang đánh giá 5 cấp: L1 hiểu môi trường cục bộ → L2 điều hướng chỉ thị rõ → L3 khám phá chỉ thị ngầm → L4 lập kế hoạch đa nhiệm → L5 tương tác môi trường động (đóng đường, người đi bộ). 810 task được người thật verify.

Ví dụ đời thường: giống một người mới đến Hong Kong cầm bản đồ giấy, phải tự bước đi, nhìn biển báo, nhớ hướng đã rẽ — chứ không có Google Maps chỉ thẳng đường; mỗi bước chân làm thay đổi góc nhìn tiếp theo, nên nếu không giữ được trí nhớ phương hướng thì càng đi xa càng lạc.

III. Main Results:​

  • RQ1 (Grounding cục bộ): hầu hết model làm tốt visual recognition (Acc ~80-93%) và active exploration chỉ giảm nhẹ; nhưng orientation/directional hiểu hướng sụt mạnh, nhiều hệ tiếp cận mức đoán bừa 4 lựa chọn. Thế hệ mới (GPT-5.5, Claude-Opus-5, Gemini-3.6) vượt hẳn đời cũ (GPT-5.2, Gemini-3.1-Pro) chủ yếu ở giữ evidence phương hướng.
  • Tuân thủ mạng lưới đi bộ (PNA) rất thấp (~60-93% thời gian action): agent hay cắt ngang đường để trả lời nhanh, bỏ qua ràng buộc thực tế dù answer đúng.
  • RQ2 (Persistence điều hướng): một số model thành công ở short-range navigation, nhưng long-range (vài block) gần như thất bại toàn bộ; lỗi tích lũy không được sửa → không compose năng lực nguyên tử thành exploration dài hạn. Navigation phụ thuộc chỉ thị (phải tự suy đích) sụp ngay cả ở cự ly ngắn.
  • RQ3 (Adaptation): tầm nhìn kém (mưa/sương) chủ yếu làm yếu QA cục bộ; khi đường bị đóng giữa chừng, agent vẫn sinh ra các cử động cục bộ hợp lệ dù kế hoạch không gian đã lỗi thời → gap giữa hành vi cục bộ hợp lý và thích ứng hiệu quả.
  • Kết luận chung: agency đô thị không thể suy ra từ perception đơn lẻ hay thành công cự ly ngắn; kỹ năng cục bộ mất độ tin cậy khi tương tác kéo dài qua thành phố.

IV. Conclusion & Future Works:​

UrbanGround biến khoảng cách giữa nhận diện cục bộ mạnh và hành vi định hướng bền vững thành quan sát được trong bối cảnh địa lý thật, nơi mỗi action thay đổi evidence tiếp theo. Kết luận then chốt: các MLLM hiện tại có kỹ năng không gian cục bộ hữu ích nhưng không compose thành control duy trì mục tiêu khi tương tác mở rộng. Hướng tương lai: (1) cơ chế memory/state rõ ràng để giữ pose và kế hoạch qua nhiều bước; (2) chiến lược sửa lỗi khi bị chặn đường; (3) huấn luyện/thiết kế prompt tăng tuân thủ ràng buộc vật lý thực; (4) mở rộng sang lập kế hoạch đa đích và thích ứng thời tiết/đám đông.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế memory nội tợ (working spatial state) cho MLLM agent để duy trì ước lượng pose và mục tiêu qua hàng chục bước trong môi trường đô thị quy mô thật, thay vì chỉ dựa vào lịch sử ảnh.
  2. Phân tích nguyên nhân lỗi tích lũy trong long-range urban navigation và đề xuất bộ heuristic tự sửa (recovery policy) khi agent bị kẹt hoặcroute bị chặn.
  3. So sánh khả năng adaptation của MLLM khi điều kiện thay đổi (đóng đường, mưa, người đi bộ) giữa bản đồ tĩnh và quan sát first-person liên tục, nhằm hiểu khi nào agent nên tin bản đồ hơn thị giác.
  4. Mở rộng UrbanGround sang đánh giá multi-agent (nhiều agent phối hợp tìm kiếm/di tản) trong cùng một digital twin thành phố.

2. Patent:​

  1. Ứng dụng dẫn đường an toàn cho người đi bộ trên điện thoại: dùng digital twin georegistered của thành phố, camera điện thoại cung cấp first-person view, mô hình MLLM tự định hướng và chỉ đường thực tế có tính đến cầu vượt, lối đi bộ, thời tiết — không cần GPS liên tục.
  2. Hệ thống cảnh báo vi phạm an toàn cho nhân viên giao hàng (như Meituan): agent MLLM theo dõi quỹ đạo người thật trên bản đồ đi bộ 3D, phát hiện lúc họ ra khỏi mạng lưới an toàn hoặc đi vào đường cấm, gửi cảnh báo thời gian thực.
  3. Tính năng lập lộ trình tránh mưa cho app bản đồ: tích hợp bản đồ 3D có lớp mái che (exposure signal) để gợi ý tuyến đi bộ có mái khi trời mưa, dựa trên trạng thái thời tiết động của simulator.
  4. Công cụ huấn luyện/đánh giá tài xế hoặc robot giao hàng trong đô thị: sandbox cho phép đổi giờ ngày đêm, thời tiết, đóng đường giả lập để test khả năng thích ứng trước khi triển khai thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.27456
ArXiv Abstracthttps://arxiv.org/abs/2608.27456
PDF Downloadhttps://arxiv.org/pdf/2608.27456.pdf
Github Repositoryhttps://github.com/UrbanGround/UrbanGround

4. TTPO: Test-Time Policy Optimization (64 votes)​

Tác giả: Aozhe Wang, Zhengxi Lu, Jianze Wang, Shangke Lv, Ying Liu, et al.

Xuất bản lúc: 2026-08-27

Tag: Test-Time Training, RL, On-Policy Self-Distillation, GRPO, LLMs, Math Reasoning, Pseudo-Label

I. Main Problem:​

Các phương pháp hậu huấn luyện mạnh nhất cho toán LLM (RLVR, OPSD) đều cần đáp án chuẩn (ground-truth), nên không thể chạy ở chế độ test-time training (TTT) — nơi mô hình tự cải thiện trên đúng các bài tập không có nhãn. Thay nhãn chuẩn bằng pseudo-label bầu theo đa số thì rất dễ vỡ:

  • Khi đa số bầu sai, toàn bộ rollout đồng thuận bị kéo theo lỗi (OPSD gặm nhấm mỗi token).
  • Trên bài thi đấu (AIME/HMMT), pseudo-label sai tới ~85% prompt, tưởng chừng bất khả thi để học.

II. Main Idea:​

TTPO (Test-Time Policy Optimization) tách hai nhóm rollout và chỉ dùng mỗi tín hiệu ở nơi nó còn đáng tin:

  • Nhánh đồng thuận (P, trùng pseudo-label): chắt lọc qua OPSD — một 'teacher' cùng mô hình nhưng được cho sẵn đáp án làm gợi ý, dạy lại token theo forward KL. Kể cả nhãn sai, teacher vẫn khớp với câu trả lời rollout tự sinh ra → thực chất là chưng cất 'tư duy' sang 'không tư duy', an toàn.
  • Nhánh bất đồng (N, khác pseudo-label): phạt bằng GRPO — chỉ cần 'không nằm trong nhóm đa số', không dùng nội dung nhãn. Vì ~79% rollout bất đồng thực sự là sai, nên phạt hầu như luôn đúng bất kể nhãn.
  • Chọn lọc token: nhánh OPSD giảm trọng số tại vị trí học sinh đã chốt xong; nhánh GRPO chỉ phạt các token tự tin mà sai (low-prob, low-entropy) qua mặt nạ.

Nhờ bất đối xứng này, TTPO dùng được cả rollout đúng và sai, bền với nhiễu nhãn, và tự hiệu chỉnh theo năng lực hiện tại.

Ví dụ đời thường: giống một nhóm thợ mới cùng làm thử một bài; ai trả lời giống số đông thì mấy người giỏi hơn ngồi chỉ bảo lại từng bước cho họ, còn ai trả lời lạc loài thì chỉ bị nhắc nhở 'chỗ này sai rồi' — dù thực ra cái đáp án số đông cũng có thể sai, ta vẫn không dạy sai ai vì chỉ phạt kẻ lạc quẻ chứ không ép theo đáp án đó.

III. Main Results:​

  • Không nhãn, vượt OPSD có nhãn: trên 5 benchmark thi đấu (Qwen3-1.7B/4B/8B), TTPO đạt trung bình 40.1 / 58.6 / 62.6, cao hơn OPSD dùng nhãn chuẩn (39.7 / 58.4 / 61.7).
  • TTT thuần: Qwen3-1.7B từ 38.0% lên 45.2% (+7.2), vượt TTRL (+5.4) và OPSD-TTT (+3.3). Ở scale 4B (61.1) đã ngang base 8B (60.7).
  • Tắt thinking mode: lợi ích +25.2% đến +36.4%, gấp nhiều lần OPSD có nhãn.
  • Khái quát chéo: huấn luyện trên 1 benchmark vẫn cải thiện 2 benchmark còn lại.
  • Tự tiến hóa: Maj@12 tăng cùng Avg@12 — nhãn tốt hơn kéo trần huấn luyện lên, TTPO thậm chí vượt cả dùng ground-truth (vì nhãn chuẩn quá ít positive để huấn luyện).

IV. Conclusion & Future Works:​

TTPO đưa OPSD vào TTT không nhãn bằng mục tiêu bất đối xứng: OPSD cho hướng dẫn dày đặc trên rollout đúng, RL cho phạt bền nhiễu trên rollout sai, kèm chọn lọc token. Khớp phương pháp có nhãn, vượt hẳn cách không nhãn, và tự tiến hóa mạnh. Hướng tương lai: mở rộng sang tác vụ phi toán, tự động chọn K/privileged info, và kết hợp với lịch trình nhiệt độ để khai thác vòng lặp tự tiến hóa tốt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TTPO sang lập trình và reasoning đa bước không nhãn, thay pseudo-label đa số bằng bầu chọn theo test-case chạy được để chống nhiễu trên tác vụ code.
  2. Nghiên cứu lịch trình động cho K (số rollout) và λ (trọng số RL) theo độ tự tin majority vote để tối ưu vòng lặp tự tiến hóa trên benchmark khó dần.
  3. Kết hợp TTPO với self-distillation thinking-to-non-thinking để nén mô hình lớn sang phiên bản 'không tư duy' mà vẫn giữ năng lực, phục vụ suy luận tiết kiệm.

2. Patent:​

  1. Tính năng 'tự luyện trên máy' cho app giải toán trên điện thoại: khi không có đáp án, app sinh nhiều lời giải, lấy đa số làm nhãn, rồi vừa dạy lại lời giải đúng vừa phạt lời giải sai — càng dùng càng giỏi lên mà không cần server.
  2. Trợ lý học tập offline tự cải thiện: học sinh làm bài, app tự bầu đáp án phổ biến rồi chỉnh lại từng bước tư duy của mình, giúp giải thích mạch lạc hơn mà không cần kho đáp án chuẩn.
  3. Mô-đun suy luận tiết kiệm pin trên thiết bị cầm tay: TTPO chuyển kênh 'suy nghĩ dài' sang 'trả lời trực tiếp' qua chưng cất, giúp chatbot toán chạy nhanh, hao pin thấp mà vẫn chính xác trên điện thoại tầm trung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.27448
ArXiv Abstracthttps://arxiv.org/abs/2608.27448
PDF Downloadhttps://arxiv.org/pdf/2608.27448.pdf
Github Repositoryhttps://github.com/ZJU-REAL/TTPO

5. Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher (57 votes)​

Tác giả: Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, et al.

Xuất bản lúc: 2026-08-27

Tag: Flow Matching, On-Policy Distillation, RL, Diffusion Models, Reward-level Fusion, Multi-Objective Alignment, Self-Exploration

I. Main Problem:​

Căn chỉnh Flow Matching (FM) với mục tiêu downstream (text rendering, compositional, preference) đối mặt hai lối mòn:

  • RL thuần (Flow-GRPO...): chỉ dùng điểm thưởng ở cuối cả quỹ đạo sinh ảnh → phân bổ công trạng ngược qua nhiều bước gây gradient phương sai cao, và dễ sập khi nhiều thưởng mâu thuẫn.
  • OPD có teacher (Flow-OPD, DiffusionOPD): có giám sát dày từng bước ổn định hơn, nhưng mỗi mục tiêu mới phải huấn luyện riêng một teacher tốn kém; student bị trần bởi chất lượng/bias của teacher; khi gộp nhiều teacher ở mức trường vận tốc thì gradient xung đột (hiệu ứng see-saw).

Câu hỏi cốt lõi: giữ giám sát đậm từng bước của OPD mà bỏ hẳn teacher ngoài?

II. Main Idea:​

Self-OPD biến chính student thành nguồn giám sát: tại mỗi bước denoising trên-policy, sinh các nhánh khám phá rồi lấy thưởng làm tín hiệu kéo/đẩy.

Quy trình mỗi bước t_j:

  • SDE Branching: từ một lần forward duy nhất lấy dự đoán ODE tất định x̂, rồi cộng K nhiễu Gaussian nhẹ (η=0.6) thành K nhánh SDE → chi phí tính toán thấp.
  • ODE Rollout + Self-Reference: mỗi nhánh chạy ODE tới ảnh sạch, đưa qua VAE decode rồi chấm điểm bởi reward model R; đồng thời một quỹ đạo ODE tất định từ chính state cha cho điểm baseline r_ode (không cần teacher).
  • Normalized Advantage: A_k = (r_k − r_ode) / std(rồi), dương = hướng tốt hơn mặc định, âm = hướng nên tránh.
  • All-Branch Pull-Push: nhánh lợi thế cao kéo vận tốc về hướng tốt, nhánh thấp đẩy ra; có direction-aware attenuation d_k giảm lực đẩy khi nhánh xấu gần trùng hướng nhánh tốt nhất (tránh triệt tiêu lực kéo), và SDE-variance normalization (1+η²/2)²|Δt|/2σ²_t làm bước cập nhật unbiased ứng với gradient của per-step KL với phân bố reward-tilted.
  • Reward-level fusion (đa mục tiêu): gộp các điểm chuẩn hóa z-score thành r_composite = Σ λ_m r̃_m chỉ để xếp hạng nhánh (không đạo hàm); mục tiêu hồi quy vẫn là một vận tốc cụ thể đã thắng → tránh xung đột gradient, chọn nhánh nằm trong vùng joint high-reward.

Ví dụ đời thường: giống sinh viên tự làm bài thử, nộp nhiều bản nháp hơi khác nhau rồi tự chấm điểm so với bản mặc định của mình — bản nào điểm cao thì lần sau chép hướng đó, bản điểm thấp thì tránh, thay vì phải thuê riêng một thầy giáo cho từng môn.

III. Main Results:​

  • Single-reward (Bảng 1): Self-OPD đạt GenEval 0.9536, OCR 0.9745, PickScore 24.47, HPSv2 0.4099 — vượt Flow-GRPO và GRPO-Guard trên mọi task dù dùng cùng base model SD3.5-Medium và cùng reward.
  • Mixed-reward, một model duy nhất (Bảng 2): GenEval 0.9521, OCR 0.9597, PickScore 23.87, HPSv2 0.3214 — thắng cả teacher-based OPD (DiffusionOPD PickScore 22.72, HPSv2 0.2676) dù hoàn toàn không có teacher.
  • Fig. 4 chứng minh reward-level fusion: với Self-OPD, phân bố preference trên prompt thẩm mỹ và prompt task gần trùng (Δ PickScore 0.48, Δ HPSv2 0.020); còn DiffusionOPD (field-level fusion) sụt mạnh (Δ 1.23 và 0.105) khi đổi sang prompt task → ảnh chỉ đẹp trên đúng họ prompt đã chọn teacher.
  • Sinh một ảnh thỏa mãn đồng thời text chuẩn, bố cục đúng, thẩm mỹ cao, thay vì mỗi ảnh giỏi một tiêu chí.

IV. Conclusion & Future Works:​

Self-OPD giữ giám sát đậm từng bước của OPD mà loại bỏ teacher, dùng tự khám phá + baseline tự tham chiếu làm pull-push supervision, và chuyển tìm Pareto-front từ không gian tham số (gradient xung đột) sang không gian quỹ đạo (một nhánh thắng đã tốt mọi tiêu chí). Nó vượt cả RL và teacher-OPD trên đơn và đa reward, hỗ trợ black-box reward, và đổi trọng số λ_m tại runtime không cần huấn luyện lại.

Hướng tương lai (dựa trên bàn luận): mở rộng sang video/3D generation; tự động hóa chọn η, K, lịch α_j; kết hợp với guide nhẹ để giảm variance khi số nhánh K nhỏ; áp dụng cho alignment đa-modal (text-to-video, âm thanh).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Self-OPD sang text-to-video và 3D: khám phá nhánh SDE trên không gian latent đa khung hình, gộp reward theo thời gian thành composite rồi chọn nhánh joint high-reward.
  2. Tự điều chỉnh nhiễu khám phá η và số nhánh K theo phương sai advantage đo được, thay vì cố định 0.6/8, để cân bằng chi phí-machine và độ ổn định.
  3. Kết hợp Self-OPD với preference model đa người dùng: gộp reward-level fusion theo trọng số cá nhân hóa để một model phục vụ nhiều gu thẩm mỹ khác nhau tại inference.
  4. Phân tích lý thuyết chặt chẽ hơn: chứng minh hội tụ của pull-push dưới nhiễu SDE khi số bước denoising S thay đổi và khi reward là black-box không trơn.

2. Patent:​

  1. Tính năng 'tự sửa lỗi chữ' trên app sinh ảnh điện thoại: khi người dùng gõ text muốn in vào ảnh, model tự sinh vài bản nháp, tự OCR chấm điểm, giữ bản nháp chữ đúng nhất — không cần server teacher riêng, chạy trên thiết bị.
  2. Bộ lọc ảnh 'vừa ý cả nhà' trên điện thoại: một lần bấm, app sinh đa nhánh rồi gộp điểm thẩm mỹ + điểm đúng nội dung thành một ảnh thỏa mãn cả hai cùng lúc, tránh ảnh đẹp nhưng sai yêu cầu.
  3. Công cụ thiết kế logo trên mobile: người dùng nhập slogan, app tự branch nhiều bố cục, tự chấm OCR + aesthetic, chọn nhánh chung vùng điểm cao để xuất logo vừa đọc rõ vừa đẹp mà không cần mô hình giáo viên cồng kềnh.
  4. Chế độ 'enhance đa mục tiêu' cho camera AI: sau khi chụp, model tự tối ưu nhánh latent sao cho ảnh vừa sắc nét, vừa đúng composition theo prompt, vừa hợp thị hiếu — đổi trọng số tại chỗ không cần tái huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.26872
ArXiv Abstracthttps://arxiv.org/abs/2608.26872
PDF Downloadhttps://arxiv.org/pdf/2608.26872.pdf
Github RepositoryN/A

6. What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents (56 votes)​

Tác giả: Xingshan Zeng, Zishan Xu, Boju Zhang, Yuzhou Wu, Lingzhi Wang, et al.

Xuất bản lúc: 2026-08-27

Tag: Agentic Data, LLM Agents, Data Generation, Survey, SFT, RL, ACE Lens, Tool-use, Software Engineering, GUI Agents

I. Main Problem:​

Việc huấn luyện LLM agent (gọi tool, thao tác GUI, code, tương tác môi trường) cần dữ liệu tương tác, nhưng khác hẳn sinh câu lệnh thông thường: mỗi mẫu phải giữ được sự nhất quán giữa môi trường – nhiệm vụ – lượt tương tác – tín hiệu thành công.

Vấn đề hiện tại của cả trường nghiên cứu:

  • Phân mảnh theo domain: tool-use, coding, GUI, embodied, khoa học... mỗi nơi mô tả riêng, khiến cơ chế chung bị che khuất dưới thuật ngữ khác nhau.
  • Đánh đồng hai việc khác biệt: cách xây dựng ứng viên dữ liệu bị trộn lẫn với cách kiểm chứng/chọn lọc nó, làm kết quả báo cáo không so sánh được.
  • Không rõ tiêu chí nào quyết định dữ liệu sinh ra có hữu ích để học hay chỉ nhiều.

II. Main Idea:​

Bài báo đề xuất khung hai tầng để thống nhất toàn trường:

1. Đối tượng dữ liệu được phân tích chung thành d = (E, q, τ, v):

  • E — Environment Specification: thế giới có thể thao tác (tool, repo, simulator, luật).
  • q — Task Signal: mục tiêu/nhiệm vụ, chỉ có nghĩa khi neo vào E.
  • τ — Interaction Realization: lượt tương tác thực tế (trajectory).
  • v — Verifier (tùy chọn): kiểm tra thành công/rward.

2. ACE Lens — xem sinh dữ liệu như thiết kế phân phối có ràng buộc:

  • Accuracy (A): xác định miền hợp lệ — dữ liệu phải grounded và nhất quán nội bộ giữa các factor.
  • Complexity (C): trong miền hợp lệ, đặt khối lượng học tương đối với năng lực của learner được khai báo.
  • divErsity (E): phủ đa dạng không trùng lặp qua môi trường, nhiệm vụ, hành vi.

Bất đối xứng cốt lõi: sai/sai (invalid) không thể bù bằng khó hay đa dạng; nhưng toàn valid mà tầm thường/lặp cũng ít giá trị học.

Phân loại cơ chế sinh:

  • Forward: E → q → τ (dựa môi trường có sẵn).
  • Reverse: task-first (đặt mục tiêu rồi dựng môi trường), trajectory-first (từ experience suy ngược task), structure-first (dùng plan/tool-graph làm khung).

Ví dụ đời thường: giống một trường dạy nghề thiết kế bài tập thực hành — trước hết phải có xưởng máy thật và an toàn (Accuracy), rồi chia bài từ dễ đến khó vừa sức từng lớp học viên (Complexity), và không bắt mọi người lặp đi lặp lại một thao tác mà xoay đủ các máy khác nhau (divErsity).

III. Main Results:​

Là bài survey/tổng hợp, không có số benchmark mới; đóng góp là bức tranh hệ thống:

  • Hệ thống hóa forward/reverse generation qua neo (anchor) và cấu trúc phụ thuộc thay vì label domain.
  • Tách biệt rõ cách sinh dữ liệu khỏi tiêu chí chọn/lọc qua ACE.
  • Rút ra xu hướng chung của literature: chuyển từ đánh giá 'có vẻ hợp lý' sang accuracy grounded bằng thực thi; từ heuristic độ khó tĩnh sang complexity tương đối với model/cấu hình; từ biến thiên bề mặt sang đa dạng hành vi.
  • Chỉ ra ngưỡng: độ khó/biến thiên không bù được tính không hợp lệ; dữ liệu valid nhưng tầm thường/lặp ít giá trị học thêm.

IV. Conclusion & Future Works:​

Thảo luận mở rộng qua ACE:

  • Scaling law dưới ACE: không chỉ tăng số lượng mà phân bổ experience valid – informative – non-redundant khi agent/môi trường tiến hóa.
  • Real vs synthetic: dữ liệu thực và sinh có ưu nhược bù trừ; ACE là thước đo chung.
  • Pre/mid-training agentic: mở rộng từ trajectory hậu huấn luyện sang giám sát sớm và vòng lặp trải nghiệm thay đổi theo learner.
  • Self-evolving agents: đóng vòng phản hồi để dữ liệu tự sinh tự cải thiện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Định lượng scaling law thực nghiệm: đo điểm bão hòa học khi tăng Accuracy/Complexity/divErsity độc lập trên cùng một learner để tìm tỉ lệ phân bổ tối ưu.
  2. Bộ đo divErsity hành vi chuẩn hóa cross-domain (tool-use, coding, GUI) thay vì chỉ đếm kích thước dataset, để so sánh công bằng giữa các pipeline.
  3. Khung tự động hiệu chỉnh complexity theo điểm yếu của learner: sinh task khó hơn ở vùng learner đang sai, dễ hơn ở vùng chưa ổn định.
  4. Mở rộng ACE cho dữ liệu agentic pre-training: trộn experience thực thi và synthesized có verifier thành một phân phối huấn luyện sớm.

2. Patent:​

  1. Công cụ tự động sinh bộ bài tập thực hành cho nhân viên mới dùng phần mềm doanh nghiệp: xây môi trường giả lập (E), tự đặt task neo vào quy trình thật (q), chạy thử bằng agent để lấy trajectory (τ), và dùng test case làm verifier (v) — đảm bảo mỗi bài vừa sức, không trùng lặp.
  2. Hệ thống kiểm thử app trên điện thoại tự sinh kịch bản GUI: từ DOM/thực tế app sinh navigation task đa dạng, thực thi thật trên thiết bị để xác minh (accuracy) rồi ưu tiên các luồng ít được phủ (diversity) làm test case tự động.
  3. Lớp huấn luyện trợ lý ảo cá nhân hóa: dựa trên lỗi hay sai của người dùng cụ thể, tự sinh lại dữ liệu tương tác ở độ khó vừa đủ (learner-relative complexity) để fine-tune mô hình phụ trợ mà không cần thu công.
  4. Nền tảng đào tạo lập trình viên bằng coding agent: dựng repo ảo có build/test thật, sinh issue ở nhiều mức độ, chạy agent giải rồi dùng kết quả test làm verifier, tự cân bằng độ khó và độ phủ chủ đề cho khóa học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.27260
ArXiv Abstracthttps://arxiv.org/abs/2608.27260
PDF Downloadhttps://arxiv.org/pdf/2608.27260.pdf
Github RepositoryN/A

7. Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report (43 votes)​

Tác giả: TaoLive AIGC LLM Team, Yuhan Sun, Wenhao Lin, Yongdong Luo, Yibo Hu, et al.

Xuất bản lúc: 2026-08-22

Tag: LLM, Agent, Reinforcement Learning, SFT, Knowledge Distillation, E-commerce, Digital Avatar, On-Policy Distillation, GRPO, MoE

I. Main Problem:​

Streamer ảo thương mại điện tử trực tiếp phải vừa trả lời nhanh, vừa cập nhật luật bán hàng liên tục, vừa trả lời chính xác — ba yêu cầu xung đột. Kiến trúc evolvable Harness tách mô hình (đóng băng) khỏi 4 module dễ đổi (Skills, Hooks, System Prompt, Tool Registry) để sửa hành vi không cần huấn luyện lại.

Hai cơ chế va nhau:

  • Mô hình lớn: hiểu được Harness thay đổi zero-shot, nhưng độ trễ quá cao (DeepSeek-V4-flash >11s) → không đáp ứng thời gian thực.
  • Mô hình nhỏ (compact): độ trễ thấp, nhưng huấn luyện trên một cấu hình cố định gây surface-form overfitting — nhớ tên skill, tên tool, template prompt thay vì hiểu chỉ thị thực sự → hỏng khi Harness tiến hóa.

Hậu quả đo được:

  • Fixed-Harness SFT làm tụt 7.7 điểm IFEval (khả năng tuân thủ chỉ thị).
  • Test-time adaptation vi phạm ngân sách độ trễ; continual learning phải trả lại chi phí huấn luyện mỗi lần sửa Harness → không bền vững ở tần suất cập nhật cao.

II. Main Idea:​

Harness-Aware Training (HAT) huấn luyện mô hình nhỏ để tiến hóa cùng Harness: đưa sự biến thiên của Harness thành một phần của phân bố huấn luyện thay vì coi nó là hằng số cố định lúc triển khai. Mô hình học cách điều kiện hóa trên cấu hình Harness đang được cấp, không ghi nhớ một phiên bản.

Cốt lõi là Harness-State Augmentation (HSA) — biến đổi giữ nguyên nhiệm vụ trên 5 chiều:

  • Skill Identifier: thêm skill giả/ nhiễu, đổi tên, viết lại mô tả.
  • Skill Content: paraphrase quy tắc, xáo trộn thứ tự, che bớt.
  • Tool Definition: đổi tên, viết lại mô tả tool.
  • System Prompt: đảo block lệnh, nhiễu ràng buộc số (độ dài, số vòng).
  • Hook: biến thể hành vi retry, cấu trúc thông báo.

Quy trình 3 giai đoạn:

  1. HSA-SFT: mô hình nhỏ học từ trajectory chất lượng cao do mô hình thầy mạnh sinh ra trong nhiều môi trường Harness đa dạng (có rejection sampling).
  2. General OPD: chắt lọc từ mô hình gốc trên dữ liệu chung (Tulu3) qua On-Policy Distillation để phục hồi khả năng tổng quát bị SFT làm hỏng.
  3. HSA-RL: RL trong simulator live-room bơm lỗi (timeout, deny), dùng GRPO + GDPO, thưởng/phạt theo 4 chiều (Accuracy, Effectiveness, Tool Rationality, Skill Selection) và phạt CoT dài dòng.

Ví dụ đời thường: giống nhân viên mới được xoay tua qua nhiều bản nội quy khác nhau của công ty thay vì học thuộc một bản — nên khi đêm qua sếp đổi toàn bộ sổ tay, sáng ra họ chỉ cần đọc cái sổ đang để trước mặt là làm đúng, thay vì hoang mang vì bản cũ trong đầu không khớp.

III. Main Results:​

  • Live-Stream QA: HAT đạt 94.8 (base 80.3, mô hình tổng quát mạnh nhất 93.0).
  • Harness-Variant QA: 94.6 (base 75.4).
  • IFEval: Fixed-Harness SFT tụt 7.7 điểm; HAT tránh được suy giảm, đạt 83.5.
  • Độ trễ: 1 GPU NVIDIA H20, có tối ưu MTP: P50 = 3.4s, P95 = 8.1s — thỏa mãn thời gian thực.
  • A/B test Taobao Live: UV-normalized GMV +4.33%, lượt xem trang sản phẩm +0.91% so với ReAct control.
  • Human blind test: HAT được ưu tiên hơn ReAct.

IV. Conclusion & Future Works:​

HAT nâng hiệu năng chuyên domain và độ bền vững trước thay đổi Harness đã đánh giá, đồng thời giữ nguyên khả năng tuân thủ chỉ thị chung — giải quyết xung đột giữa độ trễ thấp và khả năng tiến hóa. Hệ thống đã triển khai thực tế trong dịch vụ streamer ảo Taobao Live. Hướng tương lai: mở rộng sang các kịch bản live-room phức tạp hơn, tinh chỉnh envelope thay đổi Harness rộng hơn, và đưa simulator sát thực tế sản xuất hơn để giảm khoảng cách offline-online.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng HAT sang đa agent: mỗi streamer ảo trong một phòng live điều kiện hóa trên Harness riêng, học chia sẻ kinh nghiệm tiến hóa giữa các agent qua adversarial Harness augmentation chung.
  2. Kết hợp HSA với curriculum learning tự động: để simulator tự điều chỉnh độ khó của biến đổi Harness theo tiến độ của policy thay vì nhiễu ngẫu nhiên cố định.
  3. Áp dụng HAT cho agent chăm sóc khách hàng đa kênh mà rule tuân thủ thay đổi theo từng quốc gia — biến đổi prompt/hook theo chuẩn pháp lý địa phương mà không huấn luyện lại.

2. Patent:​

  1. Ứng dụng điện thoại bán hàng live: khi chủ shop đổi quy tắc khuyến mãi hoặc đổi tên sản phẩm trên app, AI streamer ảo trên điện thoại tự đọc cấu hình mới (skill, tool) mà không cần tải lại mô hình — chỉ cần vài giây để thích nghi, trả lời đúng giá mới ngay trên livestream điện thoại.
  2. Tính năng 'tự học luật' cho chatbot cửa hàng trên điện thoại: chủ shop viết luật trả lời bằng ngôn ngữ tự nhiên, hệ thống tự biến thành skill/hook và AI học cách hiểu luật đó qua bản nháp nhiễu — không cần kỹ sư huấn luyện lại model mỗi lần sửa.
  3. Module chống lỗi cho AI trợ lý trên điện thoại: khi gọi tool lỗi (hết hàng, timeout), AI tự phục hồi bằng cách đọc hook nhắc sửa thay vì trả lời sai — huấn luyện bằng cách bơm lỗi giả lập vào lúc học, giúp máy chạy mượt ngoài thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.15763
ArXiv Abstracthttps://arxiv.org/abs/2608.15763
PDF Downloadhttps://arxiv.org/pdf/2608.15763.pdf
Github RepositoryN/A

8. GameWAM: A World Action Model for Video Games (38 votes)​

Tác giả: Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Weijia Li

Xuất bản lúc: 2026-08-25

Tag: World-Action Models, Game Agents, World Modeling, Flow Matching, Diffusion, GUI Control, Closed-loop Control, DiT

I. Main Problem:​

Các agent chơi game hiện tại ánh xạ trực tiếp thị giác + chỉ thị thành hành động, nhưng không mô hình hóa rõ ràng động lực thế giới (tức là hành động sẽ thay đổi hình ảnh tương lai ra sao). Ngược lại, các interactive world model thì dự đoán khung hình tương lai từ hành động được cung cấp, nhưng không tự đóng vai trò chính sách (không tự chọn hành động).

Trong game còn có hai thách thức đặc thù chưa được WAM (World–Action Model) khai thác:

  • Hành động phi nhất quán: gameplay (phím rời, xoay camera liên tục, click chuột thưa) và GUI (di chuyển con trỏ, cuộn, phím tắt) dùng chung bàn phím–chuột nhưng phân bố xác suất rất khác nhau.
  • Thời gian dài + thay đổi nhanh: lấy mẫu thưa bỏ sót chuyển động nhanh; lấy mẫu dày thì ngắn tầm nhìn dự báo và lịch sử quá khứ do giới hạn token/KV cache.

II. Main Idea:​

GameWAM là WAM đầu tiên cho gameplay khép kín và điều khiển GUI gốc (bàn phím–chuột). Cách hoạt động cốt lõi:

  • Hai nhánh DiT song song (Video-DiT và Action-DiT) dùng block-causal attention và joint flow matching để cùng sinh khung hình tương lai và chuỗi hành động thực thi được.
  • Per-step Action Router: tại mỗi bước, một bộ định tuyến học chọn nhánh dự báo riêng cho gameplay hay GUI, mỗi nhánh có phân bố và chuẩn hóa hành động riêng (tránh trộn lẫn thống kê camera và con trỏ).
  • Block-cycle control (predict-long / execute-short): mỗi chu kỳ dự báo P hành động nhưng chỉ thực thi E bước đầu (E < P), rồi quan sát lại và lập kế hoạch lại — vừa nhìn xa vừa nhận phản hồi thường xuyên.
  • Hierarchical history: KV cache ngắn hạn trong chu kỳ + lịch sử dài hạn qua các chu kỳ (recent history nén Conv3D + long-term memory slots), giữ tính liên tục thời gian dưới bộ nhớ hạn chế.
  • Event-anchored sampling: lấy mẫu dày quanh các sự kiện quan trọng khi huấn luyện.

Ví dụ đời thường: giống nhân viên giao hàng mới nhận chỉ dẫn, vẽ sẵn cả lộ trình dài 10 bước nhưng chỉ đi 3 bước đầu, dừng quan sát ngã tư rồi vẽ lại tiếp — vừa tránh lạc đường vừa không phải nhớ toàn bộ bản đồ từ đầu.

III. Main Results:​

  • Trên Minecraft (MCU), GameWAM đạt ASR trung bình cao nhất (Mini 50.7%, All 46.6%) trong khi dùng ít bước native hơn hẳn mọi agent so sánh (ví dụ Embodied: ~1387 bước vs 287–392 của các baseline; GUI: ~1554 vs 291–406).
  • Trên ViZDoom (4 map FPS), đạt phần thưởng trung bình cạnh tranh/đứng đầu so với Game-TARS, o4-mini, GPT-5, Gemini-2.5-Pro, Claude-4-Sonnet.
  • Ablation: bỏ giám sát future-video hoặc lấy mẫu thưa làm sụt mạnh hiệu suất; gộp chung phân bố gameplay/GUI kém hơn tách riêng; đặt P=E (dự báo = thực thi) cũng kém hơn.
  • Phát hiện LASI (Low-Frequency Action Source Imprinting): thành phần tần số thấp của nguồn nhiễu mẫu hệ thống lệch chuyển động camera thô; tái dùng nguồn qua các chu kỳ gây lệch hướng tích lũy (xoay tại chỗ). Thử nghiệm can thiệp: thay thế/số 0 band tần số thấp chứng minh quan hệ nhân quả (yaw DCT0 theo donor 94.8%, zeroing xóa 99.25% phương sai).

IV. Conclusion & Future Works:​

GameWAM chứng minh joint world–action modeling là hướng hứa hẹn cho điều khiển game tương tác, đạt hiệu suất cạnh tranh với ít hành động thực thi hơn. Đồng thời bộc lộ LASI — lỗi nhạy nguồn sinh trong chính sách hành động sinh, cần resample nguồn mỗi bước lập kế hoạch để tránh tích lũy lệch.

Hướng tương lai: nghiên cứu cơ chế khuếch đại tần số thấp trong action-flow; mở rộng sang môi trường vật lý/robot; cải thiện chiến lược resample hoặc triệt tiêu LASI tận gốc thay vì giảm nhẹ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng WAM khép kín sang robot thật và môi trường vật lý, thay vì chỉ game giả lập, để kiểm chứng block-cycle control dưới nhiễu cảm biến thực.
  2. Cơ chế triệt tiêu LASI: thiết kế action-flow không nhạy tần số thấp hoặc thêm điều chuẩn để nguồn nhiễu không áp đặt lệch điều khiển có cấu trúc.
  3. Hệ thống router đa chế độ tổng quát hơn: tự động chuyển đổi giữa gameplay, GUI và các app desktop khác trong cùng một không gian hành động bàn phím–chuột.
  4. Kết hợp world–action model với verifier (như FFDC-WAM) để hiệu chỉnh kế hoạch bằng so khớp dự báo–thực tế trong game tốc độ cao.

2. Patent:​

  1. Trợ lý điều khiển điện thoại bằng cử chỉ: mô hình vừa dự báo màn hình tiếp theo vừa tự thao tác bàn phím/chuột ảo, lập kế hoạch dài nhưng chỉ thực thi vài bước rồi quan sát lại — hữu ích cho tự động hóa UI test trên app di động.
  2. Tính năng chống rung camera trong game mobile: phát hiện LASI để biết khi nào chuyển động xoay camera bị lệch do nguồn nhiễu, tự resample để giữ góc nhìn ổn định cho người chơi.
  3. Bot hỗ trợ chơi game tích hợp sẵn: một model duy nhất vừa điều khiển nhân vật (gameplay) vừa thao tác menu/tháp đấu (GUI) không cần chuyển đổi thủ công, dùng router tự chọn chế độ.
  4. Công cụ ghi hình tự động sự kiện: lấy mẫu dày vùng có sự kiện để tự động tạo bản tóm tắt highlight từ luồng chơi game dài, giúp editor cắt cảnh nhanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.26200
ArXiv Abstracthttps://arxiv.org/abs/2608.26200
PDF Downloadhttps://arxiv.org/pdf/2608.26200.pdf
Github Repositoryhttps://github.com/yunncheng/GameWAM

9. PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents (25 votes)​

Tác giả: Yang Xiao, Yusong Sun, Haoyi Wu, Wenyang Hui, Wen Da, et al.

Xuất bản lúc: 2026-08-27

Tag: Agent Self-Improvement, Long-Horizon Agents, Supervisor-Worker, LLM Agents, Skill Distillation, Memory

I. Main Problem:​

Các phương pháp tự cải thiện agent hiện tại chỉ xử lý kinh nghiệm sau khi luồng chạy kết thúc (post-hoc review, reflection, judge), nên không thể cứu vãn chính lần chạy đó và cũng không thể áp dụng rồi kiểm chứng ngay bài học vừa rút ra. Tồn tại khoảng trống kiến trúc: không có thiết kế nào hỗ trợ đồng thời (1) sửa lỗi trực tiếp khi đang chạy và (2) một vai trò tự cải thiện chuyên biệt tách biệt khỏi thực thi.

  • Single-agent self-correction: cùng một agent vừa làm vừa tự chẩn đoán; context bị lấp đầy bởi chi tiết thực thi nên rất khó nhận ra chiến lược đang đi sai.
  • Subagent delegation: tách thực thi khỏi agent chính, nhưng agent chính thường chỉ nhận tóm tắt sau khi subagent chạy xong, không thể can thiệp lúc subagent đang chạy.

II. Main Idea:​

PILOT là harness supervisor–worker hiện thực live self-improvement qua hai cơ chế ghép đôi trên cùng một luồng kinh nghiệm:

  • Live steering: một supervisor đông cứng, tách biệt, giữ kết nối với worker suốt quá trình chạy qua kênh hai chiều. Worker báo cáo qua notification (tiến độ/rủi ro), question (tạm dừng chờ chỉ thị), result (kết quả cuối). Supervisor có thể steer (xếp hướng dẫn cho bước tiếp theo) hoặc abort (hủy) worker đang hoạt động. Context của supervisor chỉ giữ mục tiêu, sự kiện gần nhất và dấu hiệu lệch hướng.
  • Live self-evolution: trong lúc giám sát, supervisor chắt lọc thủ tục thành công, quy ước dự án, mode thất bại thành skills và memory trong harness bền vững; mọi worker sinh ra sau đó load bản harness đã tiến hóa (H→H′).

Vòng lặp khép kín: worker chạy → supervisor vừa steer vừa ghi kinh nghiệm → harness tiến hóa → worker sau dùng bản mới. Model đông cứng, chỉ harness tiến hóa, không cập nhật tham số θ.

Ví dụ đời thường: giống như thợ sửa máy có một người giám sát đứng ngoài nhìn tổng thể, thấy thợ mải mò sai một chỗ thì bước vào bảo "bỏ hướng đó, thử cách khác" ngay lúc thợ đang làm, đồng thời ghi cách sửa vào sổ tay chung để thợ sau mở sổ ra làm đúng ngay không phải mò mẫn lại.

III. Main Results:​

  • One-shot: PILOT đứng nhất 5/6 tổ hợp backbone–benchmark (Terminal-Bench 2.0, SWE-bench Multilingual, SWE-bench Pro; 2 backbone GLM-5.1 và Kimi-K2.6).
  • Terminal-Bench 2.0: 71.9% (GLM-5.1) và 71.3% (Kimi-K2.6), vượt các harness đơn-agent mạnh nhất đến 9.8 pp; riêng Hard task đạt 55.0% mỗi backbone.
  • SWE-bench Pro: trung bình 59.9%, vượt Pi (baseline mạnh nhất) 4.4 pp.
  • Self-improvement (20 iteration): best pass rate tăng +14.6 pp (GLM-5.1, 66.3→80.9%) và +12.4 pp (Kimi-K2.6, 68.5→80.9%).
  • Skill library tăng: 62→83 (GLM), 50→81 (Kimi).
  • Hiệu quả token: mean output token/evaluated task giảm 42.9% / 47.4%; successful eval per million output token tăng 110.3% / 134.0%.
  • Live steering tập trung vào task khó: tỉ lệ run thành công được cứu nhờ steer tăng từ Easy (0%) → Medium (1.1%/8.1%) → Hard (6.1%/19.7%) theo hai backbone.

IV. Conclusion & Future Works:​

Kết luận: correction và accumulation hữu ích nhất khi hợp thành một vòng lặp liên tục — giám sát vừa cứu được quỹ đạo hiện tại, vừa cập nhật harness bền vững, cải thiện agent sau này. Limitations: lặp nhiều lần mỗi task nên rất tốn kém, mới đánh giá 3 benchmark và 2 open-weight backbone; supervisor–worker cùng một backbone. Hướng tương lai: mở rộng sang benchmark/backbone thương mại hơn, và khám phá cặp supervisor–worker không đồng nhất (chất lượng giám sát vs chi phí).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cặp supervisor–worker không đồng nhất (supervisor mạnh hơn worker) để tối ưu điểm cân bằng giữa chất lượng giám sát, hiệu năng task và chi phí suy luận.
  2. Mở rộng live self-evolution cho đa agent hợp tác cùng chia sẻ một harness tiến hóa chung, đo hiệu ứng lan truyền kinh nghiệm giữa các worker.
  3. Áp dụng PILOT cho benchmark cực dài (EdgeBench duy trì 12h tương tác) để đo giới hạn phục hồi lỗi tích lũy trên quỹ đạo cực dài.
  4. Cơ chế chọn lọc tự động hơn: dùng verifier outcome chỉ để giữ/cất skills từ run thành công, thay vì tạo update từ kết quả đánh giá hậu kỳ.

2. Patent:​

  1. IDE tích hợp 'giám sát viên AI' theo dõi agent/lập trình viên sửa lỗi; khi thấy agent đi vào ngõ cụt thì tự đưa chỉ thị chuyển hướng ngay, đồng thời ghi thủ thuật vào thư viện skill chung của team để lần sau chạy ít bước hơn.
  2. Trợ lý tự động hóa trên điện thoại cho task dài (cấu hình, cài đặt, migrate dữ liệu): supervisor đứng ngoài phát hiện sai và sửa realtime, học quy trình từ lần trước để lần sau tiết kiệm token và thời gian.
  3. Công cụ DevOps tự hồi phục: agent triển khai phần mềm, supervisor theo dõi log realtime, abort hoặc steer khi deploy lệch, tích lũy playbook phục hồi cho từng dự án.
  4. Hệ thống customer-support agent đa bước: supervisor can thiệp khi agent lạc đề với khách hàng, đồng thời ghi 'quy ước tránh' vào memory để các phiên sau không lặp lại lỗi tư vấn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.26530
ArXiv Abstracthttps://arxiv.org/abs/2608.26530
PDF Downloadhttps://arxiv.org/pdf/2608.26530.pdf
Github RepositoryN/A

10. Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization (16 votes)​

Tác giả: Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, et al.

Xuất bản lúc: 2026-08-26

Tag: Vision-Language-Action, Robotics, In-Context Learning, World Modeling, Video-Action Models, Zero-shot Generalization, Flow Matching

I. Main Problem:​

Robot học thao tác gặp bài toán khái quát hóa chéo tác vụ zero-shot: phải thực hiện tác vụ chưa từng tập trong lúc triển khai, không cập nhật tham số. Hai rào cản chính:

  • Ngôn ngữ thiếu đặc tả: các mô hình VLA/video-action hiện nay lấy ngôn ngữ làm giao diện tác vụ, nhưng ngôn ngữ khó mô tả ràng buộc không gian, trạng thái trung gian và cấu trúc thời gian của thao tác.
  • Thiếu dữ liệu ghép đôi người–robot quy mô lớn: thu công cặp video người + quỹ đạo robot tốn kém, hiếm khi có ở quy mô lớn.
  • Học đường tắt (shortcut): khi tập trên tác vụ đã thấy, mô hình có thể đoán chunk video/action tiếp theo chỉ từ lịch sử robot và text, nên bỏ qua video người — đúng lúc cần nó để chỉ định tác vụ mới thì lại không dùng.

II. Main Idea:​

Zero-WAM là mô hình video-action nhân quả dự đoán đồng thời video robot tương lai và action thực thi, nhận chỉ thị tác vụ qua video người trong ngữ cảnh (in-context) hoặc lệnh ngôn ngữ. Cơ chế:

  • Sinh video người tự động: với mỗi quỹ đạo robot lấy mẫu theo tác vụ, dùng VLM tách ngữ nghĩa (tên tác vụ, trạng thái vật), chỉnh frame đầu thành cảnh người, rồi dùng mô hình sinh video tạo clip người cùng ngữ nghĩa → tạo cặp ICL người–robot (tập HumanGen: 74.2K cặp, 8.6K tác vụ).
  • Dữ liệu Task-diverse VA: phân lại tập công khai theo tác vụ (hành động + vật), lấy mẫu cân bằng >6K tác vụ, ~400K quỹ đạo/mỗi epoch, tránh bị chi phối bởi teleoperation lặp lại.
  • IFP (In-context Future chunk Prediction): phụ trợ huấn luyện buộc mô hình dự đoán nhiều chunk tương lai bước nhảy (stride) từ biểu diễn video robot hiện tại — không cho IFP điều kiện trực tiếp trên video người, ép nhánh chính phải mã hóa thông tin tác vụ từ video người thay vì dùng shortcut lịch sử.
  • MoT (Mixture-of-Transformers): video Transformer và action Transformer chia sẻ attention, action giải mã ngược từ video robot dự đoán.

Ví dụ đời thường: giống nhân viên mới được xem một đoạn clip đồng nghiệp làm mẫu thay vì đọc bản mô tả chữ, rồi tự bắt chước theo tư thế tay mình — anh ấy không copy y hệt động tác người kia mà hiểu 'kết quả mong muốn là gì' rồi thực hiện bằng cơ thể mình.

III. Main Results:​

  • RoboTwin 2.0 (mô phỏng): 7 tác vụ chưa thấy, Zero-WAM đạt 46.95% trung bình thành công, cao hơn LingBot-VA +29.50 điểm % (baseline video-action mạnh nhất).
  • Thế giới thực: khái quát hóa theo video người sang cấu hình chưa thấy gồm cảnh đa vật, thao tác tầm xa (long-horizon) và ghép nối tinh vi (fine-grained insertion), vượt LingBot-VA ở cả 3 họ tác vụ.
  • HumanGen vượt trội tập người–robot thủ công prior: 74.2K mẫu / 8.6K tác vụ, đa nguồn, đa hình thái robot (>45), cả góc thứ nhất và thứ ba, sinh tự động.
  • Ablation IFP: mục tiêu IFP ngăn học shortcut, tăng sử dụng tín hiệu video người khi đánh giá tác vụ mới.

IV. Conclusion & Future Works:​

Zero-WAM đưa in-context learning của LLM sang robot: chỉ định tác vụ qua video người thay vì cập nhật tham số, mở đường tới khái quát hóa tác vụ mở (open-ended). Hướng tương lai: mở rộng sang nhiều hình thái robot hơn, cải thiện sinh video người chân thực vật lý, và kết hợp ICL video người với lập kế hoạch dài hạn tự chủ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Zero-WAM sang đa hình thái robot (humanoid, tay đơn/bàn tay) bằng sinh video người tự động để chuyển giao tác vụ chéo embodiment mà không cần dữ liệu robot tương ứng.
  2. Kết hợp IFP với lập kế hoạch ngầm (latent planning) để mô hình tự duyệt nhiều kịch bản tương lai từ một clip người duy nhất trước khi hành động.
  3. Hạ thấp chi phí sinh HumanGen bằng mô hình sinh video nhẹ hơn, cho phép cập nhật tập ICL tại biên (edge) mỗi khi có tác vụ mới.

2. Patent:​

  1. Ứng dụng điện thoại: người dùng quay một clip ngắn tự mình làm mẫu tác vụ nhà (xếp bát vào kệ, lau mặt bàn); app gửi lên đám mây sinh cặp ICL, robot gia đình xem clip rồi bắt chước bằng tay máy của nó — không cần lập trình lại.
  2. Trợ lý bếp thông minh: chỉ cần one-shot video người演示 món ăn, robot tay đôi suy ra chuỗi thao tác nấu (cầm, đổ, khuấy) qua Zero-WAM và thực thi ngay trên vật thể thật dù chưa tập món đó.
  3. Dây chuyền lắp ráp linh hoạt: kỹ thuật viên quay clip thao tác lắp chi tiết mới, hệ thống tự sinh video người–robot ghép đôi, robot công nghiệp lập tức làm theo cấu hình sản phẩm chưa có trong dữ liệu huấn luyện, không cần dừng line để fine-tune.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.26103
ArXiv Abstracthttps://arxiv.org/abs/2608.26103
PDF Downloadhttps://arxiv.org/pdf/2608.26103.pdf
Github Repositoryhttps://github.com/robbyant-research/Zero-WAM

11. Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO (15 votes)​

Tác giả: Yunpeng Ba, Zhi Zheng, Yue Xie, Jiaqing Li, Xialiang Tong, et al.

Xuất bản lúc: 2026-08-27

Tag: Evolution Strategies, GRPO, LLM Reasoning, Pass@K, Post-training, RL, Catastrophic Forgetting, Entropy Collapse

I. Main Problem:​

Evolution Strategies (ES) gần đây nổi lên như phương pháp huấn luyện hậu kỳ tiết kiệm bộ nhớ cho LLM reasoning, nhưng hành vi tối ưu của nó còn ít được nghiên cứu. Ba câu hỏi mở chưa được trả lời:

  • ES có cùng đặc điểm huấn luyện như GRPO (phương pháp RL chủ đạo) — đặc biệt liệu có gây entropy collapse và giảm Pass@K lớn hay không?
  • Trôi tham số lớn dưới ES có nhất thiết dẫn đến quên thảm khốc (catastrophic forgetting) như một số nghiên cứu prior khẳng định?
  • Siêu tham số và bộ ước lượng nào làm ES hiệu quả và mở rộng được khi mô hình lớn dần?

II. Main Idea:​

ES tối ưu hóa không dùng backprop: nhiễu nhiễu (perturb) toàn bộ tham số, đánh giá các mô hình nhiễu qua forward pass, rồi cộng dồn các nhiễu được trọng số bởi reward để ước lượng hướng cập nhật. Khác với GRPO (lấy nhiều câu trả lời từ một policy rồi backprop token-level advantage), ES khám phá không gian tham số theo quần thể.

Cơ chế cốt lõi được chứng minh:

  • Các nhiễu tham số tạo ra nhiều policy khác biệt (Jensen–Shannon diversity), tăng xác suất ít nhất một mẫu đúng khi lấy mẫu lặp lại → Pass@K cao hơn.
  • Reward weighting ưu tiên thành viên thành công → duy trì ưu thế đó sau khi cập nhật center model.
  • Dù toàn bộ tham số trôi xa, chỉ một tập con thưa thớt các update có biên độ lớn (tập trung ở LayerNorm và attention projections) đóng góp vào hiệu năng → trôi lớn ≠ quên thảm khốc.
  • Chiến lược GRPO→ES (hoặc ES→GRPO) tuần tự kết hợp Pass@1 mạnh của GRPO với Pass@K rộng của ES.

Ví dụ đời thường: giống một đội tình nguyện viên, mỗi người thử một cách giải quyết bài toán hơi khác nhau (mỗi người là một policy nhiễu), rồi người quản lý tổng hợp kinh nghiệm từ những người làm đúng nhiều nhất — thay vì chỉ huấn luyện một người duy nhất lặp đi lặp lại một cách làm cho đến khi máy móc hóa nó.

III. Main Results:​

  • RQ1 — ES giữ phủ sóng reasoning rộng hơn GRPO: trên Qwen2.5-1.5B/7B, Llama-3.2-3B, DeepSeek-R1-Distill-1.5B, ES cải thiện cả Pass@1, Pass@16, Pass@32 so với base, trong khi GRPO tăng Pass@1 nhưng giảm Pass@16/Pass@32 (15/18 ca ở Easy Setting). ES tránh được entropy collapse.
  • Lý thuyết: verifier-projected Jensen–Shannon diversity giúp tăng Pass@K; reward weighting cải thiện success khi trọng số tương quan dương với tỷ lệ đúng.
  • RQ2 — trôi tham số không đồng nghĩa quên: Full ES cách xa khởi tạo 40.7–44.1× so với GRPO, nhưng chỉ 7–22% update vượt ngưỡng biên độ lớn; xóa các update nhỏ vẫn giữ Pass@1 mục tiêu. Held-out Pass@32 trung bình dương dưới ES, âm dưới GRPO.
  • RQ3 — siêu tham số: z-score reward normalization là then chốt; two-point estimator không có lợi (reward rời rạc); càng mô hình lớn càng cần population size nhỏ hơn (Qwen2.5-0.5B→3B: N=8 đủ gần N=64 tham chiếu).
  • Sequential compositions thêm các điểm Pareto không bị thống trị: ES→GRPO đạt Pass@32 cao nhất ở Hard-Setting math average.

IV. Conclusion & Future Works:​

ES là một paradigm huấn luyện hậu kỳ reasoning riêng biệt, không chỉ là bản thay thế tiết kiệm bộ nhớ kém hiệu quả của GRPO: nó khai thác tốt hơn năng lực reasoning tiềm ẩn của pretrained LLM qua phủ sóng Pass@K rộng hơn. Hướng tương lai: (1) nghiên cứu ES trong kịch bản continual learning lặp lại nhiều task để xác nhận bảo toàn năng lực ổn định; (2) tối ưu hóa population size và perturbation scale theo quy mô mô hình; (3) mở rộng chiến lược sequential GRPO–ES cho nhiều benchmark và mô hình lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tính bảo toàn năng lực của ES qua nhiều vòng continual learning trên chuỗi task liên tiếp, phân biệt rõ quên thảm khốc thật sự với overfitting tập huấn luyện.
  2. Phân tích lý thuyết sâu hơn về mối quan hệ giữa Fisher information, magnitude sparsity của update và không gian tọa độ xấp xỉ bảo toàn hiệu năng trong LLM tỷ tham số lớn.
  3. Đề xuất quy tắc tự động chọn population size và perturbation scale theo quy mô pretrained model để ES mở rộng tới hàng chục tỷ tham số mà vẫn ổn định.

2. Patent:​

  1. Tính năng 'mở rộng tư duy' trên điện thoại: sau khi tinh chỉnh cục bộ nhẹ, máy sinh nhiều bản nháp answer khác nhau (mô phỏng quần thể ES) rồi chọn bản có xác suất đúng cao nhất, giúp trả lời toán/hỏi đáp khó chính xác hơn mà không cần gửi lên server nặng.
  2. Hệ thống tối ưu prompt tự động trên app: thử nhiễu nhiều biến thể câu lệnh, đánh giá bằng bộ kiểm tra đúng/sai cục bộ, chọn hướng cải thiện — giống ES nhưng áp dụng cho prompt thay vì trọng số mô hình, chạy offline bảo mật.
  3. Chế độ 'kiểm tra năng lực cũ' cho mô hình trên thiết bị: trước khi cập nhật OTA, giữ lại tập con update biên độ lớn (LayerNorm/attention) để đảm bảo mô hình không quên các kỹ năng cũ sau khi học task mới.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.27351
ArXiv Abstracthttps://arxiv.org/abs/2608.27351
PDF Downloadhttps://arxiv.org/pdf/2608.27351.pdf
Github RepositoryN/A