🤗 Daily Hugging Face Paper Digest - 2026-10-01

Báo cáo được tạo tự động vào lúc 2026-10-02 10:41:49 bằng mô hình hermes-agent.

📰 Summary of Papers

1. UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement (233 votes)

Tác giả: Fang Wu, Da Xing, Yanjie Huang, Junxi Wang, Ji Wang, et al.

Xuất bản lúc: 2026-09-30

Tag: Text-to-Image, Diffusion, Self-Distillation, Multimodal Models, Self-Improvement, On-Policy Distillation, Recursive Self-Improvement

I. Main Problem:

Các mô hình đa phương thức thống nhất (MMM) vừa sinh ảnh vừa hiểu ảnh, nên có thể tự phát hiện lỗi trong ảnh mình tạo ra và tự cải thiện mà không cần giám sát ngoài. Nhưng các phương pháp tự cải thiện trước đây còn hạn chế:

chọn lọc ảnh tự sinh để fine-tuning có giám sát hoặc tối ưu preference — chỉ học ở cấp ảnh, không chỉ cách sửa từng bước
dùng phản hồi thành reward vô hướng cho policy optimization — không mô tả được cách thay đổi quá trình khử nhiễu từng bước
chưa ai cất tri thức sửa lỗi vào chính chính sách sinh ảnh gốc dọc theo quỹ đạo sampling của chính nó.

II. Main Idea:

UniEvo-VL dùng một mô hình đóng cả hai vai: thầy và trò, chỉ khác nhau ở ngữ cảnh điều kiện:

Trò (student): chỉ nhìn prompt gốc p — đúng như lúc inference
Thầy (teacher): bản EMA, được xem prompt đặc quyền p̃ đã gộp lời phê c vào p
Quy trình lặp: sinh ảnh draft → tự phê (critique) theo nhiều trục (đếm đối tượng, vị trí, màu, chữ, chất lượng) → tổng hợp thành prompt sửa đổi → kiểm chứng lại bằng cách sinh lại và đánh giá lần hai, chỉ giữ prompt sửa nào được chấp nhận
On-policy self-distillation: chạy quỹ đạo khử nhiễu của trò, ép từng bước chuyển trạng thái của trò khớp với dự đoán của thầy ở cùng trạng thái đó (MSE/KL), qua đó rót gợi ý sửa lỗi vào tham số trò mà không cần ảnh đã sửa làm target, không cần reward, không cần teacher bên ngoài
Chỉ cập nhật LoRA của bộ sinh; bộ phê bình giữ cố định

Ví dụ đời thường: giống người thợ lành nghề đứng sau lưng người học việc, tay cầm tờ ghi chú lỗi sai mà chỉ mình thầy được xem, hướng dẫn từng động tác ngay trên chính món đồ học việc đang làm — để lần sau học việc tự làm đúng luôn mà không cần tờ ghi chú đó.

III. Main Results:

Xây dựng trên Qwen-Image-2512 mã nguồn mở:
- GenEval: 0.747 → 0.808 (native score)
- GenEval2 Soft-TIFA GM: 32.97 → 35.53 với critic ngoài GPT-5.6-Luna; với critic nội bộ Qwen đạt 35.07
- OCR text rendering: 0.771 → 0.790 (bản có verification)
Critic ngoài mạnh hơn (GPT-5.6-Luna) nâng trần tiến hóa: GenEval đạt tới 0.882 — mô hình có khả năng làm giám khảo tốt thì tự cải thiện càng xa
Cải thiện tập trung vào prompt khó: prompt dễ giảm nhẹ 1–4 điểm, prompt khó tăng mạnh (GenEval +67% trên tập hard)
Reflection vẫn hữu ích sau training: generation trực tiếp được cải thiện nhưng thêm một vòng phản hồi lúc inference vẫn tăng thêm; kết hợp cả hai đạt điểm native cao nhất ở cả 3 benchmark → nội hóa kinh nghiệm sửa lỗi và phản hồi lúc inference là bổ sung, không thay thế
Lợi ích training không giải thích được bằng cách chỉ sửa prompt lúc inference — đây là năng lực đã học thật
Cải thiện không đồng đều giữa các tác vụ: kết quả text rendering trộn lẫn tùy cấu hình

IV. Conclusion & Future Works:

UniEvo-VL chứng minh lời phê bình trực quan có thể chuyển thành giám sát cho bộ sinh ảnh qua on-policy self-distillation, giúp mô hình đa phương thức tự tiến hóa mà không cần giám sát hay teacher bên ngoài. Hướng mở:

dùng critic mạnh hơn để nâng trần tự cải thiện
khắc phục suy giảm nhẹ trên prompt dễ và cải thiện tính đồng đều giữa các tác vụ
khám phá sâu hơn dòng nghiên cứu recursive self-improvement để nâng trải nghiệm người dùng

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế lựa chọn critic tối ưu cho self-evolution: phân tích phẩm chất nào của một judge đa phương thức (độ chính xác phân loại, khả năng định vị lỗi) quyết định trần cải thiện khi dùng làm nguồn phản hồi cho on-policy distillation.
Phương pháp bảo toàn hiệu suất trên các prompt dễ trong quá trình tự tiến hóa, chẳng hạn trộn tín hiệu củng cố từ ảnh đã đạt chuẩn để cân bằng với dữ liệu sửa lỗi thiên lệch về ca thất bại.
Mở rộng UniEvo-VL sang chuỗi tự tiến hóa đa vòng với critic được cập nhật luân phiên cùng generator, tiến gần hơn vòng lặp self-improvement đệ quy cho mô hình đa phương thức.

2. Patent:

Ứng dụng camera điện thoại tự cải thiện chế độ chụp AI: sau mỗi lần người dùng chụp, mô hình trên máy tự phân tích ảnh so với yêu cầu bố cục rồi tinh chỉnh nội bộ, để các lần chụp sau cùng bố cục đúng ngay từ lần nhấn đầu tiên mà không cần gửi ảnh lên đám mây.
Trình tạo ảnh trên điện thoại học từ thói quen sửa ảnh của người dùng: mỗi lần người dùng chỉnh sửa ảnh AI tạo ra, ứng dụng biến hành động sửa đó thành phản hồi huấn luyện, dần dần cá nhân hóa bộ sinh ảnh theo gu riêng của từng người.
Hệ thống tạo poster/quảng cáo tự động trên điện thoại cho người bán hàng nhỏ: ứng dụng tự kiểm tra poster vừa tạo (số sản phẩm, màu sắc, chữ giá) và tự học để lần sau xuất poster đúng yêu cầu ngay không cần người dùng chỉnh lại nhiều vòng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38721
ArXiv Abstract	https://arxiv.org/abs/2609.38721
PDF Download	https://arxiv.org/pdf/2609.38721.pdf
Github Repository	N/A

2. The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation (231 votes)

Tác giả: Hao Li, MeiJia Chen, Weijie Ren, Donghan Li, Zijun Tian, et al.

Xuất bản lúc: 2026-09-29

Tag: On-Policy Distillation, Knowledge Distillation, Reinforcement Learning, Representation Learning, Language Models, Hidden States, Reward Extrapolation

I. Main Problem:

On-policy distillation giúp học sinh bắt chước teacher trên chính các câu nó sinh ra, nhưng thường chỉ coi teacher là điểm đến cuối cùng. Muốn vượt teacher, các phương pháp ngoại suy theo không gian output gặp hai vấn đề:

Language-model head làm suy yếu thay đổi do RL một cách không đều: phần lớn năng lượng residual nằm ở các hướng mà head khuếch đại yếu, nên tín hiệu học ở logits chỉ còn một phần nhỏ; các lớp dưới final layer gần như không bị ràng buộc.
Nhiễu từ log-ratio của token được sampling bị khuếch đại: khi nhân hệ số ngoại suy, phương sai mục tiêu tăng theo bình phương hệ số, khiến training dễ mất ổn định, đặc biệt khi teacher gần base checkpoint.

II. Main Idea:

RIDE nhìn teacher RL như một hướng đi, không chỉ một điểm đến. Vì student khởi tạo từ cùng base checkpoint với teacher, ba mô hình chia sẻ không gian representation. Trên mỗi prefix do student tự sinh, RIDE:

chạy frozen teacher sau RL và pre-RL checkpoint trên cùng token
lấy hiệu hidden-state theo từng lớp và vị trí: Δ = h_T − h_B, tức phần thay đổi mà RL gây ra cho cách xử lý ngữ cảnh đó
đặt target vượt qua teacher theo chính hướng Δ: h* = h_T + (λ−1)Δ, với λ = 1 trở về representation matching thông thường
regress hidden-state của student về target này bằng masked squared loss

Điểm then chốt: phép regression này tương đương với tối đa hóa một reward tuyến tính theo hướng Δ dưới phạt bậc hai quanh teacher, nên nói rõ cách student đi tiếp theo hướng RL mà không lệch quá xa teacher. Khác với ngoại suy output-space, gradient của RIDE sau khi cố định rollout là deterministic, không phụ thuộc token được sample.

Ví dụ đời thường: như học nấu theo một đầu bếp đã từng nâng từ món gốc lên món hiện tại; thay vì chép y hệt món trên bàn, bạn nhìn cách tay, lửa và gia vị đã thay đổi từ món gốc đến món hiện tại rồi nêm tiếp một chút theo đúng hướng đó. Quan trọng là bạn học từ động tác trong bếp — nơi sự thay đổi còn nguyên — chứ không chỉ từ mùi vị đĩa thành phẩm, nơi nhiều chi tiết đã bị mất hoặc nhiễu.

III. Main Results:

Trên 4 cặp base/RL-teacher khác nhau: R1-Distill-1.5B, Qwen3-4B, Llama-3.2-3B, Phi-4-mini, RIDE là phương pháp duy nhất có mean Avg@16 bằng hoặc vượt teacher trên mọi cặp; các baseline teacher-matching và output-space extrapolation đều nằm dưới teacher.
RIDE vượt OPRD — chỉ khác nhau ở target — từ 0.97 đến 4.06 điểm, cho thấy lợi ích đến từ residual extrapolation chứ không phải protocol chung.
Vượt ExOPD trung bình 9.1 điểm; ExOPD rơi dưới teacher ở mọi cặp và dưới cả student ở các cặp teacher-base rất gần, ví dụ −14.1 điểm trên Qwen3-4B.
Sweep λ cho thấy RIDE đạt đỉnh quanh λ = 1.25, vẫn ổn định và format score 94–97%; ExOPD bắt đầu suy giảm ngay khi λ > 1, format score rơi tới 64% và response dài tới khoảng 8,700 token.
Phân tích cơ chế: 512 hướng yếu nhất của head chứa 79.8% năng lượng hidden residual nhưng chỉ khoảng 30.0% centered-logit energy; residual chỉ giữ 0.59 độ lợi head so với hướng isotropic cùng norm. Conditional variance của ExOPD tăng 12.55× từ λ=1 đến λ=2, trong khi gradient RIDE không đổi khi resample next-token.
Ablation hướng residual: các biến thể random, reversed, mismatched-origin, trajectory-mismatched chỉ quanh OPRD 54.50–55.12, trong khi RIDE đúng hướng RL đạt 56.38, chứng minh lợi ích đến từ chính RL-induced residual.

IV. Conclusion & Future Works:

RL-trained teacher cung cấp cả destination lẫn direction; đo displacement trước head là quan trọng vì head làm suy yếu residual theo hướng không đồng đều và output-space ngoại suy khuếch đại nhiễu sample theo (λ−1)^2. RIDE chỉ thay đổi target nên λ=1 trở về representation matching, đồng thời cho gradient deterministic và ổn định nơi output-space extrapolation sụp đổ. Giới hạn còn lại: cần pre-RL checkpoint, cần shared representation space, dùng một λ toàn cục, và mới đánh giá trên mathematical reasoning với một RL recipe. Hướng tương lai: nới lỏng các ràng buộc này, mở rộng sang kiến trúc/lĩnh vực khác, và đánh giá riêng an toàn, hiệu chuẩn, hành vi lệch chuẩn của student học từ hidden-state targets vượt qua teacher.

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa RIDE cho trường hợp student không cùng khởi tạo với teacher bằng cách học ánh xạ residual giữa các không gian representation khác nhau.
Nghiên cứu chọn λ theo ngữ cảnh hoặc theo layer/position thay vì một hệ số toàn cục, để kiểm soát mức vượt teacher gần các vùng gần deterministic.
Đánh giá an toàn và hiệu chuẩn của student được huấn luyện bằng hidden-state targets vượt teacher, đặc biệt khi residual có thể khuếch đại lỗi hoặc thành kiến của teacher.
Kết hợp residual extrapolation trong representation space với các tín hiệu output-space ổn định hơn để giữ lợi ích cả hai không gian.
Kiểm chứng RIDE ngoài toán học, chẳng hạn code, reasoning đa phương thức, agent tool-use, và các recipe tinh chỉnh bằng thưởng khác nhau.

2. Patent:

Nâng cấp trợ lý AI trên điện thoại mà không cần gửi toàn bộ mô hình mới: thiết bị giữ bản mô hình cũ và bản mô hình đã tinh chỉnh bằng thưởng, tính khác biệt trạng thái nội bộ từng lớp trên cùng câu trả lời, rồi huấn luyện mô hình nhẹ đi tiếp vượt bản mới theo đúng hướng cải tiến đó.
Dịch vụ đám mây rút gọn bản cập nhật mô hình: server lưu mô hình gốc và mô hình sau tinh chỉnh, chỉ truyền xuống app các vector chênh lệch trạng thái nội bộ theo từng lớp để cập nhật mô hình thu nhỏ trên thiết bị, giảm dung lượng truyền và giảm nhiễu so với học theo xác suất từ vựng.
Hệ thống hợp nhất nhiều chuyên gia cùng gốc trên một thiết bị: với các bản mô hình được tinh chỉnh cho từng lĩnh vực, thiết bị tính hướng cải tiến từng lớp rồi huấn luyện một mô hình chung vượt qua từng chuyên gia theo hướng tổng hợp, tiết kiệm bộ nhớ và chi phí suy luận.
Bộ công cụ kiểm soát mức vượt mô hình cũ trên điện thoại: người dùng hoặc doanh nghiệp chọn mức đẩy target vượt qua bản teacher, hệ thống tự điều chỉnh hệ số ngoại suy theo độ ổn định format và độ dài câu trả lời để tránh vượt quá mức gây lỗi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.36484
ArXiv Abstract	https://arxiv.org/abs/2609.36484
PDF Download	https://arxiv.org/pdf/2609.36484.pdf
Github Repository	https://github.com/xixixixixxxx/RIDE

3. Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence (206 votes)

Tác giả: Xi Xiao, Tianchen Zhao, Youngeun Kim, Zhuowei Li, Linghan Xu, et al.

Xuất bản lúc: 2026-09-28

Tag: Latent Visual Reasoning, MLLMs, GRPO, Visual Grounding, Multimodal Reasoning, RLHF, Contrastive Learning, Vision-Language Models

I. Main Problem:

Latent visual reasoning (LVR) cho phép MLLM tính toán trung gian bằng các latent token liên tục thay vì ghi từng bước suy luận ra chữ. Nhưng vì latent tokens không quan sát được trực tiếp, ta không biết chúng đang học gì — và thực nghiệm chứng minh:

Latent tokens phản ứng rất yếu với các chỉnh sửa ảnh làm thay đổi đáp án đúng (ví dụ đổi màu cốc, đổi vị trí đồ vật: đáp án đúng thay đổi 81–86% cặp ảnh, nhưng LVR đổi dự đoán chỉ 5–13%)
Trong giai đoạn RL (GRPO), latent states sinh tự do không nhận được supervision trực tiếp — reward chỉ tính trên token text của đáp án cuối cùng
Tác giả gọi khoảng trống này là latent evidence-credit gap: reward cấp độ đáp án cuối không chỉ rõ token nào cần giữ bằng chứng thị giác nào.

II. Main Idea:

Đề xuất ReaLVR — mang supervision về bằng chứng thị giác vào chính quỹ đạo latent tự sinh của model, trả lời hai câu hỏi:

What (giữ gì): tạo prototype bằng chứng liên quan (ROI đúng, pooling masked-mean trên visual tokens) đối lập với prototype bằng chứng sai/không khớp từ ảnh khác; dùng visual contrastive margin (cosine similarity) để ép latent state phân biệt nội dung hỗ trợ đáp án với đặc trưng cạnh tranh
Where (giám sát ở đâu): so sánh attention của đáp án đúng vs các đáp án sai do chính model sinh ra (teacher-forced sau cùng một latent span); hiệu số attention dương [r+ − r−]+ cho biết vị trí latent nào được đọc nhiều hơn khi trả lời đúng → trọng số supervision mạnh hơn tại đó

Loss mới L = L_GRPO + λ·L_ev backprop xuyên suốt quá trình sinh latent (khác LVR vanilla coi latent là context cố định), cập nhật cả quá trình tạo latent chứ không chỉ câu trả lời. Không đổi kiến trúc, không đổi inference — supervision chỉ áp dụng khi training.

Ví dụ đời thường: giống người học nghề chụp ảnh minh chứng — thầy không chỉ chấm điểm ảnh cuối, mà chỉ rõ 'đoạn ghi chép ở trang này là bằng chứng quan trọng' (what) và nhắc học viên chú ý đúng chỗ mà lúc trước hay nhầm lẫn với bằng chứng nhiễu (where), thay vì để tự mò.

III. Main Results:

Qwen2.5-VL-7B: trung bình 5 benchmark 63.7%, cao nhất trong các phương pháp latent reasoning (+4.0 so với LVR-SFT, +0.8 so với ILVR mạnh nhất); riêng MMVP +8.4 điểm
Qwen3-VL-8B: 61.2%, 30B: 65.2% — vượt LVR ở mọi kích thước
Qwen3-VL-235B: 81.9 MMVP, 75.4 BLINK, 71.0 MME-RealWorld — lần đầu tiên huấn luyện visual reasoning trong latent space ở scale frontier 235B
Khái quát qua 3 họ model (Qwen, InternVL3-8B: 58.1, Gemma-3-12B: 41.6), vượt LVR-RL +3.1 và +2.6 điểm
Phân tích cơ chế: ReaLVR nhạy với chỉnh sửa ảnh (latent distance 0.13–0.34 so với <0.0005 của LVR); attention vào vùng ROI gấp ~2 lần background (LVR ≤1.3); thay 8 latent token quan trọng nhất làm xác suất đúng giảm 11 điểm phần trăm (LVR chỉ 4); một linear probe đọc được nhãn tác vụ từ latent với 99.9% accuracy — latent mang thông tin hữu ích mà không diễn giải được thành ngôn ngữ

IV. Conclusion & Future Works:

Trả lời đúng cuối cùng không đảm bảo latent tokens đã học cách giữ bằng chứng thị giác cần thiết. ReaLVR cho thấy supervision bằng bằng chứng thị giác (what + where) cải thiện grounding và khả năng sử dụng latent states liên tục ở mọi scale tới 235B mà không đổi kiến trúc hay inference. Tác giả kêu gọi nghiên cứu giải mã động lực học bên trong của latent reasoning vượt ra ngoài benchmark accuracy, làm nền tảng cho hệ thống multimodal robust và faithful.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng tư tưởng evidence-credit supervision cho latent reasoning trong video understanding: xác định vị trí latent cần giữ bằng chứng từ frame nào khi đáp án phụ thuộc thời gian.
Mở rộng answer-contrastive position weighting cho latent reasoning đa phương thức (audio, depth, haptic): dùng attention chênh lệch giữa đáp án đúng/sai để định vị supervision trên nhiều loại bằng chứng đồng thời.
Nghiên cứu phương pháp audit tự động phát hiện latent reasoning 'ảo giác' (trả lời đúng nhưng không dựa trên bằng chứng) bằng counterfactual image edits như trong bài, làm công cụ đánh giá chất lượng suy luận cho MLLM ngoài accuracy.

2. Patent:

Trợ lý ảnh trên điện thoại với suy luận ngầm an toàn: khi người dùng chụp ảnh hỏi (ví dụ 'số điện thoại trên biển quảng cáo là gì?'), mô hình tính toán trung gian bằng các trạng thái liên tục được huấn luyện để bám vào đúng vùng chữ trong ảnh, giảm trả lời sai khi ảnh có nhiều chi tiết gây nhiễu.
Hệ thống kiểm tra chống gian lận tài liệu: chỉnh sửa nhẹ một chi tiết quyết định trong ảnh (con số, ngày tháng, màu tem) để kiểm tra xem mô hình nhận diện tài liệu có thực sự đọc đúng bằng chứng hay chỉ đoán theo ngữ cảnh.
Công cụ đánh dấu vùng bằng chứng cho ứng dụng thương mại điện tử: khi khách hỏi về sản phẩm trong ảnh chụp nhiều món đồ, mô hình không chỉ trả lời mà còn làm nổi bật chính xác vùng ảnh đã dùng làm căn cứ, tăng độ tin cậy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.34563
ArXiv Abstract	https://arxiv.org/abs/2609.34563
PDF Download	https://arxiv.org/pdf/2609.34563.pdf
Github Repository	https://github.com/xixiaouab/ReaLVR-code

4. False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents (190 votes)

Tác giả: Meijia Chen, Hao Li, Zheng Lu, Hongshan Lin, Junbai Tian, et al.

Xuất bản lúc: 2026-09-30

Tag: Self-Evolving Agents, Search Agents, Reinforcement Learning, Reward Hacking, Curriculum Learning, Pseudo-Labeling, Cross-Fitting, LLMs

I. Main Problem:

Các hệ thống self-evolving search kiểu proposer–solver tự tạo dữ liệu huấn luyện: proposer sinh câu hỏi + pseudo-label từ tài liệu, solver được train và chính solver trả lời đúng/sai lại làm reward cho proposer. Bài báo chỉ ra lỗ hổng mới gọi là co-cheating:

Proposer và solver ngày càng đồng thuận trên cùng lỗi sai — reward nội bộ tăng nhưng độ đúng thật không tăng
Pseudo-label sai train solver lặp lại lỗi đó, lỗi lại được thưởng ở vòng sau, tạo vòng lặp tự khuếch đại
Audit sau huấn luyện cho thấy false agreement tăng từ ~0.4% (vòng 1) lên 6.1% (4B) / 8.8% (9B) ở vòng 3
Cách chữa trực tiếp nhất — verify từng pseudo-label (MSV) — chỉ giảm nhẹ và tốn 6 lần gọi model thêm cho mỗi đề xuất.

II. Main Idea:

Bài báo đề xuất CrossFit: thay đổi nguồn gốc của feedback chứ không đổi luật cập nhật.

Chia tài liệu nguồn thành 2 fold A và B theo mức tài liệu (không chia từng câu hỏi)
Hai solver phụ: solver-0 chỉ train trên A, solver-1 chỉ train trên B
Chấm chéo: câu hỏi từ A được solver-1 (chưa từng thấy label của A) chấm, và ngược lại; số lần khớp pseudo-label quyết định reward của proposer
Solver chính không đổi — vẫn train trên toàn bộ câu hỏi; chỉ feedback cho proposer bị 'cross-fit'
Kết quả: một pseudo-label sai không thể được solver đã học chính label đó tái sản xuất thành reward. Kèm thêm MSV (xác minh bằng majority voting có/không tài liệu nguồn) chỉ can thiệp phần chất lượng label.

Ví dụ đời thường: giống thi cử tự chấm — thay vì học sinh tự chấm bài mình (coupled feedback: càng sai càng tin mình đúng), trường chia lớp: bài của nhóm A do bạn chỉ học nhóm B chấm và ngược lại, nên không ai được chấm bài theo đáp án mình đã học thuộc lòng.

III. Main Results:

False-agreement mass giảm mạnh: từ 6.1% → 3.0% (Qwen3.5-4B) và 8.8% → 3.7% (9B); MSV chỉ giảm xuống 5.7% / 7.2%. Replay với cùng đề xuất nhưng loại nguồn khỏi feedback: còn 0.4% / 0.1%.
7 benchmark tìm kiếm (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMQA, MuSiQue, Bamboogle — 1,325 câu): CrossFit đạt 48.8% (4B) / 51.2% (9B), hơn Dr. Zero +8.8/+8.4 điểm, hơn Search-R1 +8.7/+7.8 điểm. Mọi benchmark đều tăng, mạnh nhất ở bài multi-hop (+10.0/+10.9).
MSV+CrossFit chỉ hơn CrossFit ~0.3 điểm → thay đổi nguồn gốc feedback quan trọng hơn nâng chất lượng label.
Ablation chứng minh bản chất nguồn: chia câu hỏi ngẫu nhiên (chia rời tài liệu) gần như vô hiệu (F còn 5.0–6.2%); chỉ có split theo ID tài liệu nguồn mà đưa F xuống 0.4–0.1%; đúng nguồn exclusion, không phải evaluator thêm hay ngân sách train thêm, là yếu tố quyết định.
Audit cho thấy CrossFit đảo chiều quỹ đạo: label truth tăng (74.7%→81.9% ở 4B), agreement không còn vượt solver truth.

IV. Conclusion & Future Works:

Self-evolution đáng tin cậy đòi hỏi audit cả độ đúng của feedback lẫn lịch sử huấn luyện của kẻ đánh giá — không chỉ kiểm tra label mà phải biết solver chấm đã học từ đâu. CrossFit cho thấy nguyên tắc exclusion (vay ý tưởng cross-fitting trong thống kê) áp dụng được cho vòng lặp tự tiến hóa của agent.

Hạn chế còn lại: lỗi chung từ pretraining, bằng chứng chồng lấp giữa các nguồn, chi phí solver phụ.
Hướng tương lai: mở rộng exclusion sang các nguồn liên kết/liên quan, và đo hiệu quả đầu-cuối (tổng chi phí compute) của nguyên tắc này.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CrossFit từ split nhị phân sang đồ thị kết nối nguồn: loại trừ không chỉ tài liệu gốc mà cả các tài liệu có bằng chứng chồng lấp, để chặn co-cheating lan truyền qua retrieval overlap.
Nghiên cứu tối ưu chi phí: thay hai solver phụ bằng một solver nhiều head/tham số rẽ nhánh theo fold để giảm gấp đôi chi phí cross-fitted feedback trong các vòng tự tiến hóa dài.
Ứng dụng nguyên tắc source-excluded feedback cho các hệ self-play/synthetic-data ngoài search: code generation, toán suy luận, RLHF tự tạo preference, nơi evaluator dễ bị nhiễm từ chính dữ liệu nó chấm.

2. Patent:

Nền tảng huấn luyện AI tự tạo dữ liệu cho điện thoại/đám mây: module tự sinh câu hỏi-từ-tài liệu kèm cơ chế chấm chéo — mỗi tài liệu gắn một ID nguồn, dữ liệu từ nguồn A chỉ được model chỉ train trên nguồn B đánh giá, ngăn hệ thống tự gian lận khi tự nâng điểm mình trên thiết bị người dùng.
Hệ kiểm chứng câu trả lời tự động cho trợ lý AI trên điện thoại: khi người dùng tải tài liệu lên, ứng dụng chia tài liệu thành hai phần, đặt câu hỏi từ phần này và yêu cầu mô hình chỉ đọc phần kia trả lời — giúp phát hiện câu trả lời 'nghe hợp lý nhưng sai' do mô hình tự xác nhận lỗi của chính mình.
Bộ lọc chất lượng dữ liệu tự sinh cho ứng dụng học tập trên mobile: cơ chế gắn nhãn nguồn gốc (source-ID) cho từng bài tập tự tạo, chỉ cho phép bài từ nguồn X vào huấn luyện khi mô hình chấm điểm bài đó chưa từng học nguồn X, kèm bảng điều khiển hiển thị tỷ lệ 'đồng thuận sai' theo thời gian.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39102
ArXiv Abstract	https://arxiv.org/abs/2609.39102
PDF Download	https://arxiv.org/pdf/2609.39102.pdf
Github Repository	N/A

5. AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks (120 votes)

Tác giả: Hongjin Qian, Chaofan Li, Kun Luo, Wenqing Wei, Jianlyu Chen, et al.

Xuất bản lúc: 2026-09-29

Tag: LLM Agents, Self-Improvement, Test-Time Scaling, Agent Training, Reflection, Long-Horizon Reasoning, Reinforcement Learning from Feedback

I. Main Problem:

Các agent LLM hiện nay không biết tự cải thiện lời giải theo thời gian. Vòng lặp thử–đo–sửa (try–measure–revise) thường nằm ở scaffold bên ngoài chứ không nằm trong chính mô hình, và dữ liệu huấn luyện chỉ chứa các lời giải hoàn chỉnh (giữ lại attempt thành công, bỏ qua các lần thử thất bại):

mô hình học được lời giải đúng trông thế nào, nhưng không học được cách cải thiện một lời giải
các quá trình cải thiện dài hạn (làm việc hàng giờ, đo lường và sửa đổi nhiều vòng) gần như vắng mặt trong dữ liệu huấn luyện
hệ quả: cho thêm ngân sách vòng lặp (rounds) ở test-time cũng không giúp lời giải tốt hơn.

II. Main Idea:

Bài báo định nghĩa self-improvement là khả năng biến thêm vòng lặp thành lời giải tốt hơn, dựa trên hai năng lực bổ sung:

reflection: tạo ra lời giải tốt hơn từ lời giải hiện tại + phản hồi → quyết định độ lợi mỗi vòng (r̄)
long-horizon execution: duy trì quá trình cải thiện qua nhiều vòng, giữ lại kiến thức hữu ích và hồi phục sau thất bại → quyết định số vòng còn hiệu quả (T*)

Giả thuyết then chốt: đây là meta-skill phi ngôn ngữ (domain-agnostic), nên có thể học ở những miền dễ giám sát. AREX-2 xây dữ liệu theo 3 bước:

Xây environment từ GitHub repo (bài ML) và online judges (bài thuật toán) — nơi phản hồi là chấm điểm liên tục, kiểm chứng được (validation score, tỉ lệ test pass), đủ chỗ để cải thiện dài hạn
Chạy teacher agent nhiều vòng (hàng giờ, hàng trăm tool calls): tự thu thập operational knowledge (đọc source, thử nghiệm nhỏ), nộp lời giải, nhận điểm, rồi phản tỉnh và sửa tiếp
Chọn trajectory theo kết quả cuối cùng, không lọc từng vòng → giữ lại cả thất bại, regression, hướng bị bỏ dở, vì đó chính là cái mô hình cần học để biết cách tiếp tục sau vấp ngã. Loss chỉ áp trên các bước đưa lời giải tiến về phía trước.

Fine-tune Qwen3.8-27B trên dữ liệu này (kèm deep-research data cũ của AREX).

Ví dụ đời thường: giống một đầu bếp tập nấu món mới qua nhiều lần nếm thử — lần nào mặn quá hay nhạt quá đều không vứt đi mà ghi nhớ, rồi lần sau nêm nếm lại cho tới khi vừa miệng; quan trọng là học được cách chỉnh từ mỗi lần hỏng, chứ không chỉ học thuộc một món thành phẩm.

III. Main Results:

MLE-bench Lite: 81.8 (Any Medal) — cao nhất bảng, hơn GPT-5.6 Sol 9.1 điểm; vượt mọi model lớn hơn nhiều lần (Kimi-K3 2.8T chỉ 72.7).
Frontier-CS: 70.7 — cao nhất trong số model open-weight, chỉ kém GPT-5.6 Sol (76.4) vài điểm.
Chuyển giao sang deep research mà không thêm dữ liệu mới: BrowseComp 84.0, HLE 52.6, GAIA 92.2, DeepSearchQA 93.8 — vượt AREX (122B) ở cả 4 benchmark, dù chỉ 27B tham số (~1/4 kích thước).
Test-time scaling có phản hồi: trên Frontier-CS, điểm tăng liên tục suốt 5 giờ (54.4 sau 1h → 70.7 sau 5h), trong khi DeepSeek-V4-Pro chững lại ở 44.7 sau 2h — chứng tỏ T* dài.
Test-time scaling không có phản hồi: trên BrowseComp, accuracy tăng từ 64.8 (47 turns) lên 84.0 (143 turns); gain mỗi turn gấp ~3 lần AREX, chứng tỏ model tự phản tỉnh được mà không cần tín hiệu đúng/sai.
Ablation theo giai đoạn (MLE-Lite): base model 28.8 → +skills chung 41.2 → +skills riêng và thêm rounds 68.2 → AREX-2 cùng điều kiện 75.8 → thêm rounds 81.8. Training đóng góp +13.6 điểm độc lập với skills.

IV. Conclusion & Future Works:

AREX-2 chứng minh long-horizon reflection là một meta-skill có thể học được: huấn luyện trên trajectory cải thiện dài hạn ở các miền có phản hồi kiểm chứng (ML engineering, lập trình thuật toán) giúp model tự cải thiện ở test-time và chuyển giao sang cả deep research mà không cần dữ liệu mới ở miền đích. Với chỉ 27B tham số, AREX-2 cạnh tranh với các hệ thống lớn hơn hàng chục lần và tiếp tục cải thiện khi tăng ngân sách rounds. Tồn tại: vẫn còn khoảng cách với kết quả mạnh nhất trên BrowseComp và HLE; hướng đi tiếp theo là mở rộng và đa dạng hóa nguồn environment, cải thiện hiệu quả sử dụng ngân sách vòng lặp và thu hẹp khoảng cách với các model frontier.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyển giao meta-skill phản tỉnh dài hạn sang các miền mới (y sinh, pháp lý, kỹ thuật) mà không cần xây dữ liệu đặc thù, bằng cách chỉ đổi environment huấn luyện sang miền có phản hồi kiểm chứng.
Phát triển phương pháp tự động đánh giá chất lượng trajectory cải thiện (ngoài điểm cuối) để chọn lọc dữ liệu huấn luyện hiệu quả hơn, đặc biệt cân bằng giữa số lượt thất bại cần giữ lại và chất lượng giám sát.
Kết hợp self-improvement dạng imitation với học tăng cường trực tiếp trên trajectory để mô hình tự học cách phân bổ ngân sách rounds một cách tối ưu thay vì chỉ bắt chước teacher agent.
Khảo sát giới hạn scaling: mối quan hệ giữa số vòng lặp hiệu quả (T*) và quy mô mô hình, để xác định model nhỏ có thể đạt hiệu suất frontier cần bao nhiêu ngân sách tính toán test-time.

2. Patent:

Trợ lý nghiên cứu trên điện thoại tự tinh chỉnh câu trả lời: người dùng đặt câu hỏi, ứng dụng chạy nhiều vòng tự thu thập tài liệu, đối chiếu nguồn và sửa đổi câu trả lời theo độ tự tin của chính nó; câu trả lời cuối càng chuẩn khi người dùng cho thêm thời gian xử lý.
Hệ thống hỗ trợ lập trình thi đấu cho học sinh: nền tảng chấm bài tự động không chỉ trả về đúng/sai mà chấm điểm liên tục theo tỉ lệ test pass, cho phép học sinh (và AI gợi ý) nộp và cải thiện code qua nhiều vòng, giữ lại lịch sử thất bại để gợi ý cách sửa.
Công cụ tự tối ưu pipeline machine learning doanh nghiệp: hệ thống tự tạo môi trường chấm điểm từ kho code nội bộ, chạy agent nhiều vòng để thử các phương án tiền xử lý/mô hình, và xuất pipeline tốt nhất kèm báo cáo quá trình cải thiện theo từng vòng.
Trợ lý soạn báo cáo tự kiểm duyệt đa vòng: trước khi gửi, ứng dụng tự đọc lại báo cáo, tự phát hiện lỗ hổng lập luận và soạn thảo lại nhiều lần dựa trên tiêu chí chấm điểm có sẵn, giống cách AREX-2 tự nộp và sửa lời giải mà không cần ai góp ý.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38288
ArXiv Abstract	https://arxiv.org/abs/2609.38288
PDF Download	https://arxiv.org/pdf/2609.38288.pdf
Github Repository	https://github.com/VectorSpaceLab/AREX-2

6. Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents (103 votes)

Tác giả: Minki Kang, Ryo Hachiuma, Shaokun Zhang, Subhashree Radhakrishnan, Yonggan Fu, et al.

Xuất bản lúc: 2026-09-30

Tag: Terminal Agents, LLM Agents, Test-Time Compute Scaling, Verification, Self-Verification, Distillation, Tool-Use Agents

I. Main Problem:

Các tác nhân terminal (như TMAX) hành động qua sinh lệnh ngẫu nhiên: mỗi lệnh chạy sai (cài nhầm package, sửa code sai) thay đổi môi trường và làm hỏng các bước tiếp theo, dù model vốn có thể sinh lựa chọn tốt hơn. Vấn đề cốt lõi:

biết sinh hành động hữu ích không đồng nghĩa với thực thi đáng tin
chưa rõ khi nào việc bỏ thêm compute trước khi thực thi lệnh cải thiện tỉ lệ hoàn thành task, và điều gì khiến nó hiệu quả
các phương pháp scale tính toán trước đây chủ yếu tập trung ở mức trajectory (chạy lại cả task), tốn kém về token và số lần chạy môi trường.

II. Main Idea:

Mid-Harness đặt một lớp sampling + verification ngay tại ranh giới model–harness: ở mỗi bước, generator sinh N ứng viên lệnh t cùng lịch sử tương tác, một verifier chọn ra một lệnh tốt nhất, rồi harness thực thi lệnh đó. Generator và harness hoàn toàn không đổi, không sửa trọng số model.

Ba cơ chế verify được so sánh: listwise (xếp hạng cả tập một lúc, 1 call), pointwise (chấm điểm từng cái độc lập, N calls), pairwise (so sánh từng cặp, chọn theo tỉ lệ thắng, ~28 calls với N=8)
Kết quả then chốt: chất lượng verifier quyết định lợi ích — verifier yếu thì tăng N chẳng giúp gì; verifier mạnh (GPT-5.6 Sol) khai thác được tiềm năng có sẵn trong chính generator
Distillation: fine-tune verifier (LoRA) trên 117k phản hồi pairwise từ verifier frontier để tự kiểm lệnh mà không cần gọi model lớn lúc inference
Tương thích bổ sung với scaling ở mức trajectory (Best-of-T, Sequential Refine)

Ví dụ đời thường: giống việc trước khi gửi email quan trọng, ta soạn vài phiên bản rồi nhờ một đồng nghiệp kỹ tính đọc và chọn bản tốt nhất thay vì gửi ngay bản đầu tiên — email (lệnh) sai một lần có thể gây hậu quả dây chuyền khó gỡ.

III. Main Results:

Verifier frontier mở khó tiềm năng generator: TMAX-9B + GPT-5.6 Sol verifier trên TerminalBench-Lite đưa Pass@1 từ 50.00% → 68.03% (N=8), cho thấy generator đã sinh sẵn các lựa chọn tốt, chỉ thiếu bộ chọn.
Verifier yếu thì thêm ứng viên vô ích: zero-shot listwise tự kiểm chỉ đạt 51.02% ở N=8 dù tăng gấp đôi số ứng viên.
Pairwise tốt nhất trong các cơ chế tự kiểm: 54.76% Pass@1, 71.43% Pass@3 (N=8), vượt listwise và pointwise.
Distillation nâng self-verification: distilled pairwise đạt 57.14% Pass@1, 75.51% Pass@3; agreement với teacher tăng từ 59.01% → 74.58%; các lỗi còn lại chủ yếu do ngữ nghĩa lệnh và khả năng thực thi (chiếm 67.4%).
Bổ sung scaling ở mức trajectory: Mid-Harness + SR(R=1) đạt 60.20%, + Best-of-T(T=3) đạt 66.33% — vượt Best-of-T T=7 (59.18%) với chi phí token thấp hơn một nửa.
Tổng quát hóa tốt: cải thiện trên TMAX-4B/9B/27B, Nemotron 30B/550B, Qwen3.5-9B; trên Terminal-Bench 2.1, SWE-bench-Verified, FeatureBench-Mini (base chỉ 1.45% → distilled 7.25%); với harness Terminus-2 và Vanillux2.
Chi phí: verifier chỉ trả lời A/B (decision-only) giảm ~21-24% chi phí token mà Pass@1 còn cao hơn ở TMAX-9B.

IV. Conclusion & Future Works:

Bài báo chỉ ra action scaling là một trục hứa hẹn để mở rộng test-time compute cho terminal agents: lợi ích không nằm ở việc sinh thêm ứng viên mà ở khả năng verify chúng — và việc verify "lệnh này sẽ làm gì trong môi trường hiện tại" mà không cần chạy thử là thách thức trung tâm. Mid-Harness cung cấp khung nghiên cứu có hệ thống tại ranh giới model–harness, tương thích với cả scaling song song và tuần tự. Hướng tương lai: cải thiện verifier tự kiểm về ngữ nghĩa lệnh và khả năng thực thi, và kết hợp verification không cần reasoning (decision-only) để giảm chi phí hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Verifier chuyên biệt cho hành động terminal: huấn luyện riêng một mô hình ước lượng hậu quả thực thi của lệnh (đọc file nào, sửa gì, có lỗi không) thay vì chỉ so sánh ưu tiên, nhắm đúng hai nguồn bất đồng lớn nhất là ngữ nghĩa lệnh và khả năng thực thi.
Thuật toán giảm chi phí pairwise: thay vì so 28 cặp cho 8 ứng viên, dùng knockout tournament hoặc learning-to-rank để chọn lệnh tốt với số lần gọi verifier gần bằng pointwise mà giữ chất lượng pairwise.
Action scaling cho tác nhân đa phương thức (GUI, browser, API): kiểm chứng liệu việc sinh nhiều ứng viên hành động + verify trước thực thi có mang lại lợi ích tương tự ngoài môi trường terminal.

2. Patent:

Trợ lý lệnh tự động trên điện thoại/máy tính: trước khi chạy lệnh hệ thống rủi ro (xóa file, cài gói, sửa cấu hình), ứng dụng sinh vài phương án lệnh, gửi lên đám mây để một model chọn phương án an toàn và hiệu quả nhất rồi mới thực thi, tránh lỗi gây hỏng môi trường người dùng.
Plugin kiểm lệnh cho IDE lập trình: khi lập trình viên dùng AI agent sửa code trong terminal tích hợp, plugin sinh nhiều lệnh ứng viên ở mỗi bước, tự chấm từng cặp để chọn lệnh ít rủi ro nhất (tránh xóa nhầm, cài sai dependency), giảm số lần phải chạy lại cả session.
Hệ thống tối ưu chi phí cho agent trên thiết bị biên: một bộ verifier nhỏ được tinh chỉnh từ model lớn (distillation) chạy offline trên điện thoại để tự kiểm các lệnh mà agent sinh ra, giúp agent yếu trên thiết bị đạt độ tin cậy gần bằng agent dùng model lớn mà không tốn chi phí gọi đám mây.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39982
ArXiv Abstract	https://arxiv.org/abs/2609.39982
PDF Download	https://arxiv.org/pdf/2609.39982.pdf
Github Repository	N/A

7. EvoDuet: Bilevel Co-Evolution of Web Searching and Task Solving for Scientific Discovery (96 votes)

Tác giả: Young-Jun Lee, Jinheon Baek, Soyeong Jeong, Minki Kang, Seungyeon Jwa, et al.

Xuất bản lúc: 2026-09-30

Tag: LLM, Evolutionary Search, Web Search, Agentic AI, Optimization, Scientific Discovery, Bilevel Optimization

I. Main Problem:

Các hệ thống evolutionary search dùng LLM (như OpenEvolve, EvoX) để khám phá lời giải tối ưu cho các bài toán khoa học (quantum compilation, toán học, astrodynamics...) đều chỉ dựa vào hai nguồn tri thức: lịch sử tiến hóa của chính lần chạy và kiến thức tham số sẵn có của LLM. Khi cần tri thức bên ngoài (ví dụ cách dùng thư viện mới, nguyên lý thuật toán trong bài báo), tìm kiếm bị tắc nghẽn (stagnation).

Phân tích thực nghiệm cho thấy việc cung cấp tài liệu tối ưu (oracle documents) có giúp, nhưng không tự động:

Model yếu cần nhiều cơ hội thử nghiệm (tạo song song nhiều candidate mới dùng được tài liệu).
Khi LLM tự search trong cùng vòng lặp cùng với việc sinh lời giải (joint-level), nó lặp lại 88.1% URL đã thấy và ngừng tiến bộ sau ~50 vòng — vì truy vấn không tiến hóa cùng lời giải.

II. Main Idea:

EvoDuet định khung khám phá khoa học như bài toán tối ưu hai cấp (bi-level optimization) với LLM cố định tham số:

Outer loop — tối ưu lời giải: theo quy trình evolutionary search chuẩn, nhưng LLM sinh candidate có kèm tài liệu web đã truy xuất; khi có tài liệu thì sinh N candidate song song và giữ candidate hợp lệ tốt nhất.
Knowledge-Gap Retrieval Gate: mỗi vòng, LLM tự đánh giá "mình còn thiếu gì để cải thiện lời giải hiện tại" và chọn 1 trong 3: NO-OP (đủ kiến thức), LOOK-UP (tái dùng tài liệu đã lưu), RETRIEVE (cần search mới).
Inner loop — tối ưu truy vấn: qua nhiều vòng nhỏ, LLM xây dựng truy vấn nhắm vào knowledge gap, search web, rồi chấm điểm từng tài liệu bằng hypothetical evidence scoring — dự đoán điểm evaluator của một candidate giả định được xây trên tài liệu đó (tương quan Spearman +0.86 với điểm thật), giữ Top-D tài liệu hứa hẹn nhất. Việc này không cần đánh giá candidate thật, nên tiết kiệm chi phí.

Ví dụ đời thường: giống như một kỹ sư đang sửa máy — khi thấy mình thiếu hiểu biết, anh ta tự hỏi "mình còn không biết gì?" rồi lên mạng tra câu hỏi ngày càng sắc hơn theo từng phát hiện mới, thay vì cứ gõ cùng một câu hỏi suốt buổi; mỗi tài liệu đọc được anh tự lượng "cái này áp dụng chắc sẽ tốt hơn" trước khi quyết định thử.

III. Main Results:

Với OpenEvolve (N=1 candidate/vòng) trên 21 tác vụ: NDG tăng từ 74.1% → 78.0% (+3.9) với GPT-5.6-Luna và từ 61.3% → 82.3% (+21.0) với Gemini-3.8-Flash; tạo song song (N=8, 16) còn cao hơn (Luna lên tới 95.7%).
Qwen3.5-9B không hưởng lợi (−14.4%): 26% số lần sửa chương trình bỏ phương pháp lấy về không dùng hoặc cài sai → co-evolution đòi hỏi model vừa biết tìm vừa biết dùng bằng chứng.
Vượt SOTA đã công bố trên 8 tác vụ (gồm Swap Reduction trên Q20: 14,835 SWAPs, vượt SimpleTES 2.31%) và bằng kỷ lục trên 3 tác vụ nữa; chi phí trung bình chỉ ~$45/run.
Trên Denoising, đạt 100.27% NDG với chi phí rẻ hơn 6.9 lần SimpleTES.
Tích hợp được với scaffold khác: cải thiện Top-K và EvoX trên Sums/Diffs và Denoising (ví dụ +55.1 NDG cho EvoX trên Sums/Diffs).
Knowledge-gap gate vượt trội gate ngẫu nhiên và gate dựa trên stagnation heuristic (+23.9 NDG trên Denoising).
Khi truy xuất được tài liệu "hứa hẹn", candidate cải thiện hơn parent ở 67.1% vòng so với 52.1% khi không search; hành vi dùng tài liệu phổ biến nhất là method transfer (55/82 runs).

IV. Conclusion & Future Works:

EvoDuet chứng minh rằng đóng vòng lặp tìm kiếm với tri thức bên ngoài — bằng cách để chính trạng thái kiến thức của LLM quyết định khi nào search và hỏi gì — giúp evolutionary search vượt qua điểm tắc do thiếu kiến thức, đồng thời tương thích ("packing loop") với các scaffold hiện có. Điểm hạn chế rõ: lợi ích phụ thuộc mạnh vào năng lực backbone LLM. Phần future work không được nêu trực tiếp trong bản trích; hướng suy ra từ kết quả là cải thiện khả năng áp dụng bằng chứng cho model nhỏ và tối ưu hóa ngân sách truy xuất/candidate song song.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng khung co-evolution hai cấp cho tác tử LLM trong phòng thí nghiệm tự động (autonomous lab), nơi agent tự tra cứu tài liệu hóa học/sinh học mới mỗi khi gặp bottleneck trong thiết kế thí nghiệm.
Kết hợp hypothetical evidence scoring với reinforcement learning để tinh chỉnh chính khả năng dự đoán điểm của tài liệu, giảm số lần truy xuất web không cần thiết.
Nghiên cứu cơ chế huấn luyện/chọn model nhỏ sao cho vừa tự đánh giá knowledge gap vừa cài đặt đúng phương pháp lấy từ tài liệu — khắc phục điểm yếu của backbone yếu trong bi-level co-evolution.

2. Patent:

Trợ lý tối ưu hóa trên điện thoại cho kỹ sư/phát triển phần mềm: khi người dùng đang cải tiến một đoạn mã, ứng dụng tự phân tích 'người dùng còn thiếu hiểu biết gì', tự lên mạng tìm tài liệu và thư viện liên quan, gợi ý nhiều phương án sửa mã song song kèm dự đoán hiệu năng, và tự đo lường kết quả để học cho lần tìm sau.
Hệ thống tự sửa lỗi cho ứng dụng di động: khi crash log cho thấy lỗi lạ (API mới, thư viện lạ phiên bản), hệ thống tự xác định khoảng trống kiến thức, tìm tài liệu chính thức và bài viết cộng đồng, đánh giá trước giải pháp nào có khả năng khắc phục cao nhất rồi đề xuất bản vá.
Công cụ học tập cá nhân trên điện thoại: người học giải bài tập khoa học/mã hóa, ứng dụng nhận diện phần kiến thức người học còn thiếu, tự tra cứu giáo trình và ví dụ phù hợp, điều chỉnh câu hỏi tìm kiếm qua từng vòng dựa trên tiến độ làm bài của người học.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40340
ArXiv Abstract	https://arxiv.org/abs/2609.40340
PDF Download	https://arxiv.org/pdf/2609.40340.pdf
Github Repository	https://github.com/Open-Galapagos/EvoDuet

8. WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents (93 votes)

Tác giả: Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, et al.

Xuất bản lúc: 2026-09-30

Tag: Vision-Language Models, Vision-Language-Action, Embodied AI, 3D Environments, Benchmark, Anomaly Detection, Visual Reasoning, World Auditing

I. Main Problem:

Các thế giới 3D tương tác ngày càng được dùng để nghiên cứu hành vi thông minh, nhưng chúng có thể trông thuyết phục mà vẫn chứa lỗi tiềm ẩn: đồ vật bay lơ lửng, tường đi xuyên qua được, vật thể biến mất khi quay đi, hoặc cảnh vật mâu thuẫn với bối cảnh.

Việc kiểm tra loại môi trường này khó vì đòi hỏi hai năng lực gắn chặt với nhau:

Hành động: di chuyển, quan sát nhiều góc, tương tác với vật thể để thu thập bằng chứng.
Suy luận trực quan: hiểu cảnh và nhận ra điều bất thường từ quan sát đa phương thức.

Nhiều benchmark hiện có chỉ đánh giá trả lời dựa trên video hoặc ảnh đã cho sẵn, hoặc tập trung hoàn thành tác vụ/tìm vật lạ; chúng không yêu cầu tác tử tự khám phá, kiểm chứng bằng tương tác và nối bằng chứng qua thời gian hoặc góc nhìn.

II. Main Idea:

Bài báo giới thiệu WorldAuditBench, một benchmark cho việc kiểm toán thế giới 3D gồm 213 tác vụ trong 13 môi trường xây dựng bằng Unreal Engine 5 và Three.js, bao phủ cảnh trong nhà, đô thị, lịch sử, công nghiệp và thiên nhiên. Các bất thường được chia thành 5 nhóm:

Static physics: vật tĩnh vi phạm vật lý, ví dụ lơ lửng hoặc chồng lấp.
Interactive physics: tương tác vi phạm vật lý, ví dụ tường không chắn người đi.
Spatial consistency: vật thay đổi khi người xem di chuyển.
Temporal consistency: vật thay đổi theo thời gian, ví dụ biến mất sau khi quay lại.
Semantic consistency: cấu hình vật thể mâu thuẫn chức năng hoặc bối cảnh lịch sử.

Tác vụ được xây dựng thủ công, kiểm duyệt bởi người đánh giá độc lập và kèm rubric chấm điểm mô tả bất thường mong đợi. Hai cách kiểm toán được so sánh:

Một tác tử đa phương thức duy nhất: quan sát, suy luận, chọn hành động, dùng công cụ ghi nhớ và gửi báo cáo trong quá trình khám phá.
Hai giai đoạn khám phá-phân tích: một mô hình hành động-thị giác-ngôn ngữ thu thập quỹ đạo cố định trước, rồi một mô hình thị giác-ngôn ngữ phân tích ngoại tuyến.

Điểm khác biệt cốt lõi là suy luận có được phép điều chỉnh hành động ngay trong lúc khám phá hay không; cách một tác tử cho phép điều tra thêm khi nghi ngờ, còn cách hai giai đoạn giống xem lại video đã quay.

Ví dụ đời thường: giống một người kiểm tra nhà không chỉ nhìn lướt phòng, mà còn đi lại nhiều vị trí, mở cửa, đẩy thử tường, chụp ảnh trước-sau rồi đối chiếu để phát hiện chỗ hỏng mà nhìn một lần không thấy.

III. Main Results:

Hiệu suất người rất cao hơn tác tử: người đạt 83.4% success rate, trong khi mô hình tốt nhất chỉ đạt 42.3%.
Với cách một tác tử, các mô hình đạt khoảng 28.2%–42.3%; với cách hai giai đoạn chỉ đạt 6.6%–17.4%, cho thấy khả năng điều chỉnh hành vi theo nghi ngờ giúp thu thập bằng chứng tốt hơn.
Temporal consistency là khó nhất: mọi mô hình và mọi cách chạy đều chỉ đạt tối đa 12.5%.
Static physics và semantic consistency tương đối dễ hơn vì nhiều trường hợp nhận ra từ một khung hình; các lỗi cần đối chiếu góc nhìn hoặc thời gian có điểm thấp hơn rõ.
Ablation cho thấy:
- Bắt đầu gần điểm bất thường hơn làm tăng success rate từ 33.3% lên 38.1%.
- Cắt ngân sách khám phá còn một nửa làm success rate giảm từ 33.3% xuống 23.0%.
- Bỏ gợi ý loại bất thường gây sụt giảm lớn nhất, từ 33.3% xuống 15.9%.
Khi có nhiều bất thường cùng tồn tại, mô hình vẫn tìm được bất thường chính khá ổn, nhưng tìm đúng toàn bộ chỉ đạt 7.1% với hai lỗi và 4.8% với ba lỗi.
Phân tích exposure cho thấy tác tử một mô hình tiếp cận bất thường tốt hơn nhiều: 91.1% so với 47.4% theo độ phủ hình học; ngay cả khi đã tiếp cận, nó vẫn nhận diện tốt hơn nhờ kiểm tra thêm và dùng bộ nhớ.
Cách hai giai đoạn nhanh hơn 2.7–10.3 lần và rẻ hơn, nhưng đánh đổi bằng success rate thấp hơn đáng kể.

IV. Conclusion & Future Works:

WorldAuditBench cho thấy kiểm toán thế giới 3D không chỉ là nhận diện ảnh kỳ lạ, mà là vòng lặp quan sát → đặt giả thuyết → hành động kiểm chứng → đối chiếu bằng chứng. Các mô hình hiện tại còn yếu ở cả khâu đi tới đúng nơi và khâu diễn giải bằng chứng đã thu thập.

Hướng cải thiện quan trọng gồm:

Cải thiện khả năng khám phá có định hướng, đặc biệt trong không gian lớn.
Tăng cường bộ nhớ dài hạn để lưu và đối chiếu quan sát trước-sau.
Phát triển cơ chế kiểm chứng chủ động, biết khi nào cần đổi góc nhìn, tương tác hoặc quay lại địa điểm cũ.
Mở rộng đánh giá sang nhiều bất thường đồng thời và các tác vử cần lập luận dài hơn.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp kiểm toán thế giới 3D dựa trên giả thuyết-thử nghiệm: tác tử tự đề xuất khả năng lỗi, chọn hành động ít tốn ngân sách nhất để kiểm chứng, rồi cập nhật niềm tin từ bằng chứng mới.
Mô hình bộ nhớ có cấu trúc cho tác tử đa phương thức trong môi trường 3D, cho phép lưu trữ quan sát, so khớp trước-sau và nhắc lại bằng chứng liên quan khi gửi báo cáo.
Nghiên cứu khám phá có hướng dẫn bằng phân tích trực quan: mô hình học cách ưu tiên vùng nghi có lỗi vật lý, lỗi thời gian hoặc mâu thuẫn ngữ nghĩa trong không gian lớn.
Benchmark và thuật toán cho nhiều bất thường đồng thời, đo khả năng tìm đủ lỗi thay vì chỉ tìm một lỗi mục tiêu duy nhất.
Hệ thống hỗ trợ con người kiểm lỗi môi trường 3D: tác tử tự khám phá, đánh dấu giả định, sau đó người dùng chỉ xác nhận hoặc bác bỏ từng báo cáo có bằng chứng.

2. Patent:

Ứng dụng điện thoại kiểm lỗi cảnh 3D hoặc game thực tế ảo: người dùng di chuyển camera theo hướng dẫn, ứng dụng yêu cầu quay lại vị trí cũ, đối chiếu hình ảnh trước-sau và tự đánh dấu vật thể lơ lửng, biến mất hoặc không phù hợp bối cảnh.
Dịch vụ đám mây kiểm tra chất lượng bản sao số của tòa nhà: một nhân vật ảo tự đi dạo trong mô hình, đẩy thử cửa và tường, chụp bằng chứng rồi gửi báo cáo lỗi kèm vị trí, video và mô tả cho kỹ sư xây dựng.
Công cụ trên điện thoại cho nhà phát triển game: quét màn chơi bằng camera, hệ thống nhận biết vùng cần kiểm tra, gợi ý người dùng đổi góc nhìn hoặc tương tác thử để phát hiện lỗi va chạm, lỗi biến mất vật thể hoặc vật đặt sai bối cảnh.
Hệ thống kiểm toán tự động cho sàn giao dịch bất động sản 3D: tác tử ảo đi qua từng phòng, thử mở cửa, quan sát từ nhiều hướng và cảnh báo nếu tường, nội thất hoặc vật trang trí có dấu hiệu bất thường trước khi đăng tải.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40325
ArXiv Abstract	https://arxiv.org/abs/2609.40325
PDF Download	https://arxiv.org/pdf/2609.40325.pdf
Github Repository	https://github.com/UCSB-NLP-Chang/WorldAuditBench

9. Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI (77 votes)

Tác giả: Cheng Qian, Kunlun Zhu, Beibin Li, Zhenhailong Wang, Heng Ji

Xuất bản lúc: 2026-09-29

Tag: AI4AI, LLM Agents, Meta-Skills, Harness Design, Agentic Systems, Self-Improvement

I. Main Problem:

Hiệu suất agent phụ thuộc vào cả năng lực suy luận và môi trường thực thi. Dù model mạnh (Target) vẫn thất bại khi hạ tầng thiếu sót: cấu hình rời rạc, thiếu bộ nhớ phiên, không có công cụ kiểm tra. Câu hỏi: làm sao Builder học cách xây dựng môi trường hỗ trợ tốt hơn cho Target mà không cập nhật trọng số cả hai model, và biến kinh nghiệm thành kiến thức tái sử dụng được?

II. Main Idea:

Meta-skills = nguyên tắc ba thành phần:

when: điều kiện quan sát được cần hỗ trợ
provide: năng lực/tài nguyên môi trường phải cung cấp
use: cách Target dùng hỗ trợ + phần nào tự chịu trách nhiệm

Vòng lặp construction-execution-reflection: Builder dựng harness từ bank rỗng, Target chạy, Builder xem execution feedback để keep/add/revise skill (mỗi batch tối đa 1 cập nhật có bằng chứng). Sau học, bank đóng băng và dùng để dựng harness mới cho task lạ.

Ví dụ đời thường: giống cố vấn dạy nghiên cứu sinh — thay vì nói "làm tốt lên", cố vấn rút ra nguyên tắc "khi kết quả lặp lại → cung cấp nhật ký thí nghiệm → sinh viên tự quyết định hướng nghiên cứu", rồi lần sau tự động thiết kế sổ tay + quy trình phù hợp.

III. Main Results:

Full-bank meta-skills: macro-avg 65.31%, hơn no-skill Builder +8.95pp, hơn giao bank trực tiếp cho Target +12.02pp.
Khi cùng model làm Builder và Target: +18.71pp trung bình, chứng tỏ con đường tự cải thiện hệ thống qua thiết kế harness.
Refinement có giá trị nhưng không đơn điệu: pass 2 trên NewtonBench tăng +13pp, nhưng Harness-Bench có case giảm do skill quá cụ thể.
Transfer: meta-skills học từ cặp Builder-Target này vẫn hữu ích cho cặp khác (+4.58pp, +5.48pp), nhưng recipient tự học thường tốt hơn.
Ablation: execution controller là thành phần quan trọng nhất (bỏ ra giảm tới -13.36pp trên Gemini).

IV. Conclusion & Future Works:

Meta-skills biến kinh nghiệm thực thi thành ngôn ngữ cung cấp hỗ trợ, giúp Builder thành cố vấn tốt hơn thay vì chỉ nhồi kiến thức vào Target. Khi cả hai là cùng model, mô hình có thể tự cải thiện hệ thống bằng cách học cách tự dựng môi trường tốt hơn. Hướng tương lai: refinement có chọn lọc (confidence-based rollback), tối ưu retrieval kết hợp bổ sung skill, và phối hợp cải thiện song song năng lực Target + thiết kế harness.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế meta-skills đa phương thức: học nguyên tắc hỗ trợ không chỉ từ text feedback mà còn từ trajectory ẩn (hidden states) của Target để Builder dự đoán khi nào can thiệp trước khi lỗi xảy ra.
Tối ưu hóa vòng lặp construction-reflection bằng reinforcement learning: Builder học chính sách keep/add/revise skill để tối đa hóa lợi ích dài hạn thay vì greedy mỗi batch.
Nghiên cứu self-improvement đồng bộ: cùng lúc cải thiện task skills của Target và meta-skills của Builder, tạo vòng xoắn nâng cấp hai chiều trong một model duy nhất.

2. Patent:

Hệ thống cố vấn AI cho phần mềm nội bộ doanh nghiệp: module Builder quan sát lỗi lặp lại của nhân viên dùng chatbot, tự động tạo skill 'when câu hỏi về hóa đơn lặp 3 lần → cung cấp form chuẩn + kiểm tra định dạng → nhân viên tự quyết định gửi', rồi dựng giao diện hỗ trợ riêng cho từng bộ phận.
Trợ lý lập trình trên điện thoại: app ghi lại lỗi compile lặp của lập trình viên, học meta-skill để tự động thêm checker định dạng và gợi ý cấu trúc project, biến IDE mobile thành môi trường có scaffolding thông minh.
Nền tảng giáo dục thích ứng: hệ thống Builder phân tích bài làm sai của học sinh, rút ra nguyên tắc 'when mắc lỗi phân số → cung cấp số đồ trực quan → học sinh tự giải', rồi tạo workspace học tập tùy biến cho từng bài tập mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38143
ArXiv Abstract	https://arxiv.org/abs/2609.38143
PDF Download	https://arxiv.org/pdf/2609.38143.pdf
Github Repository	https://github.com/qiancheng-apodex/MetaSkill-AI4AI

10. RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement (75 votes)

Tác giả: Wenyi Wu, Minghao Fu, Jieyu You, Kun Zhou, Siqi Liu, et al.

Xuất bản lúc: 2026-09-30

Tag: LLM Agents, Game Development, Recursive Self-Improvement, Agentic Verification, Supervised Fine-Tuning, Godot, Phaser, GameCraft-Bench

I. Main Problem:

Sinh game tự động bằng mô hình lớn đã khả thi, nhưng cải tiến vòng lặp ngây thường dễ overfit vài kịch bản kiểm thử nhỏ. Hệ quả là game chỉ 'chơi được' ở mức cơ bản nhưng còn:

bug ẩn và corner case chưa được kích hoạt
hành vi thiếu, cơ chế không ổn định khi người chơi tương tác rộng hơn
chất lượng tổng thể không cải thiện đều giữa Mechanics, Depth, Visuals, Art
chạy thêm nhiều vòng không đảm bảo tốt hơn; dễ plateau hoặc regress

II. Main Idea:

RSIGAME định khung phát triển game như recursive self-improvement có kiểm soát, gồm hai vòng bổ trợ nhau.

Local loop: explore-diagnose-improve
- Controller chọn hướng kiểm thử tiếp theo; Explorer chơi game thật để thu bằng chứng hành vi.
- Editor biến issue thành chỉnh sửa; Verifier chơi lại bản sửa để xác nhận đúng mục tiêu và không gây regression.
- Evolving checklist lưu issue, ưu tiên, kết quả kiểm chứng và hướng cải tiến, để mỗi vòng dựng trên tiến bộ đã xác minh.
Global loop: progress monitoring and control
- Game quality monitor so sánh checkpoint mới với checkpoint tốt nhất và giữ bản tốt hơn.
- Phát hiện saturation/regression: nếu liên tiếp không vượt checkpoint cũ thì dừng hoặc mở stage mới với high-level guidance, không vứt bỏ kết quả đã tốt.
Training-based internalization: thu thập generation traces, planning traces và verified improvement traces từ các mô hình mạnh; lọc chỉ giữ phần chạy được và không phá hành vi cũ; rồi fine-tune Qwen3.8-27B để đưa kinh nghiệm phát triển vào tham số mô hình.

Ví dụ đời thường: giống một studio game không chỉ vá lỗi đầu tiên bị bắt gặp, mà cử tester đi khám phá toàn bộ game, giữ một cuốn sổ defect luôn cập nhật ưu tiên, sửa xong bắt chơi lại ngay; đồng thời lưu bản build tốt nhất từng đạt được và dừng khi thấy cải tiến đã cạn.

III. Main Results:

Trên 140 GameCraft-Bench tasks, RSIGAME cải thiện đều ở cả Godot và Phaser, với nhiều generator khác nhau và cùng ngân sách phát triển.
So với bản đầu bị đóng băng, RSIGAME tăng 10.7–20.3 Overall points trên các thiết lập Godot; trên Phaser tăng 8.8–13.4 points.
Với cùng ngân sách, RSIGAME vượt Play2Code khoảng 7.2–13.8 Overall points; điểm mấu chốt là cách tổ chức development, không chỉ là lặp lại nhiều hơn.
Experience internalization nâng Qwen3.8-27B one-shot từ 37.07 lên 48.22 trên Godot, gần Codex+GPT-5.5 one-shot 50.26, đồng thời giảm generation tokens khoảng 11 lần từ 6.41M xuống 0.57M.
Khi kết hợp RSIGAME sau internalization, Qwen3.8-27B đạt 61.38 trên Godot và 58.53 trên Phaser, cao hơn GPT-5.5 one-shot 50.26/49.44; tổng token giảm khoảng 2.6 lần so với Qwen+RSIGAME chưa SFT.
Agentic verification cải thiện grounded precision từ 58.6% lên 72.3%, giảm unsupported targets từ 1.93 xuống 0.50 mỗi round; sau chỉnh sửa phát hiện 76.2% cải tiến thất bại, balanced accuracy 84.4%, trong khi chỉ build compile phát hiện gần như 0 behavioral failure.
Adaptive development được người đánh giá blind pairwise prefer 59% so với 37% của round-robin; effort tự dịch sang improvement sau build failure và sang art khi visual là bottleneck.

IV. Conclusion & Future Works:

RSIGAME cho thấy tự cải thiện game đáng tin cậy cần cả bằng chứng chạy thật, ghi nhớ tiến bộ, giữ checkpoint tốt nhất và dừng khi bão hòa. Training-based internalization mở rộng self-improvement từ tối ưu context sang tối ưu tham số, giúp model nhỏ hơn vượt generator mạnh hơn sau development.

Hướng mở: làm continual RSI với kinh nghiệm mới được nạp lại nhiều lần; kiểm chứng chặt hơn vai trò của human/stronger-model guidance khi bão hòa; mở rộng sang nhiều engine, thể loại và rubric phức tạp hơn; tối ưu quality-cost Pareto và an toàn nội dung khi triển khai thật.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu continual internalization: kinh nghiệm phát triển game được xác minh liên tục nạp vào generator qua nhiều chu kỳ, đo tốc độ bão hòa và rủi ro quên kỹ năng cũ.
Phân tích high-level guidance sau saturation: khi nào gợi ý chiến lược từ người hoặc model mạnh giúp thoát plateau, khi nào chỉ làm tăng chi phí.
Bản đồ hóa failure taxonomy trong agentic game development: phân loại bug cơ chế, depth, visual/art và regression để thiết kế checklist ưu tiên tốt hơn.
Đánh giá chuyển giao cross-engine: cùng một tác vụ GameCraft-Bench chạy trên Godot và Phaser để tìm đâu là kinh nghiệm engine-specific và đâu là kinh nghiệm phát triển game tổng quát.
Tối ưu quality-compute Pareto bằng saturation-aware stopping: so sánh fixed budget, early stop và retained checkpoint trên nhiều mức ngân sách thật.

2. Patent:

Ứng dụng điện thoại biến mô tả ngắn thành mini-game: sau khi tạo bản chơi được, hệ thống tự mở nhiều phiên chơi thử theo hướng khác nhau, ghi lại lỗi vào danh sách ưu tiên, sửa từng lỗi rồi chơi lại; người dùng chỉ nhận bản tốt nhất thay vì bản mới nhất.
Công cụ kiểm thử tự động cho game mobile đang phát hành: mỗi khi có bản cập nhật, hệ thống chơi thử theo các hướng mạo hiểm hơn hành vi người dùng thông thường, phát hiện lỗi hành vi mà kiểm tra compile hoặc chạy thử ít vòng bỏ sót.
Dịch vụ đám mây huấn luyện model cho studio game: thu thập các phiên lên kế hoạch, sinh game và sửa game đã được chơi lại xác nhận thành công, lọc bỏ phần làm hỏng game cũ, rồi dùng dữ liệu sạch để tinh chỉnh model riêng của studio.
Trợ lý lập lịch công việc trong phần mềm làm game: khi bản build hỏng, hệ thống tự tăng ưu tiên sửa chức năng; khi hình ảnh và âm thanh là điểm yếu lớn nhất, nó chuyển nhân lực tự động sang cải thiện visual/art thay vì chia đều theo lịch cố định.
Hệ thống giữ phiên bản game tốt nhất trong quá trình chỉnh sửa dài: mỗi lần thay đổi được chấm lại bằng cách chơi lại demo, nếu điểm không vượt phiên bản cũ thì giữ bản cũ và báo hiệu nên dừng hoặc đổi hướng sáng tạo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39045
ArXiv Abstract	https://arxiv.org/abs/2609.39045
PDF Download	https://arxiv.org/pdf/2609.39045.pdf
Github Repository	https://github.com/WenyiWU0111/RSIGame

11. EVOKE: Eliciting World Knowledge in Agents for Transferable Decision-Making (67 votes)

Tác giả: Yuhan Guo, Jinming Liu, Liang Xu, Ziqiang Li, Jianguo Huang, et al.

Xuất bản lúc: 2026-09-29

Tag: LLM Agents, World Models, Decision-Making, Transfer Learning, Policy Optimization, Contrastive Ranking, Goal-Conditioned Learning

I. Main Problem:

LLM được post-training làm agent ra quyết định nhiều bước trong môi trường tương tác, nhưng hiệu suất sụt mạnh khi gặp môi trường mới — kiến thức học được bị ràng buộc vào task/môi trường huấn luyện.

Các phương pháp world model khắc phục bằng cách huấn luyện agent dự đoán hệ quả của hành động, nhưng có hai cái giá:

thêm mục tiêu dự đoán làm huấn luyện đắt hơn, phần lớn thứ dự đoán không liên quan đến quyết định
khi dùng tương lai dự đoán để lập kế hoạch, lỗi cộng dồn qua các bước

Điểm mấu chốt: LLM agent hoạt động chủ yếu trong môi trường số (web, search engine), nơi hệ quả của hành động đã nằm trong world knowledge có sẵn từ pretraining — vấn đề không phải học kiến thức mà là khai thác (elicit) kiến thức đó vào quyết định. Supervision thông thường (mỗi trạng thái gắn một goal duy nhất) khiến policy chỉ học thói quen ngữ cảnh nông (contextual habits) — đúng trong dữ liệu huấn luyện nhưng vỡ ngay môi trường mới.

II. Main Idea:

EVOKE là phương pháp post-training tạo áp lực khai thác world knowledge qua đa dạng hóa goal tại các trạng thái cố định. Cơ chế:

Giữ nguyên trạng thái môi trường, lịch sử tương tác và tập action khả dụng, chỉ thay đổi goal (ví dụ cùng ở trang checkout: goal "mua ngay" thì đặt hàng, goal "sửa lựa chọn" thì quay về giỏ hàng)
Thực thi thật từng candidate action và để LLM annotator đánh giá hệ quả, gắn nhãn positive (tiến tới goal) và competitor (đặc biệt là các action policy tự favor nhưng sai — hard negatives)
Huấn luyện bằng contrastive ranking: loss listwise + pairwise ép positive lên trên và đẩy xuống chính những lựa chọn "cám dỗ" của policy
Lặp lại theo kiểu DAgger qua nhiều vòng với policy hiện tại

Căn cứ lý thuyết (Richens et al., 2025): agent giỏi trên tập goal đủ đa dạng bắt buộc phải mã hóa world model suy ra được từ preference hành động của nó. Khi ưu tiên action đảo chiều theo goal, không ánh xạ nào dựa trên ngữ cảnh thuần túy xếp đúng được — policy buộc phải dùng kiến thức sẵn có về hệ quả của action.

Ví dụ đời thường: giống thầy giáo chấm thi bằng cách hỏi cùng một học sinh giải cùng một bài toán nhưng với yêu cầu khác nhau (tìm max thay vì min) — học sinh chỉ thuộc lòng đáp án sẽ lộ ngay, chỉ ai thực sự hiểu bản chất bài toán mới đổi cách làm đúng.

III. Main Results:

ALFWorld / WebShop / Search-QA, 3 backbone (Qwen2.5-3B/7B, Qwen3-1.7B): EVOKE đạt average tốt nhất trên mọi benchmark và mọi backbone, vượt cả nhóm world-model methods (IWM, PaW, EnvRL, ITP, MemWM).
ALFWorld unseen: 91.1–93.1% (3B/7B), cao hơn baseline mạnh nhất (PCSD 85.9%, EnvRL-GiGPO 81.8%).
Margin lớn nhất ở backbone nhỏ nhất (Qwen3-1.7B: unseen từ 60.4% lên 91.1%) và các task đòi hỏi tương tác nhiều bước.
Data efficiency: với chỉ 60% dữ liệu đã vượt SFT dùng 100%; thắng SFT ở cả 15 cặp chạy ngân sách khác nhau.
Ablations: bỏ goal interventions (chỉ train goal gốc) — unseen success rơi 91.8% → 82.8%; dùng SFT thay ranking trên cùng dữ liệu — thua 7.5 điểm unseen.
Phân tích probe: hệ quả action decode được gần như hoàn hảo (>97%) ngay trong pretrained model trước mọi huấn luyện — kiến thức đã có sẵn, EVOKE chỉ biến nó thành quyết định theo goal (habitual errors giảm còn 6.4%, ít hơn SFT 4.3 điểm); giải 91% game unseen trong ≤20 bước, ít action invalid hơn một nửa so với SFT.

IV. Conclusion & Future Works:

EVOKE cho thấy với LLM agent, vấn đề không phải học world knowledge qua dự đoán mà là khai thác kiến thức đã internalized bằng decision supervision — cụ thể là ranking action dưới nhiều goal tại cùng trạng thái, chống lại chính lỗi "cám dỗ" của policy. Kết quả: hiệu suất, khái quát hóa môi trường mới và hiệu quả dữ liệu đều tăng trên ba backbone. Phân tích cho thấy pretrained backbone đã biểu diễn sẵn hệ quả của action, và EVOKE khiến policy quyết định theo goal thay vì theo thói quen.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng goal intervention sang môi trường có hình ảnh/đa phương thức, nơi world knowledge vừa có từ pretraining vừa cần grounding trực quan.
Kết hợp EVOKE với reinforcement learning từ reward thật để ranking preference và tối ưu reward bổ trợ lẫn nhau trong cùng vòng lặp.
Nghiên cứu cách sinh goal thay thế tự động không cần LLM annotator, giảm chi phí xây dựng dữ liệu và nghiên cứu tính tối ưu của tập goal.
Áp dụng tư tưởng preference reversal cho cài đặt nhiều agent cộng tác: giữ nguyên tình huống, đổi vai trò/phân công để ép agent hiểu hệ quả hành động lên đồng đội.

2. Patent:

Trợ lý mua sắm tự động trên điện thoại: ở cùng một trang sản phẩm, hệ thống huấn luyện trợ lý xếp hạng các nút bấm (đặt hàng, thêm vào giỏ, quay lại) dưới nhiều mục tiêu khác nhau (mua ngay, so sánh giá, sửa đơn) để trợ lý dùng được ngay trên app mua sắm chưa từng thấy.
Chatbot chăm sóc khách hàng tự chuyển đổi giữa các mục tiêu của người dùng: khi người dùng đổi ý giữa cuộc hội thoại (đổi giao dịch thay vì hủy), hệ thống đã được huấn luyện để cùng một ngữ cảnh xếp hành động đúng theo mục tiêu mới mà không cần huấn luyện lại.
Trình duyệt web thông minh trên di động: dạy mô hình điều hướng bằng cách cho thực hiện thử các thao tác (bấm link, gõ từ khóa) tại cùng một trang web dưới nhiều mục tiêu tìm kiếm khác nhau, giúp mô hình thao tác đúng trên website mới chưa gặp.
Tính năng tự động điền form so sánh: tại cùng một màn hình nhập liệu, huấn luyện ranking các lựa chọn dưới các mục tiêu (đặt vé rẻ nhất, bay sớm nhất, ít quá cảnh nhất) để gợi ý hành động chính xác ngay cả trên app đặt vé lần đầu sử dụng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38334
ArXiv Abstract	https://arxiv.org/abs/2609.38334
PDF Download	https://arxiv.org/pdf/2609.38334.pdf
Github Repository	https://github.com/Gnonymous/EVOKE

12. Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively? (61 votes)

Tác giả: Minghan Wang, Boyuan Wang, Jinhang Zuo, Yuxin Tao, Fang kong

Xuất bản lúc: 2026-09-30

Tag: LLM Agents, Agent Harnesses, Workflow Reliance, Supervised Fine-Tuning, Reinforcement Learning, Benchmark, Robustness, Multi-Agent Systems

I. Main Problem:

Các mô hình ngôn ngữ khi chạy trong agent harness (hệ thống cung cấp workflow, quy trình hướng dẫn do con người thiết kế) thường bị phụ thuộc vào hướng dẫn bên ngoài. Khi mô hình ngày càng mạnh, giả định rằng "hướng dẫn của người luôn tốt hơn mô hình" không còn đúng nữa:

Mô hình hưởng lợi khi workflow đúng, nhưng bị tê liệt khi workflow sai hoặc workflow đổi chất giữa chừng (lúc đầu đúng, sau đó đánh lừa).
Hiệu suất tác vụ (task accuracy) không đo được khả năng điều tiết sự phụ thuộc vào hướng dẫn — một chiều độ tin cậy của agent bị bỏ qua.

II. Main Idea:

Bài báo đề xuất khái niệm "thinking outside the box": theo hướng dẫn bên ngoài khi nó hữu ích, cưỡng lại khi nó đánh lừa, và vượt ra ngoài khi mô hình tự tìm được cách tốt hơn.

Box²-Bench: benchmark giữ cố định mô hình và tác vụ, chỉ thay đổi độ tin cậy của workflow qua 5 điều kiện: không workflow, workflow tốt, workflow xấu, workflow tốt nhưng dừng giữa chừng (Partial), workflow tốt rồi chuyển sang xấu (Mixed). Bốn chỉ số cặp đo: utilization (dùng được hướng dẫn tốt không), robustness (chống được hướng dẫn xấu không), recovery (phục hồi khi hướng dẫn dừng hoặc đổi chất).
Huấn luyện hai giai đoạn chỉ với workflow xấu (giữ workflow tốt lại cho eval): Counterfactual SFT — ghép workflow sai lệch với lời giải đúng đã kiểm chứng để dạy mô hình ghi đè hướng dẫn; rồi outcome-based RL (GRPO, thưởng theo kết quả tác vụ) để khôi phục lại việc sử dụng workflow tốt.

Ví dụ đời thường: giống như một tài xế mới ngồi cạnh người chỉ đường — nếu người chỉ đúng thì đi theo cho nhanh, nhưng nếu người chỉ sai hoặc lúc chỉ đúng lúc sai thì phải tự tin rẽ theo biển báo thật chứ không cắm mặt chạy theo lời.

III. Main Results:

Frontier models (Gemini 3.7 Flash, DeepSeek V4 Flash, GLM 5.2) trên 4 tác vụ (toán, code, tìm kiếm, tool use):
- Workflow tốt cải thiện 8/12 cặp model–tác vụ; workflow xấu làm giảm cả 12/12, sụt tới 43.3 điểm (toán).
- Điều kiện Mixed thua Partial ở 10/12 cặp → mô hình mang quan tính phụ thuộc từ giai đoạn hướng dẫn đúng sang giai đoạn hướng dẫn sai, không tự điều chỉnh.
- Scale mô hình lớn hơn không loại bỏ được độ nhạy với hướng dẫn đánh lừa.
Huấn luyện (Qwen3-4B trên AIME 2026, Qwen3.5-9B trên WebShop):
- SFT: độ sụt do workflow xấu giảm từ 20.0 → 6.7 điểm (AIME), 9.8 → 0.6 (WebShop), nhưng đồng thời làm mô hình kháng cả workflow tốt (utilization âm).
- SFT + RL: khôi phục utilization dương (+6.7 trên AIME) trong khi vẫn giữ robustness tốt hơn base model; khoảng Mixed–Partial cải thiện từ −14.4 → +1.1 → mô hình phục hồi được khi hướng dẫn đổi chất.
Khái quát hóa ra ngoài workflow (không huấn luyện thêm):
- Multi-agent (Economy of Minds): SFT nâng tỷ lệ thành công 18.0% → 22.7%, sửa câu trả lời của peer theo hướng đúng nhiều hơn (11 sửa-đúng vs 1 làm-hỏng).
- Memory (LongMemEval-V2): giữ lợi ích của bộ nhớ đúng, tăng khả năng chịu bộ nhớ bị nhiễu, và chủ động kiểm chứng kho lưu trữ bằng tool thay vì tin mù.

IV. Conclusion & Future Works:

Kết quả chỉ ra rằng phụ thuộc có chọn lọc vào thông tin bên ngoài dễ sai là một chiều độ tin cậy của agent mà hiệu suất tác vụ thuần túy không đo được. Hai giai đoạn huấn luyện bổ sung cho nhau: SFT dạy mô hình rằng hướng dẫn có thể bị ghi đè, còn RL hiệu chỉnh lại mức độ tin cậy để mô hình chuyển từ kháng hướng dẫn đồng loạt sang phụ thuộc có điều kiện — và kỹ năng này khái quát sang peer correction và bộ nhớ bị nhiễu. Hướng mở: kiểm chứng trên đa dạng nguồn thông tin ngoài và bối cảnh triển khai thực tế hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Box²-Bench sang các dạng thông tin bên ngoài khác ngoài workflow: retrieval context, tool output bị nhiễu, và hướng dẫn đa tầng lồng ghép trong agent harness phức tạp.
Nghiên cứu cơ chế nội tại: phân tích attention/representation để hiểu mô hình phân biệt hướng dẫn đúng–sai dựa trên tín hiệu nào của tác vụ.
Phương pháp huấn luyện một giai đoạn kết hợp SFT và RL cân bằng utilization–robustness mà không cần hai checkpoint riêng, rồi kiểm chứng trên mô hình frontier lớn hơn.

2. Patent:

Trợ lý AI trên điện thoại có chế độ "kiểm chứng trước khi nghe": khi người dùng hoặc ứng dụng bên thứ ba cung cấp quy trình hướng dẫn (ví dụ cách điền biểu mẫu, cách sửa lỗi), trợ lý tự đánh giá độ tin cậy từng bước theo ngữ cảnh thực tế, bỏ qua bước sai và cảnh báo người dùng thay vì thực hiện mù.
Hệ thống gợi ý công việc cho nhân viên văn phòng với bộ phát hiện workflow lỗi thời: khi quy trình chuẩn của công ty (checklist, macro) không còn phù hợp với phiên bản phần mềm hiện tại, hệ thống tự nhận biết điểm lệch và đề xuất cách làm đúng dựa trên kết quả thực tế.
Trợ lý đa tác tử trong nhóm chat doanh nghiệp: mỗi agent AI tự đánh giá thông tin từ agent khác trước khi thay đổi câu trả lời của mình, chấp nhận sửa đổi khi nó giúp đúng kết quả và từ chối khi nó làm sai, đồng thời ghi lại log để kiểm toán ai đã ảnh hưởng đến quyết định nào.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39578
ArXiv Abstract	https://arxiv.org/abs/2609.39578
PDF Download	https://arxiv.org/pdf/2609.39578.pdf
Github Repository	N/A

13. Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering (55 votes)

Tác giả: Jaewoo Jung, Hyeonseo Yu, Honggyu An, Jisang Han, Mungyeom Kim, et al.

Xuất bản lúc: 2026-09-29

Tag: MLLMs, 3D Scene Understanding, 3D Gaussian Splatting, Spatial Reasoning, Multi-view Learning, Knowledge Distillation

I. Main Problem:

Các Multimodal Large Language Models (MLLMs) xử lý tốt ảnh đơn lẻ nhưng thất bại khi suy luận 3D từ nhiều góc nhìn — không tích hợp được bằng chứng xuyên suốt các view thành hiểu biết 3D mạch lạc. Các hướng tiếp cận trước chỉ cải thiện khiêm tốn:

Bơm tín hiệu 3D pixel-level (nhúng tọa độ point cloud, marker, pretext task tương ứng chéo view)
Fuse feature từ các mô hình nền tảng 3D như VGGT, CUT3R
Khoảng cách với khả năng suy luận không gian của con người vẫn còn rất lớn.

II. Main Idea:

Quan sát con người suy luận 3D: không lưu tương ứng pixel hoặc depth map dày đặc, mà nhận diện vật thể chung giữa các view, suy ra quan hệ không gian thô và dựng một bố cục 3D gọn, trừu tượng trong đầu. Imagine3D-LLM mô phỏng đúng quá trình này:

Thêm một tập nhỏ Gaussian summary tokens có thể học (M ≪ số image token) vào giữa image tokens và text tokens
Tại lớp giữa của LLM, trạng thái ẩn của các token này được decode qua MLP head thành 3D Gaussian Splatting — mỗi token sinh ra vài Gaussian mô tả một phần của cảnh
Information bottleneck (ít token hơn nhiều so với image token) buộc nội dung trùng lặp giữa các view phải gộp vào chung token, tạo ra nhóm theo vật thể một cách tự nhiên (không cần supervision)
Huấn luyện đồng thời: photometric reconstruction loss (render Gaussian tại các view đầu vào, so với ảnh gốc) + language modeling loss + distillation từ teacher ZipSplat (align token + Gaussian parameters) để tăng tốc hội tụ
Hiệu ứng lan tỏa: dù chỉ summary token nhận supervision, image feature của LLM cũng trở nên 3D-aware hơn — tương ứng chéo view sắc nét, cùng một vật được mã hóa nhất quán mọi góc nhìn

Ví dụ đời thường: giống người đứng ở cửa phòng nhìn vài góc rồi nhắm mắt dựng lại sơ đồ thô trong đầu — đâu là ghế, đâu là bàn, chúng nằm thế nào — trước khi trả lời câu hỏi, thay vì cố nhớ từng điểm ảnh.

III. Main Results:

Vượt mô hình 3D MLLM mạnh nhất trước đó (Ross3D) trên hầu hết 7 benchmark: SQA3D 63.8 EM, Real-3DQA 39.2, ScanQA CIDEr 109.3, Scan2Cap ROUGE 67.6, ScanRefer Acc@0.5 56.3, Multi3DRefer F1@0.5 55.0
SPAR-Bench: 68.5 — cao nhất mọi nhóm, hơn GPT-4o, hơn cả Qwen2.5-VL-72B (+29 điểm dù chỉ dùng backbone 7B), hơn 3DThinker-7B +5.2; đặc biệt mạnh ở mức medium/high-level (67.0/76.0)
So sánh có kiểm soát (cùng backbone, data, schedule): toàn diện vượt baseline, riêng SPAR medium-level +15.5 — chứng tỏ lợi ích đến từ objective tái dựng chứ không phải data thêm
Ablation: decode từ lớp giữa tốt nhất; số token 2592 (bottleneck vừa đủ) tối ưu; distillation giúp hội tụ nhanh (1 epoch đạt kết quả bằng recon-only 4 epoch); chỉ đưa teacher token hay chỉ distill mà không recon thì không hiệu quả — chính reconstruction loss mới là nguồn cải thiện

IV. Conclusion & Future Works:

Học để tưởng tượng/tái dựng cảnh 3D gọn trước khi trả lời là một inductive bias mạnh hơn việc bị 'nói' sẵn geometry pixel-wise: objective tái dựng lan tỏa tín hiệu 3D-aware khắp mô hình, làm image feature tự tổ chức theo vật thể và tương ứng nhất quán xuyên view. Hướng mở rộng tự nhiên: thay Gaussian bằng các biểu diễn cảnh nhỏ gọn khác, áp dụng cho video dài/chuyển động liên tục, và khai thác object-level grouping tự nhiên cho các tác vụ định vị và thao tác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cơ chế 'tưởng tượng trước khi trả lời' sang robot thao tác: mô hình tự dựng bản đồ 3D trừu tượng từ nhiều camera rồi lập kế hoạch hành động dựa trên biểu diễn đó, thay vì fusion feature trung gian.
Nghiên cứu cấu trúc object-level grouping tự nhiên từ Gaussian summary tokens để làm nền cho mô hình chỉ điểm/grounding vật thể 3D không cần nhãn segmentation.
Rút gọn biểu diễn 3D trong LLM (ít Gaussian hơn, nén hơn nữa) để chạy suy luận không gian thời gian thực trên thiết bị biên với nhiều view đầu vào.

2. Patent:

Trợ lý không gian trên điện thoại: chụp vài ảnh quanh phòng, ứng dụng dựng mô hình 3D trừu tượng trong máy rồi trả lời câu hỏi kiểu 'nếu giường ở sau lưng thì trước mặt là gì', hỗ trợ người khiếm thị định hướng trong nhà.
Hướng dẫn lắp ráp/lắp đặt bằng AR: người dùng quay video quanh khu vực, hệ thống tự ghép các góc quay thành bố cục 3D thô và chỉ dẫn vị trí đặt đồ nội thất hoặc thiết bị bằng ngôn ngữ tự nhiên.
Robot giao hàng trong nhà: robot thu thập ảnh từ nhiều camera lởm chởm, tự dựng sơ đồ 3D gọn của căn phòng để trả lời truy vấn vị trí đồ vật và điều hướng, không cần lidar hay bản đồ 3D chi tiết đắt tiền.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38177
ArXiv Abstract	https://arxiv.org/abs/2609.38177
PDF Download	https://arxiv.org/pdf/2609.38177.pdf
Github Repository	https://github.com/cvlab-kaist/Imagine3D-LLM

14. More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models (50 votes)

Tác giả: Tianxiang Gao, Jinzhe Li, Zhiyuan Li, Yi Chang, Yuan Wu

Xuất bản lúc: 2026-09-30

Tag: LLMs, Model Evaluation, Bias Mitigation, Classification, Ordinal Regression, LoRA, Fine-tuning, LLM-as-a-Judge

I. Main Problem:

Các mô hình direct-decision (như JEV và KEV) nhận văn bản và danh sách ứng viên rồi trả về phân phối xác suất + quyết định argmax — rất hấp dẫn cho phân loại và chấm điểm tự động vì độ trễ thấp. Nhưng độ tin cậy không chỉ cần đúng từng mục:

Khi ứng viên có tính thứ bậc (ordinal: mức điểm, sentiment 1–5), mô hình có thể đạt accuracy khá cao nhưng liên tục chỉ dùng một phần nhỏ của thang điểm.
Điểm khởi đầu: JEV 1.13 đạt 74.95% accuracy trên ANLI nhưng gán 38.8% tất cả dự đoán và 51.3% lỗi vào nhãn Neutral — dù nhãn vàng gần như cân bằng và vị trí ứng viên được xáo trộn.
Accuracy chỉ đo tính đúng từng item, không đo mức sử dụng thang quyết định ở cấp population — một khoảng trống đánh giá mà các bias đã biết (label bias, position bias, verbosity bias) chưa giải thích.

II. Main Idea:

Bài báo định nghĩa ordinal scale-utilization bias: quyết định cuối cùng chiếm ít mức thứ bậc hiệu dụng hơn nhãn vàng trong cùng population — gọi là candidate-space compression. Cơ chế đo lường:

Dùng entropy để tính effective support exp(H(p)) của phân phối dự đoán so với exp(H(q)) của nhãn vàng; tỉ lệ R = exp(H(p))/exp(H(q)), kèm TVD để đo sai lệch hình dạng phân phối.
Ba thí nghiệm tách biệt nguyên nhân: (1) so 36 dataset ordinal với 4 dataset nominal; (2) xáo trộn thứ tự ứng viên; (3) tinh chỉnh thang K từ 2→14 trên cùng các item, giữ cố định nguồn điểm và cân bằng nhãn/vị trí.
BA-LoRA post-training (32k ví dụ từ 8 nguồn bị nén mạnh) để kiểm tra bias có học được và sửa được không.

Ví dụ đời thường: giống người chấm thi được phát thang điểm 10 mức nhưng cứ cho điểm quanh mức 4–5 — bài nào đúng sai thì chấm được, nhưng cả lớp điểm bị dồn cục, thang 10 chỉ dùng như thang 2–3, dù tay vẫn 'biết' về các mức còn lại.

III. Main Results:

Compression lan rộng trên tác vụ ordinal: trên 36 dataset ordinal, quyết định chỉ dùng 67.2–75.8% effective support của nhãn vàng (TVD 29.8–37.5%), trong khi 4 tác vụ nominal đạt 86.6–101.9%. Ví dụ cực đoan: JEV gán 66.2% dự đoán vào Level 01 của thang 14 mức cân bằng (R = 25%).
Thứ tự ứng viên không phải nguyên nhân chính: xáo trộn vị trí cải thiện R (vd. KEV-4B 55.3%→73.9%) nhưng vẫn còn xa 100%, trong khi accuracy gần như không đổi (≤0.55 điểm). Độ đồng ý giữa 2 thứ tự ngẫu nhiên chỉ 58–60% (ordinal) so với ≥95.6% (nominal).
Tăng số mức K càng nén mạnh: từ K=2→14 trên cùng item, R tụt từ 77–98% xuống 26.5–74.9%; xác suất trung bình vẫn trải rộng (U_soft ≥85%) nhưng top-1 margin co từ ~50 xuống 4–6 điểm → hỏng ở ranh giới các mức kề nhau, không phải khả năng chứa ứng viên. DBpedia (nominal, K=14) giữ R≈100% → số ứng viên không đủ gây bias.
Không có hướng nén chung: 'anchor' vùng thấp/giữa/cao thay đổi theo model và tác vụ; scale-up (0.8B→9B) tăng accuracy nhưng không tăng monotonically utilization.
BA-LoRA khôi phục được: trên 8 nguồn được huấn luyện, R tăng 47%→86% ở cả KEV-0.8B lẫn KEV-4B, accuracy +13–15 điểm, TVD giảm ~33 điểm; U_soft hầu như không đổi → cải thiện thật ở quyết định, không phải dàn trải mù. Transfer ra nguồn chưa thấy tốt ở 4B nhưng không đồng nhất ở 0.8B.

IV. Conclusion & Future Works:

Candidate-space compression là một lỗi độ tin cậy độc lập, khác với accuracy thấp, mất cân bằng nhãn vàng, và position bias — bottleneck nằm ở chuyển đổi phân biệt thứ bậc tinh (fine-grained) thành quyết định cuối, và bias này là học được, có thể sửa bằng post-training hướng scale, không phải giới hạn kiến trúc. Bài báo khuyến nghị đánh giá direct-decision model phải báo cáo R, TVD cùng accuracy, thử nhiều thứ tự ứng viên ngẫu nhiên, và theo dõi utilization khi tinh chỉnh thang. Hướng mở: cần thước đo liên tục về 'semantic coupling' thay vì phân loại nhị phân ordinal/nominal, kiểm chứng trên nhiều họ direct-decision model hơn (hiện chỉ JEV + KEV trên Qwen3.5), và post-training hướng scale tổng quát hơn thay vì từng nguồn riêng lẻ.

V. Brainstorming Space:

1. Publish Papers:

Phát triển thước đo liên tục về mức độ 'semantic coupling' giữa các ứng viên, thay cho phân loại nhị phân ordinal/nominal, để lý giải cơ chế gây nén thang và dự đoán mức độ compression của tác vụ mới.
Thiết kế hàm mất mát scale-aware chung cho direct-decision models: kết hợp utilization ratio, TVD và ordinal loss (QWK/nMAE) để khử nén thang mà không cần post-training riêng từng nguồn dữ liệu.
Kiểm chứng ordinal scale-utilization bias trên các kiến trúc direct-decision khác (backbone khác, API thương mại khác) và đo độ lây lan của bias khi direct-decision làm tầng đầu trong cascade đánh giá đa tầng.

2. Patent:

Hệ thống chấm điểm tự động trên điện thoại có giám sát thang điểm: ứng dụng gọi mô hình chấm điểm trực tiếp, sau đó tính tỉ lệ utilization R giữa phân phối điểm và phân phối chuẩn; nếu R thấp hơn ngưỡng, hệ thống tự cảnh báo người dùng và xáo trộn thứ tự mức điểm để chấm lại trước khi xuất kết quả.
Module hiệu chuẩn thang đánh giá cho chatbot/assistant: sau mỗi đợt đánh giá chất lượng câu trả lời, module phân tích mức sử dụng thang rubric, tự động fine-tune nhẹ (loại bộ chuyển đổi nhỏ) trên thiết bị/đám mây để tránh tình trạng mọi câu trả lời đều bị chấm quanh một mức điểm.
Bộ kiểm thử tự động cho API phân loại thương mại: công cụ nhập danh sách nhãn thứ bậc của khách hàng, tinh chỉnh số mức từ 2 đến 14 trên cùng bộ dữ liệu thử, vẽ đường cong utilization và xuất báo cáo bias (R, TVD) để doanh nghiệp so sánh các nhà cung cấp mô hình trước khi triển khai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38827
ArXiv Abstract	https://arxiv.org/abs/2609.38827
PDF Download	https://arxiv.org/pdf/2609.38827.pdf
Github Repository	https://github.com/Glax147/jev_ordinal_scale_bia

15. Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training (45 votes)

Tác giả: Kunlun Zhu, Xuyan Ye, Yibo Li, Cheng Qian, Beibin Li, et al.

Xuất bản lúc: 2026-09-30

Tag: LLM Agents, Agent Failures, Failure Diagnosis, Post-Training, Supervised Fine-Tuning, Error Correction, Dataset

I. Main Problem:

Khi tác tử LLM thất bại trong một tác vụ, phần lớn dữ liệu huấn luyện hiện nay chỉ giữ lại reward cuối cùng (thành công/thất bại), vốn không chỉ ra:

quyết định nào bị sai trong chuỗi hành động
tại sao sai và hành động nào nên thay thế

Hậu quả:

Các tài nguyên phân tích lỗi trước đây (MAST, Who&When, AgenTracer...) quy mô nhỏ, phân mảnh về môi trường/harness/annotation, không hỗ trợ đồng thời học chẩn đoán và học hành động sửa lỗi trên cùng một bộ sưu tập lỗi thật.
Không có bằng chứng thực thi cho thấy đề xuất sửa lỗi thực sự hiệu quả hơn hành động gốc.

II. Main Idea:

Bài báo giới thiệu Agent Error Dataset (AED) — 50,228 cặp lỗi–chẩn đoán thu thập từ lỗi tự nhiên (không bơm lỗi nhân tạo) của 9,961 tác vụ nguồn, trải rộng 33 môi trường, 19 họ harness, 23 mô hình policy khác nhau.

Pipeline AET (Agentic Error-to-Training) gồm 5 giai đoạn:

Thu thập các rollout thất bại thật, lưu đầy đủ trace hành động–quan sát
Chẩn đoán: xác định bước sai, tác tử chịu trách nhiệm, giải thích có trích dẫn trace, đề xuất cách sửa
Kiểm chứng chẩn đoán bằng các check cấu trúc + ngữ nghĩa trên trace
Replay có kiểm soát: chạy lại từ cùng checkpoint với hành động sửa đổi và hành động gốc trong điều kiện giống hệt nhau để so kết quả pass/fail
Xây dựng training views riêng: diagnosis SFT, recovery SFT, action preferences

Ví dụ đời thường: giống một hồ sơ tai nạn giao thông đầy đủ — ghi lại toàn bộ hành trình, chuyên gia chỉ ra đúng chỗ tài xế mắc lỗi, đề xuất cách lái đúng, rồi cho tài xế thử lái lại đoạn đường đó từ đúng vị trí đó để xem cách sửa có thật sự an toàn hơn không — thay vì chỉ kết luận chung chung 'tai nạn do lái ẩu'.

III. Main Results:

Hiệu quả sửa lỗi được kiểm chứng: trên 3,062 cặp replay khớp điều kiện, tỉ lệ pass của verifier tăng từ 18.4% (hành động gốc) lên 51.1% (đề xuất sửa đầu tiên) — +32.7 điểm phần trăm; chọn lọc giữa các đề xuất đạt 59.1%.
Học chẩn đoán: SFT full-diagnosis trên 1,656 tác vụ nguồn đưa Qwen3-8B từ 47.2% → 63.6% độ khớp exact-step với nhãn teacher nội bộ (943 case holdout, 3 seeds) — vượt cả Claude Opus 5 (54.7%), Gemini 3.8 Flash (53.2%) và GPT-6 Astra (50.7%) khi prompting.
Tăng dữ liệu giúp học tốt hơn: độ khớp tăng đều qua 4 cỡ tập huấn luyện (240 → 1,656 tác vụ).
Học diễn viên (actor): công thức action-only repair vượt success-only SFT +6.67 điểm trên WebShop-lite.
Giới hạn quan trọng: chuyển giao sang benchmark công khai phụ thuộc giao thức đánh giá và trùng lặp tác vụ — kết quả Who&When/TrajErrBench ngoài không ổn định; repair có lỗ trên TextQuest và môi trường thật (ALFWorld, ScienceWorld).

IV. Conclusion & Future Works:

AED chứng minh kinh nghiệm thất bại của tác tử là tài nguyên huấn luyện có giá trị nếu được gắn với chẩn đoán có căn cứ, đề xuất sửa lỗi và bằng chứng replay có kiểm soát. Ba điều cần bằng chứng riêng: hiệu quả của sửa lỗi, độ tin cậy của nhãn, và khả năng phục hồi đã học.

Hướng tương lai (suy ra từ các giới hạn được nêu):

Cải thiện khả năng chuyển giao chẩn đoán giữa các benchmark công khai, giảm phụ thuộc giao thức/định dạng câu trả lời
Khắc phục tổn thất hiệu suất của repair supervision trên môi trường thật và tác vụ dài hạn
Nghiên cứu phát hiện lỗi tự chủ (thay vì cung cấp sẵn vị trí lỗi) và tích hợp policy context vào nhãn chẩn đoán

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyển giao chẩn đoán lỗi giữa các execution settings: tại sao mô hình học trên AED thắng nội bộ nhưng thua trên benchmark công khai, và cách chuẩn hóa giao thức chẩn đoán để đo năng lực thật.
Phương pháp tự phát hiện bước lỗi trong rollout dài mà không cần cung cấp vị trí, kết hợp replay có kiểm soát để huấn luyện tác tử tự sửa mình giữa phiên làm việc.
Phân tích nhân quả về tổn thất repair supervision trên tác vụ dài hạn (TextQuest, môi trường thật): cơ chế giới hạn bước, trộn dữ liệu success/repair tối ưu và tiêu chí admission cho từng môi trường.

2. Patent:

Hệ thống ghi và phân tích lỗi cho trợ lý AI trên điện thoại: khi tác tử hoàn thành tác vụ thất bại (đặt lịch, gửi email, mua hàng), ứng dụng tự lưu toàn bộ lịch sử hành động, gửi lên máy chủ để xác định bước sai, đề xuất hành động đúng và kiểm chứng bằng mô phỏng trước khi gợi ý lại cho người dùng.
Dịch vụ 'bác sĩ lỗi' dạng API cho doanh nghiệp dùng tác tử AI: doanh nghiệp gửi log rollout thất bại của các tác tử tự động hóa (chăm sóc khách hàng, xử lý đơn hàng); hệ thống trả về chẩn đoán có trích dẫn, đề xuất sửa và báo cáo tỉ lệ khắc phục thành công theo từng loại lỗi.
Cơ chế tự phục hồi cho chatbot điện thoại trong phiên hội thoại: khi phát hiện tác vụ thất bại, bot tạm dừng, tự phân tích điểm rẽ sai trong cuộc hội thoại, thử phương án sửa trong môi trường thử nghiệm song song, rồi mới tiếp tục tương tác với người dùng bằng hướng đi đã kiểm chứng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40111
ArXiv Abstract	https://arxiv.org/abs/2609.40111
PDF Download	https://arxiv.org/pdf/2609.40111.pdf
Github Repository	N/A

16. AIM: Agentic Idea Management for Automated Research (44 votes)

Tác giả: Hyeong Kyu Choi, Bhavana Dalvi Mishra, Jiefeng Chen, Mihir Parmar, Rui Meng, et al.

Xuất bản lúc: 2026-09-29

Tag: LLM Agents, Automated Research, Agentic Search, Bayesian Optimization, Idea-Driven Search, AI Scientist

I. Main Problem:

Các hệ thống tự động hóa nghiên cứu khoa học bằng LLM phải phân bổ ngân sách thử nghiệm hạn chế giữa vô số hướng tiếp cận có thể. Bài báo phân loại hai trường phái:

Solution-driven: tìm kiếm trực tiếp trên mã nguồn, tinh chỉnh từng artifact nhưng dễ bó hẹp vào một hướng cụ thể.
Idea-driven: xử lý ý tưởng nghiên cứu như đối tượng tìm kiếm rõ ràng, nhưng gặp 3 thách thức cốt lõi:
- Tổ chức ý tưởng: quản lý bể ý tưởng ngày càng lớn kèm bằng chứng thực nghiệm.
- Chọn lựa ý tưởng: quyết định ý tưởng nào đáng tốn chi phí triển khai (các phương pháp cũ dùng rule cố định như UCB/MCTS hoặc phán đoán LLM thiếu ước lượng rõ ràng).
- Tính toàn vẹn idea–solution: solver có thể viết code không trung thực với ý tưởng ban đầu, khiến điểm số và bài học bị gán sai nguồn.

II. Main Idea:

AIM (Agentic Idea Manager) là framework idea-driven hoàn toàn tự động, mô phỏng cấu trúc surrogate–acquisition của Bayesian Optimization để quản lý không gian ý tưởng:

Agentic Surrogate: liên tục nhóm các ý tưởng liên quan thành cụm (cluster) theo hướng nghiên cứu, rồi xếp hạng tiềm năng của cả cụm lẫn từng ý tưởng dựa trên hiệu năng đã quan sát, mức độ thiếu bằng chứng, tính mới và bài học triển khai.
Agentic Acquisition: gán hành động explore/exploit ở hai tầng (cụm và ý tưởng) cho từng nhánh solver song song, sau đó mở rộng bể ý tưởng bằng 4 chế độ: tinh chỉnh theo điểm số, cross-pollination kết hợp ý tưởng bổ sung nhau, sửa lỗi theo phản hồi verifier, và tạo ý tưởng hoàn toàn mới.
Solution Auditor: kiểm tra từng kết quả, phát hiện lỗi như trivial, task_mismatch, idea_mismatch, reward_hacking; loại bỏ hoặc tái gán ý tưởng đúng trước khi đưa vào lịch sử tìm kiếm.
Resource Planner: điều chỉnh động số nhánh chạy song song theo từng vòng, cân bằng giữa rộng (thử nhiều ý tưởng) và sâu (cập nhật phản hồi thường xuyên) trong ngân sách cố định.

Ví dụ đời thường: giống đầu bếp đi chợ với túi tiền giới hạn — trước tiên xếp các món nguyên liệu thành từng nhóm món ăn (surrogate), ưu tiên nhóm nào khả năng ngon nhất, quyết định thử món mới hay làm lại món ăn khách khen (acquisition), nếm thử xem món ra đúng ý tưởng công thức không (auditor), rồi chia tiền còn lại mua đủ loại hay dồn vào một món (resource planner).

III. Main Results:

System Optimization (5 tác vụ AutoLab): AIM đạt trung bình 67.0%, vượt baseline mạnh nhất (ScientistOne, 65.4%) +1.6 điểm và vượt baseline solution-driven mạnh nhất (AdaEvolve) +3.7 điểm; riêng Flash Attention +4.3 điểm so với ScientistOne.
Model Development & CUDA (5 tác vụ dài hạn): AIM đạt 55.8%, vượt ScientistOne +4.9 điểm; thắng 3/5 tác vụ, gồm Moving MNIST World Model (+4.2), Huffman Decode (+0.4), NTT Butterfly (+2.1). Chỉ thua AdaEvolve ở Data Select IFEval (61.8 vs 82.7) — tác vụ có bề mặt tìm kiếm trơn, lợi cho tinh chỉnh cục bộ.
Hiệu quả thời gian: đạt điểm tốt nhất của baseline nhanh hơn tới 3.1× (ví dụ đạt 90.5% trên Flash Attention sau 3.3h so với 3.5–5.5h của các baseline).
Ablation (Flash Attention, full = 90.5%): bỏ Agentic Surrogate sụt mạnh nhất (85.9%, −4.6), tiếp theo là Solution Auditor (−2.9), Resource Planner cố định (−2.4), Agentic Acquisition (−1.3).
Phân tích lý thuyết: tìm kiếm ở tầng ý tưởng giúp kiểm soát trực tiếp độ bao phủ ngữ nghĩa, và độ bao phủ rộng càng giá trị khi chỉ một phần nhỏ trong số nhiều hướng khả dĩ thực sự cạnh tranh.

IV. Conclusion & Future Works:

AIM chứng minh rằng quản lý ý tưởng như đối tượng ngữ nghĩa có cấu trúc — kèm ước lượng tiềm năng có căn cứ, chọn lựa explore/exploit hai tầng, kiểm toán tính trung thực của solution và phân bổ ngân sách động — vượt trội hơn hẳn so với tìm kiếm trực tiếp trên mã hoặc các scaffold ý tưởng cố định (list, cây, beam), cả về chất lượng lẫn tốc độ hội tụ. Hướng mở rộng tiềm năng: áp dụng cho các tác vụ nghiên cứu thực nghiệm đa dạng hơn ngoài AutoLab, nghiên cứu chiến lược kiểm toán và phân bổ tài nguyên tinh vi hơn, và kết hợp nhiều solver/LLM khác nhau trong pipeline.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế cross-pollination giữa các cụm ý tưởng: khi nào kết hợp bài học từ các hướng nghiên cứu khác nhau tạo ra ý tưởng đột phá thay vì lai tạp kém hiệu quả trong tự động hóa khoa học.
Phát triển lý thuyết hoàn chỉnh về ngưỡng chuyển đổi giữa solution-driven và idea-driven: ước lượng mật độ hướng khả dĩ của tác vụ để chọn paradigm tìm kiếm tối ưu trước khi chạy.
Mở rộng Solution Auditor thành kiểm toán đa tầng cho nghiên cứu có thực nghiệm vật lý hoặc mô phỏng dài hạn, nơi verifier feedback nhiễu và reward hacking khó phát hiện hơn.

2. Patent:

Trợ lý nghiên cứu trên điện thoại cho kỹ sư/khách hàng doanh nghiệp: người dùng nhập mô tả bài toán, hệ thống tự nhóm ý tưởng giải pháp, đề xuất hướng nên thử nghiệm trước, gọi cloud solver chạy thử và báo kết quả kèm giải thích từng hướng đã thử — tiết kiệm chi phí thuê đội nghiên cứu thử-sai.
Nền tảng tối ưu hóa mã nguồn tự động cho ứng dụng di động: tự sinh nhiều hướng tối ưu (thuật toán, bộ nhớ, đa luồng), kiểm toán xem bản build có đúng ý tưởng tối ưu không, tránh trường hợp mã chạy nhanh nhưng sai yêu cầu, rồi chọn bản tốt nhất trong ngân sách build giới hạn.
Hệ thống quản lý ý tưởng R&D nội bộ: tự động phân cụm hàng trăm đề xuất dự án từ nhân viên, xếp hạng tiềm năng theo kết quả pilot trước đó, và đề xuất phân bổ ngân sách thử nghiệm giữa các nhóm ý tưởng để tối đa hóa giá trị kỳ vọng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38445
ArXiv Abstract	https://arxiv.org/abs/2609.38445
PDF Download	https://arxiv.org/pdf/2609.38445.pdf
Github Repository	N/A

17. Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models (42 votes)

Tác giả: Injin Kong, Sunghwan Choi, Yohan Jo

Xuất bản lúc: 2026-09-27

Tag: Diffusion, Masked Diffusion Language Models, LLMs, Inference Strategy, Non-autoregressive Generation, Text Generation

I. Main Problem:

Các mô hình ngôn ngữ khuếch tán có mặt nạ (MDM) như LLaDA hay Dream tạo văn bản bằng cách hồi nguyên token theo thứ tự tùy chọn thay vì trái-phải như mô hình autoregressive. Điều này dẫn đến một câu hỏi mở: ở mỗi bước giải mã nên tiết lộ token nào, ở đâu, bao nhiêu cái, và có được sửa lại không? Hiện tại:

Rất nhiều chiến lược unmasking đã được đề xuất (confidence, entropy, block region, remask, v.v.) nhưng không rõ khi nào nên thay đổi chiến lược giữa chừng theo trạng thái giải nhiễu (state adaptation).
Các thử nghiệm trước thiếu một khung thống nhất để so sánh, và chưa phân biệt được có cơ hội cải thiện với có dự đoán được cơ hội đó.

II. Main Idea:

Bài báo đưa ra phân loại 5 trục cho mọi chiến lược unmasking: score (ưu tiên vị trí nào), region (chọn từ vùng nào), cardinality (tiết lộ bao nhiêu token), commitment (cho phép sửa lại không), planning (có tính tới các bước tương lai). Sau đó định nghĩa adaptation opportunity = lợi ích một bước của hành động phụ thuộc trạng thái tốt nhất so với một hành động cố định chọn trên tập validation, và chứng minh (Reversal Decomposition) rằng giá trị thích ứng = tần suất đảo chiều lựa chọn × độ lớn lợi ích cục bộ — nghĩa là lợi ích thường tập trung vào ít trạng thái, không đều.

Từ đó đề xuất selective adaptation tách hai bài toán:

Action selection: chẩn đoán không cần huấn luyện (ranking reliability, positional drift, context-transfer, revision pressure) đề xuất hành động thay thế.
Opportunity detection: bộ phát hiện nhẹ hiệu chỉnh trên validation để quyết định có nên lệch khỏi hành động cố định ở trạng thái hiện tại hay không.

Ví dụ đời thường: giống như khi lái xe theo lộ trình cố định nhưng có một người phụ lái thỉnh thoảng nhìn bản đồ và chỉ nói "đoạn này nên rẽ khác" — không rẽ bừa ở mọi ngã (always-adapt), mà chỉ can thiệp khi thật sự có lợi.

III. Main Results:

Trên 3 mô hình (LLaDA-8B, LLaDA-1.5, Dream-7B) và 10 tác vụ, adaptation opportunity rất dị hợp: gap oracle từ 0 đến 0.13, nhiều tác vụ gần như không có chỗ cải thiện, tác vụ có cấu trúc (JSON, Carry RTL) lại có cơ hội lớn và tập trung.
Concentration cao ở vài chế độ: LLaDA-8B Constrained JSON Fill/region đạt AUROC 0.854, top 20% trạng thái chứa 84.3% tổng cơ hội oracle; Dream Carry RTL/cardinality bắt 64.3% với chỉ 10% coverage.
Nhưng detectability không đồng đều: AUROC trung bình chỉ ~0.54–0.57; có trường hợp AUROC 0.891 mà không thu được lợi ích nào — phát hiện nhị phân ≠ xếp hạng theo lợi ích.
End-to-end: selective adaptation tăng task-macro utility +3.2 (LLaDA-8B), +4.0 (LLaDA-1.5), +5.6 điểm (Dream); trong khi always-adapt lại giảm hiệu suất — lợi ích đến từ quyết định khi nào can thiệp, không phải thích ứng mù quáng.

IV. Conclusion & Future Works:

Thông điệp chính: state adaptation nên được áp dụng có chọn lọc, không phải đồng đều — giữ hành động cố định làm mặc định và chỉ kích hoạt khi tín hiệu quan sát được dự đoán có cơ hội lớn. Tồn tại cơ hội oracle không hàm ý dự đoán và khai thác được được, nên cần tách action selection khỏi opportunity detection. Hướng mở: kết hợp thích ứng nhiều trục cùng lúc, mở rộng sang planning axis, và học bộ phát hiện cơ hội thay vì hiệu chỉnh theo quantile.

V. Brainstorming Space:

1. Publish Papers:

Phát triển bộ detector học được (thay vì hiệu chỉnh quantile) để dự đoán adaptation opportunity từ thống kê quỹ đạo giải mã, kết hợp thích ứng đồng thời nhiều trục thay vì từng trục riêng lẻ.
Mở rộng phân tích reversal sang trục planning (lookahead, search) và nghiên cứu khi nào lập kế hoạch đa bước thay đổi giá trị so với quyết định một bước trong MDM.
Ứng dụng tư tưởng selective adaptation cho mô hình khuếch tán ảnh/video có mặt nạ (MaskGIT, video diffusion) để quyết định thứ tự và vùng giải mã có chọn lọc.

2. Patent:

Bộ tạo văn bản trên điện thoại dùng mô hình khuếch tán có mặt nạ: ứng dụng giữ một chế độ giải mã cố định nhanh mặc định, nhưng có module phân tích độ tin cậy dự đoán theo thời gian thực để chỉ kích hoạt chế độ giải mã cẩn thận hơn ở những đoạn câu dễ sai (ví dụ tên riêng, ngày tháng, dữ liệu có cấu trúc), cân bằng tốc độ và độ chính xác.
Trợ lý soạn email/tin nhắn tự động với kiểm soát chất lượng: hệ thống theo dõi các chỉ số bất ổn trong quá trình sinh và tự động chuyển sang chiến lược tiết lộ từng token một, không cho sửa, khi phát hiện ngữ cảnh nhạy cảm (hợp đồng, số tiền), giảm lỗi hơn so với một chế độ duy nhất.
Dịch máy và tóm tắt văn bản theo yêu cầu trên thiết bị biên: thay vì chạy search đắt đỏ ở mọi bước, ứng dụng dùng bộ phát hiện cơ hội nhẹ để chỉ bật tìm kiếm/lookahead ở top vài phần trăm trạng thái có lợi nhất, tiết kiệm pin và độ trễ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33355
ArXiv Abstract	https://arxiv.org/abs/2609.33355
PDF Download	https://arxiv.org/pdf/2609.33355.pdf
Github Repository	N/A

18. LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models (41 votes)

Tác giả: Pavel Tikhonov, Elena Tutubalina, Ivan Oseledets, Dmitry I. Ignatov, Mikhail Seleznyov

Xuất bản lúc: 2026-09-26

Tag: LLMs, Latent Knowledge Probing, Mathematical Discovery, OEIS, Representation Learning, Link Prediction, Automated Conjecture Generation

I. Main Problem:

Các hệ thống AI toán học hiện tại (FunSearch, AlphaProof, co-scientist) đều phụ thuộc con người chọn vấn đề — được coi là nút thắt cổ chai của AI-assisted mathematics. Đồng thời, các phương pháp tự sinh giả thuyết (self-proposed conjectures) thường tạo ứng viên mới nhưng khó kiểm chứng, và tính 'mới' thường chỉ là không có trong thư viện chứ không được chứng minh toán học. Vậy: liệu kiến thức toán học về quan hệ chưa được ghi nhận giữa các đối tượng đã biết có sẵn sàng trong biểu diễn nội bộ của một LLM đã pretrain, và có thể trích xuất từ đó một cách rẻ, nhanh, và kiểm chứng được không?

II. Main Idea:

LANTERN khai thác giả định: trong pretraining, LLM đã học sẵn tính chất của các đối tượng toán học, và kiến thức này nằm trong hidden states — có thể dùng trực tiếp để xếp hạng quan hệ giữa mọi cặp đối tượng. Quy trình:

Embedding: nhúng định nghĩa của ~10.000 trình tự OEIS phổ biến nhất bằng Qwen3-32B, giữ lại residual vector sau mọi layer (65 vectors/entry).
Link classifier: rút gọn mỗi cặp thành ~321 đặc trưng — cosine đã căn giữa tại từng layer, cộng tích element-wise và hiệu tuyệt đối ở 2 layer chọn trước (PCA về 64 chiều) — rồi huấn luyện logistic regression. Nhãn được phân loại độ sâu toán học (gold/silver = quan hệ thật; trivia/bare cross-refs = quan hệ tầm thường) bằng mô hình frontier, để classifier không chỉ học liên kết 'đáng lẽ phải có'.
Tuyển lọc nhiều tầng: xếp hạng 50 triệu cặp → filter rẻ (Claude Sonnet) → agent mạnh (Claude Opus + công cụ tính chuỗi lũy thừa chính xác) đề xuất giả thuyết kèm chứng minh → kiểm chứng thực thi (hàm Python chạy trong sandbox, đối chiếu mọi số hạng đã lưu) → kiểm chứng phân tích từng lập luận.
Content screen: loại các quan hệ rỗng về mặt toán học (đổi tham số, trùng hợp hữu hạn...), giữ lại quan hệ đúng và có ý nghĩa.

Ví dụ đời thường: giống nhân viên lâu năm đã ngấm hiểu ngầm ai trong công ty làm việc ăn ý với ai, dù chưa ai ghi vào sổ — chỉ cần đọc vẻ mặt (hidden states) là xếp hạng được các cặp tiềm năng, rồi đưa họ ngồi chung một phòng để kiểm chứng xem có hợp tác thật không.

III. Main Results:

Xếp hạng 50 triệu cặp trong ~8 giờ end-to-end (kể cả huấn luyện); phễu kết quả: 500 ứng viên hàng đầu → 118 qua filter → 44 giả thuyết → 62 quan hệ được chứng minh kỹ thuật (across 3 cấu hình).
Content screen giữ lại 13 quan hệ; 9 quan hệ informative/insightful, trong đó 4 quan hệ hoàn toàn mới (không có trong OEIS và không tìm thấy trong literature search có chủ đích).
Hai phát hiện nổi bật (N2/S2): (1) cầu nối giữa automaton tế bào 1D Rule 150 và 2D Fredkin replicator — số ô hoạt động của mô hình 2D phục hồi chính xác từ dãy 1D qua hằng đẳng thức g(k) = f(k)² − f(k−2)²; (2) tích continued fraction Rogers–Ramanujan và theta quotient hóa ra là hàm sinh đếm 5-core partitions.
Kiểm soát (controls): classifier trên activations vượt rõ scorer chỉ dùng text định nghĩa (AUC 0.57–0.58 vs 0.51, và 0.67–0.69 vs 0.61 trên 42 cặp substantive); vẫn đạt AUC 0.88 trên các entry tạo sau knowledge cutoff của model — chứng tỏ tín hiệu không đến từ ghi nhớ trang OEIS; đặt câu hỏi trực tiếp cho model (không cần nhãn huấn luyện) cũng xếp hạng tương đương classifier.

IV. Conclusion & Future Works:

Bài báo chứng minh LLM pretrain đã chứa sẵn kiến thức về quan hệ toán học chưa được ghi nhận, và kiến thức này có thể trích xuất từ hidden states bằng một pipeline rẻ, nhanh, kiểm chứng được — chuyển vai trò của AI từ 'người giải bài người khác ra' sang 'người gợi ý bài nên làm'. Hướng mở rộng tự nhiên: áp dụng phương pháp cho các knowledge base toán học khác (PlanetMath, formal libraries), cải thiện năng lực giả thuyết của agent, và kết hợp kiến thức biểu diễn ngầm với suy luận có công cụ ở quy mô lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LANTERN sang các cơ sở tri thức khoa học khác ngoài OEIS — ví dụ dự đoán liên kết thiếu giữa các vật liệu, protein hoặc bài toán mở trong toán học — bằng cách huấn luyện classifier trên hidden states của LLM trên từng miền.
Kết hợp trích xuất kiến thức ngầm từ hidden states với agent có công cụ (máy chứng minh định lý, tính toán đại số) để tự động phát hiện và chứng minh định lý mới từ đầu, thay vì chỉ nối hai đối tượng đã có.
Nghiên cứu cơ chế: phân tích layer nào và loại đặc trưng nào trong hidden states mang thông tin về quan hệ toán học, để thiết kế mô hình/embedder tối ưu hơn cho bài toán dự đoán liên kết khoa học.

2. Patent:

Hệ thống gợi ý kết nối nghiên cứu trên điện thoại cho nhà khoa học: ứng dụng đọc thư viện tài liệu của người dùng, dùng mô hình ngôn ngữ lớn để xếp hạng cặp khái niệm/bài báo có khả năng liên quan chưa được ghi nhận, sau đó tự động tạo giả thuyết và kiểm chứng bằng dữ liệu thực trước khi đẩy thông báo gợi ý.
Trợ lý khám phá tri thức cho giáo viên và học sinh: ứng dụng di động nhận một chủ đề toán (ví dụ dãy số, hình học), khai thác biểu diễn ngầm của mô hình AI để chỉ ra các khái niệm tưởng không liên quan thực ra có quan hệ chặt chẽ, kèm ví dụ và chứng minh ngắn dễ hiểu.
Công cụ khai thác 'liên kết thiếu' cho cơ sở dữ liệu nội bộ doanh nghiệp (bằng sáng chế, tài liệu kỹ thuật): hệ thống tự xếp hạng các cặp tài liệu/tri thức chưa được liên kết, sinh giả thuyết mối liên hệ rồi kiểm chứng tự động, giúp phát hiện cơ hội kết hợp công nghệ hoặc lỗ hổng tri thức.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32264
ArXiv Abstract	https://arxiv.org/abs/2609.32264
PDF Download	https://arxiv.org/pdf/2609.32264.pdf
Github Repository	N/A

19. It's Not What the Image Shows: Irrelevant Context Destabilises VLM Judges Without Informing Them (36 votes)

Tác giả: Nagham Omar, Mahmoud Jabarin, Kinan Ibraheem, Lotem Peled-Cohen

Xuất bản lúc: 2026-09-29

Tag: VLM, LLM-as-a-Judge, Multimodal Evaluation, Robustness, Human Annotation, Vision-Language Models, Substitutability Testing

I. Main Problem:

Các giao thức thay thế người chú thích bằng mô hình thường kết luận một mô hình có thể thay thế con người nếu đồng ý với nhóm người chú thích đủ tốt. Nhưng kết luận này thường chỉ đúng cho một cấu hình đánh giá cố định: một prompt, một định dạng, một cách trình bày dữ liệu. Trong thực tế, dữ liệu đến kèm ngữ cảnh bị cho là không liên quan như hình ảnh hoặc tin nhắn trước đó. Con người có thể được yêu cầu bỏ qua chúng, nhưng mô hình thì có thể không làm được.

Điều này quan trọng vì khi con người bị thay thế, nhãn của mô hình trở thành bộ đánh giá hoặc dữ liệu huấn luyện. Nếu mô hình bất ổn dưới ngữ cảnh nhiễu, lỗi sẽ lan vào so sánh, huấn luyện và kết luận nghiên cứu. Vấn đề cốt lõi: các kiểm tra substitutability hiện tại không cho biết phán quyết của chúng có bền khi ngữ cảnh không liên quan thay đổi hay không.

II. Main Idea:

Bài báo đề xuất MIST — Misleading-Image Stress Test, một bài kiểm tra bất biến cho VLM judge. Cách xây dựng:

Dùng 200 câu tiếng Anh, mỗi câu chứa một cụm từ có thể hiểu nghĩa bóng hoặc nghĩa đen.
Với mỗi câu, trình bày cùng một trong ba dạng: không ảnh, ảnh phù hợp với cách đọc của câu, hoặc ảnh gây hiểu nhầm theo nghĩa ngược lại.
Yêu cầu nhãn phải được quyết định chỉ từ câu chữ, bỏ qua ảnh. Vì vậy đổi ảnh không được phép làm đổi đáp án đúng.
Đo bốn điều: tỉ lệ đổi nhãn khi thêm ảnh, hướng đổi nhãn có đi theo nội dung ảnh không, độ đồng ý với người chú thích, và khả năng thay thế con người qua alt-test.

Điểm khác biệt là MIST không hỏi mô hình nhận diện ảnh đúng không; nó kiểm tra xem một phần ngữ cảnh bị lệnh bỏ qua có làm phán quyết của judge xao trộn hay không.

Ví dụ đời thường: giống như giao cho người chấm một câu hỏi chữ và dặn “hãy phớt lờ tấm hình bên cạnh”, nhưng cứ có hình là bài làm của họ bị xáo trộn — không phải vì họ tin nội dung tấm hình, mà vì sự xuất hiện của nó đã làm họ mất ổn định.

III. Main Results:

Trong 13 VLM judges, thêm ảnh làm đổi nhãn ở 20.5% ô đánh giá khi ảnh phù hợp và 19.4% khi ảnh gây hiểu nhầm. Hai con số gần nhau trên mọi judge.
Với 7 judge vượt alt-test, ảnh phù hợp làm đổi 15.9% nhãn, ảnh gây hiểu nhầm 14.7%; cả hai đều cao hơn việc chỉ chỉnh prompt mà giữ nguyên ảnh.
Trong các nhãn khác nhau giữa hai loại ảnh, chỉ 37% di chuyển theo nghĩa mà ảnh thể hiện; tức ảnh không hướng judge theo nội dung của nó.
Độ chính xác tổng thể gần như không đổi: đồng ý với đa số người chú thích là 54.4% không ảnh, 53.7% với ảnh phù hợp, 54.7% với ảnh gây hiểu nhầm. Ảnh làm judge đổi câu nào đúng, chứ không làm tổng số câu đúng tăng hay giảm rõ rệt.
Hiệu ứng nhỏ hơn ở nhóm 7 judge vượt alt-test so với 6 judge không vượt (15.9% so với 25.8%), nhưng vẫn hiện diện ở tất cả các mô hình.

Kết luận thực nghiệm: điều làm judge dao động là sự hiện diện của ảnh, không phải nội dung đúng hay sai của ảnh.

IV. Conclusion & Future Works:

Bài báo chỉ ra rằng một phán quyết “mô hình có thể thay thế người chú thích” thực chất mô tả cả mô hình lẫn điều kiện đo lường. Các báo cáo triển khai nên công bố rõ prompt, cách trình bày dữ liệu và ngữ cảnh không liên quan đi kèm.

Hướng mở rộng phù hợp:

Kiểm tra ảnh hoàn toàn không liên quan đến câu, thay vì chỉ đổi giữa ảnh phù hợp và ảnh ngược nghĩa.
Mở rộng sang ngữ cảnh nhiễu khác: văn bản phụ, lịch sử hội thoại, metadata hoặc âm thanh.
Thử nghiệm ngoài tiếng Anh, ngoài tác vụ thành ngữ, và với chế độ suy luận được bật.
Bổ sung đường cơ sở ở cấp người cho cùng một câu khi chỉ thay đổi ngữ cảnh.

V. Brainstorming Space:

1. Publish Papers:

Phát triển một bộ kiểm tra bất biến cho người chấm AI đa phương thức, trong đó ảnh, văn bản phụ hoặc ngữ cảnh hội thoại bị thay đổi nhưng đáp án đúng giữ nguyên.
Xây dựng giao thức substitutability mới buộc phải báo cáo độ bền theo prompt, theo kiểu ngữ cảnh và theo từng nhóm dữ liệu, thay vì chỉ đưa ra một phán quyết duy nhất.
Nghiên cứu các kỹ thuật làm người chấm AI ổn định hơn trước ngữ cảnh không liên quan, ví dụ tách phần nhìn và phần nghe, kiểm soát đầu vào, hoặc huấn luyện chống nhiễu.
Mở rộng MIST sang đa ngôn ngữ và các tác vụ chú thích thực tế như phân loại cảm xúc, kiểm duyệt nội dung hoặc đánh giá chất lượng câu trả lời.

2. Patent:

Ứng dụng điện thoại kiểm tra độ tin cậy của mô hình chấm điểm: người dùng tải một câu văn, ứng dụng tự ghép thêm ảnh không liên quan hoặc ảnh gây nhiễu rồi so sánh kết quả; nếu câu trả lời thay đổi bất thường, ứng dụng cảnh báo mô hình không đủ ổn định để dùng trong chấm điểm tự động.
Hệ thống gắn nhãn dữ liệu trên điện thoại có chế độ “kiểm tra nhiễu”: trước khi chấp nhận một nhãn từ mô hình, hệ thống chạy lại tác vụ với một hình ảnh phụ không được phép ảnh hưởng kết quả; nhãn chỉ được lưu nếu kết quả giữ nguyên hoặc thay đổi trong ngưỡng cho phép.
Công cụ kiểm toán API chấm điểm bằng hình ảnh cho doanh nghiệp: mỗi yêu cầu chấm điểm được gửi kèm một bản sao có ảnh nhiễu vô hại; hệ thống đo mức dao động nhãn và xuất báo cáo cấu hình nào của mô hình đang bị ngữ cảnh làm sai lệch.
Plugin đánh giá nội dung cho điện thoại: khi người dùng chụp ảnh tài liệu hoặc sản phẩm để hệ thống phân tích, plugin tự thêm ảnh minh họa không liên quan vào phiên bản thử nghiệm để phát hiện mô hình bị kéo theo ngữ cảnh hình ảnh thay vì chỉ tập trung vào tài liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.37863
ArXiv Abstract	https://arxiv.org/abs/2609.37863
PDF Download	https://arxiv.org/pdf/2609.37863.pdf
Github Repository	N/A

20. DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence (34 votes)

Tác giả: Xu Huang, Ye Huang, Zijun Liao, Yuwei Niu, Xiaojie Li, et al.

Xuất bản lúc: 2026-09-30

Tag: Diffusion Models, Visual Tokenizer, Autoencoder, DINOv2, DiT, Image Generation, High Compression, Text-to-Image

I. Main Problem:

Các tokenizer nén ảnh mạnh giúp giảm độ dài latent và chi phí huấn luyện diffusion, nhưng tạo đánh đổi giữa độ trung thực tái tạo và tốc độ hội tụ. Nén càng sâu, latent càng khó học cho diffusion dù mỗi forward pass rẻ hơn. Các representation autoencoder dùng semantic encoder như DINOv2/CLIP giúp diffusion hội tụ nhanh hơn VAE, nhưng thường chỉ dùng ở mức 16× và thiếu chi tiết pixel. Khi đưa trực tiếp lên 32×, chất lượng tái tạo sụp mạnh: cách resize đầu vào chỉ đạt khoảng 15 PSNR và gFID xấu; các chiến lược merge token sau trích xuất còn tệ hơn. Nguyên nhân là semantic encoder giữ thông tin nhận dạng nhưng vứt bỏ màu sắc, texture, biên cục bộ, high-frequency, vốn cần cho tái tạo ảnh trung thực.

II. Main Idea:

DC-SAE dùng kiến trúc hai nhánh tách rời: một nhánh semantic encoder đóng băng tạo latent nhỏ, có cấu trúc tốt cho diffusion; một nhánh pixel encoder không ràng buộc học từ đầu để giữ chi tiết thị giác thấp.

Đưa semantic encoder lên 32× bằng pre-merge: giảm một nửa độ phân giải ảnh đầu vào, tương đương patch lớn hơn, không cần huấn luyện lại DINOv2/SigLIP/Qwen-ViT.
Nhánh pixel được nối theo chiều channel, chiếu nhẹ rồi cùng decode; dùng dropout theo sample trên pixel latent để decoder không quá phụ thuộc chi tiết và vẫn học cấu trúc semantic.
Spatial DeMerger chỉ mở rộng ở decoder: mỗi latent token compact thành nhóm sub-token dày hơn, giúp ViT decoder phục hồi texture/biên tốt hơn, trong khi DiT vẫn làm việc trên lưới 32× ngắn để giữ hiệu năng.
Hai nhánh được huấn luyện chung qua một decoder, nên latent vừa gọn vừa diffusion-friendly; joint latent hội tụ nhanh hơn cả semantic-only lẫn pixel-only.

Ví dụ đời thường: giống một bản đồ tóm tắt đi kèm ảnh chụp cận cảnh — bản đồ cho biết nhà nằm ở đâu, còn ảnh cận cảnh cho thấy vân gỗ, vết xước và màu sơn; người xem dùng bản đồ để định hướng nhanh, rồi nhìn ảnh để khôi phục đúng chi tiết.

III. Main Results:

ImageNet 256×256: DC-SAE 32× đạt rFID 0.45, gFID 3.31, IS 180.71 với DiT-XL + DDT wide head; tốt hơn rõ rệt so với DC-AE f32c32 cùng DiT-XL (gFID 10.18, IS 107.49) và cạnh tranh/vượt USiT-H dùng DC-AE (gFID 3.89, IS 167.40).
ImageNet 512×512: với nén 32×, DC-SAE đạt PSNR 29.79, rFID 0.16, gFID 3.37 không CFG, IS 205.83; so với DC-AE f32c32, cải thiện PSNR +13.5% và giảm gFID 54.9% so với mức 7.47 của bối cảnh DC-AE/DiT-XL.
Throughput: nhanh hơn DC-AE khoảng 4.64× ở 256×256, 4.75× ở 512×512, 4.41× ở 1024×1024 trên H200.
Text-to-image 1024×1024: DiT 1.6B + Qwen3-1.7B đạt GenEval 0.84 và DPG-Bench 86.007; GenEval vượt mô hình 12B dùng DC-AE (0.72) và DC-AE-1.5 (0.59), DPG-Bench cạnh tranh với DC-AE 12B (87.073) và vượt xa DC-AE-1.5 (75.439).
Ablation: ở 16×, DC-SAE đạt 27.80 PSNR so với RAE khoảng 19.20. Pre-merge DINOv2 32× đạt gFID 3.31, tốt hơn post-merge learnable DINOv2 (8.60) và Qwen-ViT learnable merger (16.84). Joint training đạt gFID 4.02 ở epoch 80, tốt hơn late-concat (5.64). DeMerger cải thiện validation PSNR khoảng +1.05 dB.

IV. Conclusion & Future Works:

DC-SAE cho thấy có thể đồng thời có nén latent rất sâu và hội tụ diffusion nhanh bằng cách thiết kế tokenizer: nhánh semantic giữ cấu trúc dễ sinh, nhánh pixel bù chi tiết tái tạo, DeMerger tách lưới latent cho diffusion khỏi lưới token cho decoder. Cách này không dựa vào ràng buộc latent phức tạp như alignment, token loss hay channel masking, nên có thể bổ sung thêm các kỹ thuật đó. Hướng tương lai hợp lý: mở rộng sang video/generation dài hơn, kết hợp với alignment hoặc masking latent, tối ưu DeMerger và phân bổ token thích ứng, thử thêm semantic encoder và huấn luyện text-to-image ở quy mô lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng kiến trúc hai nhánh semantic–pixel sang video tokenizer, dùng nhánh ngữ nghĩa đóng băng để giữ cấu trúc cảnh và nhánh chi tiết để phục hồi chuyển động, texture mặt người và biên vật thể dưới mức nén rất cao.
Tokenizer thống nhất cho vừa hiểu vừa sinh ảnh: tái sử dụng encoder ngữ nghĩa đã học cho recognition, sau đó học decoder có DeMerger để sinh ảnh trung thực từ cùng không gian latent gọn.
Cơ chế phân bổ token thích ứng theo độ phức tạp ảnh: vùng nền đơn giản giữ latent semantic ngắn, vùng da mặt/chữ/vật liệu được mở rộng dày hơn ở decoder để cân bằng chất lượng và chi phí.
Kết hợp latent forcing/alignment với DC-SAE để xem có thể rút ngắn thêm số bước diffusion mà không làm mất PSNR, đặc biệt cho mô hình sinh ảnh text-to-image độ phân giải cao.
Nghiên cứu cách distill semantic encoder lớn thành encoder nhẹ cho thiết bị biên, giữ nhánh chi tiết nhỏ để chạy tái tạo và chỉnh sửa ảnh real-time trên điện thoại.

2. Patent:

Hệ thống chỉnh sửa ảnh trên điện thoại bằng latent gọn: điện thoại nén ảnh thành một bản tóm tắt bố cục và một bản dự phòng chi tiết màu sắc/vân vật liệu; khi người dùng yêu cầu đổi phong cách, máy chỉ tạo lại phần tóm tắt rồi ghép chi tiết gốc để giữ mặt, chữ và logo sắc nét.
Ứng dụng camera tiết kiệm băng thông nhưng giữ chi tiết: thay vì gửi ảnh/video đầy đủ, thiết bị gửi bản khung cảnh ngữ nghĩa rất nhỏ cùng tín hiệu hiệu chỉnh chi tiết; bên nhận dựng lại ảnh nét bằng bộ mở rộng không gian chỉ chạy khi giải mã.
Trợ lý tạo ảnh theo mô tả trên mobile: người dùng nhập câu lệnh, mô hình sinh bố cục ở dạng latent ngắn để tiết kiệm bộ nhớ, sau đó một mạnh decoder riêng làm dày chi tiết da, tóc, vải và ánh sáng trước khi xuất ảnh độ phân giải cao.
Nén video gọi điện thời gian thực giữ nét mặt: luồng video tách thành nhịp thông tin khung cảnh chậm và luồng chi tiết cục bộ nhanh cho vùng mặt/tay; khi mất gói, người nhận vẫn giữ cử chỉ chính và phục hồi ít nhiễu hơn ở vùng quan trọng.
Khôi phục ảnh cũ trên điện thoại: ảnh hư/mờ được đưa qua nhánh ngữ nghĩa để ước lượng cấu trúc vật thể, đồng thời nhánh chi tiết học lại texture từ vùng ảnh còn tốt, giúp tăng độ nét mà không biến đổi nhận dạng người trong ảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39222
ArXiv Abstract	https://arxiv.org/abs/2609.39222
PDF Download	https://arxiv.org/pdf/2609.39222.pdf
Github Repository	https://github.com/DAGroup-PKU/DCSAE

21. TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion (32 votes)

Tác giả: Merkourios Simos, Chengkun Li, Bianca Ziliotto, Alexander Mathis

Xuất bản lúc: 2026-09-29

Tag: Musculoskeletal Locomotion, Reinforcement Learning, Motion Retargeting, Terrain Reconstruction, Humanoid Control, Biomechanics, Physics Simulation

I. Main Problem:

Các mô hình cơ-xương khớp (musculoskeletal) kết hợp RL đã mô phỏng được động tác người ngày càng phức tạp, nhưng gần như chỉ giới hạn trên mặt phẳng ngang, vì hai rào cản:

Các bộ dữ liệu motion-capture hiếm khi kèm hình học địa hình tương ứng với chuyển động.
Retarget chuyển động người sang cơ thể cơ-xương đòi hỏi không chỉ khớp vị trí khớp mà còn bảo toàn tiếp xúc, tránh xuyên địa hình, trượt chân, lơ lửng, đồng thời tôn trọng giới hạn giải phẫu và giới hạn gân-cơ — các lỗi này bị khuếch đại nặng trên địa hình không phẳng và có thể làm chuyển động tham chiếu trở nên bất khả thi.

II. Main Idea:

TERRA là pipeline đầu-cuối gồm ba giai đoạn:

Dựng lại địa hình từ chỉ dữ kiện chuyển động học: phát hiện khoảng cổ chân/ngón chân đứng yên làm bằng chứng bề mặt tích cực, quỹ đạo phần thân còn lại làm bằng chứng không gian trống (free-space) ràng buộc hình học; dùng thêm hướng bàn chân lúc đứng và profile nâng chân khi bước để phân biệt mặt phẳng nghiêng (ramp) với bậc thang/bục rời. Bốn prior địa hình: ramp nghiêng, cầu thang, hộp đỡ ngang độc lập, ghế ngồi.
Retarget có nhận thức địa hình: mở rộng interaction-mesh của OmniRetarget bằng các số hạng mới — ràng buộc giải phẫu (xương, gân liên tục), neo tiếp xúc bàn chân khi stance, chống trượt chân, chống xuyên, khoảng cách hai chân, độ nâng lòng bàn chân, và hút chậu khi ngồi — rồi giải bằng Sequential Quadratic Programming có giới hạn.
Huấn luyện một chính sách điều khiển duy nhất (PPO, cơ thể MyoFullBody với 354 bó cơ Hill-type, 83 khớp) trên 9,4 giờ chuyển động ghép cặp địa hình từ 5 nguồn dữ liệu.

Ví dụ đời thường: giống thợ phục hồi chức năng nhìn bệnh nhân lên xuống cầu thang mà chưa thấy cầu thang — chỉ dựa vào vị trí chân đặt, góc bàn chân và khoảng trống cơ thể lúc bước để phác dựng hình dáng cầu thang, rồi dạy lại người máy đi lại trên phác dựng đó.

III. Main Results:

Độ chính xác nhận diện loại địa hình 99,9% trên 5.474 clip có nhãn; sai số góc ramp ~0,22°, sai số bậc thang 8 mm; vượt các baseline (contact least-squares, Voronoi/TIP/SceneBot) trên mọi hạng mục địa hình.
Retarget: TERRA giảm mạnh mọi vi phạm vật lý — xuyên địa hình từ 33,45% xuống 0,16%, trượt chân 1,8%, lơ lửng 1,0%, tự va chạm 0,52%; contact-timing F1 đạt 93,8%, tốt nhất trong các phương pháp.
Policy tracking (held-out): tỉ lệ hoàn thành cao nhất 87,6%, MPJPE 74,5 mm; dẫn đầu trên flat (91,7%), ramp (99,5%), bục (46,5%) và ghế (89,3%).
Bỏ cue hướng bàn chân/swing-clearance làm accuracy nhận diện địa hình sụt từ 99,9% xuống 73,5%.
So sánh định tính EMG và lực phản lực dọc (vGRF) của policy với dữ liệu người thật cho thấy trùng khớp cả về timing lẫn dạng sóng ở đi bộ, xuống dốc, xuống cầu thang, ngồi/đứng.
Robust với nhiễu landmark tới 5 mm và dao động ngưỡng; suy giảm dần khi loại bỏ tới 30% khoảng đứng.

IV. Conclusion & Future Works:

TERRA chứng minh chuyển động học thuần túy chứa đủ bằng chứng môi trường để khôi phục hình học va chạm cần thiết cho điều khiển cơ-xương, mở đường từ dữ liệu không có cảnh sang locomotion trên địa hình đa dạng. Đây cũng là công cụ tiềm năng để nghiên cứu biểu diễn affordance trong tác nhân có cơ thể — ví dụ kiểm chứng lại các phát hiện kinh điển rằng leo cầu thang/ngồi được nhận thức theo tỉ lệ cơ thể. Hướng mở: hình học prior động, retarget trực tuyến (online), và bề mặt chuyển động.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng TERRA cho địa hình động và bề mặt di chuyển (thang cuốn, vật thể xô lệch) bằng prior hình học thay đổi theo thời gian.
Retarget và điều khiển online: tái dựng địa hình và chỉnh chuyển động trong khi robot đang vận hành thay vì xử lý offline.
Dùng policy cơ-xương được huấn luyện bởi TERRA làm mô hình nghiên cứu affordance: liên hệ biểu diễn địa hình học được với khả năng cơ bắp của cơ thể để kiểm chứng giả thuyết tâm lý học sinh thái.
Tổng hợp chuyển động–địa hình quy mô lớn hơn (địa hình tự nhiên, địa hình mềm) và đánh giá chuyển giao zero-shot cho robot humanoid thật.

2. Patent:

Hệ thống phân tích vận động trên điện thoại: quay video người đi cầu thang/leo dốc, ứng dụng ước lượng hình dạng bậc thang và độ dốc từ chuyển động chân rồi đưa ra gợi ý chỉnh dáng đi hoặc cảnh báo nguy cơ té ngã cho người già.
Khôi phục môi trường từ video camera giám sát trong nhà máy: từ quỹ đạo công nhân, hệ thống dựng lại hình học sàn/bậc/vật cản để mô phỏng an toàn cho robot cộng tác trước khi triển khai thật.
Module huấn luyện robot humanoid phục hồi chức năng: chuyển dữ liệu motion-capture lâm sàng (đi bộ, lên ghế) thành chuyển động tham chiếu kèm địa hình tự động dựng, dùng cho mô phỏng cá thể hóa theo từng bệnh nhân.
Phần mềm kiểm thử nội thất thông minh: từ dữ liệu chuyển động người dùng trong nhà, tự động sinh bản đồ va chạm của ghế/bậc/thềm để thiết kế lại không gian an toàn hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38653
ArXiv Abstract	https://arxiv.org/abs/2609.38653
PDF Download	https://arxiv.org/pdf/2609.38653.pdf
Github Repository	https://github.com/amathislab/terra

22. DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes (32 votes)

Tác giả: Merav Keidar, Tomer Borreda, Rajalakshmi Nandakumar, Or Litany

Xuất bản lúc: 2026-09-30

Tag: Radar Novel View Synthesis, Autonomous Driving, Doppler, Sensor Simulation, Neural Rendering, PSF, 3D Reconstruction

I. Main Problem:

Tổng hợp quan sát cảm biến từ dữ liệu lái xe đã ghi hỗ trợ đánh giá closed-loop cho xe tự hành, nhưng radar NVS hiện tại còn ba khoảng trống:

Bỏ qua Doppler khi cần nhất: các phương pháp cho cảnh động chỉ tái dựng tensor range–azimuth (RA), còn các phương pháp render Doppler lại giả định cảnh tĩnh.
Lẫn cảnh với đáp ứng cảm biến: xử lý tín hiệu radar làm lan mỗi phản xạ qua nhiều bin, các biểu diễn hiện tại 'học' luôn độ lan này vào hình học cảnh, nên khi dời góc nhìn nó render sai.
Chỉ đánh giá trên đường đã lái: test frame nằm giữa các pose gần giống nhau, nên nội suy trong không gian đo lường cũng đạt điểm tốt — giao thức này không kiểm tra khả năng tổng hợp tại vị trí lệch, vốn là điều closed-loop simulation thực sự cần.

II. Main Idea:

DyRAD mô hình cảnh lái xe động bằng hai lớp điểm phản xạ không có kích thước (point reflectors):

Static reflectors đại diện cho nền tĩnh.
Dynamic reflectors gắn vào các track chuyển động rigid của vật thể, được khởi tạo từ bounding box.

Từ các track, vận tốc của reflector được suy ra và chiếu lên phương ngắm (line of sight) để render Doppler — biến Doppler vừa là đầu ra render vừa là tín hiệu giám sát cho chính các track đó. Điểm mấu chốt: mỗi reflector được render qua một hàm point-spread function (PSF) phân tích cố định suy ra từ chuỗi xử lý tín hiệu của radar, nên độ lan do cảm biến gây ra không bị nung vào biểu diễn cảnh. Nhờ tách biệt này, cùng một cảnh tái dựng có thể render dưới cấu hình cảm biến khác mà không cần fit lại.

Ví dụ đời thường: giống như chụp ảnh bằng máy ảnh bị mờ — thay vì coi vật trong ảnh vốn mờ, ta tách riêng 'vật thật nét' khỏi 'lớp mờ của ống kính', để thay ống kính khác là ảnh hiện đúng ngay mà không phải chụp lại.

III. Main Results:

Đánh giá trên RADIal, Boreas và một benchmark tổng hợp, ở cả pose on-path lẫn off-path:

On-path (RADIal): tương quan RAD toàn phần 0.272 so với 0.068 của baseline mạnh nhất; tương quan vùng vật thể 0.658 (so với -0.010); hit rate phát hiện 90.7% so với 26.9%.
Off-path thật (lệch ngang 2m rồi render–refit): DyRAD khôi phục detection trong 91.7% vật thể, baseline mạnh nhất chỉ 18.1%.
Off-path tổng hợp (lệch vị trí + góc quay): tương quan RAD vùng vật thể 0.356 so với 0.086 của baseline mạnh nhất; F1 detection 0.227 so với 0.106.
Ablation: giám sát Doppler giảm 60% lỗi peak Doppler của xe; PSF phân tích cố định hơn gấp đôi recall so với học độ lan Gaussian.
Zero-shot sensor transfer: thay PSF và lưới lấy mẫu tinh hơn mà không refit, giảm Chamfer distance từ 7.27 xuống 3.20m và gần gấp đôi F1 so với nội suy tuyến tính.

IV. Conclusion & Future Works:

DyRAD là phương pháp radar NVS đầu tiên tái dựng cảnh lái xe động kèm đo lường Doppler đầy đủ, nhờ kết hợp point reflector theo track chuyển động với đáp ứng cảm biến cố định, tách biệt cấu trúc cảnh khỏi độ lan đo lường. Kết quả cải thiện tái dựng và phát hiện vật thể ở cả on-path lẫn off-path, đồng thời cho phép đổi cấu hình cảm biến không cần fit lại.

Hạn chế & hướng tương lai:

Gán reflector–vật thể dựa vào annotation và cố định trong tối ưu; nên tinh chỉnh chung để sửa lỗi khởi tạo.
Chưa mô hình hóa multipath và speckle noise.
Hiện thực hiện trên mặt phẳng mặt đất do dữ liệu thiếu tầng elevation; tương lai mở rộng cho radar phân giải độ cao và transfer giữa các cảm biến vật lý khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Tinh chỉnh đồng thời phép gán reflector–vật thể cùng track và vị trí reflector, tự sửa lỗi khởi tạo từ bounding box mà không cần annotation hoàn chỉnh.
Mở rộng renderer với mô hình multipath và speckle noise để tăng độ thực của đo lường radar tổng hợp.
Tái dựng radar 3D đầy đủ với tầng elevation cho các cảm biến radar imaging 4D hiện đại.
Nghiên cứu transfer zero-shot giữa các cảm biến radar vật lý khác nhau (không chỉ đổi cấu hình xử lý) để tái dùng cảnh tái dựng xuyên phần cứng.

2. Patent:

Hệ thống mô phỏng radar cho xe tự hành trên điện thoại/đám mây: tái dựng cảnh đường thật từ dữ liệu radar đã ghi, cho phép kỹ sư 'lái lại' cảnh từ làn đường lệch hoặc góc quay mới để kiểm thử thuật toán phát hiện vật thể mà không cần chạy xe thu lại dữ liệu.
Trình mô phỏng đổi cấu hình cảm biến radar trong ô tô: người dùng chọn radar độ phân giải cao hơn hoặc góc mở khác, ứng dụng render lại toàn bộ cảnh đã ghi dưới thông số mới ngay lập tức để đánh giá trước khi nâng cấp phần cứng.
Ứng dụng hiệu chỉnh cảnh vật thể di chuyển cho xe tự hành: cho phép kéo-thả xe khác vào cảnh radar đã tái dựng, hệ thống tự tính vận tốc theo từng điểm phản xạ và sinh đúng tín hiệu Doppler như radar thật đo được.
Công cụ kiểm thử closed-loop trên điện thoại cho thuật toán radar: ghi lại một lần, sau đó tái tạo vô số tình huống giao thông với quỹ đạo xe tự hành thay đổi để huấn luyện và đánh giá hệ thống tránh va chạm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39841
ArXiv Abstract	https://arxiv.org/abs/2609.39841
PDF Download	https://arxiv.org/pdf/2609.39841.pdf
Github Repository	https://github.com/Dyrad-NVS/DyRAD

23. Breaking Babel: A Self-Evolving Multi-Agent System for Long-Form Subtitle Translation (31 votes)

Tác giả: Haibo Jin, Xinjie Li, Najmeh Sadoughi, Yang Liu, Yibo Wang, et al.

Xuất bản lúc: 2026-09-29

Tag: Machine Translation, Subtitles, Multi-Agent Systems, LLM Agents, Self-Evolving Agents, Prompt Optimization, LLM-as-a-Judge, Long-Context

I. Main Problem:

Dịch phụ đề dài tập (phim truyền hình nhiều tập) khó hơn dịch câu đơn lẻ vì:

Ngữ cảnh dài: hàng trăm câu phụ thuộc lẫn nhau xuyên suốt cả tập thậm chí cả series (nhân vật, thuật ngữ, ám chỉ xuất hiện lặp lại).
Ràng buộc trình bày: giới hạn số ký tự/dòng, tốc độ đọc.
Các phương pháp hiện tại còn hạn chế:
- Mô hình LLM đơn lẻ dịch theo từng câu, thiếu ngữ cảnh series và gây lệch thuật ngữ giữa các tập.
- Hệ multi-agent dùng workflow tĩnh, không thích ứng với độ khó khác nhau của từng cảnh.
- Cả hai đều bỏ qua bối cảnh sản xuất (thể loại, bối cảnh văn hóa, niên đại).

II. Main Idea:

SMART (Self-evolving Multi-Agent system for long-foRm subtitle Translation) hoạt động theo hai giai đoạn:

Test-time training: dịch thử 30% số tập đầu của series, đồng thời tự tiến hóa hệ thống:
- Bộ nhớ series bền vững gồm 4 ngăn: thuật ngữ (T), hồ sơ nhân vật (C), kiến thức miền/cảnh (K), ngân hàng thành ngữ (B) — tích lũy dần xuyên tập.
- Graph Router động chọn nhóm translator chuyên biệt (trung thực ngữ nghĩa, tự nhiên, sinh động, kiểm soát độ dài, văng vãng) phù hợp với từng câu thay vì kích hoạt tất cả.
- Mixture-of-Agents + tool-calling: các translator tạo bản dịch thay thế và gọi công cụ kiểm tra thuật ngữ, ràng buộc phụ đề, tra cứu ngữ cảnh/web.
- Judge-Refiner loop: bộ chấm điểm chấm từng bản dịch, chọn bản tốt nhất, tinh chỉnh lại, và phản hồi bằng văn bản cập nhật lại prompt của agent + chính sách định tuyến — tất cả tại test-time, không cập nhật tham số LLM.
Test-time inference: cấu hình đã tiến hóa bị đóng băng, dịch 70% tập còn lại, bộ nhớ vẫn tiếp tục tích lũy.

Kèm theo là Subtitle Arena (192 series, 6,267 tập, 70,664 cặp tập song ngữ, 15 locale, 14 thể loại) và SubMQM — bộ chấm MQM cải biên cho phụ đề với 7 chiều, 19 loại lỗi.

Ví dụ đời thường: giống một biên dịch viên phim mới nhận series dài tập — dịch thử vài tập đầu, ghi chú sổ tay riêng về tên nhân vật/thuật ngữ, rút kinh nghiệm từ lỗi bị sếp gạch đỏ, rồi từ tập sau dịch nhanh hơn và đồng nhất hơn nhờ sổ tay đó.

III. Main Results:

Subtitle Arena: SMART đạt điểm Overall SubMQM tốt nhất ở cả 15 hướng dịch; giảm penalty trung bình 6.9% so với agent mạnh nhất (TransAgent), đồng thời vượt cả GPT-5.5 và Claude Opus 4.8 dù chỉ dùng Claude Sonnet 4.6 làm backbone.
MuSC benchmark: kết quả tốt nhất ở cả 4 cặp ngôn ngữ; cải thiện trung bình ~3.0 điểm, lớn nhất ở chiều Vividness (tới +7.9).
Đánh giá con người: điểm Overall cao nhất 4.50/5, dẫn đầu cả 4 tiêu chí (Consistency 4.55 cao nhất).
Ablation: bỏ bộ nhớ series gây tăng penalty lớn nhất (+0.78 trung bình), tiếp theo là MoA (+0.61) và contextual retrieval (+0.56); router động và self-evolution cũng đóng góp nhất quán.
Khá thị mô hình: dùng backbone yếu hơn (Gemma 3 4B) SMART vẫn cải thiện mạnh; đổi judge sang GPT-5.5 kết quả gần như không đổi.
Bản mở rộng đa phương thức (video/audio) tiếp tục giảm penalty 0.63→0.57; hiệu quả vẫn giữ trên series phát hành 2025–2026 ngoài knowledge cutoff.

IV. Conclusion & Future Works:

Bài báo chứng minh dịch nội dung dài nên được xem là quá trình có trạng thái và thích ứng thay vì chuỗi quyết định độc lập từng câu. Self-evolution tại test-time (prompt + routing + memory bền vững) là lối đi hiệu quả mà không cần fine-tune mô hình. Các ví dụ định tính cho thấy khả năng bảo toàn wordplay và phân giải thực thể nhờ tri thức ngoài.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng self-evolution sang các tác vụ dịch dài hạn khác như lồng tiếng phim (dubbing) hoặc bản địa hóa game, nơi ràng buộc đồng bộ môi/cảm xúc nhân vật tương tự ràng buộc phụ đề.
Nghiên cứu chiến lược cập nhật routing policy hiệu quả hơn (học có cấu trúc thay vì rewrite bảng bằng ngôn ngữ) để giảm chi phí test-time training.
Kết hợp bộ nhớ series với vector retrieval để xử lý series cực dài (hàng trăm tập) vượt quá ngữ cảnh của memory pool hiện tại.

2. Patent:

Ứng dụng dịch phụ đề tự động trên điện thoại/TV: hệ thống dịch thử vài tập đầu, tự xây sổ thuật ngữ và nhân vật của series, sau đó dịch các tập tiếp theo nhất quán về tên riêng và giọng văn, đồng thời tự kiểm tra giới hạn ký tự mỗi dòng phụ đề trước khi hiển thị.
Trợ lý dịch nội dung dài cho nền tảng streaming trên di động: ghi nhớ cách dịch tên nhân vật, địa danh, thành ngữ của từng series và tái sử dụng khi có tập mới, giúp người xem không bị lệch thuật ngữ giữa các mùa phim.
Công cụ hiệu đính phụ đề hai chiều: người dùng tải file phụ đề lên, hệ thống dùng nhiều translator chuyên biệt + bộ chấm lỗi đa chiều để gợi ý sửa lỗi dịch thuật, lỗi thuật ngữ không nhất quán và lỗi vi phạm quy tắc hiển thị phụ đề trên màn hình điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38660
ArXiv Abstract	https://arxiv.org/abs/2609.38660
PDF Download	https://arxiv.org/pdf/2609.38660.pdf
Github Repository	N/A

24. Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies (28 votes)

Tác giả: Galbot Team, Xuchuan Chen, Xiaoqian Cheng, Yu Deng, Lihe Ding, et al.

Xuất bản lúc: 2026-09-29

Tag: Embodied AI, Vision-Language-Action, LLM, Robot Manipulation, Humanoid Control, Navigation, Locomotion

I. Main Problem:

Các mô hình reasoning lớn như GPT-6 Astra có thể sinh lệnh điều khiển robot dạng số, nhưng chưa ai biết rõ: nó làm được những tác vụ nào, ở đâu nó còn kém tin cậy, và mỗi quyết định tiêu tốn bao nhiêu tài nguyên? Bài báo chỉ ra khoảng cách lớn giữa khả năng ra quyết định nhiệm vụ và khả năng điều khiển vật lý tin cậy, đồng thời đo lường rõ ràng chi phí suy luận (token, độ trễ) tách biệt khỏi thời gian chuyển động của robot.

II. Main Idea:

Đánh giá hệ thống GPT-6 Astra trên 6 lĩnh vực (gripper manipulation, dexterous manipulation, mobile manipulation, navigation, locomotion, humanoid loco-manipulation) theo hai chế độ:

Direct: Astra tự sinh toàn bộ lệnh điều khiển (tư thế end-effector, góc khớp, bước di chuyển), đi kèm điều khiển phân tích (inverse kinematics, PD)
Hybrid: Astra xem xét, chỉnh sửa hoặc thay thế đề xuất từ policy học được (π0.5) hoặc cung cấp lệnh cho whole-body controller đông băng — ví dụ sửa 14.4% số bước điều khiển trong manipulation, còn lại giữ nguyên hành động của policy
Mỗi nghiên cứu giữ nguyên protocol gốc, so sánh trên cùng trạng thái vật lý, phân tích cả thành công lẫn thất bại, và đo riêng token/latency của suy luận

Kết quả cho thấy Astra mạnh ở ra quyết định mức nhiệm vụ (chỉnh mục tiêu, chuẩn bị điều kiện tiếp xúc, đọc tiến độ) nhưng yếu ở điều phối tiếp xúc vật lý liên tục (xoay vật trong lòng bàn tay, locomotion dày đặc).

Ví dụ đời thường: giống một quản đốc giỏi đứng cạnh công nhân lành nghề — quyết định đúng lúc nào nên chỉnh tay, xoay vật hay nhả kẹp, nhưng tự tay làm thì vụng; khi công nhân (policy) bất lực, quản đốc cũng không tự xoay sở được.

III. Main Results:

Gripper (RoboDojo): Hybrid (Astra + π0.5) đạt 48% success, Score 62.60, vượt Direct (26%, 37.81) và mọi policy công bố; chỉ 14.4% bước điều khiển do Astra tạo/sửa.
Gripper (RoboLab): Direct đạt 98%, vượt xa π0.5 (36%) — tác vụ đơn giản thì policy zero-shot còn vướng chân Astra.
Dexterous: Hybrid đạt trung bình 61.6 điểm so với 44.2 (π0.5) và 16.6 (Direct); DexJoCo disk stacking 5/10 trial, dẫn đầu so với baseline công bố. Điều khiển trực tiếp trong lòng bàn tay thất bại: at-goal 0.51%–4.4% so với RL 63.5%–76.9%.
Mobile manipulation (RoboCasa365): Hybrid 29/75 (38.7%), Direct 25/75, π0.5 17/75; mạnh trên tác vụ đã thấy, yếu hơn Direct trên composition mới.
Navigation: dẫn đầu so sánh nội bộ — 92% RxR instruction following, 82% HM3D object search (nhưng đi đường vòng đáng kể).
Locomotion: thất bại hoàn toàn — 0/5 lần thử liên tiếp trên một đường vật cản, dù ổn định và tiến về phía trước có cải thiện.
Humanoid loco-manipulation: vượt DreamerV3, TD-MPC2, SAC trên 13/30 tác vụ HumanoidBench.
Chi phí suy luận: 50 instance RoboDojo tiêu tốn 624.8 triệu token (Hybrid) và 1.132 tỷ token (Direct); chạy locomotion 30 giây cần 250 lần gọi model, trung bình 39.86 giây/lần, vật lý phải tạm dừng trong lúc suy luận.

IV. Conclusion & Future Works:

Astra thể hiện khả năng ra quyết định nhiệm vụ hữu ích (sửa mục tiêu, chuẩn bị điều kiện tiếp xúc, diễn giải tiến độ) nhưng điều khiển vật lý trực tiếp vẫn không tin cậy, đặc biệt khi cần điều phối tiếp xúc ngón tay liên tục hoặc sinh chuyển động dày đặc. Giá trị của policy hỗ trợ phụ thuộc vào độ khớp của motion prior với tác vụ; can thiệp không đúng lúc còn tệ hơn giao quyền lại cho policy. Độ trễ suy luận và chi phí token là ràng buộc thực tiễn lớn, phải đo riêng khỏi thời gian chuyển động. Hướng đi tự nhiên: tối ưu phân chia trách nhiệm giữa mô hình reasoning và policy học, giảm tải review không cần thiết, và cải thiện điều khiển tiếp xúc mức thấp.

V. Brainstorming Space:

1. Publish Papers:

Phân tích sâu cơ chế phân chia lao động giữa mô hình reasoning và learned policy: khi nào review/correction của LLM giúp và khi nào cản trở, dựa trên đặc trưng tác vụ (tầm nhìn dài, độ nhạy tiếp xúc, độ khớp của motion prior).
Phương pháp giảm chi phí suy luận cho điều khiển lai: caching, gom nhóm quyết định, và học khi nào nên tin policy để cắt phần lớn token review mà không mất hiệu suất.
Kết hợp mô hình reasoning mức nhiệm vụ với controller tiếp xúc chuyên biệt để cải thiện in-hand manipulation và locomotion — hai điểm yếu vật lý nhất hiện nay của LLM-as-policy.

2. Patent:

Hệ thống robot hai chế độ trên điện thoại: người dùng ra lệnh bằng giọng nói, mô hình AI trên đám mây quyết định mục tiêu và giám sát chính sách điều khiển sẵn có của robot, chỉ can thiệp chỉnh quỹ đạo khi phát hiện lỗi — tiết kiệm pin và độ trễ so với điều khiển hoàn toàn bằng mô hình lớn.
Module sửa lỗi tức thời cho cánh tay robot công nghiệp: policy chuyên biệt chạy cục bộ đề xuất từng đoạn chuyển động, module AI xem video và chỉnh hoặc dừng đề xuất khi thấy vật trượt, mục tiêu lệch hoặc tiến độ sai — phù hợp lắp ráp cần độ tin cậy cao.
Robot di động phục vụ nhà hàng/khách sạn: điều khiển hybrid trong đó AI lập kế hoạch các giai đoạn (lấy vật, vận chuyển, đặt xuống) và viết lại mục tiêu cho bộ điều khiển chuyển động tích hợp, với cơ chế phát hiện khi robot bế vật không ổn định để gọi người hỗ trợ.
Hệ thống tiết kiệm chi phí điện toán cho đội robot: thống kê token và thời gian suy luận theo từng loại tác vụ để tự động chọn chế độ Direct hay Hybrid, cân bằng giữa tỉ lệ thành công và chi phí vận hành đám mây.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38537
ArXiv Abstract	https://arxiv.org/abs/2609.38537
PDF Download	https://arxiv.org/pdf/2609.38537.pdf
Github Repository	https://github.com/anonymous-report-421/GPT-as-Policy

25. OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software (26 votes)

Tác giả: Dingyuan Dai, Heli Qi, Lei Liu, Yinxi Li, Baiding Chen, et al.

Xuất bản lúc: 2026-09-30

Tag: Computer Use Agents, Vision-Language Models, Benchmark, Scientific Software, GUI Automation, Agent Evaluation

I. Main Problem:

Các tác tử dùng máy tính hiện nay được kiểm thử chủ yếu trên web hoặc tác vụ desktop đời thường, chưa phản ánh đầy đủ khó khăn của phần mềm khoa học chuyên ngành. Với công việc nghiên cứu, tác tử phải:

hiểu giao diện chuyên biệt như vẽ phân tử, phân tích mô bệnh học, mô phỏng vật lý, xử lý ảnh y khoa
thao tác chính xác trên dữ liệu có cấu trúc và trạng thái ẩn
tạo ra kết quả có thể kiểm chứng như công thức hóa học, mặt nạ phân đoạn, đồ thị, số liệu thống kê

Thách thức cốt lõi là làm sao đánh giá cả năng lực mô hình lẫn thiết kế hệ thống điều phối tác tử trong các quy trình khoa học dài, đa phần mềm, đa ngôn ngữ và có tính chất chuyên môn cao.

II. Main Idea:

OSWorld-Science là một bộ kiểm thử và môi trường đánh giá cho tác tử dùng máy tính trong bối cảnh khoa học. Thay vì chỉ hỏi mô hình trả lời đúng, hệ thống:

xây dựng 146 tác vụ chất lượng cao từ đề xuất của chuyên gia và quy trình con người–AI cùng thiết kế
phủ 7 lĩnh vực: hóa học, vật lý, y học, thống kê, sinh học, GIS, ngôn ngữ học và neuroscience, bằng 3 ngôn ngữ Anh–Trung–Nhật
dùng bộ chấm điểm dựa trên kết quả thực thi, kiểm tra trạng thái phần mềm và sản phẩm đầu ra như cấu trúc phân tử, ảnh phân đoạn, đồ thị, số liệu; hỗ trợ tính điểm từng phần
cung cấp harness thống nhất gồm bộ chuyển đổi mô hình, vòng lặp tương tác, giới hạn bước, ghi log quỹ đạo và cơ chế retry để so sánh công bằng nhiều mô hình

Ý chính là biến mục tiêu khoa học do chuyên gia định nghĩa thành một bài kiểm tra có thể chạy, chấm điểm và phân tích lỗi một cách nhất quán. Ví dụ đời thường: giống như giao cho một kỹ thuật viên phòng lab một danh sách việc, máy tính có sẵn phần mềm, camera quay màn hình và bộ chấm điểm kiểm tra mẫu thật cuối ca — không tin lời báo cáo, mà xem sản phẩm cuối cùng có đúng không.

III. Main Results:

146 tác vụ trải qua 14 cấu hình phần mềm; hóa học chiếm khoảng 29.5%, vật lý 21.2%, y học 17.8%, thống kê 13.7%.
Trong số 12 mô hình VLM, Claude Fable 5.1 đạt trung bình cao nhất: 73.7%, khoảng $6.5/tác vụ; GPT-6 Astra đạt 57.4%, Claude Opus 5 đạt 57.9%.
Mô hình mạnh nhất cũng chỉ đạt khoảng 40% trên tập khó nhất, cho thấy khoa học vẫn là miền rất thách thức.
Kết quả thay đổi mạnh theo lĩnh vực: thống kê tương đối dễ với nhiều mô hình trên 66%, trong khi hóa học rất khó; một số mô hình giỏi ảnh y khoa nhưng gần như thất bại ở hóa học.
Phân tích gần 1.530 run cho thấy 60.6% số run không tạo ra sản phẩm bị chấm; nhiều trường hợp cạn ngân sách bước thay vì lặp vô hạn.
Ablation trên tác vụ QuPath cho thấy tăng reasoning effort có thể cải thiện Opus 5 nhưng tốn token gấp nhiều lần; tăng cửa sổ lịch sử lên khoảng 10 ảnh giúp giảm lặp và cải thiện điểm; ngôn ngữ prompt ảnh hưởng phong cách tương tác hơn là chất lượng suy luận.
Nghiên cứu tình huống chỉ ra điểm mấu chốt: kiểm tra tự nhất quán chưa đủ; tác tử cần xác minh độc lập với nguồn dữ liệu gốc, đặc biệt với stereochemistry và cấu trúc phân tử.

IV. Conclusion & Future Works:

OSWorld-Science cho thấy các tác tử dùng máy tính hiện đại vẫn còn hạn chế rõ trong hiểu vấn đề khoa học, học cách dùng phần mềm, duy trì trạng thái dài và tạo artifact hợp lệ. Nhiều lỗi không giải quyết được bằng cách tăng reasoning effort hay mở rộng context.

Hướng phát triển quan trọng:

xây dựng scientific agents có kiến thức miền và cơ chế kiểm chứng tốt hơn
duy trì uncertainty rõ ràng ở các bước dễ sai, thay vì sớm chốt một giả thuyết
kết hợp GUI và CLI một cách có kiểm soát, chọn công cụ phù hợp với loại bằng chứng cần xác minh
cải thiện harness: quản lý ngân sách, cửa sổ lịch sử, retry, logging và chiến lược dừng sớm
phát triển phương pháp orthogonal validation để kiểm tra kết quả bằng nguồn độc lập thay vì chỉ tự kiểm tra lại chính mình

V. Brainstorming Space:

1. Publish Papers:

Một framework kiểm chứng độc lập cho tác tử hóa học: duy trì uncertainty tại từng stereocenter và đối chiếu trực tiếp với hình gốc, nhãn CIP và tham chiếu bên ngoài trước khi chuẩn hóa cấu trúc.
Phân tích điều phối GUI–CLI cho phần mềm khoa học: học cách chọn thao tác đồ họa khi cần quan sát trực quan và chọn dòng lệnh khi cần kiểm tra có thể lặp lại.
Tối ưu harness cho tác vụ khoa học dài hạn: cân bằng giữa cửa sổ quan sát, reasoning effort, chi phí API và chiến lược dừng khi tác vụ không còn khả năng hoàn thành.
Mở rộng benchmark theo hướng đóng góp cộng đồng: thu thập tác vụ từ chuyên gia, chuẩn hóa artifact evaluator và mở rộng sang nhiều ngôn ngữ, nhiều phần mềm chuyên ngành hơn.

2. Patent:

Ứng dụng điện thoại hỗ trợ thao tác phần mềm lab: người dùng chụp màn hình hoặc quay video phần mềm khoa học; hệ thống nhận diện trạng thái, gợi ý bước tiếp theo, kiểm tra file kết quả và cảnh báo nếu cấu trúc phân tử, ảnh phân đoạn hoặc bảng số liệu chưa khớp yêu cầu.
Trợ lý thực tế tăng cường cho phòng thí nghiệm: điện thoại hướng camera vào màn hình máy tính, hiển thị lớp chỉ dẫn trực tiếp vị trí cần bấm, đối chiếu kết quả với mẫu chuẩn và lưu bằng chứng cuối cùng để chấm điểm tự động.
Hệ thống kiểm chứng kết quả khoa học trên thiết bị di động: sau khi người dùng hoàn thành tác vụ, điện thoại đọc file đầu ra, gửi lên dịch vụ phân tích để so sánh với dữ liệu gốc, phát hiện lỗi stereochemistry, sai lệch số liệu hoặc thiếu sản phẩm bắt buộc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39903
ArXiv Abstract	https://arxiv.org/abs/2609.39903
PDF Download	https://arxiv.org/pdf/2609.39903.pdf
Github Repository	https://github.com/DiscoAILab/OSWorld-Science

26. ThinkV2V: Unleashing the Reasoning Capability of MLLMs for Instruction-Guided Video Editing (25 votes)

Tác giả: Donghao Zhou, Haoyang He, Fan Zhang, Hao Yang, Guisheng Liu, et al.

Xuất bản lúc: 2026-09-29

Tag: Video Editing, MLLMs, Diffusion Models, Chain-of-Thought Reasoning, Instruction-Guided Generation, DiT, Benchmark

I. Main Problem:

Các phương pháp chỉnh sửa video theo hướng dẫn (instruction-guided video editing) hiện nay chủ yếu dùng MLLM như một bộ mã hóa ngữ nghĩa thụ động, nên thất bại với các yêu cầu chỉnh sửa gián tiếp, ngầm định — đòi hỏi suy luận nhân quả hoặc ngữ nghĩa để hiểu ý đồ thật. Hậu quả:

Model bám vào từ khóa bề mặt mà bỏ lỡ mục tiêu chỉnh sửa thực sự, đặc biệt khi liên quan đến động thái thời gian, quan hệ giữa các đối tượng, logic nhân quả.
Thiếu bộ dữ liệu và benchmark để huấn luyện/đánh giá khả năng lý giải ý đồ ngầm — các benchmark hiện có chỉ đo chất lượng chỉnh sửa cơ bản.

II. Main Idea:

ThinkV2V kích hoạt khả năng "suy nghĩ trước khi chỉnh sửa" của MLLM, gồm ba thành phần:

MLLM-to-DiT architecture: MLLM (Qwen3-VL-Thinking-8B) nhận video gốc + hướng dẫn, sinh Chain-of-Thought rồi một prompt tinh chỉnh; hidden states sau thẻ được một connector với learnable query tokens (cross-attention) nén thành điều kiện cố định chiều, đưa vào DiT (Wan-2.1-5B). DiT còn nhận thêm embedding hướng dẫn gốc và VAE features của video nguồn để tránh nghẽn thông tin.
Progressive Curriculum Training: học theo lộ trình 3 giai đoạn — căn bản (480p) → nâng độ phân giải (720p) → tinh chỉnh trên dữ liệu phức tạp cần suy luận; MLLM được đóng băng.
Inference-Time Thinking Scaling: tinh chỉnh prompt qua nhiều vòng (serial refinement), rồi MLLM tự chọn ứng viên tốt nhất (best-of-N, N=8) trước khi sinh video.

Ví dụ đời thường: giống thợ sửa đồ nghe khách nói mơ hồ "làm cho nó đỡ kêu" — không sửa ngay, mà ngồi phân tích từng khả năng, ghi chú lại, rồi chọn phán đoán đúng nhất trước khi tháo máy.

III. Main Results:

Đạt SOTA tổng thể cả trên ThinkV2V-Bench lẫn OpenVE-Bench, với hai judge model khác nhau (Seed-1.6-VL và Gemini-2.5-Pro).
Model DiT chỉ 5B tham số vượt nhiều baseline quy mô 10B–14B (VACE, ICVE, DITTO...).
Ablation: bật explicit thinking nâng điểm tổng từ 2.51 → 2.68; dùng answer features tốt hơn all features; lộ trình simple-to-complex (2.68) thắng mọi lịch trình khác (complex-only chỉ 2.10); thêm bước selection sau serial refinement nâng 2.68 → 2.72 (riêng serial refinement không chọn lọc thì không cải thiện).
Chỉnh sửa đúng ý đồ hơn rõ rệt trong các ca khó: local remove/add, đổi style theo mô tả gián tiếp, giữ được nội dung không sửa và tính nhất quán thời gian.

IV. Conclusion & Future Works:

Bài báo chứng minh rằng nút thắt của chỉnh sửa video theo hướng dẫn không chỉ nằm ở chất lượng sinh, mà ở thiếu quá trình "think-before-edit" để chuyển ngôn ngữ phức tạp thành phương án chỉnh sửa đáng tin. Framework gồm kiến trúc MLLM-to-DiT, công thức huấn luyện/suy luận, và dữ liệu + benchmark riêng. Hướng tương lai: khám phá các framework tích hợp suy nghĩ hiệu quả hơn về chi phí, và xây dựng hệ thống tạo nội dung thống nhất với khả năng hiểu, lập kế hoạch, thực thi hướng dẫn mạnh hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng tư tưởng reasoning-driven editing sang chỉnh sửa video đa lượt (multi-turn conversational editing), trong đó MLLM duy trì bối cảnh cuộc hội thoại để suy luận ý đồ tích lũy của người dùng qua nhiều vòng yêu cầu.
Kết hợp suy luận ngầm với kiểm chứng vật lý (physical plausibility checking) trong quá trình chỉnh sửa video, để các thay đổi cục bộ không vi phạm tính nhất quán chuyển động và tương tác vật thể.
Nghiên cứu suy luận chéo giữa video và audio: MLLM suy luận ý đồ chỉnh sửa đồng thời trên cả luồng hình ảnh và âm thanh, cho phép chỉnh sửa cảnh có nhân quả nghe-thấy (ví dụ đồ vật rơi phải kèm tiếng động phù hợp).

2. Patent:

Ứng dụng chỉnh sửa video trên điện thoại bằng lệnh nói gián tiếp: người dùng nói "làm cảnh này giống lúc hoàng hôn", hệ thống dùng mô hình ngôn ngữ đa phương thức để phân tích từng khung hình, suy luận ý đồ, đưa ra vài phương án mô tả, tự chọn phương án chính xác nhất rồi mới chỉnh sửa video.
Trợ lý dựng video quảng cáo cho doanh nghiệp nhỏ: nhân viên nhập yêu cầu mơ hồ như "tôi muốn sản phẩm nổi bật hơn và bỏ người đi ngang phía sau"; hệ thống tự lý giải từng phần, xác định đối tượng cần xóa và mức độ làm nổi sản phẩm, rồi sinh video hoàn chỉnh.
Hệ thống kiểm duyệt và chỉnh sửa video tự động trong môi trường doanh nghiệp: khi phát hiện nội dung cần che/xóa (logo, người, vật thể nhạy cảm), hệ thống suy luận ngữ cảnh cảnh quay để xóa đối tượng mà vẫn tái tạo nền và chuyển động tự nhiên, thay vì làm mờ đơn thuần.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38541
ArXiv Abstract	https://arxiv.org/abs/2609.38541
PDF Download	https://arxiv.org/pdf/2609.38541.pdf
Github Repository	https://github.com/Correr-Zhou/ThinkV2V

27. LoopVL: Recurrent Visual Intelligence (24 votes)

Tác giả: Zhe Qian, Ziyang Gong, Zhongxing Xu, Hehan Li, Zhonghua Wang, et al.

Xuất bản lúc: 2026-09-29

Tag: Vision-Language Models, Loop Transformers, Recurrent Architecture, Parameter Sharing, Multimodal Reasoning, Compute Efficiency, Visual Attention Analysis

I. Main Problem:

Các kiến trúc Loop Transformer (Transformer lặp lại) đã chứng minh hiệu quả cho mô hình ngôn ngữ thuần, nhưng chưa ai kiểm chứng được liệu chúng có mở rộng được sang mô hình thị giác-ngôn ngữ (VLM) hay không. Thách thức cốt lõi:

Hình ảnh cung cấp bằng chứng có cấu trúc không gian rõ ràng, còn câu hỏi quyết định vùng nào là liên quan — sau mỗi vòng tương tác, độ quan trọng tương đối của các visual token thay đổi liên tục.
Với VLM, tính toán lặp không chỉ để tăng độ sâu tính toán mà phải vận hành trên trạng thái thị giác-ngôn ngữ liên tục tiến hóa.
Đồng thời, cộng sinh thuận lợi: vì visual token giữ tương ứng không gian với patch ảnh, ta có thể quan sát trực tiếp cách cùng một lớp vật lý dịch chuyển sự chú ý qua các vòng lặp — một cửa sổ quan sát hiếm có để hiểu tính toán lặp.

II. Main Idea:

LoopVL trả lời câu hỏi trên bằng cách kết hợp hai cơ chế lặp lồng nhau trên một trạng thái thị giác-ngôn ngữ thống nhất:

Module-Loop: stack L gồm 16 Transformer layers được gọi lặp lại 3 lần dưới cùng điều kiện trạng thái cao; stack H riêng biệt (16 layers) cập nhật trạng thái cao. Lịch mặc định H2L3: [L×3 → H] × 2 — tổng cộng chỉ 32 layers tham số duy nhất nhưng thực thi 128 lần gọi layer mỗi forward pass.
Model-Loop: trạng thái L được giữ xuyên suốt các chu kỳ, H tích hợp kết quả và tái thiết lập điều kiện cho chu kỳ tiếp — cập nhật nhanh ở tầng địa phương, chậm ở tầng toàn cục, lấy cảm hứng từ hệ thống sinh học đa tầng thời gian.
Visual token tiếp tục tiến hóa trong backbone (không qua lại visual encoder); mỗi vòng lặp tái chọn, tái tổ chức bằng chứng thị giác, và ở mỗi chu kỳ mới có một anchor re-injection từ embedding ảnh gốc qua visual gate điều kiện hóa theo câu hỏi.
Huấn luyện 4 giai đoạn: text pretraining (75B tokens) → visual alignment (chỉ projector, 0.33B) → multimodal mid-training (49B) → SFT (16.81B) + visual RL bằng GRPO.

Ví dụ đời thường: giống người xem một bức tranh mơ hồ, nhìn đi nhìn lại nhiều lần theo cùng một 'quy trình suy nghĩ' (tham số chia sẻ) — nhưng mỗi lần nhìn, mắt lại tập trung vào chi tiết khác dựa trên những gì vừa hiểu, cho đến khi bỗng 'té ra' bức tranh đó vẽ gì.

III. Main Results:

Hiệu quả tính toán vượt trội: LoopVL-1B đạt độ chính xác cạnh tranh hoặc vượt các mô hình dense lớn gấp 70–1,324 lần FLOPs (LLaVA-OV-72B, InternVL3.5-4B, Qwen3.5-2B...) trên các benchmark LogicVista, MMMU-Pro, MathVision, MMStar.
Loop thật sự có giá trị: baseline Transformer-VL 1B cùng 32 layers nhưng không lặp bị thua trên mọi benchmark (VD: MMStar 55.33 → 63.47; ChartQA 51.12 → 74.52); LoopVL-1B còn vượt cả Transformer-VL 4B (Deep) và 4B (Wide) dù nhỏ hơn nhiều về tham số.
Visual token phải được cập nhật: các biến thể chặn cập nhật visual state ở chu kỳ 2 (chỉ suy luận, không cập nhật) đều giảm điểm rõ rệt — chứng minh các vòng lặp không lặp lại cùng tính toán mà tái tổ chức bằng chứng thị giác.
Visual Aha Moments: quan sát thấy các dịch chuyển sâu rộng trong attention thị giác giữa các vòng lặp — vùng ảnh ít quan trọng ban đầu bỗng trở nên nổi bật ở vòng sau, cho thấy mô hình 'chợt nhận ra' chi tiết then chốt.

IV. Conclusion & Future Works:

LoopVL cung cấp bằng chứng thực tiễn đầu tiên rằng Loop Transformer mở rộng được sang mô hình thị giác-ngôn ngữ: chia sẻ tham số cho phép tính toán đa phương thức sâu hơn trên trạng thái liên tục tiến hóa, với hiệu quả tính toán-và-dữ liệu nổi bật ở quy mô 1B. Phân tích attention cho thấy tính toán lặp là quá trình tái phân bổ và tái sử dụng bằng chứng thị giác, không phải lặp máy móc. Hướng tương lai: (paper chỉ nêu ngắn) nghiên cứu sâu hơn động lực trạng thái lặp, cấu hình độ sâu lặp tối ưu, và mở rộng quy mô.

V. Brainstorming Space:

1. Publish Papers:

Phân tích hệ thống các Visual Aha Moments: điều kiện kích hoạt dịch chuyển attention thị giác giữa các vòng lặp và mối liên hệ với độ khó của câu hỏi, để dự đoán số vòng lặp tối ưu cho từng mẫu đầu vào.
Mở rộng LoopVL sang video và đa khung hình: trạng thái thị giác-ngôn ngữ lặp lại tự nhiên phù hợp với suy luận theo thời gian và theo dõi đối tượng qua các frame.
Kết hợp reinforcement learning với tính toán lặp động (adaptive loop depth): mô hình tự quyết định dừng lặp khi đã đủ tự tin, tiết kiệm suy luận ở câu dễ, lặp sâu ở câu khó.
Ứng dụng kiến trúc L/H lặp cho các tác vụ agent đa phương thức: quan sát-tư duy-hành động lặp lại với tham số chia sẻ để giảm chi phí triển khai trên thiết bị biên.

2. Patent:

Trợ lý ảnh trên điện thoại chạy offline: dùng mô hình thị giác-ngôn ngữ dạng lặp với ít tham số — cùng một bộ tham số được chạy nhiều vòng để 'nghĩ kỹ' về ảnh chụp (giải toán trên giấy, đọc biểu đồ, dịch chữ trong ảnh), cho độ chính xác gần mô hình lớn đám mây mà không tốn bộ nhớ nhiều gấp bội.
Tính năng phóng to chi tiết ảnh thông minh: camera điện thoại tự chạy vài vòng phân tích lặp, mỗi vòng tự động dồn độ phân giải vào vùng ảnh vừa được xác định là quan trọng (chữ nhỏ, vật thể nghi ngờ), tương tự cách mắt người nhìn đi nhìn lại chỗ mờ.
Hệ thống kiểm tra chất lượng công nghiệp tiết kiệm: một mô hình nhỏ duy nhất lặp nhiều vòng để rà soát ảnh sản phẩm từ tổng quan đến chi tiết khuyết tật, thay vì phải triển khai nhiều mô hình riêng cho từng loại lỗi trên dây chuyền.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38426
ArXiv Abstract	https://arxiv.org/abs/2609.38426
PDF Download	https://arxiv.org/pdf/2609.38426.pdf
Github Repository	https://github.com/Tier-Flow/LoopVL

28. BiasReducer: Adaptive Bias Mitigation for Reward Models (20 votes)

Tác giả: Shuang Liu, Yongliang Miao, Yanguang Liu, Haoyi Xiong, Mengnan Du

Xuất bản lúc: 2026-09-26

Tag: Reward Models, RLHF, Reward Hacking, Bias Mitigation, Sparse Autoencoder, Model Editing, LLMs

I. Main Problem:

Các reward model chấm điểm câu trả lời LLM để hướng RLHF theo sở thích người dùng, nhưng thường thích các đặc điểm bề mặt hơn chất lượng thật: dài hơn, tự tin hơn, định dạng đẹp hơn, nịnh người dùng hơn, dù câu trả lời không đúng hoặc kém hữu ích. Cách sửa hiện tại bị giới hạn ở hai hướng:

Training-based: đổi dữ liệu, loss, kiến trúc hoặc fine-tune — hiệu quả nhưng tốn dữ liệu và tính toán.
Model-editing: không train lại nhưng thường phải chọn trước một thiên lệch và áp một chỉnh sửa cố định, trong khi mỗi tập dữ liệu có thể nhạy với các thuộc tính khác nhau.

II. Main Idea:

BiasReducer chỉnh sửa linear reward head thay vì train lại toàn mô hình, gồm ba bước:

Học biểu diễn thuộc tính: dùng encoder kiểu Sparse Autoencoder trên preference contrast để tìm chiều ẩn tương ứng với length, confidence, sycophancy...; semantic supervision gồm behavioral, interventional và artifact terms giúp gán nghĩa rõ ràng cho từng chiều.
Học cách giảm phụ thuộc: ước lượng hướng covariance giữa hidden state và từng thuộc tính, rồi chọn edit strength sao cho reward đổi đủ mạnh nhưng không làm accuracy trên validation tụt quá ngân sách cho phép.
Chọn chỉnh sửa theo dataset mới: chỉ dùng response và reward score gốc, xếp hạng thuộc tính theo reward dependence và edit impact, tổng hợp bằng Borda rank-sum; BiasReducer-S chọn một chỉnh sửa, BiasReducer-M kết hợp tới k chỉnh sửa.

Cơ chế giống như thợ may làm sẵn các kiểu chỉnh khác nhau cho tà áo, rồi khi khách mới đến chỉ đo phần nào đang chật — dài quá, bó quá hay cứng quá — rồi thả/ăn đúng đường may đó, không phải may lại cả bộ vest.

III. Main Results:

Thử nghiệm trên 5 reward model và 3 benchmark bias: RM-Bench-Hard, Arena-StyleConflict, JudgeBiasBench.

BiasReducer-S cải thiện trung bình +6.2 / +15.7 / +6.0 percentage points trên ba benchmark so với reward model gốc.
BiasReducer-M tăng lên +8.3 / +18.0 / +6.9, vượt cả hai baseline training-based là RRM và intervention fine-tuning.
Kết quả chuyển sang downstream: trong best-of-N selection và GRPO, reward đã chỉnh giúp giảm verbosity và sycophancy không cần thiết trong khi chất lượng được Claude Sonnet 5 đánh giá tương đương hoặc tốt hơn.
Ablations cho thấy semantic supervision, chọn đúng hướng chỉnh sửa, chọn đúng mức strength và chọn thuộc tính theo từng dataset đều đóng góp vào hiệu quả.

IV. Conclusion & Future Works:

Thông điệp chính là nguyên tắc thiết kế: học một lần các chỉnh sửa tái sử dụng theo thuộc tính, sau đó chọn chỉnh sửa nào nên áp dụng dựa trên hành vi reward quan sát được trên từng dataset mới, không cần train lại và không cần biết trước thiên lệch mục tiêu. Bản trích không nêu một chương trình future work cụ thể; hướng suy rộng tự nhiên là áp dụng cùng cơ chế chọn-chỉnh-sửa thích ứng cho các loại bias đa dạng hơn trong reward, judging và alignment pipeline.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng BiasReducer sang bias động: tự phát hiện thuộc tính mới chưa định nghĩa trước trong reward model bằng cách kết hợp representation learning có giám sát ngữ nghĩa với kiểm định can thiệp trên dữ liệu mới.
Nghiên cứu chọn chỉnh sửa trong môi trường online: cập nhật thứ hạng thuộc tính theo luồng dữ liệu liên tục để reward model duy trì độ robust khi phân phối người dùng thay đổi.
Xây dựng benchmark cho bias tổng hợp và xung đột thuộc tính, đo cả pairwise accuracy, chất lượng downstream, verbosity và sycophancy dưới một giao thức đánh giá nhất quán.
Khảo sát chuyển giao sang multimodal hoặc cross-lingual reward: kiểm tra liệu các chiều thuộc tính học được còn có thể chọn và chỉnh theo từng tập dữ liệu hay không.

2. Patent:

Trợ lý soạn thảo trên điện thoại tự giảm thiên lệch dài dòng: trước khi gợi ý câu trả lời, hệ thống đo xem câu ứng viên có đang được cộng điểm chỉ vì dài, nhiều emoji hoặc quá tự tin hay không, rồi điều chỉnh bộ chấm điểm để ưu tiên hữu ích và đúng.
Hệ xếp hạng câu trả lời chăm sóc khách hàng tự chọn thiên lệch cần sửa theo kênh: với email, hệ thống giảm độ dài thừa; với chat ngắn, hệ thống giảm xu hướng nịnh hoặc lặp ý, bằng cách chỉ chỉnh lớp chấm điểm cuối thay vì huấn luyện lại mô hình.
Bộ lọc gợi ý trả lời học ngoại ngữ trên thiết bị di động: phát hiện khi người học bị thưởng vì câu dài, giọng chắc chắn giả hoặc đồng ý quá mức, sau đó đẩy lại gợi ý ngắn gọn, đúng lỗi ngữ pháp và có tính phản biện.
Hệ đánh giá phản hồi cho trợ lý ảo doanh nghiệp: tạo sẵn nhiều phép chỉnh thiên lệch như độ dài, định dạng, sycophancy; mỗi chiến dịch marketing hoặc bộ câu hỏi mới chỉ cần chấm thử để chọn đúng phép chỉnh trước khi triển khai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32720
ArXiv Abstract	https://arxiv.org/abs/2609.32720
PDF Download	https://arxiv.org/pdf/2609.32720.pdf
Github Repository	https://github.com/olivialiu121/BiasReducer-RM

29. PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents (20 votes)

Tác giả: Yinghui He, Yapei Chang, Khushi Bhardwaj, Daniele Molinari, Tugrul Konuk, et al.

Xuất bản lúc: 2026-09-30

Tag: On-Policy Distillation, Multi-Turn Agents, Reinforcement Learning, Knowledge Distillation, LLM Agents, Error Recovery, PPO

I. Main Problem:

On-policy distillation (OPD) huấn luyện agent ngôn ngữ bằng cách giám sát chi tiết từng token trên chính các trajectory mà student tự sinh ra. Nhưng trong tương tác nhiều lượt, một hành động sai làm thay đổi trạng thái môi trường, khiến lỗi cộng dồn qua các lượt và student ngày càng xa teacher. Phân tích trên ba mô hình Qwen3 (8B–235B) cho thấy:

Hơn một nửa số rollout thất bại chứa một pivotal mistake — hành động đẩy agent xa hơn khỏi hoàn thành nhiệm vụ — và nó thường xảy ra rất sớm (lượt 8–12/30).
Sau lỗi đó, mô hình lãng phí trung bình 18–21 lượt còn lại mà không tự phục hồi.
OPD chuẩn không sửa được lỗi này: tỉ lệ thất bại sau pivotal turn chỉ giảm từ 51% xuống 49%; xác suất của hành động đúng vẫn dưới 1% tại mọi pivotal turn, nên nhóm 8 rollout cũng không bao giờ sampling ra nó — không có tín hiệu học trực tiếp.

II. Main Idea:

PIVOTOPD kết hợp group-based RL (PPO) với hai dạng distillation tập trung đúng vào lượt quyết định và các lượt sau nó:

Pivot detection: một teacher model đọc lại rollout cùng kết quả, chọn các lượt nghi ngờ và nêu gold action; lượt được coi là pivotal khi hành động student thực hiện khác gold action. Teacher còn nêu recovery action cho vài lượt tiếp theo.
Preventive distillation: tại pivotal turn, dùng bản student bị đóng băng được 'gợi ý' gold action làm privileged self-teacher, rồi tối ưu reverse KL để đẩy student tránh lỗi.
Recovery distillation: tại các lượt sau lỗi, self-teacher được gợi ý recovery action để viết câu trả lời phục hồi, và student được huấn luyện không có gợi ý bằng forward KL — loss dạng mass-covering giúp tăng xác suất những hành động phục hồi mà student hiếm khi tự sampling ra.

Cả ba thành phần được gộp trong một update PPO duy nhất.

Ví dụ đời thường: giống như thầy dạy lái xe không chỉ hô 'đừng rẽ trái ở ngã này' trước khi học viên rẽ sai (phòng ngừa), mà còn ngồi cùng học viên chạy tiếp trên con đường lạc đó vài trăm mét, chỉ cụ thể cách quay đầu để quay lại đúng lộ trình (phục hồi) — vì biết đường cũ thôi chưa đủ, phải biết thoát khỏi đường lạc.

III. Main Results:

So với 13 baselines trên ALFWorld, WebShop, Search-based QA: PIVOTOPD đạt trung bình tốt nhất trên cả 8 bảng benchmark với cả student Qwen3-1.7B và Qwen3-8B.
Student 1.7B: vượt baseline mạnh nhất +5.5% trên ALFWorld, +5.9% trên Search-based QA; student 8B cũng dẫn đầu với margin tối thiểu +1.8%.
Trên WebShop, tỉ lệ success tăng +14.1% so với RLSD (lớn hơn nhiều so với +1.2% của normalized score) — cho thấy recovery distillation biến tiến độ dở dang thành hoàn thành nhiệm vụ.
Tỉ lệ phục hồi sau pivotal mistake cao gấp hơn 3 lần OPD chuẩn (ở 8B); trong replay 72 lỗi của ALFWorld, PIVOTOPD phục hồi nhanh nhất và ít lượt nhất, cao gấp ~9 lần base model.
Self-distillation (student tự làm teacher): vẫn tốt nhất cả ba benchmark, cho thấy lợi ích đến từ điểm can thiệp hơn là năng lực teacher.
Khái quát hóa sang model family khác: nâng resolve rate của Nemotron-3.5 trên SWE-Bench Verified +3.2%, trong khi OPD chỉ +0.2%.
Ablations: chỉ preventive hay chỉ recovery đều kém hơn bản đầy đủ; gợi ý ở lượt ngẫu nhiên cho kết quả tệ nhất; ngân sách phục hồi tối ưu K=1 (WebShop, QA) và K=2 (ALFWorld).

IV. Conclusion & Future Works:

Thất bại của agent đa lượt thường bắt nguồn từ một lỗi pivotal sớm nhưng khả phục, mà OPD chuẩn bỏ qua vì không bao giờ sampling ra hành động sửa lỗi. PIVOTOPD chứng minh rằng cần dạy cả phòng ngừa lẫn phục hồi với tín hiệu token-level đặt đúng tại pivotal turn và các lượt kế tiếp.

Hướng tương lai:

Tự động điều chỉnh ngân sách recovery turn theo độ phức tạp của nhiệm vụ thay vì chọn K cố định.
Mở rộng pivot detection sang môi trường không có quan sát đầy đủ (đã tiềm năng trên SWE-Bench dạng container dài hạn).
Kết hợp tín hiệu phục hồi với các phương pháp gán credit theo lượt khác để giảm chi phí teacher.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp pivot detection không cần teacher mạnh hơn: dùng chính student đã train để tự nhận diện lượt quyết định, kết hợp với self-consistency giữa nhiều rollout của cùng một nhiệm vụ.
Học phục hồi thích ứng theo ngữ cảnh: mô hình tự quyết định cần bao nhiêu lượt phục hồi sau một lỗi thay vì ngân sách cố định, dựa trên độ dài chuỗi hành động tối ưu còn lại.
Chuyển tư tưởng 'phòng ngừa + phục hồi' sang agent thực thi phần mềm dài hạn: tự động nhận diện commit sai trong chuỗi sửa lỗi GitHub và sinh chuỗi hành động cứu vãn thay vì rollback toàn bộ.
Phân tích khi nào lỗi không còn khả phục: học một classifier dự đoán 'điểm không quay đầu được' để agent biết khi nào nên dừng sớm thay vì lãng phí lượt.

2. Patent:

Trợ lý ảo trên điện thoại có chế độ 'tự sửa lỗi': khi người dùng xác nhận một bước làm sai (ví dụ đặt nhầm món), hệ thống không chỉ ghi nhớ cách tránh, mà còn mô phỏng tiếp các bước tiếp theo trong một bản sao quy trình để học cách đưa đơn hàng/cuộc hẹn về đúng trạng thái mà không cần người dùng hướng dẫn lại từ đầu.
Chatbot chăm sóc khách hàng tự phục hồi sau câu trả lời lệch: hệ thống phát hiện lượt hội thoại làm khách hàng bối rối, tự sinh hành động 'vãn hồi' cho vài lượt tiếp theo và huấn luyện mô hình nhỏ chạy local trên thiết bị sao chép đúng hành vi đó, giảm tỉ lệ phải chuyển sang nhân viên thật.
Trợ lý lập trình trong IDE tích hợp cơ chế nhận diện 'bước sửa sai': khi thay đổi code làm test cũ hỏng, công cụ xác định đúng thao tác gây hỏng, đề xuất thao tác đúng ở thời điểm đó, và đồng thời sinh chuỗi bước sửa tiếp theo để đưa codebase về trạng thái ổn định, rồi cá nhân hóa gợi ý cho từng lập trình viên.
Hệ thống điều phối robot gia đình tự học từ va chạm: khi robot thực hiện sai (nhặt nhầm vật), một mô hình lớn trên đám mây chỉ ra hành động đúng lẽ ra và vài hành động cứu vãn, còn mô hình nhỏ chạy trên robot được tinh chỉnh để lần sau tự né lỗi và tự thoát khỏi tình huống tương tự khi không có kết nối mạng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40285
ArXiv Abstract	https://arxiv.org/abs/2609.40285
PDF Download	https://arxiv.org/pdf/2609.40285.pdf
Github Repository	N/A

30. Scaling Laws for Looped Mixture of Experts (17 votes)

Tác giả: Yanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthi

Xuất bản lúc: 2026-09-30

Tag: Scaling Laws, Mixture of Experts, Looped Transformers, Recurrence, Sparsity, LLMs, Compute-Optimal Training, Test-Time Scaling

I. Main Problem:

Hai hướng mở rộng hiệu quả cho LLM — looped/recurrent transformers tăng độ sâu tính toán bằng cách tái sử dụng trọng số, và Mixture-of-Experts (MoE) tăng tổng dung lượng bằng sparse routing — vốn bổ sung cho nhau, nhưng các scaling law trước chỉ mô hình hóa một trục: recurrence hoặc sparsity.

Với looped transformers, các mapping trước như linear hoặc power-law giả định lợi ích hiệu dụng từ việc lặp lại không bị chặn, trong khi thực nghiệm cho thấy loss giảm mạnh rồi bão hòa.
Với looped MoE, các nghiên cứu gần đây thường cố định recurrence ở R=2 khi phân tích scaling, nên chưa lượng hóa được cách sparsity làm thay đổi lợi ích của recurrence. Hệ quả: thiếu một nguyên tắc thống nhất để dự đoán loss, chọn recurrence/expert count, và thiết kế mô hình dưới ngân sách compute/memory.

II. Main Idea:

Bài báo đề xuất Loop Scaling Laws, scaling law đầu tiên kết hợp đồng thời model size N, data D, recurrence R, và sparsity qua số expert E / tỉ lệ active parameter m = N_act/N_total.

Ý chính: thay vì coi mỗi vòng lặp như thêm vô hạn tham số, tác giả dùng một ánh xạ recurrence bị chặn: mỗi pass lặp lại thêm một lượng “effective parameters” ngày càng nhỏ, tiến tới một giới hạn hữu hạn.
Với dense looped model: N_eff(R) = N + κ₁N_loop(1 − e^(−(R−1)/κ₂)), trong đó κ₁N_loop là asymptote, κ₂ điều khiển tốc độ bão hòa.
Với looped MoE: κ₁, κ₂ trở thành hàm của sparsity theo κ_j(m)=κ_j m^(−θ). Khi càng nhiều experts, m nhỏ hơn, asymptote recurrence cao hơn và bão hòa đến chậm hơn, phản ánh việc router có thể đưa token qua nhiều đường expert khác nhau qua các lần lặp.
Law mới thu hẹp về dense scaling law khi R=1,E=1; dense-looped khi chỉ R thay đổi; MoE khi chỉ E thay đổi; và dự đoán held-out loss tốt hơn các mapping unbounded.

Ví dụ đời thường: giống đọc lại cùng một bộ hồ sơ nhiều lần để hiểu sâu hơn — lần đầu thu hoạch nhiều nhất, các lần sau vẫn hữu ích nhưng dần ít đi và cuối cùng gần như không thêm gì; nếu mỗi lần đọc lại được gặp các chuyên gia khác nhau cùng giải thích, mỗi vòng lặp mở ra góc nhìn mới nên lợi ích bão hòa chậm hơn.

III. Main Results:

Dự đoán tốt hơn: trên held-out recurrence, model size, data và expert count, bounded sparsity-conditional mapping đạt RMSE thấp nhất; ví dụ dense held-out R giảm từ 0.2566/0.0313 của linear/power xuống 0.0092.
Effective capacity: recurrence tăng hiệu dụng tham số tới một asymptote hữu hạn phụ thuộc sparsity; tăng E làm asymptote cao hơn và kéo dài lợi ích qua nhiều pass hơn.
IsoFLOP frontier: tại cùng training FLOPs, sparsity cao hơn và recurrence cao hơn đều đẩy frontier loss xuống; recurrence R=2 có thể vượt R=1 ở compute thấp hơn.
Thiết kế tối ưu: ngân sách compute lớn hơn và sparsity lớn hơn ủng hộ recurrence cao hơn; memory lớn hơn và recurrence cao hơn ủng hộ nhiều experts hơn; khi memory chặt, recipe chọn recurrence cao hơn, khi memory rộng chọn sparsity cao hơn.
Downstream: sparsity cho khoảng ~3× active-parameter efficiency trên Overall; recurrence cho khoảng ~2× total-parameter efficiency trên reasoning; kết hợp cả hai vượt dense baseline ở matched training compute.
Case study trillion-token: LoopMoE 0.3B active/1.3B total với recurrence chọn theo law, train ở matched compute, bắt kịp reasoning của non-looped MoE 0.6B active/2.9B total khi R≈4–5, đồng thời mở khả năng test-time scaling bằng cách tăng R tại inference.

IV. Conclusion & Future Works:

Kết luận: recurrence và sparsity là hai trục scaling bổ sung nhau, và có thể đưa vào một law chung để vừa dự đoán loss vừa hướng dẫn thiết kế looped MoE dưới ràng buộc compute và memory. Điểm then chốt là lợi ích recurrence không vô hạn mà bị chặn, và sparsity làm tăng giới hạn đó.

Hướng mở rộng tự nhiên: thử nghiệm các chiến lược looping khác ngoài middle-cycle looping.
Triển khai thực tế: dùng law đã fit để chọn recurrence/expert count cho edge deployment, on-device LLM, hoặc chế độ test-time scaling linh hoạt.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Loop Scaling Laws sang routing động hoặc expert-choice, nơi số experts kích hoạt và đường đi qua các vòng recurrence thay đổi theo độ khó token.
Kết hợp scaling law với quantization-aware model design để chọn recurrence, expert count và precision bits dưới cùng ngân sách bộ nhớ điện thoại.
Nghiên cứu recurrent-MoE có kiểm soát inference budget: tự động chọn R tại runtime dựa trên độ khó câu hỏi, độ trễ và năng lượng pin.
Kiểm ch scaling law ở quy mô lớn hơn và trên tác vụ đa modal/dài context để xem asymptote recurrence có thay đổi theo loại dữ liệu không.

2. Patent:

Hệ thống chọn độ sâu lặp lại trên điện thoại: ứng dụng AI phân tích độ khó yêu cầu, tự tăng/giảm số vòng chạy lại cùng một khối mô hình để cân bằng độ chính xác, nhiệt và pin.
Kiến trúc mô hình tiết kiệm bộ nhớ cho thiết bị biên: dùng nhiều chuyên gia ẩn lưu sẵn nhưng chỉ kích hoạt một phần mỗi lượt; mỗi lần lặp lại chọn nhóm chuyên gia khác nhau để tăng khả năng suy luận mà không cần mô hình lớn hơn.
Chế độ làm khó bài kiểm tra tự động: khi câu hỏi phức tạp, trợ lý học tập chạy thêm vòng lặp suy luận và gọi thêm chuyên gia; khi câu đơn giản, giảm vòng lặp để trả lời nhanh.
Hệ thống cập nhật mô hình cho robot/drone offline: nạp thêm experts mới hoặc tăng số vòng recurrence khi có thêm bộ nhớ, giúp thiết bị cũ nâng cấp dần khả năng suy luận mà không thay toàn bộ model.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40316
ArXiv Abstract	https://arxiv.org/abs/2609.40316
PDF Download	https://arxiv.org/pdf/2609.40316.pdf
Github Repository	N/A

31. MILO: Automated Harness Discovery via Orchestrated Multi-Agent Evolution (13 votes)

Tác giả: Prithwish Jana, Mononito Goswami, Hao Liu, Xinyu Li, Langlin Huang, et al.

Xuất bản lúc: 2026-09-29

Tag: LLM Agents, Evolutionary Search, Agentic Systems, Harness Engineering, Multi-Agent Systems, Meta-Learning, Automated Optimization

I. Main Problem:

Agentic systems gồm model LLM + harness (lớp phần mềm quản lý control flow, prompt, tool, memory). Harness ảnh hưởng hiệu năng ngang hoặc hơn cả model, nhưng thiết kế harness hiện nay là thủ công, tốn nhiều tháng của đội kỹ sư và phải làm lại mỗi khi đổi model. Các phương pháp tự động hóa (AHD — Automated Harness Discovery) dùng evolutionary search còn 4 khuyến điểm:

Diversity decay: mutator kiểu LLM thiên về khai thác hơn khám phá, lặp lại cùng một nhóm chỉnh sửa, tụt về vài biến thể giống nhau; nhiều phương pháp chỉ tối ưu prompt/skill, bỏ trống phần lớn không gian harness.
Failure-blind: chỉ giữ lại các ứng viên sống sót, bỏ qua bằng chứng từ các thất bại nên dễ thử lại hướng đã chết.
Search strategy cố định: không tự thoát khỏi local optima; ngay cả EvoX chỉ tự thích ứng parent selection/mutation.
Fitness một mục tiêu: hầu hết chỉ tối ưu accuracy, khiến harness drift về hướng tốn token/latency.

II. Main Idea:

MILO (Meta-evolutionary Island Orchestration) đồng thời tiến hóa harness (vòng lặp trong) và chính chiến lược tìm kiếm (vòng lặp ngoài). Ba thành phần:

Hierarchical lineage memory: không gian tìm kiếm chia thành các island (dòng giống độc lập, cùng trao đổi ý tưởng nhưng không cạnh tranh sinh tồn). Bộ nhớ append-only — lưu cả ứng viên bị từ chối kèm bản vá nguồn và độ lệch accuracy/cost, để mutator dùng thất bại làm bằng chứng loại bỏ, đẩy sang thay đổi cấu trúc táo bạo hơn.
Evidence-driven mutator agents: mỗi island gắn một coding agent khác nhau; khi viết lại toàn bộ harness của parent, nó nhận 3 đầu vào — source code, failure traces + verifier reports của parent, và ảnh chụp toàn bộ cây lineage — để chẩn đoán trước rồi mới quyết định tinh chỉnh cục bộ hay thiết kế lại cấu trúc.
Orchestrator agent (vòng ngoài): khi một island đình trệ quá ngưỡng patience, nó chẩn đoán 4 nguyên nhân (mutator 'cạn' ý, lineage kiệt, niche bị đàn áp, cả quần thể chạm trần) và can thiệp tương ứng: Reassign đổi mutator, Graft lai giống chéo island, Speciate tách cây con thành island mới, Curriculum đổi tập đánh giá ưu tiên task có regret cao.

Vòng lặp trong chọn parent bằng softmax trên dominance × similarity, đánh giá đa mục tiêu (accuracy, token, latency), chỉ nhận con nếu tăng Pareto hypervolume, rồi chấm lại trên tập held-out để chống overfitting.

Ví dụ đời thường: giống ông chủ trại giống chia nhiều đội nhân giống làm việc riêng trên các 'đảo', có sổ ghi cả những lần lai thất bại chứ không chỉ con giống đẹp; khi một đội bế tắc, ông xem sổ, chẩn đoán, rồi đổi nhân viên cho đội, mang giống tốt của đội khác sang lai, tách một nhánh hay bị lấn át thành đội mới, hoặc đổi luôn 'bài tập' huấn luyện — thay vì bắt mọi đội cặm cụi theo một quy trình cố định từ đầu.

III. Main Results:

Terminal-Bench 2.1: 86.1±2.0% — vượt top leaderboard chính thức (83.8±2.3%), tăng +12.0% so với harness ban đầu (GEPA chỉ +4.5%), đồng thời tiết kiệm 26% token.
PaperBench: +28.3% so với harness ban đầu (Meta-Harness +18.3%).
DeepSWE: +10.3%; với backbone mở gpt-oss-120b đạt 15.6% — gấp 20 lần harness ban đầu, trong khi các phương pháp tìm kiếm trước đều <1%.
Vượt 8 harness SoTA và 6 phương pháp search với cả Opus 4.8 và gpt-oss-120b; đánh bại cả best prior search về accuracy lẫn cost.
Khái quát hóa tốt: harness tìm được trên Terminal-Bench 2.1 đạt 2.7× Mini-SWE-Agent trên Frontier-Bench khó hơn mà không cần tìm kiếm lại; ngay cả seed yếu nhất cũng có thể sinh harness tốt nhất.
EinsteinArena (toán mở, instance-level): thu hẹp cận trên kỷ lục cho bất đẳng thức Erdős minimum-overlap và autocorrelation thứ nhất, thứ ba — vượt AlphaEvolve, TTT-Discover và EvoX.

IV. Conclusion & Future Works:

MILO chứng minh AHD cần bảo tồn đa dạng (island không cạnh tranh), khai thác thất bại (bộ nhớ append-only), và tự thích ứng cấp meta (orchestrator viết lại mutator/memory/curriculum) — những yếu tố thiếu trong mọi evolutionary search trước. Framework model-agnostic và domain-agnostic vì chỉ đọc/đánh giá source code.

Hướng tương lai:

Mở rộng sang instance-level discovery: dùng AHD để tiến hóa agent viết chương trình tối ưu (thay vì tiến hóa trực tiếp chương trình), đã thử nghiệm sơ bộ trên EinsteinArena.
Áp dụng cho các họ solver khác: preference-optimization algorithms, design heuristics.
Đưa sang domain mới: autoformalization, time-series engineering.
Tiến tới agent tự cải thiện harness của chính mình (recursive self-improvement).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyên sâu về orchestrator: phân tích định lượng khi nào Reassign, Graft, Speciate hay Curriculum hiệu quả nhất, và chi phí chẩn đoán sai trong meta-evolutionary search.
MILO cho instance-level discovery: tiến hóa agent 'writer' của chương trình tối ưu thay vì chương trình, đánh giá rộng trên các bài toán khoa học mở ngoài EinsteinArena.
Bộ nhớ failure-aware cho evolutionary search: định lượng giá trị của bằng chứng tiêu cực (rejected candidates) trong việc giảm số lượt đánh giá tốn kém của harness/agent.
Multi-objective Pareto admission cho agent optimization: cân bằng accuracy–token–latency khi tự động thiết kế scaffolding cho LLM agent.

2. Patent:

Dịch vụ đám mây tự động tối ưu harness cho chatbot doanh nghiệp: hệ thống tạo nhiều 'island' thử nghiệm song song các cấu hình agent (prompt, tool, luồng điều khiển), ghi nhớ cả phiên bản thất bại, và khi một nhánh ngừng cải thiện sẽ tự đổi chiến lược ghép/lai/tách — khách hàng chỉ nhận harness tốt nhất đã kiểm chứng trên tập kiểm thử riêng.
Plugin cho IDE/điện thoại tự tinh chỉnh trợ lý lập trình cá nhân: ứng dụng trên điện thoại chạy ngầm các vòng đánh giá nhỏ với bài kiểm thử của repo, đa dạng hóa cách agent gọi tool và kiểm chứng code, rồi cập nhật harness mới giúp giảm token tiêu thụ và thời gian trả lời.
Hệ thống tự chẩn đoán và sửa quy trình agent chăm sóc khách hàng: khi tỷ lệ giải quyết ticket của một cấu hình agent chững lại, bộ điều phối tự xác định nguyên nhân (người viết quy trình 'cạn' ý hay nhóm cấu hình bị lấn át) và tự động chuyển sang lai ghép quy trình tốt nhất giữa các nhóm hoặc đổi bộ tình huống huấn luyện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38349
ArXiv Abstract	https://arxiv.org/abs/2609.38349
PDF Download	https://arxiv.org/pdf/2609.38349.pdf
Github Repository	N/A

32. CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering (13 votes)

Tác giả: Prince Zizhuang Wang, Chenhao Liang, Zelong Xu, Aojie Yuan, Xiaolin Zhou, et al.

Xuất bản lúc: 2026-09-26

Tag: Computer-Use Agents, Coding Agents, GUI Feedback, Software Engineering Benchmark, Visual Debugging, Deterministic Evaluation, Web, Game, DevOps, Mobile

I. Main Problem:

Lập trình phần mềm tương tác không chỉ là sửa code trên file: để biết lỗi nằm ở đâu, agent phải chạy ứng dụng, bấm/kéo/thao tác trên giao diện, nhìn ảnh chụp màn hình, rồi nối hiện tượng nhìn thấy với đoạn code chịu trách nhiệm. Các benchmark hiện có tách rời hai năng lực:

Coding agents chủ yếu đọc repo, edit file, chạy test/command.
Computer-use agents chủ yếu hoàn thành tác vụ người dùng trên app có sẵn.

Thiếu một môi trường thống nhất để hỏi: agent có dùng phản hồi GUI để chẩn đoán, sửa và xác minh phần mềm không, và có hoàn thành được tác vụ khi spec vận hành chỉ xuất hiện qua giao diện app đang chạy không.

II. Main Idea:

CUA-SWE là benchmark + môi trường phát triển + pipeline đánh giá cho “visual software engineering”: agent nhận một project có thể sửa, một app đang chạy, và phải hoàn thành tác vụ bằng cách kết hợp:

Coding access: đọc/sửa code, chạy build/test/script.
Computer-use access: xem screenshot, click, gõ phím, cuộn, thao tác GUI.
Deterministic verifier: chấm kết quả bằng cách chạy phần mềm đã sửa, kiểm tra behavior mới, regression, và giới hạn phép sửa.

Mỗi tác vụ thuộc Web, Game, DevOps, Mobile; một số tác vụ có spec nằm trong source, một số buộc agent đọc “tài liệu vật liệu” như bản vẽ, hợp đồng dịch vụ hoặc thẻ tham chiếu hiển thị trên app. Điểm mấu chốt là agent phải lặp vòng quan sát runtime → sửa code → chạy lại app → kiểm chứng, thay vì chỉ đoán từ static code.

Ví dụ đời thường: giống thợ sửa máy không chỉ đọc sơ đồ mạch mà phải bấm thử nút, nhìn đèn/báo lỗi trên màn hình, đoán đúng linh kiện hỏng, thay rồi bấm lại để xem máy chạy đúng chưa.

III. Main Results:

CUA-SWE có 105 tác vụ: 36 Web, 29 Game, 20 DevOps, 20 Mobile; mỗi tác vụ đi kèm verifier độc lập, có reference repair và các “negative repairs” để kiểm tra verifier đủ chặt.
So sánh code-only vs hybrid CUA: mọi frontier model đều tăng điểm khi được thêm screenshot và thao tác GUI; GPT-6-Astra tăng +48.6 điểm phần trăm, từ 11.3% lên 59.9% success trung bình 4 domain.
GPT-6-Astra dẫn đầu ở cả bốn domain, đạt cao nhất trong từng domain; lợi thế đến từ khả năng khôi phục quan hệ bánh răng/sprite chính xác, xử lý canvas sau thay đổi hình học, và probe endpoint để suy ra rule vận hành trong DevOps.
Lợi ích của GUI tập trung ở các tác vụ application-material-dependent; với tác vụ chỉ cần source-specified, chênh lệch gần như bằng 0 và biến động mạnh giữa các model.
Phân tích trajectory cho thấy agent mạnh hơn không chỉ sửa lỗi nhìn thấy mà còn dùng phản hồi sau edit để phát hiện lỗi liên kết thứ hai và replay để xác minh.
Về độ tin cậy: GPT-6-Astra giải được 34.5% tác vụ Game trong cả 3 lần thử, so với 3.4% của GPT-5.6-Sol; retry tăng coverage nhưng consistency mới phản ánh năng lực ổn định.
SFT nhỏ trên reference replays cho Qwen3.8-27B làm native-verifier pass rate tăng từ 11.1% lên 33.3% trên Web split, cho thấy CUA-SWE có tín hiệu học được.

IV. Conclusion & Future Works:

CUA-SWE chứng minh rằng thao tác GUI là kênh thông tin thật cho software engineering, đặc biệt khi yêu cầu nằm trong hành vi/ tài liệu hiển thị của app. Benchmark kết nối code edit, runtime observation và deterministic verification trong cùng episode, đồng thời cung cấp reward nhị phân cho post-training.

Hướng tương lai: mở rộng RLVR bằng verifier thực thi để chấm episode sinh mới; thu rollout song song trong nhiều application workspace; cải thiện credit assignment giữa edit code, quan sát ảnh và tương tác GUI; mở rộng sang domain/app dài hơn và workflow phát triển phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp RLVR trên CUA-SWE để huấn luyện agent tối ưu xác suất pass verifier cuối episode, dùng reward từ execution thay vì judge ngôn ngữ.
Nghiên cứu chiến lược thu thập rollout song song cho môi trường vừa có terminal command vừa có GUI, nhằm giảm chi phí sinh trajectory dài nhiều bước.
Mở rộng CUA-SWE sang tác vụ multi-tool và multi-application, yêu cầu agent phối hợp IDE, trình duyệt/app mobile, log service và kiểm chứng hồi quy dài hơn.

2. Patent:

Hệ thống hỗ trợ sửa lỗi app mobile trên điện thoại: agent tự mở app, chạm/thao tác theo kịch bản người dùng, chụp màn hình từng bước, đối chiếu với code nguồn để đề xuất patch và tự bấm lại app sau khi vá để xác minh.
Trợ lý kiểm thử web tự động cho doanh nghiệp: nhận mô tả lỗi UI, mở trang web, thực hiện click/cuộn/nhập liệu, so sánh ảnh trước-sau, sửa CSS/JS rồi chạy lại kịch bản để xác nhận layout và interaction ổn định.
Công cụ vận hành DevOps có giao diện trực quan: agent đọc dashboard cảnh báo/metrics/log bằng ảnh chụp màn hình, suy ra sai lệch cấu hình hoặc alert logic, chỉnh config rồi kiểm tra lại bằng replay endpoint và đối chiếu chỉ số dịch vụ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32600
ArXiv Abstract	https://arxiv.org/abs/2609.32600
PDF Download	https://arxiv.org/pdf/2609.32600.pdf
Github Repository	https://github.com/kingofspace0wzz/cua-swe

33. The Low-Rank Structure of VLA Reinforcement Learning (12 votes)

Tác giả: Minjae Oh, Yoonah Park, Jongwon Lim, Yohan Jo

Xuất bản lúc: 2026-09-28

Tag: Reinforcement Learning, Vision-Language-Action, Robotics, Low-Rank Updates, Flow Matching, LoRA, Representation Steering, Model Interpretability

I. Main Problem:

Reinforcement learning đang được dùng nhiều để post-train các mô hình Vision-Language-Action, nhưng cơ chế thật sự của quá trình này còn mờ: RL thay đổi thành phần nào trong action expert, tại sao cập nhật lại có cấu trúc thấp, và tín hiệu học được nằm ở đâu trong không gian tham số. Điều này khiến việc thiết kế fine-tuning hiệu quả, chọn module cho LoRA, và hiểu khả năng chuyển giao giữa các tác vụ còn chủ yếu dựa vào thử nghiệm. Đặc biệt, các Timestep Modules nhỏ trong flow-based action expert thường bị bỏ qua dù chúng điều phối toàn bộ quá trình khử nhiễu theo từng bước thời gian.

II. Main Idea:

Bài báo phân tích hiệu cập nhật tham số ΔW = W_trained - W_reference trên các họ mô hình flow-based phổ biến như π0.5 và GR00T N1.5/N1.6, qua các benchmark LIBERO, ManiSkill, MetaWorld và CALVIN. Trục chính gồm bốn bước:

Định vị cập nhật: đo update density và effective rank, so sánh BC với RL.
Thay module kiểm chứng: giữ lại chỉ Timestep Modules của checkpoint RL, hoặc loại chúng ra, để xem phần nào mang lại hiệu năng.
Phân tách thành phần đầu ra: tách scale, shift, gate của AdaRMS để tìm vector chịu ảnh hưởng mạnh nhất.
Khai thác tín hiệu: dùng linear probe để dự đoán thành công/thất bại, rồi steer policy theo hướng shift update.

Kết quả cốt lõi: RL tạo cập nhật dày nhưng low-rank rất mạnh trong Timestep Modules, tức Time MLP và AdaRMS, nơi biến bước khử nhiễu τ thành các vector scale, shift, gate. Nguyên nhân then chốt là on-policy RL chỉ huấn luyện tại vài bước τ rời rạc dùng trong rollout, khác với BC huấn luyện trên toàn khoảng [0,1]. Trong ba đầu ra, shift vector đổi hướng mạnh nhất và mang nhiều thông tin liên quan đến kết quả tác vụ; scale và gate phần lớn bị rescale theo hướng cũ.

Ví dụ đời thường: giống như thay vì học lại toàn bộ cách lái xe, người học chỉ chỉnh vài nút âm lượng theo đúng từng đoạn đường quen thuộc; mỗi nút chỉ bật/tắt theo một hướng cố định, nhưng tổng hợp lại đủ làm xe chạy khác hẳn.

III. Main Results:

Vị trí cập nhật: RL cập nhật rất dày vào Timestep Modules, khoảng 70-95% tham số, trong khi attention và MLP chỉ dưới khoảng 5%.
Cấu trúc low-rank: effective rank của cập nhật RL trong Timestep Modules chỉ khoảng 6-30, thấp hơn gần một bậc so với BC khoảng 250-650. Hiện tượng này không xuất hiện tương tự ở image/video DiT, gợi ý nó đặc thù cho action policy.
Timestep Modules chứa phần lớn lợi ích RL: thí nghiệm thay module cho thấy chỉ giữ Timestep Modules RL gần như bắt kịp policy RL đầy đủ, trong khi loại chúng làm giảm mạnh hiệu năng, ví dụ tới -39.7% trên ManiSkill.
LoRA nhắm đúng module: LoRA áp vào Timestep Modules hội tụ nhanh hơn và đạt success rate cao hơn cấu hình LoRA chuẩn.
Shift vector mang thông tin kết quả: chiếu hidden state lên hướng shift update để dự đoán thành công episode đạt ROC-AUC tới 99.6% trên LIBERO và ManiSkill.
Hình học shift phản ánh quan hệ tác vụ: độ tương đồng giữa các shift update tương quan với pattern chuyển giao cross-task, có mối liên hệ rõ theo Spearman correlation.
Steering không cần thêm RL: can thiệp representation theo hướng shift khi probe báo lệch khỏi vùng thành công cải thiện policy RL thêm 2.0-4.0% trên năm benchmark.

IV. Conclusion & Future Works:

Bài báo cho thấy RL post-training trong flow-based Vision-Language-Action có thể được hiểu phần lớn như vài thay đổi vector-level theo từng bước khử nhiễu, tập trung trong Timestep Modules và đặc biệt trong shift vector. Điều này mở hướng cho post-training tiết kiệm tham số, residual RL nhẹ hơn, cấu hình adapter hiệu quả hơn, và cơ chế interpretability dựa trên hướng cập nhật. Hướng tương lai gồm: nghiên cứu BC huấn luyện theo bước thời gian rời rạc; thiết kế module residual nhỏ thay thế full-parameter RL; tận dụng hình học shift để suy luận khả năng chuyển giao và cộng hợp hành vi giữa các tác vụ.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng phân tích low-rank sang các kiến trúc action expert khác ngoài flow matching, kiểm chứng liệu cấu trúc cập nhật theo bước thời gian có phải nguyên tắc chung của policy sinh hành động liên tục hay không.
Phát triển phương pháp residual RL chỉ học các adapter nhỏ tại Timestep Modules, đánh đổi giữa hiệu năng, chi phí tính toán và độ ổn định khi triển khai trên robot thật.
Dùng hình học shift update để dự đoán cặp tác vụ nào chuyển giao tốt, từ đó thiết kế curriculum RL hoặc bộ tham số dùng chung giữa các tác vụ liên quan.
Nghiên cứu BC với bước khử nhiễu rời rạc như một biến thể huấn luyện riêng, làm rõ lợi ích và rủi ro so với BC chuẩn trên miền thời gian liên tục.
Kết hợp probing thành công với steering thích ứng để tạo cơ chế tự phát hiện và tự sửa lỗi tại inference time cho chính sách robot.

2. Patent:

Hệ thống tinh chỉnh robot trên điện thoại sau khi đã huấn luyện: thay vì gửi toàn bộ mô hình về đám mây, điện thoại chỉ tải một gói nhỏ gồm vài hướng chỉnh tại các bước khử nhiễu; robot chạy thử vài lần, ứng dụng dự đoán kiểu lỗi rồi áp hướng chỉnh phù hợp ngay trên thiết bị.
Module hậu kỳ tối ưu cho robot gia đình: phần mềm trên điện thoại hoặc hub gia đình cho phép cài thêm một adapter rất nhỏ vào phần điều phối theo từng bước sinh hành động, giúp robot học một thao tác mới như gấp khăn hoặc đặt cốc mà không cần nâng cấp toàn bộ model.
Ứng dụng cảnh báo và tự sửa thao tác robot: camera điện thoại quan sát robot thực hiện nhiệm vụ, hệ thống chiếu trạng thái nội bộ lên hướng liên quan đến thành công; nếu dấu hiệu lệch sang vùng thất bại, app tự phát lệnh chỉnh nhẹ để robot sửa quỹ đạo trước khi làm hỏng vật thể.
Bộ tinh chỉnh nhanh cho cánh tay robot đổi phụ kiện: khi đổi đầu hút, đầu kẹp hoặc camera, robot chạy vài chu kỳ thử; điện thoại thu ảnh và dùng mô hình đã huấn luyện để cài một bản chỉnh nhỏ theo từng bước sinh chuyển động, rút ngắn thời gian hiệu chuẩn phụ kiện.
Dịch vụ cá nhân hóa robot qua đám mây - điện thoại: người dùng chọn tác vụ trên app, hệ thống tải về một gói hướng cập nhật siêu nhẹ cho từng bước khử nhiễu; sau vài lần chạy, app gửi phản hồi thành công về đám mây để làm mới gói chỉnh mà không thay đổi lõi robot.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.34599
ArXiv Abstract	https://arxiv.org/abs/2609.34599
PDF Download	https://arxiv.org/pdf/2609.34599.pdf
Github Repository	N/A

34. I Have a Stream: Making Self-Supervised Learning Work on Continuous Video (12 votes)

Tác giả: Ivan Martinović, Lukas Knobel, Yuki M. Asano

Xuất bản lúc: 2026-09-30

Tag: Self-Supervised Learning, MAE, Streaming Video, Continuous Learning, ViT, Representation Learning, Video Pretraining

I. Main Problem:

Học biểu diễn tự giám sát thường giả định dữ liệu được xáo trộn toàn cục, lặp nhiều epoch và tạo batch đa dạng; trong khi trải nghiệm thị giác tự nhiên là luồng video liên tục, các khung hình gần nhau gần giống nhau. Bài toán: huấn luyện từ đầu trên video theo thứ tự thời gian bằng sliding-window batches, không global reshuffling, không multi-epoch replay, không replay buffer dài hạn. Thách thức chính không phải các batch liên tiếp giống nhau, mà là intra-batch similarity: trong cùng một batch có quá nhiều khung gần-trùng lặp khiến mô hình học từ nội dung lặp lại, làm suy giảm tối ưu và khả năng chuyển giao.

II. Main Idea:

Giữ nguyên mục tiêu MAE reconstruction — che một phần ảnh rồi tái tạo — nhưng thay đổi đường ống dữ liệu để chống lại khung hình trùng lặp trong luồng video. Các thành phần chính của StreamMAE:

Stream-aware regularization: color jitter tăng độ đa dạng màu sắc/độ sáng; tăng drop path để giảm overfit; DataDrop bỏ ngẫu nhiên phần lớn ví dụ trong batch khi nhiều khung quá giống nhau.
Two-stage cropping: tách chọn vùng ảnh thành hai bước — chọn vùng đầu tiên, rồi mới áp dụng random resized crop kiểu MAE bên trong.
Motion-biased crop selection: tính khác biệt pixel giữa hai khung liên tiếp theo từng patch ViT, chọn vùng crop đầu tiên có nhiều thay đổi chuyển động nhất, nhưng vẫn dùng ngẫu nhiên một phần để tránh chỉ nhìn vào cùng vùng hot-spot.

Ý chính là đưa động lực học gradient của streaming MAE gần hơn với MAE huấn luyện i.i.d., thay vì đổi bản chất mục tiêu học.

Ví dụ đời thường: như xem một đoạn phim đi bộ qua phố rất dài; thay vì cố nhớ cả con đường trông giống nhau hoài, ta lược bớt nhiều khoảnh khắc lặp lại và chăm chú nhìn những chỗ có người qua, xe rẽ, cửa mở — vì đó là nơi có thông tin mới.

III. Main Results:

Trên WT++12h với ViT-S: StreamMAE đạt khoảng 77.5 ImageNet top-1, 63.8 Cityscapes mIoU, 26.1 ADE20K mIoU, vượt các baseline streaming MoCo v3, DINO, streaming MAE, Orthogonal-MAE và MemoryStoryboard; gần hoặc ngang i.i.d. MAE cùng dữ liệu.
Khi tăng nền ViT lên ViT-B và nới luồng từ WT++12h tới WT++95h, kết quả cải thiện rõ: ví dụ ViT-B/WT++95h đạt khoảng 82.0 IN-1K, 74.0 Cityscapes, 36.5 ADE20K, cho thấy StreamMAE scale tốt với dữ liệu và capacity.
Phân tích cho thấy inter-batch similarity gần như không gây hại nếu batch vẫn đa dạng; điểm yếu thật sự là intra-batch similarity cao trong video liên tục.
Ablation: regularization và motion-biased crop selection mang lại phần lớn lợi ích; DataDrop hữu ích ở quy mô nhỏ nhưng gần như không quan trọng khi lên ViT-B và stream dài hơn.
Checkpoint averaging trên cùng một trajectory dài cải thiện dense prediction nhẹ.
Khái quát hóa ngoài walking tours: trên HD-EPIC, CROWD và KrishnaCAM, StreamMAE cũng vượt streaming MAE và thường ngang hoặc hơn i.i.d. MAE cùng dữ liệu ở nhiều benchmark.

IV. Conclusion & Future Works:

StreamMAE chứng minh masked reconstruction là nền tảng mạnh hơn contrastive/self-distillation cho học từ video streaming liên tục, miễn là pipeline lấy mẫu biết né nội dung lặp và ưu tiên vùng có thay đổi. Hướng mở rõ từ kết quả: tiếp tục scale luồng pretraining dài hơn và backbone lớn hơn, giảm phụ thuộc vào DataDrop ở quy mô lớn, kiểm tra thêm các tác vụ embodied/edge nơi dữ liệu đến tuần tự, và kết hợp stream-aware sampling với cơ chế nhớ ngắn hạn phù hợp khi cần ổn định continual learning.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng StreamMAE sang mô hình video encoder thật sự, giữ tinh thần streaming nhưng thêm điều kiện thời gian yếu để học cả biểu diễn không gian và nhịp thay đổi cảnh.
Nghiên cứu chiến lược chọn vùng dựa trên độ mới thông tin thay vì chỉ chênh lệch chuyển động hai khung, để tránh kẹt ở vùng biến động nhưng không mang nội dung học được mới.
Kết hợp StreamMAE với bộ nhớ có ngân sách nhỏ cho robot/edge device: chỉ lưu prototypical scenes hoặc hard frames, đánh đổi bộ nhớ tối thiểu với ổn định continual learning.
Đánh giá StreamMAE trong môi trường thay đổi phân phối rõ rệt như ngày/đêm, trong nhà/ngoài trời, xe cộ đông/ít người, để kiểm tra robustness khi luồng video có concept drift.

2. Patent:

Ứng dụng điện thoại học thị giác cục bộ từ video quay liên tục: thay vì tải toàn bộ video lên đám mây và xáo trộn dữ liệu, điện thoại xử lý luồng khung theo thứ tự, tự động bỏ qua nhiều khung trùng lặp, ưu tiên vùng ảnh có chuyển động hoặc thay đổi cảnh để cập nhật mô hình nhận diện cảnh, vật thể, cử chỉ ngay trên máy.
Hệ thống camera an ninh/dashcam tự cải thiện theo thời gian thực: camera liên tục học từ luồng video mới mà không cần lưu toàn bộ đoạn phim; nó chọn các vùng có biến đổi như người đi qua, xe rẽ, vật xuất hiện để tinh chỉnh mô hình phát hiện sự kiện, đồng thời tránh học lặp từ nền tĩnh.
Module hỗ trợ robot gia đình khi di chuyển qua nhà: robot quay luồng video trong khi đi, dùng chênh lệch khung hình để chọn vùng có thay đổi như cửa mở, đồ vật dịch chuyển, người bước ra; từ đó cập nhật khả năng nhận diện môi trường mà không cần gửi toàn bộ video riêng tư lên server.
Tính năng tiết kiệm pin và bộ nhớ cho mô hình thị giác trên thiết bị di động: hệ thống chỉ forward một phần nhỏ các khung trong mỗi cửa sổ thời gian, ưu tiên khung/vùng có chuyển động đáng kể, giúp huấn luyện hoặc thích nghi cục bộ nhanh hơn mà vẫn giữ chất lượng nhận diện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40333
ArXiv Abstract	https://arxiv.org/abs/2609.40333
PDF Download	https://arxiv.org/pdf/2609.40333.pdf
Github Repository	N/A

35. RoboCoach: World Models as Active Coaches for Compositional Robot Skills (12 votes)

Tác giả: Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, et al.

Xuất bản lúc: 2026-09-30

Tag: World Models, Robotics, VLA, Robot Manipulation, Active Learning, LoRA, Imitation Learning

I. Main Problem:

Tác vụ robot thao tác long-horizon (pha trà, dọn bàn) ghép lại từ nhiều kỹ năng có thể tái sử dụng, nhưng một lỗi nhỏ ở đoạn nào đó cũng làm cả chuỗi thất bại. Cải thiện bằng cách thu thêm demonstration end-to-end cho toàn bộ tác vụ thì:

quá tốn kém — mỗi quỹ đạo thật tiêu tốn giờ phần cứng, reset môi trường và giám sát an toàn
không mở rộng được cho cái đuôi dài của mọi cách kết hợp kỹ năng

Câu hỏi cốt lõi: với ngân sách data hạn chế, nên thu demonstration cho kỹ năng nào và cập nhật thành phần chính sách nào?

II. Main Idea:

RoboCoach tách biệt dự đoán chung và cập nhật có chọn lọc: robot chạy chính sách trong CoachWorld (world model action-conditioned dùng chung cho mọi robot), ghi nhận chỗ nào hỏng, rồi chỉ xin data thật và chỉnh đúng phần hỏng. Vòng lặp RIDI:

Route: tách lệnh dài thành chuỗi subtask, điều phối từng subtask tới skill expert tương ứng (trên VLA backbone chung, mỗi expert là bộ LoRA adapter riêng)
Imagine: expert chạy closed-loop trong CoachWorld — model dự đoán video tương lai theo quỹ đạo end-effector, expert nhìn ảnh mới sinh ra rồi quyết định hành động tiếp
Diagnose: progress judge (RoboMeter) đánh giá subtask hiện tại hoàn thành chưa; nếu quá giới hạn thời gian vẫn chưa xong thì ghi lại cặp subtask–expert bị kẹt (chạy 3 seed, lấy chẩn đoán đa số)
Improve: gom các bản ghi thành scorecard, chọn M cặp bị kẹt nhiều nhất, xin demonstration đúng cho chúng và chỉ fine-tune LoRA của các expert đó (backbone và expert khác đóng băng)

Ví dụ đời thường: giống huấn luyện viên cho võ sĩ tập trong mô phỏng — quan sát đòn nào hỏng lặp đi lặp lại, rồi mướn sparring partner thật chỉ để sửa đúng đòn đó thay vì tập lại toàn bộ trận đấu.

III. Main Results:

World model đáng tin cho coaching: thành công trong imagination và khi chạy thật tương quan Spearman ρ = 0.840 trên 22 cặp tác vụ–chính sách; CoachWorld đạt LPIPS 0.0996 / FVD 51.71 trên DROID-180, vượt Ctrl-World, Cosmos 3, OSCAR-2B; RoboMeter judge giữ F1 83.84% ngay cả trên ảnh do world model sinh ra.
Hiệu quả trên robot thật với ngân sách cố định (150 demo subtask/nền tảng): Franka tăng 13.3% → 75.0% (baseline shared adapter chỉ 30.0%), AgileX tăng 40.0% → 83.8% (baseline 47.5%).
Cặp đôi acquisition × update location quyết định: cùng lượng data được nhắm mục tiêu, update vào expert tương ứng thay vì adapter chung lợi hơn +3.4 điểm (LIBERO) và +13.2 điểm (RoboTwin); trong hệ modular, nhắm mục tiêu bằng world model thắng chọn ngẫu nhiên +2.8 và +12.8 điểm.
Khái quát hóa tổ hợp chưa thấy: 4 cấu hình long-horizon mới (nối dài, ghép chéo tác vụ, đảo thứ tự kỹ năng) đạt trung bình 35.0% trong khi baseline chính sách chung đạt 0%.

IV. Conclusion & Future Works:

World model không chỉ để mô phỏng thêm trải nghiệm, mà có thể đóng vai huấn luyện viên chủ động — quyết định kinh nghiệm thật khan hiếm nên đổ vào đâu. Chỉ cần 150 demonstration subtask đã nâng mạnh độ thành công trên robot thật, và các expert được coach tái kết hợp được trên tuyến đường mới.

Hạn chế & hướng mở:

Vật bị che khuất hoặc va chạm ngoài tầm camera làm dự đoán vật lý suy giảm
Thống nhất giữa các seed giảm nhiễu ngẫu nhiên nhưng không loại trừ thiên lệch hệ thống của world model
Thư viện expert đang định nghĩa sẵn theo ngữ nghĩa kỹ năng; tự học cấu trúc thư viện và giảm phụ thuộc demonstration của người vẫn là bài toán mở

V. Brainstorming Space:

1. Publish Papers:

Tự động học cấu trúc thư viện skill expert thay vì định nghĩa thủ công: robot tự phát hiện khi nào cần tách/ghép expert trong quá trình coaching.
Kết hợp world model coaching với RL post-training để vừa xin demonstration có mục tiêu vừa tự tinh chỉnh adapter qua tương tác tưởng tượng.
Mở rộng CoachWorld cho cảnh vật bị che khuất và tương tác ngoài tầm nhìn bằng cách kết hợp tín hiệu cảm biến xúc giác/lực vào dự đoán video.

2. Patent:

Hệ thống huấn luyện robot tự chẩn đoán cho nhà máy: robot chạy thử tác vụ trong bản mô phỏng video trên điện thoại/máy tính bảng của vận hành viên; app chỉ ra đúng động tác bị kẹt và hướng dẫn người dùng diễn lại đúng động tác đó, robot cập nhật kỹ năng ngay sau vài lần diễn.
Ứng dụng dạy robot gia đình qua điện thoại: người dùng mô tả việc nhà dài hơi (dọn bàn, pha trà); robot mô phỏng trước trên điện thoại, xin người dùng chỉ dạy vài động tác còn yếu thay vì phải hướng dẫn lại toàn bộ quy trình.
Nền tảng coaching kỹ năng đa robot: một world model dùng chung phục vụ nhiều mẫu cánh tay khác nhau (một tay, hai tay); khi thêm robot mới chỉ cần huấn luyện LoRA adapter nhỏ cho từng kỹ năng, hạ thấp chi phí đưa robot mới vào vận hành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39685
ArXiv Abstract	https://arxiv.org/abs/2609.39685
PDF Download	https://arxiv.org/pdf/2609.39685.pdf
Github Repository	https://github.com/RoboCoach-AI/CoachWorld

36. A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications? (12 votes)

Tác giả: Seonho Lee, Wonryeol Jeong, Alberto Cereser, Inha Kang, Hyeonjong Kim, et al.

Xuất bản lúc: 2026-09-30

Tag: Coding Agents, LLMs, Benchmarks, Game Development, Specification Following, Program Synthesis, Evaluation, Agents

I. Main Problem:

Các coding agent ngày càng được giao phát triển trọn vẹn ứng dụng, nhưng benchmark game hiện tại chủ yếu dùng spec ngắn, spec tokens thấp, và đánh giá rời rạc ở một trục như build pass, replay rubric hoặc source inspection. Với game thật, yêu cầu nằm trong Game Design Document dài thường có quan hệ nhân quả: một rule làm điều kiện cho rule khác, nên pass cục bộ không đồng nghĩa hệ thống chạy đúng thiết kế khi chơi.

Thách thức cốt lõi:

Long-form GDD có ~20k tokens, gồm logic game, rendering và tương tác người chơi.
Câu mang tính nhân quả trong tài liệu game ở mức 38.4%, cao hơn văn bản thông thường ~28%.
Một trục đánh giá duy nhất có thể bỏ sót lỗi runtime: ví dụ rule pass ở source nhưng khi playtest thì phần thưởng được cộng mà không xóa bài như thiết kế yêu cầu.
Vì vậy cần một thước đo faithfulness theo đúng spec và quan hệ giữa các yêu cầu, không chỉ 'game chạy được'.

II. Main Idea:

A2Z GameSpec-Bench đo mức độ coding agent tạo game trung thành với long-form GDD bằng cách biến GDD thành Dependency-Aware Contract cố định: mỗi yêu cầu được gắn điều kiện, trigger, hiệu ứng kỳ vọng và các cạnh prerequisite khi rule này cập nhật trạng thái hoặc phát sự kiện cho rule khác. Contract này giữ nguyên xuyên suốt mọi agent và vòng revise, để so sánh công bằng.

Quy trình đánh giá gồm ba trục bổ sung cho cùng contract:

Source-code inspection: evaluator agent kiểm tra implementation, invariant; rule có nhiều downstream reach được tính trọng số cao hơn.
Scenario-based replay: mỗi kịch bản dùng input cố định; full replay được giữ lại, judge chọn frame theo trace liên quan thay vì sample đều, rồi chấm visual rubric.
Adaptive playtest: bot theo code-as-policy quan sát trạng thái runtime để chọn input; chơi thường kiểm tra luồng từ đầu, adversarial test khởi tạo precondition cho rule chưa được verify.

Judgment và evidence từ code, frame, trace đều link về cùng requirement, tạo feedback nhắm đúng rule cần sửa. GDD Fidelity là trung bình ba trục.

Ví dụ đời thường: giống kiểm tra một căn bếp không chỉ nhìn sơ đồ ống nước, mà mở van từng khu vực, quan sát nước chảy tới đâu, rồi nếu chỗ nào chưa tới thì đặt sẵn áp lực đúng chỗ để xem vòi cuối cùng có bật đúng không.

III. Main Results:

Chạy được không đồng nghĩa đúng thiết kế: Claude-Fable-5.1 đạt verifiable rate 98.7% nhưng GDD Fidelity chỉ 77.0; nhiều agent khác cũng compile/run cao trong khi fidelity thấp hơn nhiều.
Bảng xếp hạng tổng: Claude-Fable-5.1 dẫn đầu 77.0, Claude-Opus-5 73.9, GPT-6-Astra 71.6, GPT-5.5 63.2, GPT-5.6-Sol 61.8, Claude-Opus-4.8 56.8, GLM-5.3 55.6, DeepSeek-V4-Pro 50.4, Kimi-K2.7 39.5.
Big GDD khó hơn rõ rệt: điểm tổng giảm trung bình 20.0 điểm từ Small sang Big; ba trục source, replay, playtest cùng giảm mạnh, cho thấy khó khăn nằm ở cả implementation lẫn rendered/runtime behavior.
Dependency làm lộ lỗi tích hợp: với 100 game của GPT-5.6-Sol, pass rate rule khi xét prerequisite upstream giảm từ 72.4% cục bộ xuống còn 22.7%.
Thêm dependency context giúp coverage các playtest violation tăng từ 71.1% lên 80.2%, bổ sung 51 violation trên 26 game mà enumerated source credit ban đầu bỏ sót.
Ba trục bổ sung nhau: trong số rule source-code chấm đầy, chỉ 76.8% được playtest xác nhận satisfied; ngược lại 25.7% rule source chấm 0 vẫn satisfied lúc chạy.
Feedback nhắm requirement có giá trị: trên 50 Big GDD, ba-trục feedback nâng GDD Fidelity từ 67.0 lên 74.3 sau hai vòng, tức +10.9% tương đối so với self-revision.

IV. Conclusion & Future Works:

Benchmark cho thấy cần tách rõ verifiability kỹ thuật khỏi specification faithfulness: game compile và chạy vẫn có thể vi phạm thiết kế khi rule phụ thuộc không được nối đúng qua code, hình ảnh và hành vi chơi. Contract cố định theo requirement giúp so sánh agent, chẩn đoán lỗi tích hợp và tạo feedback sửa đúng chỗ.

Hướng mở rộng được gợi mở từ thiết lập: áp khung sang game 3D Three.js, thử nghiệm thể loại/ quy mô lớn hơn, cải thiện Test Policy và judge để tăng judgment coverage, đồng thời giữ evaluation target cố định khi lặp revision để tránh tối ưu theo rubric động.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Dependency-Aware Contract từ game 2D Phaser sang game 3D Three.js, kiểm tra liệu quan hệ prerequisite có giữ nguyên sức chẩn đoán khi trạng thái runtime, camera và tương tác không gian phức tạp hơn.
Nghiên cứu Test Policy sinh tự động cho adaptive playtest: cân bằng giữa normal play từ initial state và adversarial initialization để tăng coverage rule mà vẫn tránh đánh giá hành vi do test can thiệp tạo ra.
Phân tích failure taxonomy theo causal chain trong long-form design document: khi nào lỗi bắt nguồn từ hiểu sai rule, khi nào từ mất liên kết state giữa các hệ thống, và khi nào từ visual rendering không khớp logic.
Đánh giá human-in-the-loop cho GDD Fidelity: đối chiếu judgment đa trục của evaluator agent với review của designer để kiểm tra evidence có thật sự giải thích đúng khác biệt giữa implementation và ý đồ thiết kế.

2. Patent:

Hệ thống kiểm thử tự động cho game trên điện thoại: tải design document dài, trích xuất luật chơi và điều kiện trước-sau, sinh kịch bản chơi lại, dùng bot xem trạng thái màn hình để chọn thao tác và báo đúng màn hình nào vi phạm mô tả.
Trợ lý QA game dạng đám mây cho studio nhỏ: nhận bản build mobile, tự so source với danh sách yêu cầu, chạy lại tình huống, cắt frame bằng chứng và gửi báo cáo kiểu 'điều kiện đã đúng nhưng hiệu ứng sau nhấn chưa xảy ra'.
Công cụ gợi ý sửa game theo yêu cầu thiết kế: khi một luật pass ở code nhưng luật phía sau lỗi khi chơi, hệ thống chỉ đúng nhánh xử lý bị thiếu và đề xuất test lại bằng kịch bản khởi tạo trạng thái riêng cho luật đó.
Dịch vụ đối chiếu ý đồ thiết kế với gameplay thực tế: cho phép designer đăng tài liệu mô tả và bản chơi thử, sau đó nhận bản đồ từng câu mô tả tới code, frame hình ảnh và log hành vi để xác minh sản phẩm có bám đúng thiết kế không.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39564
ArXiv Abstract	https://arxiv.org/abs/2609.39564
PDF Download	https://arxiv.org/pdf/2609.39564.pdf
Github Repository	https://github.com/krafton-ai/a2z-gamespec-bench

37. DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation (11 votes)

Tác giả: Ao Yu, Weibo Gao, Heng Zhou, Linan Yue, Rui Li, et al.

Xuất bản lúc: 2026-09-27

Tag: Knowledge Distillation, On-Policy Distillation, Multi-Task Learning, LLMs, Teacher-Student, Reinforcement Learning

I. Main Problem:

On-policy distillation (OPD) huấn luyện student trên chính câu trả lời của nó với phản hồi từng token từ teacher mạnh hơn, nhưng phản hồi này không đáng tin cùng lúc trong bài toán đa tác vụ:

Teacher giải được nhiều câu student trượt, nhưng cũng trượt những câu student đã làm đúng — bốn tổ hợp đúng/sai giữa hai mô hình xuất hiện với tỉ lệ phụ thuộc từng tác vụ (ví dụ Llama student đúng nhưng teacher sai ở 5.9% câu sinh học, 9.8% câu vật lý).
OPD bỏ qua kết quả đúng/sai, nên trung bình nó đè xuống cả những câu trả lời đúng của student (log-ratio trung bình âm ngay cả khi student đúng — chiếm 64–69% dữ liệu huấn luyện).
Gating theo đúng/sai của student (OPDVR) sửa được hướng, nhưng dùng teacher như nhau dù teacher thành công hay thất bại, và gating còn làm mất gần hết trọng số cộng (chỉ còn 0.08–0.09 thay vì 0.57–0.65).

II. Main Idea:

DuoOPD tách hai quyết định: kết quả của student đặt hướng học (câu đúng được củng cố, câu sai bị đàn áp — qua Softplus để mọi token đều có phản hồi khác 0), còn kết quả chung teacher–student quyết định cách teacher hỗ trợ, qua một quy tắc bốn tổ hợp duy nhất không cần cấu hình riêng cho từng tác vụ:

Cả hai đúng: củng cố bằng preference của teacher trong ngữ cảnh gốc.
Cả hai sai: đàn áp theo hướng đã xác minh, teacher chỉ định mức độ.
Chỉ teacher đúng (student sai): đáp án đúng đã xác minh của teacher được đưa vào ngữ cảnh teacher để chấm câu trả lời sai của student — tránh việc prefix sai của student kéo teacher chấm lệch (chỉ teacher đọc reference, student giữ nguyên).
Chỉ student đúng (teacher sai): toàn bộ câu trả lời nhận một trọng số dương chia sẻ trong từng tác vụ, cắt ảnh hưởng của teacher đang thất bại.

Ví dụ đời thường: giống lớp học có hai người chấm — ai đúng thì người đó làm chuẩn: học sinh sai thì lấy bài giải đúng của giáo viên để chấm lỗi, còn giáo viên chấm sai nhưng học sinh tự làm đúng thì cứ giữ nguyên toàn bộ bài đó của học sinh thay vì nghe giáo viên băm nhỏ từng câu.

III. Main Results:

Vượt cả 5 baseline (OPD, EOPD, OPDVR, ExOPD, FiRe-OPD) về mean macro accuracy trên Qwen3-4B→0.6B (+2.58 điểm so với OPD) và Llama-8B→3B (+5.98 điểm), cũng như hai hỗn hợp tác vụ khó hơn (vật liệu/hiểu/hóa tính toán: 63.48%, và vật lý/IFEval/MBPP: 49.24%).
Cải thiện cả trên câu teacher giải được (+1.90 Qwen3, +3.86 Llama) lẫn câu teacher trượt (+0.67, +2.12); đạt accuracy cao nhất trên tác vụ khó nhất ở mọi thiết lập mà không cần mục tiêu worst-task.
Ablation: bỏ teacher reference −1.49 điểm, bỏ weight sharing −0.71, bỏ cả hai −2.41 (chỉ còn ngang OPDVR) → chỉ riêng hướng theo outcome gần như không giải thích được lợi thế; phần lớn lợi ích đến từ hai thiết kế disagreement. Chia sẻ trọng số trong từng tác vụ tốt hơn chia sẻ xuyên tác vụ ở cả ba hỗn hợp.
Chi phí: cache một câu trả lời teacher tốn 23–30% GPU-time so với một vòng OPD (dùng lại được); vòng huấn luyện chỉ thay đổi −0.7% đến +7.3%.

IV. Conclusion & Future Works:

DuoOPD cho thấy trong distillation đa tác vụ, xác minh kết quả của cả teacher lẫn student là chìa khóa: hướng học do student xác định, còn ngữ cảnh chấm và phân bổ trọng số do kết quả chung quyết định — một quy tắc duy nhất áp dụng được cho mọi tác vụ. Hướng tương lai: mở rộng cho nhiệm vụ mở (viết văn) với đánh giá không nhị phân; giảm chi phí tính teacher qua cache chia sẻ, nén reference, dùng reference có chọn lọc; nghiên cứu với reasoning dài (khám phá, tự sửa lỗi); kiểm tra khả năng chuyển sang tác vụ mới và dùng thống kê outcome theo tác vụ để lập lịch huấn luyện.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp DuoOPD với phương pháp điều chỉnh trọng số tác vụ (kiểu MT-GRPO) để tối ưu cả trong-response feedback lẫn task scheduling dựa trên thống kê kết quả chung của teacher–student.
Phiên bản DuoOPD cho đánh giá mức độ (graded/uncertain verification) thay vì verifier nhị phân, áp dụng cho tác vụ mở như viết và tóm tắt.
Nén và chọn lọc teacher reference để giảm chi phí cache, đồng thời nghiên cứu ảnh hưởng của reference đến khả năng tự khám phá và tự sửa lỗi ở các mô hình reasoning dài.

2. Patent:

Hệ thống huấn luyện trợ lý AI đa năng trên điện thoại: mô hình lớn làm 'giáo viên' ở đám mây, mô hình nhỏ chạy trên máy học từ chính câu trả lời của nó; hệ thống tự đối chiếu đúng/sai của hai mô hình để chọn cách chấm — dùng đáp án đúng của mô hình lớn để chỉnh câu sai, hoặc giữ nguyên câu đúng của mô hình nhỏ khi mô hình lớn cũng sai.
Nền tảng dạy kèm học sinh bằng AI: kiểm tra song song bài làm của học sinh và lời giải của gia sư AI; khi học sinh đúng nhưng AI sai thì củng cố toàn bộ bài học sinh, khi AI đúng học sinh sai thì đưa lời giải AI vào ngữ cảnh chấm chi tiết từng bước — tránh chấm lệch do bài làm sai dẫn hướng.
Dịch vụ tinh chỉnh mô hình cho doanh nghiệp: pipeline chạy nhiều tác vụ (trả lời, tuân thủ chỉ dẫn, sinh code) với một quy tắc phản hồi bốn tổ hợp đúng/sai duy nhất, không cần cấu hình riêng từng tác vụ, cache đáp án mô hình giáo viên dùng lại xuyên suốt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33711
ArXiv Abstract	https://arxiv.org/abs/2609.33711
PDF Download	https://arxiv.org/pdf/2609.33711.pdf
Github Repository	https://github.com/YongYuanDeAo/DuoOPD

38. Rubric Rewards from Item Response Theory (10 votes)

Tác giả: Milad Yazdani, Yaser Souri, Xiren Zhou, Pranit Chawla, Dena Shahriari, et al.

Xuất bản lúc: 2026-09-28

Tag: Reinforcement Learning, GRPO, LLM-as-a-Judge, Rubric Rewards, Item Response Theory, Fisher Information, Online EM, Reward Modeling

I. Main Problem:

Nhiều tác vụ ngôn ngữ không có một đáp án đúng duy nhất, nên cần LLM-as-a-judge đánh giá theo rubric gồm nhiều tiêu chí. Hạn chế của cách phổ biến là cộng điểm theo trọng số cố định rồi chuẩn hóa thành reward cho GRPO:

Các pattern verdict khác nhau có thể nhận cùng tổng điểm → bị gộp thành cùng reward, mất tín hiệu phân biệt rollout tốt/xấu.
Điểm rubric chỉ nói tiêu chí nên đếm bao nhiêu, không nói verdict đó phân biệt mạnh yếu thế nào giữa các rollout hiện tại.
Khi số tiêu chí tăng, phải gọi judge nhiều hơn → chi phí chấm điểm tăng.

II. Main Idea:

Bài báo đề xuất Rubric Response Theory (RRT), mang ý tưởng Item Response Theory (IRT) từ đo lường giáo dục vào reward inference và chọn tiêu chí cho GRPO. Thay vì cộng điểm rubric, RRT coi mỗi tiêu chí là một "câu hỏi" cho bằng chứng về chất lượng ẩn z của rollout.

Mỗi tiêu chí có difficulty b_j và discrimination a_j: difficulty xác định mức chất lượng nơi xác suất pass qua 0.5; discrimination cho biết verdict đó nhạy bao nhiêu khi chất lượng thay đổi.
Response Parameter Network (RPN) đọc prompt và criterion text để dự đoán (a_j, b_j) cho rubric chưa thấy.
Với verdict pattern đầy đủ, RRT dùng Bayesian MAP để tìm chất lượng z giải thích tốt nhất toàn bộ pattern; giá trị này trở thành reward GRPO, nên hai rollout cùng tổng điểm rubrick vẫn có thể nhận reward khác nhau.
Khi policy thay đổi trong training, RRT dùng online hard EM cập nhật RPN từ verdict rollout hiện tại.
Cũng từ cùng mô hình, RRT dùng Fisher information để chọn tiêu chí nên chấm dưới ngân sách judge, ưu tiên tiêu chí có khả năng tách biệt chất lượng cao nhất.

Lý thuyết chính: rubric likelihood score đạt Fisher information bound, tức là tín hiệu vô hướng tối ưu về mặt local signal-to-noise cho thay đổi nhỏ của chất lượng; trong khi reward cộng điểm cố định chỉ đạt bound trong trường hợp trọng số đặc biệt, không thể tối ưu mọi mức chất lượng.

Ví dụ đời thường: giống giáo viên chấm bài không cộng điểm câu hỏi theo số điểm in sẵn, mà suy ra "trình độ" học sinh từ toàn bộ đúng/sai: câu khó và câu phân biệt tốt được dùng làm bằng chứng mạnh, đồng thời chỉ hỏi thêm những câu còn lại có ích nhất.

III. Main Results:

Thí nghiệm trên Medical, Science, RaR Science, RubricBench với policy chính Qwen3.5-4B, judge GPT-5.5 cho verdict nhị phân.

Training chính: RRT + online RPN đạt macro criterion score cao hơn Vanilla GRPO +1.7 điểm, cao hơn POW3R +0.8 và DIV A; online RPN tốt hơn frozen RPN khoảng +0.5 macro điểm.
Tiêu chí khó: trên Medical và Science, RRT vượt GRPO +2.8 đến +5.6 điểm trong các band Medium/Hard/Very hard.
Phân biệt rollout: RRT có variance nội prompt cao hơn rubric points 1.2–2.2 lần, giảm tỉ lệ các cặp rollout bị hòa điểm ở mọi tổ hợp dataset/policy; với Gaussian CDF, RRT tách được nhiều cặp cùng số pass mà logistic CDF không tách được.
Chọn tiêu chí: adaptive Fisher selection đạt 95% tương quan Pearson với GRPO advantages từ full judging trong khi bỏ qua 21.0% tiêu chí; ở ngân sách một nửa, macro score chỉ lệch ≤0.1 điểm so với Vanilla GRPO full judging.
Hiệu quả chi phí: ở budget 0.50, judging time giảm khoảng 49%, tổng thời gian một policy step giảm 23.5–28.7%; policy triển khai không thêm tham số hay thành phần inference.
Ổn định dưới nhiễu judge: dưới corruption verdict và judge variation có hiệu chuẩn, RRT giữ thứ tự reward tốt hơn rubric points; khi nhiễu tập trung vào tập tiêu chí con, RRT bảo toàn advantage sạch tốt hơn.

IV. Conclusion & Future Works:

RRT cho thấy rubric nên được dùng như bằng chứng thống kê về chất lượng ẩn, không chỉ là danh sách điểm cộng. Bằng cách ước lượng difficulty/discrimination từ text, cập nhật online theo policy và chọn tiêu chí theo Fisher information, RRT vừa giữ được các khác biệt verdict pattern bị tổng điểm xóa mờ, vừa giảm số lần gọi judge trong khi vẫn cải thiện criterion satisfaction, đặc biệt ở tiêu chí khó. Hướng tương lai: mô hình hóa phụ thuộc dư giữa các tiêu chí tương đồng, mở rộng sang rubric có nhiều mục tiêu chất lượng/rõ trade-off, và cải thiện redundancy thay vì giả định độc lập cục bộ hoàn toàn.

V. Brainstorming Space:

1. Publish Papers:

Ứng dụng IRT đa chiều cho rubric có nhiều mục tiêu chất lượng đồng thời, để tránh ép mọi tiêu chí về một trục chất lượng chung.
Kết hợp RRT với mô hình phụ thuộc tiêu chí dựa trên embedding criterion text, nhằm giảm thiểu chấm trùng các tiêu chí giống nhau.
Nghiên cứu active rubric selection theo thời gian thực trong RL: chọn tiêu chí không chỉ theo Fisher information mà còn theo uncertainty của policy và giá trị kỳ vọng cho cập nhật GRPO.
Mở rộng RRT sang judge đa nhãn hoặc verifier kết hợp LLM, để ước lượng chất lượng bằng bằng chứng hỗn hợp verdict/số điểm/thực thi chương trình.

2. Patent:

Hệ chấm điểm tự động trên điện thoại cho câu trả lời mở: app gửi prompt và danh sách tiêu chí, máy chủ dùng mô hình dự đoán độ khó/độ phân biệt của từng tiêu chí rồi chỉ hỏi judge những tiêu chí mang lại thông tin nhiều nhất, tiết kiệm chi phí API và thời gian chấm.
Hệ tinh chỉnh chatbot cá nhân bằng phản hồi rubric: mỗi lượt phản hồi người dùng được chuyển thành bộ tiêu chí, hệ thống suy ra điểm chất lượng ẩn để cập nhật policy cục bộ, đồng thời tự học tiêu chí nào quan trọng với người dùng đó.
Nền tảng đánh giá thi cử/thực hành trực tuyến: hệ thống chọn động câu hỏi hoặc tiêu chí chấm dựa trên năng lực ước lượng của thí sinh, giúp đạt độ tin cậy tương đương bài thi đầy đủ với ít câu hỏi hơn.
Module kiểm soát chi phí judge cho hệ thống hỗ trợ khách hàng: ước lượng độ tin cậy của câu trả lời trước, chỉ gửi các phiên chưa chắc cho mô hình chấm chi tiết, giảm số tiêu chí cần chấm mà vẫn giữ ngưỡng chất lượng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35646
ArXiv Abstract	https://arxiv.org/abs/2609.35646
PDF Download	https://arxiv.org/pdf/2609.35646.pdf
Github Repository	https://github.com/milad1378yz/rrt

39. Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior (10 votes)

Tác giả: Atsuki Yamaguchi, Tatsuro Inaba, Joel Niklaus, Michal Štefánik, Aline Villavicencio, et al.

Xuất bản lúc: 2026-09-30

Tag: Pre-training, Pre-pretraining, Language Models, Token Efficiency, Scaling Laws, Synthetic Data, Long-range Retrieval

I. Main Problem:

Pre-pretraining (PPT) — giai đoạn warm-up trên dữ liệu tổng hợp (như k-Shuffle Dyck, ngôn ngữ ngoặc lồng ghép) trước khi pre-training (PT) — được cho là cải thiện hiệu quả token, nhưng công bố trước chỉ kiểm chứng ở quy mô rất nhỏ:

mô hình ≤ 1B tham số, trong khi nghiên cứu PT hiện đại thường ở 2B+
ngân sách PT < 2B token, rất dễ là lợi thế khởi tạo tạm thời bị xóa mờ khi huấn luyện kéo dài
dùng corpus web đơn lẻ (C4), không phản ánh các mixture PT thực tế có code và toán
giả thuyết giải thích lợi ích là grammatical prior (thiên kiến cấu trúc ngữ pháp học được từ PPT) — chưa được kiểm chứng ở quy mô lớn, và code/toán trong PT mixture có thể đã cung cấp tín hiệu cấu trúc tương tự, khiến PPT trở nên thừa thãi.

II. Main Idea:

Bài báo trình bày nghiên cứu hệ thống đầu tiên về PPT ở quy mô thực tế, quét đồng thời bốn chiều: 5 tác vụ PPT (k-Shuffle Dyck, MP-Struct Core — ngôn ngữ hình thức; NCA, Set — tổng hợp có cấu trúc không ngữ pháp; Control — văn bản lấy từ chính corpus PT), 4 mixture PT (C4, SmolLM3, OLMo3, Marin), 4 quy mô (500M, 1B, 3B, 7B) và ngân sách PT tới 100B token (~50× lớn hơn công bố trước). Đánh giá gồm 10 benchmark năng lực tổng quát, BLiMP (ngữ pháp) và verbatim retrieval (truy xuất dài hạn).

Kết quả chỉ ra cơ chế hiệu quả của PPT không phải grammatical prior: BLiMP không cải thiện ổn định, trong khi verbatim retrieval cải thiện rõ rệt. Điều kiện then chốt là tác vụ PPT phải đòi hỏi truy xuất một vị trí cụ thể sớm hơn trong chuỗi (khớp ngoặc mở, neo marker, tái tạo cell trạng thái trước); còn Set chỉ cần nhớ token đã thấy → giảm 7.2 điểm. Lợi ích PPT cũng bền với tỷ lệ code/toán, chỉ biến mất khi thiếu hẳn web text.

Ví dụ đời thường: giống như tập luyện bằng bài đố "tìm cặp ngoặc khớp nhau" trước khi đọc sách thật — luyện não trỏ đúng chỗ cũ trong trang nhanh và chính xác, chứ không phải luyện cảm giác ngữ pháp; và kỹ năng trỏ đúng chỗ đó hữu ích dù sau này đọc sách, báo hay tài liệu kỹ thuật.

III. Main Results:

Lợi ích tồn tại ở quy mô lớn: 9/12 cặp (mixture × scale) cải thiện ≥ 0.6 điểm trung bình downstream (trung bình +1.6); gain tương đương ở 500M/1B/3B → không mờ dần khi tăng capacity.
Bền với huấn luyện dài: gain vẫn dương ở 100B token; ở 3B trên Marin, PPT đạt 62.3 điểm ở 63B token trong khi PT-Only cần tới 84B → tiết kiệm ít nhất 21B token PT với chi phí PPT chỉ ~1% compute của PT.
Còn hiệu quả ở 7B: gain thu hẹp còn +0.6 nhưng dương ở mọi ngân sách (tới 75.5B token).
Không có bằng chứng grammatical prior: BLiMP chỉ cải thiện ổn định ở 1/12 cặp (so với 10/12 cho downstream); cả nhóm Morphology/Syntax — đúng thứ k-Shuffle Dyck được cho là truyền — cũng không gain ổn định.
Truy xuất dài hạn mới là cơ chế: verbatim retrieval cải thiện ổn định 7/12; 3 tác vụ PPT hiệu quả đều yêu cầu trỏ vị trí cũ; Set (không cần) giảm 7.2 điểm. Các benchmark gain lớn nhất (LAMBADA, ReCoRD, HellaSwag) đều phụ thuộc thông tin từ ngữ cảnh trước.
Dữ liệu PT: tăng toán 13× không làm giảm lợi ích (+2.0 điểm); gain sụp còn +0.2 chỉ khi loại hoàn toàn web text. Control (warm-up bằng text thật) không cho gain → lợi ích đến từ dữ liệu tổng hợp, không phải số bước tối ưu thêm.

IV. Conclusion & Future Works:

PPT là phần bổ sung chi phí thấp, lợi ích bền cho PT: hiệu quả ở mọi scale tới 7B và ngân sách tới 100B token, tiết kiệm đáng kể token PT. Tuy nhiên lý giải "grammatical prior" của công bố trước không đứng vững ở quy mô lớn — gain downstream không đi kèm khả năng ngữ pháp. Cơ chế thật là khả năng truy xuất dài hạn, và gain chỉ phụ thuộc vào sự hiện diện của web text chứ không phụ thuộc tỷ lệ code/toán.

Hướng tương lai:

Thiết kế tác vụ PPT mới nhắm trực tiếp vào long-range retrieval thay vì mô phỏng cấu trúc phân cấp của ngữ pháp tự nhiên.
Ablation trực tiếp trên OLMo3 để tìm thuộc tính dữ liệu khiến PPT gần như vô hiệu trên mixture này (dù tỷ lệ web tương tự các mixture vẫn gain tốt).

V. Brainstorming Space:

1. Publish Papers:

Phát triển các tác vụ PPT mới tối ưu hóa cho truy xuất vị trí dài hạn (long-range retrieval) — ví dụ biến thể ngoặc với khoảng cách khớp đa dạng, thay vì cấu trúc phân cấp ngữ pháp — và đánh giá chéo với các tác vụ PPT hiện có ở quy mô 3B–7B.
Mở rộng nghiên cứu cơ chế: kết hợp probing nội tại (attention pattern, position-wise representation) để chứng minh trực tiếp PPT dạy được khả năng truy xuất, và kiểm tra xem khả năng này chuyển giao thế nào sang các tác vụ như copy, summarization dài và in-context retrieval.
Khảo sát PPT cho multi-stage curriculum PT hiện đại (stage 2/3 upweight chất lượng cao) và cho các mô hình multimodal, nơi truy xuất dài hạn trên chuỗi hình ảnh/token lai có thể mang lại lợi ích tương tự.

2. Patent:

Module warm-up tiết kiệm chi phí cho dịch vụ huấn luyện LLM trên đám mây: trước giai đoạn pre-training thật, hệ thống tự sinh dữ liệu tổng hợp kiểu bài toán khớp ngoặc / nhảy theo vị trí cũ, huấn luyện sơ bộ vài trăm bước, rồi dùng trọng số đó làm khởi tạo — giúp khách hàng đạt chất lượng tương đương với ít hơn hàng chục tỷ token huấn luyện (giảm đáng kể tiền GPU).
Tính năng tăng tốc gõ phím / soạn văn bản trên điện thoại: khi fine-tune mô hình gợi ý cục bộ cho người dùng, nhúng giai đoạn pre-pretraining bằng bài tập tổng hợp rèn khả năng tìm lại từ xuất hiện sớm trong đoạn chat/văn bản, giúp gợi ý tên riêng, số điện thoại, địa chỉ chính xác hơn mà không cần tăng dữ liệu huấn luyện.
Công cụ huấn luyện mô hình nhỏ cho ứng dụng nhận diện biểu mẫu tài liệu trên mobile: pipeline khuyến nghị loại bài tập warm-up (dạng truy xuất vị trí) nào phù hợp trước khi train, cảnh báo các dạng bài chỉ đòi hỏi nhớ token đã thấy vì có thể làm chất lượng mô hình giảm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39827
ArXiv Abstract	https://arxiv.org/abs/2609.39827
PDF Download	https://arxiv.org/pdf/2609.39827.pdf
Github Repository	https://github.com/gucci-j/verify-ppt-at-scale

40. Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model (10 votes)

Tác giả: Liming Lu, Xianzheng Ma, Wenkun He, Guanqi Zhan, Yilin Zhao, et al.

Xuất bản lúc: 2026-09-30

Tag: Video Generation, World Models, Physical Reasoning, Agentic Self-Evolution, Vision-Language Models, Prompt Optimization

I. Main Problem:

Các mô hình video world model hiện tại thường tạo video trông đẹp nhưng vi phạm vật lý cơ bản: vật thể biến dạng, va chạm không đúng, chất lỏng chuyển động bất thường, nhân quả xảy ra sai trình tự. Các phương pháp trước đây giả định ngôn ngữ tự nhiên không đủ để biểu diễn tri thức vật lý, nên phải bổ sung các tín hiệu riêng như:

nhánh ảnh/latent bổ trợ
phương trình vật lý, quỹ đạo, mã mô phỏng
kế hoạch cấu trúc, ví dụ truy xuất, hoặc mô hình đánh giá ngoài.

II. Main Idea:

Physis-Lang đặt giả thuyết ngược lại: không phải ngôn ngữ yếu, mà là ngôn ngữ chưa được cấu trúc hóa và tối ưu đúng cách. Framework tự tiến hóa (self-evolving) dùng ngôn ngữ vật lý làm biểu diễn dùng chung xuyên suốt cả pipeline:

Caption vật lý: mô tả rõ ràng thực thể, nguyên nhân, tương tác, định luật chi phối, tiến hóa thời gian và hậu quả
Vòng lặp agentic: một captioner cố định sinh mô tả → physics-aware critic chấm theo precision/recall trên các assertion nguyên tử → agent sửa lại instruction (không cập nhật trọng số), lặp đến khi benchmark bão hòa
PhysCapBench: benchmark 246 video, 3.794 assertion đã kiểm chứng thủ công, làm tiêu chí dừng cho tiến hóa prompt
Language-guided retrieval: chẩn đoán lỗi vật lý của model thành hồ sơ thiếu sót → dùng tag vật lý để truy xuất video trùng lĩnh vực thiếu (không theo độ tương đồng hình ảnh), re-caption và bổ sung vào training
PhysThinker: chưng cất khả năng reasoning từ GPT-5.5 thành 2 model 4B (captioner + prompt upsampler) để triển khai mã nguồn mở với chi phí gần bằng 0

Ví dụ đời thường: giống việc viết sách hướng dẫn vận hành máy — thay vì chụp thêm ảnh hay lắp thêm cảm biến, ta viết lời giải thích ngày càng rõ ràng, tự đọc lại, chấm điểm từng câu rồi sửa cho đến khi bản mô tả đủ chính xác để người học vận hành đúng ngay lần đầu.

III. Main Results:

Trên 4 benchmark vật lý (VideoPhy-2, PhyGenBench, PhyGround, Physics-IQ Verified), model fine-tune bằng Physis-Lang từ Cosmos3-Nano (mã nguồn mở) vượt cả Veo 3.1 (proprietary): 71.04 vs 65.63 trên PhyGenBench, 69.90 vs 69.24 trên PhyGround, 43.41 vs 34.99 trên Physics-IQ.
Khái quát qua nhiều backbone: Wan2.1-14B +7.05 điểm trung bình; Cosmos3-Edge-4B +3.24, Nano-16B +6.22, Super-64B +5.02 — cải thiện nhất quán ở mọi quy mô.
Vòng lặp agentic hiệu quả: F1 trên PhysCapBench tăng từ 78.64 (iter 1) lên 87.82 (iter 9); chỉ thay đổi caption lúc inference cũng nâng PhyGenBench từ 64.17 lên 67.29 mà không fine-tune.
Language-guided retrieval: +3.01 điểm trung bình, cải thiện dương ở mọi nhóm vật lý (hóa học +8.00, cơ học đứt gãy +7.45, vải biến dạng +7.19).
PhysThinker: pipeline hoàn toàn cục bộ đạt +4.76 điểm với chi phí API 0 USD (so với ~24K USD khi dùng model thương mại).

IV. Conclusion & Future Works:

Bài báo chứng minh ngôn ngữ, khi được cấu trúc rõ ràng và tự tiến hóa, không chỉ là giao diện điều kiện mà là một biểu diễn thực dụng để mang, tinh chỉnh và áp dụng tri thức vật lý trong video world model. Hướng phát triển hợp lý: mở rộng tiến hóa ngôn ngữ sang các dạng vật lý khó hơn (tương tác đa vật thể dài hạn), kết hợp biểu diễn ngôn ngữ với tín hiệu vật lý bổ trợ, và tinh chỉnh PhysThinker cho các tác vụ reasoning vật lý đa phương thức ngoài video.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng framework caption tự tiến hóa cho video tương tác đa tác tử, nơi mô tả vật lý phải bao phủ quan hệ nhân quả giữa nhiều vật thể thay vì từng cảnh đơn lẻ.
Kết hợp physics-aware caption với reward model vật lý để làm preference optimization cho video generation, thay vì chỉ supervised fine-tuning trên cặp video-ngôn ngữ.
Áp dụng language-guided deficiency retrieval cho robot manipulation: chẩn đoán lỗi vật lý của policy rồi tự truy xuất và gắn nhãn dữ liệu thực nghiệm bù đúng kỹ năng còn yếu.

2. Patent:

Trợ lý tạo video vật lý chính xác trên điện thoại: khi người dùng nhập mô tả ngắn, ứng dụng tự mở rộng thành mô tả chi tiết về nguyên nhân, định luật và hậu quả, đồng thời đưa ra danh sách các lỗi vật lý cần tránh để video tạo ra không bị méo mó hay sai nhân quả.
Hệ thống kiểm thử tự động cho video quảng cáo sản phẩm: phân tích video đầu ra, phát hiện vi phạm vật lý (chất lỏng chảy ngược, vật biến dạng), rồi tự điều chỉnh mô tả cảnh để tái tạo lại cho đến khi đạt chuẩn.
Công cụ học tập tương tác cho học sinh: quay video thí nghiệm, ứng dụng tự sinh lời giải thích từng bước vật lý (nguyên nhân → định luật → kết quả), đối chiếu với mô tả của học sinh và chỉ ra chi tiết thiếu hoặc sai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40358
ArXiv Abstract	https://arxiv.org/abs/2609.40358
PDF Download	https://arxiv.org/pdf/2609.40358.pdf
Github Repository	N/A

📰 Summary of Papers
1. UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement (233 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation (231 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence (206 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents (190 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks (120 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents (103 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. EvoDuet: Bilevel Co-Evolution of Web Searching and Task Solving for Scientific Discovery (96 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents (93 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI (77 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement (75 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. EVOKE: Eliciting World Knowledge in Agents for Transferable Decision-Making (67 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively? (61 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering (55 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models (50 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training (45 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. AIM: Agentic Idea Management for Automated Research (44 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models (42 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models (41 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. It's Not What the Image Shows: Irrelevant Context Destabilises VLM Judges Without Informing Them (36 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence (34 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion (32 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes (32 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. Breaking Babel: A Self-Evolving Multi-Agent System for Long-Form Subtitle Translation (31 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies (28 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. ThinkV2V: Unleashing the Reasoning Capability of MLLMs for Instruction-Guided Video Editing (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. LoopVL: Recurrent Visual Intelligence (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. BiasReducer: Adaptive Bias Mitigation for Reward Models (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. Scaling Laws for Looped Mixture of Experts (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. MILO: Automated Harness Discovery via Orchestrated Multi-Agent Evolution (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. The Low-Rank Structure of VLA Reinforcement Learning (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
34. I Have a Stream: Making Self-Supervised Learning Work on Continuous Video (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
35. RoboCoach: World Models as Active Coaches for Compositional Robot Skills (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
36. A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications? (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
37. DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
38. Rubric Rewards from Item Response Theory (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
39. Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
40. Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement (233 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation (231 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence (206 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents (190 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks (120 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents (103 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. EvoDuet: Bilevel Co-Evolution of Web Searching and Task Solving for Scientific Discovery (96 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents (93 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI (77 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement (233 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation (231 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence (206 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents (190 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks (120 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents (103 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. EvoDuet: Bilevel Co-Evolution of Web Searching and Task Solving for Scientific Discovery (96 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents (93 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI (77 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: