🤗 Daily Hugging Face Paper Digest - 2026-09-29

Báo cáo được tạo tự động vào lúc 2026-09-30 10:54:35 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Post-Training Leaves Behavioral Shadows on Unrelated Decisions (252 votes)

Tác giả: Ziyang Zhang, Yubin Jing, Yuanhao Zeng, Yuyao Li, Haofan Wang, et al.

Xuất bản lúc: 2026-09-24

Tag: Language Models, Knowledge Distillation, Post-Training, Subliminal Learning, Model Extraction, Capability Transfer, Active Learning

I. Main Problem:

Post-training thường được đo qua hành vi trên chính tác vụ huấn luyện, nhưng một bản cập nhật riêng tư (ví dụ luyện code) có thể thay đổi các quyết định trên dữ liệu hoàn toàn không liên quan — gọi là behavioral shadow. Hai câu hỏi mở:

Tính quan sát được: liệu một bản cập nhật post-training riêng tư có thể bị quan sát qua từng quyết định đơn lẻ trên dữ liệu không liên quan, khi không truy cập được tham số hay kết quả tác vụ của teacher?
Tính truyền năng lực: liệu học từ các quyết định đó có chuyển được một phần cải thiện của teacher cho một model khác?

II. Main Idea:

Phương pháp Active Taskless Distillation (ATD) khai thác "cái bóng hành vi" bằng cách chọn đúng chỗ đặt câu hỏi:

Dùng model gốc công khai M0 (tổ tiên chung) để tìm các prompt không liên quan tới tác vụ mà M0 gần như lưỡng lự giữa hai từ thông thường (near-tie, xác suất ≈ 0.5 ± 0.02).
Hỏi teacher riêng tư M_T = M0 + δ một lần mỗi prompt; ở vùng lưỡng lự, một thay đổi nhỏ từ δ cũng có thể lật ngược từ được chọn → mỗi phản hồi là 1 bit thông tin về bản cập nhật.
Student khởi tạo từ cùng M0, học chỉ từ các cặp prompt–từ (không dữ liệu tác vụ, không logits, không tham số teacher) bằng cross-entropy trên token phản hồi.
So với control nhiễu khớp chính xác: giữ nguyên tập từ hoàn thành và độ khó, chỉ đảo ghép prompt–từ — nếu student trên cặp thật thắng control thì thông tin nằm ở tương ứng prompt–từ, chứng minh truyền năng lực thật.

Lý thuyết: mở rộng bậc nhất quanh M0 cho thấy lựa chọn nhị phân ≈ sign(m_i(θ0) + g_iᵀδ), nên ở near-tie mọi gradient g_i chiếu lên δ đều có thể đảo quyết định.

Ví dụ đời thường: giống như đoán một người vừa đi học nấu ăn về bằng cách hỏi họ chọn giữa "muối" hay "đường" trong câu chuyện vô thưởng vô phạt — ở lựa chọn tưởng như ngẫu nhiên, thói quen mới học lộ ra, và chỉ cần hàng nghìn lựa chọn kiểu đó là đủ để dạy lại cho người khác kỹ năng nấu ăn.

III. Main Results:

Thí nghiệm chính (coding, Qwen2.5-1.5B): 5,664 phản hồi 1 từ → student đạt 51.22% HumanEval+, +5.34 pp so với exact nuisance-matched control; vượt mọi control khác (shuffle +5.03, teacher-free +4.57).
Robustness: 5 bộ acquisition độc lập × 3 training seeds, tất cả 15 cặp signal–control dương, hiệu ứng tổng hợp +4.80 pp; hiệu ứng giữ được ở LoRA r16/r32/r64 và full-parameter SFT.
Khái quát hóa: truyền được trên 7 tác vụ (code, ScienceQA, OpenBookQA, HellaSwag, RACE, CommonsenseQA, PIQA), lãi từ +0.81 đến +5.03 pp; lãi trung bình dương trên Qwen3-1.7B, Qwen3-4B, Llama-3.2-1B.
Phân tích tín hiệu: active near-tie vượt passive cùng ngân sách truy vấn +4.27 pp (hiệu ứng đến từ vị trí câu hỏi, không phải số lượng); tín hiệu source-specific (shadow code giúp code nhất, science giúp science), composable (hỗn hợp 50/50 hai shadow học được cả hai), và graded (bám theo độ mạnh của δ).
Giới hạn: teacher giàu lợi thế nhưng không truyền được — memorized HumanEval+ (+39 pp) và substitution cipher (≈97 pp) đều thất bại: kênh chỉ truyền năng lực student đủ khả năng biểu đạt, không phải lợi thế thô của teacher.
Mở rộng: mục tiêu RPM cải thiện CE ở vài điểm (HumanEval+ +6.30 vs shuffle); quan sát đa-token (K=20) cho hiệu ứng lớn trên GSM8K (+6.37 pp).

IV. Conclusion & Future Works:

Post-training để lại behavioral shadow — thay đổi quyết định trên dữ liệu không liên quan — và cái bóng này mang thông tin đủ để truyền năng lực cho student cùng tổ tiên công khai, chỉ qua các phản hồi một từ ở ranh giới quyết định. Hạn chế: cần carrier được xây dựng chủ động, cần biết model gốc, và không phải mọi thiết lập đều truyền được đáng tin cậy. Hướng tương lai: cải thiện chiến lược chọn query và mục tiêu học để khai thác nhiều hơn thông tin trong shadow và chuyển hóa thành lãi tác vụ.

V. Brainstorming Space:

1. Publish Papers:

Truyền năng lực qua behavioral shadow mà không cần biết tổ tiên công khai — mở rộng ATD cho kịch bản teacher là hộp đen hoàn toàn hoặc tổ tiên không xác định.
Thuật toán chọn near-tie chủ động hiệu quả hơn: dùng acquisition function (thiên vị gradient đa dạng, bao phủ δ) thay vì ngưỡng xác suất cố định để tăng số bit thông tin mỗi truy vấn.
Kênh truyền ngầm như một cơ chế bảo mật: định lượng shadow mà các model dịch vụ post-training riêng rò rỉ qua API sinh văn bản, và phương pháp làm nhiễu/ràng buộc để giảm rò rỉ năng lực.

2. Patent:

Dịch vụ đào tạo model 'bóng mờ' cho điện thoại: model lớn post-training riêng chỉ phản hồi một từ ở câu hỏi lưỡng lự; model nhỏ trên điện thoại học từ các cặp hỏi–đáp này để nâng năng lực viết code/mà không tải dữ liệu tác vụ hay tham số xuống máy.
Hệ thống kiểm tra rò rỉ năng lực model trên nền tảng API: module tự sinh câu hỏi near-tie, gọi API đối thủ, huấn luyện model thử và đo điểm tác vụ để phát hiện model đối thủ đã bị tinh chỉnh bí mật theo hướng nào.
Cơ chế chống đánh cắp kỹ năng qua API cho ứng dụng AI trên điện thoại: thêm nhiễu có kiểm soát vào các quyết định ở ranh giới lưỡng lự (làm méo từng bit shadow) để làm vô hiệu hóa việc học lén năng lực qua từng từ phản hồi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.29233
ArXiv Abstract	https://arxiv.org/abs/2609.29233
PDF Download	https://arxiv.org/pdf/2609.29233.pdf
Github Repository	https://github.com/myboker/ATD

2. YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality (206 votes)

Tác giả: Ruibin Yuan, Jiahao Pan, Junyan Jiang, Zhiyue Wu, Ziya Zhou, et al.

Xuất bản lúc: 2026-09-27

Tag: Music Generation, Symbolic Music, Audio Generation, Mixture-of-Transformers, Flow Matching, Representation Learning, Music Transcription

I. Main Problem:

Mô hình symbolic tạo giai điệu, hòa âm, nhịp và hình thức rõ ràng nhưng thường dừng ở bản nhạc, chưa thành bản thu hoàn chỉnh. Ngược lại, mô hình audio tạo bài hát đầy đủ nhưng ẩn phần soạn nhạc bên trong, khiến việc chỉnh sửa, kiểm soát cấu trúc và cover lại khó khăn. Vấn đề cốt lõi: làm sao một mô hình duy nhất vừa soạn nhạc đủ đọc/đổi được, vừa trình diễn thành audio chất lượng cao, khi dữ liệu huấn luyện thông thường không có bản nhạc aligned sẵn cho từng recording.

II. Main Idea:

YuE2 sinh nhạc theo nguyên tắc progressive musical commitment: từng giai đoạn chốt một lớp quyết định, còn lớp chi tiết hơn để giai đoạn sau xử lý. Mô hình gồm một backbone AR–NAR Mixture-of-Transformers ~3.58B tham số, 28 lớp, dùng chung attention nhưng tách expert AR/NAR:

Symbolic planning: đầu tiên viết score dạng ABC notation gồm melody, chords, key, meter, tempo, form.
Semantic expansion: chuyển score thành semantic music tokens 25 Hz mang quỹ đạo âm nhạc dày hơn.
Audio realization: dùng bidirectional flow matching tạo acoustic latents liên tục 25 Hz × 64, rồi VAE 48 kHz stereo decode ra waveform.

Luồng AR dự đoán symbol/semantic theo kiểu causal; luồng NAR nhìn toàn bộ score + semantic + acoustic context để dự đoán flow velocity. Ba mục tiêu huấn luyện được dựng offline từ recording: SheetSage2 tạo score s, MERT2 tokenizer tạo tokens c, VAE tạo latents z. Cùng một checkpoint làm được creation, editing bằng score sửa đổi, và cover bằng score transcribe từ bài gốc.

Ví dụ đời thường: giống người nhạc sĩ chưa vào phòng thu đã chấm giai điệu và hợp âm lên giấy; sau đó producer đọc bản khung đó để phối tiếng, chọn nhạc cụ và thu thành bài hoàn chỉnh, phần nào sửa thì sửa đúng trang nhạc đó.

III. Main Results:

Trên WildSongBench, YuE2 vượt các public baselines đã đánh giá về SongBench Global Avg 6.7316; với best-of-8 đạt 6.9632, cao nhất trong mọi hệ thống đánh giá. AudioBox PQ 8.2598/8.2714 vượt cả các proprietary system đã so.
Nghe thử chuyên gia: symbolic planning được prefer về overall quality/musicality, 49.3% chọn có planning vs 34.6% không planning. Với cùng melody-and-chord planning, expert prefer unified MoT hơn tách LM+DiT về chất lượng tổng thể, musicality, audio, vocal, accompaniment.
YuE2 best-of-8 được prefer hơn Suno v4.5, gần cân bằng với Suno v5 và Mureka 9; điểm mạnh là audio quality, mean tie-adjusted preference 58.9% across six proprietary systems.
MERT2 đạt SOTA mới trên MARBLE: tốt hơn kết quả trước ở 14/15 metrics. SheetSage2-AR dẫn 12/15 benchmark–metric pairs, và khi học hoàn toàn từ nhãn của SheetSage2-Prober còn vượt label generator ở 10/15 pairs.
Score-audio agreement cao; score edits thay đúng melody/harmony mục tiêu trong khi giữ phần không sửa. Zero-shot cover không cần cover-specific training vượt hai cover systems đã đánh giá trên cả 8 work-identity retrieval measures, AudioBox PQ và SongBench Musicality across 948 unseen works. Readable score cũng cho phép agentic music editing: external language model đổi feedback người dùng thành revision rồi YuE2 render lại bản thu.

IV. Conclusion & Future Works:

Bài báo chứng minh viết score trước không chỉ giúp kiểm soát mà còn cải thiện chất lượng perceived song, và một unified AR–NAR MoT tốt hơn kiến trúc tách riêng language model + diffusion Transformer trong thiết lập matched. Hướng mở rõ từ thiết kế: tận dụng score readable để mở rộng editing agentic, cover có kiểm soát bản quyền/cao hơn, chọn tối ưu candidate theo reward đa chiều, và cải thiện alignment đa ngôn ngữ/cross-lingual prompts vì WSB giữ lại yêu cầu code-switched/multilingual.

V. Brainstorming Space:

1. Publish Papers:

Hệ thống chỉnh sửa bài hát bằng ngôn ngữ tự nhiên cho điện thoại: người dùng nói “tăng hook, đổi quãng tám đoạn điệp khúc”; agent chuyển feedback thành score revision và render lại audio giữ nguyên phần không yêu cầu đổi.
Bộ transcribe-to-cover an toàn bản quyền: từ một bản thu, hệ thống tách lead sheet rồi tái trình diễn theo phong cách mới, giữ identity công việc nhưng thay arrangement, tiếng nhạc cụ và vocal mà không học trên cặp original–cover.
Mô hình chấm và chọn bài hát theo sở thích cá nhân trên thiết bị: kết hợp quality, lyric accuracy, prompt adherence và production quality để chọn candidate tối ưu trong best-of-N với ngân sách tính toán hạn chế.

2. Patent:

Ứng dụng điện thoại biến lời nói thành bài hát chỉnh sửa được: người dùng chọn thể loại, hát hoặc nhập lời; app tạo bản nhạc dạng chữ có giai điệu/hợp âm, cho phép chạm vào ô nhạc để đổi nốt hoặc hợp âm rồi xuất bản thu mới.
Karaoke cover cá nhân từ bài hát yêu thích: người dùng hát đè lên bản gốc; hệ thống đọc cấu trúc bài hát, giữ nhịp và hình thức, đổi phong cách accompaniment để tạo bản cover giữ đúng ‘chất’ bài gốc theo cách diễn đạt mới.
Trợ lý học nhạc trên điện thoại: quay/video một đoạn chơi thật, app trích xuết giai điệu, hợp âm, nhịp và cấu trúc thành bản nhạc dễ đọc, sau đó tạo bản phối chậm lại hoặc đổi nhạc cụ để luyện tập.
Chế độ sửa bài hát bằng tin nhắn cho dịch vụ streaming: người dùng chat “đoạn điệp khúc hơi chậm, bass đậm hơn, giữ ca từ”; hệ thống dịch yêu cầu thành thay đổi score/acoustic có kiểm soát rồi trả bản preview mới trong cùng cuộc hội thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33757
ArXiv Abstract	https://arxiv.org/abs/2609.33757
PDF Download	https://arxiv.org/pdf/2609.33757.pdf
Github Repository	https://github.com/multimodal-art-projection/YuE

3. Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation (140 votes)

Tác giả: Xin Li, Hao Jiang, Xin Gao, Annan Wang, Yuchen Xie, et al.

Xuất bản lúc: 2026-09-28

Tag: On-Policy Distillation, Multi-Teacher Distillation, Knowledge Distillation, Reinforcement Learning, LLMs, Post-Training, Domain Normalization

I. Main Problem:

RL post-training tạo ra các chuyên gia riêng lẻ (toán, code, instruction following), còn người dùng lại cần một mô hình duy nhất tổng hợp mọi kỹ năng. Multi-Teacher On-Policy Distillation (MOPD) giải quyết bằng cách route mỗi prompt tới đúng chuyên gia, nhưng routing chỉ quyết định ai dạy, không quyết định phản hồi của người đó mạnh cỡ nào. Hệ quả đo được trên Qwen3.5 (9B, 4B, 2B):

MOPD với label routing không vượt được student học từ một teacher đơn lẻ mạnh nhất ở mọi cỡ mô hình.
Ưu thế toán học gần như không được truyền: giữ lại chỉ 14–32% ở ngân sách đánh giá 8K, và bằng 0 ở 16K.
Nguyên nhân: phản hồi mất cân bằng thang đo — log-ratio của instruction-following (IF) phân tán gấp 2.3–4.4 lần tín hiệu gộp, còn toán chỉ bằng khoảng một nửa; với student 4B ban đầu, loss của IF chiếm 94% gradient tổng hợp dù số prompt bằng nhau.

II. Main Idea:

DN-MOPD giữ nguyên routing theo nhãn domain và thêm một phép toán duy nhất: chuẩn hóa thang đo phản hồi của từng domain trước khi cập nhật student.

Với mỗi batch, đo độ phân tán (standard deviation) của teacher–student log-ratios trong từng domain (σ_d) và trên toàn batch gộp (σ_all).
Tính hệ số điều chỉnh có chặn: w_d = clip(σ_all/σ_d, 0.25, 4), rồi nhân vào distillation advantage của domain đó.
Hệ số luôn dương nên bảo toàn dấu từng token (khuyến khích hay kìm hãm không đổi); domain phản hồi ít phân tán bị khuếch đại (toán ~1.5–2.1x), domain phân tán mạnh bị giảm (IF thường nằm ở mức sàn 0.25).
Không cần thêm teacher call, không cần router học, không tìm trọng số theo từng cỡ mô hình — chỉ tái sử dụng log-ratio đã tính sẵn; MOPD chuẩn là trường hợp đặc biệt khi mọi w_d = 1.

Ví dụ đời thường: giống điều chỉnh âm lượng micro trong một cuộc họp — người nói quá to bị vặn nhỏ lại, người nói quá khẽ được vặn to lên, để ý kiến của mọi người đều được nghe với "độ lớn" ngang nhau thay vì ai hét to nhất chiếm hết cuộc họp.

III. Main Results:

Vượt MOPD ở mọi cỡ và cả hai ngân sách đánh giá (điểm trung bình 6 tác vụ): +2.47 (9B), +3.08 (4B), +2.92 (2B) ở 8K; +1.17, +2.24, +2.36 ở 16K — khoảng tin cậy 95% bắt cặp đều dương, kết quả giữ vững qua 3 student seed.
Vượt student học từ teacher đơn lẻ mạnh nhất ở mọi cỡ (dẫn cách nhỏ, một số interval chạm 0; ở 9B kéo dài 160 updates thì +2.57).
Thu hồi phần lớn lợi thế toán học mà MOPD đánh mất: toán tăng ở mọi cỡ, trên MATH-500 hơn Label +0.74 đến +5.95 điểm.
Ablation cho thấy nguồn lợi chính: chỉ giảm phản hồi IF (IF×0.25) thu hồi phần lớn cải thiện (+1.79 ở 4B, +2.19 ở 2B) và kéo toán tăng ~3 điểm; chỉ khuếch đại toán thì chỉ phục hồi khoảng một nửa.
Trọng số cố định gần giá trị DN-MOPD đo được cho kết quả tương đương ở 9B và 4B — DN-MOPD tự hiệu chuẩn từ thống kê batch, chỉ ở 2B việc ước lượng theo batch mới vượt trội hơn trọng số batch đầu (+1.10).
Đổi cách gán teacher (uniform pooling, dynamic router) không mang lại lợi ích ổn định — chứng tỏ thang đo phản hồi là một lựa chọn thiết kế độc lập với việc chọn teacher.
Gains đi kèm câu trả lời ngắn hơn, ít chạm giới hạn sinh hơn — không phải do kéo dài generation.

IV. Conclusion & Future Works:

Kết luận: tích hợp các RL expert đòi hỏi không chỉ quyết định chuyên gia nào dạy, mà còn hiệu chuẩn phản hồi của từng expert mạnh bao nhiêu — phản hồi IF phân tán cao nếu không bị giới hạn sẽ át gradient chung và "nuốt mất" lợi thế toán học. DN-MOPD làm điều này bằng một phép nhân có chặn trên thống kê batch, gần như không tốn thêm chi phí.

Hạn chế: chỉ một expert pool cho mỗi cỡ, trong một họ mô hình; seed thử nghiệm chưa bao phủ việc huấn luyện lại expert; lợi ích phụ thuộc cấu hình teacher–student (thử nghiệm Qwen3-4B trước đó không thấy lợi ích rõ); hệ số ước lượng phụ thuộc thành phần domain và độ dài response; bound clip không được tinh chỉnh theo cỡ, nên với IF quy tắc chặn chứ không cân bằng hoàn toàn thang đo.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng chuẩn hóa domain cho MOPD đa mô hình: đo thang phản hồi chéo giữa các họ mô hình teacher–student khác nhau (ví dụ teacher mạnh hơn student) và học bound clip thích ứng thay vì cố định.
Kết hợp domain normalization với cơ chế phân bổ ngân sách token (kiểu Open-MOPD) để đồng thời cân bằng cường độ lẫn lượng dữ liệu của từng domain trong một framework thống nhất.
Nghiên cứu lý thuyết về điều kiện hội tụ khi nhiều teacher phản hồi trên thang đo khác nhau: khi nào việc rescale log-ratio spread bảo đảm student không bị một domain át gradient.

2. Patent:

Hệ thống huấn luyện trợ lý AI trên điện thoại bằng nhiều teacher chuyên ngành (toán, lập trình, viết văn): máy chủ gộp các chuyên gia thành một mô hình duy nhất chạy on-device, đo độ phân tán phản hồi của từng chuyên gia theo batch và tự vặn nhỏ/vặn to tín hiệu để trợ lý học đều mọi kỹ năng mà không cần ai cân chỉnh trọng số tay.
Ứng dụng gõ phím thông minh trên điện thoại học từ nhiều teacher (ngữ pháp, văn phong, giọng điệu): mỗi teacher đánh giá câu người dùng vừa gõ, hệ thống chuẩn hóa mức độ phản hồi theo domain trước khi cập nhật gợi ý, tránh trường hợp teacher kiểm tra ngữ pháp (phản hồi dàn trải) át hết teacher chỉnh văn phong.
Dịch vụ đám mây hợp nhất mô hình cho doanh nghiệp: khách hàng nộp nhiều mô hình chuyên ngành đã RL fine-tune, hệ thống tự đo thang phản hồi từng domain trên batch hiện tại và sinh một student tổng hợp với hệ số chuẩn hóa có chặn, không cần kỹ sư tìm trọng số riêng cho từng bộ mô hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35347
ArXiv Abstract	https://arxiv.org/abs/2609.35347
PDF Download	https://arxiv.org/pdf/2609.35347.pdf
Github Repository	https://github.com/LiXin97/DN-MOPD

4. Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL (110 votes)

Tác giả: Jinhao Dong, Liang Zhao, Zihao Yue, Wenhan Ma, Linghao Zhang, et al.

Xuất bản lúc: 2026-09-26

Tag: Reinforcement Learning, Code Agents, GRPO, Reward Modeling, LLM Agents, Credit Assignment

I. Main Problem:

Khi huấn luyện code agent bằng RL với phần thưởng nhị phân (pass/fail qua unit test), GRPO gán advantage giống hệt nhau cho mọi trajectory pass test trong cùng rollout group. Điều này bỏ qua sự khác biệt về chất lượng implementation:

Một lời giải có thể sửa đúng gốc vấn đề, thay đổi tối thiểu, tuân thủ convention của repo
Lời giải khác có thể thêm complexity thừa, sửa code ngoài phạm vi, làm suy yếu validation — nhưng vẫn pass test và nhận cùng mức reinforce

Hệ quả: policy không có tín hiệu để học cách viết code sạch, đúng phạm vi, dễ merge và bảo trì.

II. Main Idea:

Gagar (Groupwise Agentic Grading for Advantage Redistribution) thêm lớp giám sát chất lượng vào vòng lặp RL:

Dynamic sampling chỉ giữ các group có cả pass lẫn fail
Agentic grader (một MiMo-V2.6-Pro SFT checkpoint) được đặt trong workspace chung chứa task spec, repo, patch, kết quả test và toàn bộ trajectory; nó đọc code, chạy kiểm tra có chọn lọc rồi xếp hạng các candidate pass test theo 5 tiêu chí: phù hợp hướng tiếp cận, độ chính xác, tính tối thiểu của thay đổi, tránh tác dụng phụ, nhất quán với codebase. Có 3 tier chất lượng (T1/T2/T3), ứng với hệ số giảm f_i ∈ (0,1]
Sum-preserving redistribution: thay vì chỉ downweight (làm mất tổng positive advantage và mất cân bằng với phía negative), Gagar rescale tất cả advantage của trajectory pass bằng hệ số chung λ để khôi phục tổng positive ban đầu — tức lấy credit từ lời giải kém chất lượng trả lại cho lời giải tốt hơn, giữ nguyên tỷ lệ tương đối và advantage của các trajectory fail. Trajectory nào bị phát hiện dùng đáp án rò rỉ/ngoài bài bị reset reward về 0

Ví dụ đời thường: giống như chấm bài thi của một lớp — thay vì cho tất cả bạn làm đúng điểm tuyệt đối như nhau, giáo viên so sánh các bài cạnh nhau, trừ điểm bài viết dài dòng lạm dụng, rồi phân lại phần điểm bị trừ cho bài gọn gàng sáng ý, chứ không đơn giản xóa điểm rồi bỏ luôn.

III. Main Results:

DeepSWE v1.1 (code-only Flash RL): baseline nhị phân sụt từ 58.5% xuống 50.2% và phải dừng ở step 28; Gagar đạt 62.2% ở step 28 (+12.1 điểm), peak 63.4% ở step 44
SWE-bench Pro: baseline chững ~59%; Gagar lên tới 62.5%
Hiệu quả tương tác: ở step 28 giảm DeepSWE từ 132.3 xuống 111.6 lượt (-15.6%) và token từ 191.9k xuống 172.9k (-9.9%); SWE-bench Pro giảm 6.5% lượt và -14.1% token
Chất lượng implementation (đánh giá mù bằng Claude Opus 5): điểm rubric 4.03 vs 3.70; win rate 69.8% trong số candidate pass; tỷ lệ tier chất lượng cao nhất T1 tăng từ 25.4% lên 34.3%
Ablation: chỉ downweight không redistribute làm entropy tăng 0.359→0.905, độ dài trajectory phình 47k→114k token và pass rate bấp bênh; redistribution giữ entropy ở mức 0.513 và ổn định hơn rõ rệt
Mixed-task RL công nghiệp quy mô lớn: DeepSWE avg@3 đạt 67.9 (Flash) và 71.9 (Pro); Pro vượt Kimi K3 dù chỉ 1.02T tham số (vs 2.8T) và vượt GPT-5.6 Sol trên SWE-bench Pro (62.7% vs 60.5%)

IV. Conclusion & Future Works:

Kết hợp test-based verification với groupwise agentic grading giúp RL cho code agent cải thiện đồng thời hiệu suất, chất lượng implementation và độ ổn định huấn luyện ở quy mô công nghiệp. Điểm mấu chốt kỹ thuật là khôi phục tổng positive advantage thay vì vứt credit khi nới lỏng lời giải kém chất lượng — bảo toàn cân bằng credit là điều kiện để chất lượng-hướng shaping không phá vỡ training. Nguyên lý bảo toàn credit cũng có thể mở rộng xuống cấp độ token.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu áp dụng redistribution bảo toàn tổng credit ở cấp độ token cho các tác vụ agent dài hạn khác (web navigation, data analysis), nơi intermediate states giữa các rollout không căn chỉnh được.
Phát triển grader nhẹ hơn (thay vì model 1T tham số) để grading nhanh và rẻ hơn, mở đường áp dụng Gagar cho các tổ chức không có sẵn mô hình cỡ lớn.
Kết hợp quality ranking với reward shaping theo độ dài và entropy-guided shaping để đồng thời kiểm soát chi phí inference và độ đa dạng của policy.

2. Patent:

Hệ thống chấm điểm tự động cho trợ lý lập trình AI trên điện thoại/IDE: khi người dùng yêu cầu sửa bug, ứng dụng sinh nhiều bản patch, chạy test rồi dùng một mô hình chấm giám đối so sánh các bản patch trong cùng phiên để ưu tiên đề xuất bản sửa gọn, đúng phạm vi lên đầu.
Cơ chế phân bổ reward không làm mất tổng điểm trong hệ huấn luyện AI nội bộ: module tính toán rescale hệ số chung để chuyển credit từ lời giải chất lượng thấp sang lời giải tốt, duy trì ổn định huấn luyện mà không cần chỉnh tham số tối ưu hóa.
Dịch vụ đánh giá chất lượng pull request tự động: nhóm các patch thay thế cho cùng một issue, một agent kiểm tra có chạy lệnh kiểm tra để xếp hạng và gắn nhãn tier chất lượng (sẵn sàng merge / cần chỉnh sửa / có rủi ro), giảm thời gian review của lập trình viên.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32577
ArXiv Abstract	https://arxiv.org/abs/2609.32577
PDF Download	https://arxiv.org/pdf/2609.32577.pdf
Github Repository	N/A

5. Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence (93 votes)

Tác giả: Hongcheng Gao, Jingjing Zhou, Zelin Zheng, Shijia Ge, Jay Zhu, et al.

Xuất bản lúc: 2026-09-28

Tag: Coding Agents, Robotics, VLA, Embodied AI, Self-Evolution, World Models, LLM Agents

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) và World-Action (WAM) ánh xạ trực tiếp quan sát + chỉ dẫn thành chuỗi hành động, dẫn đến lỗi mang tính cấu trúc:

Policy gần như không đọc chỉ dẫn ngôn ngữ: che instruction khi huấn luyện trên LIBERO chỉ giảm 96.2% → 92.3% tỉ lệ thành công.
Mất hơn một nửa hiệu suất khi đổi góc nhìn hoặc trạng thái khởi tạo; xấp xỉ 0 khi thay đổi bố cục vật thể.
Trạng thái tác vụ (đối tượng, ràng buộc, tiến độ, phục hồi lỗi) bị mã hóa ngầm trong action chunk nên không kiểm tra, không sửa chữa được — tăng dữ liệu hay mô hình không cứu được.

II. Main Idea:

Physical Coding: đưa coding agent của thế giới số vào thế giới vật lý bằng cách biểu diễn cả trạng thái lẫn quy trình thực thi dưới dạng chương trình có thể kiểm chứng:

Code as World: ghi nhận đối tượng, quan hệ, ràng buộc, quan sát và các predicate tiến độ — thay vì tin câu trả lời của VLM, thế giới được viết thành code từ ảnh/cảm biến, từng mục kèm nguồn gốc (provenance).
Code as Policy: chương trình gọi công cụ (cả VLA/WAM như một tool con), có rẽ nhánh, lặp, ngắt, xác minh và phục hồi lỗi như các node riêng, với điều kiện đọc từ predicate của world program.
Verifier độc lập quyết định pass/fail/insufficient evidence — không tin vào tự đánh giá của model.
HexaAnything: agent thể hiện cụ thể; các verified trace trở thành dữ liệu/memory huấn luyện lại model (HexaModel), mở vòng lặp tự tiến hóa qua Harness → dữ liệu → trọng số model.

Ví dụ đời thường: giống như đầu bếp không nấu mò mẫm theo cảm giác mà liên tục đọc checklist và nhìn lại món ăn — thiếu nguyên liệu nào là biết ngay, làm sai bước nào thì sửa ngay bước đó, và cuối ca còn ghi lại công thức đã chứng minh được để người sau học theo.

III. Main Results:

RoboCasa365: HexaAnything vượt XR-1 VLA về tỉ lệ thành công tổng thể và trên tác vụ Composite-Unseen; model HexaModel huấn luyện từ trace của Harness vượt base model trên mọi split — chứng tỏ code trace đã internalize được thực thi vật lý.
PhyBench (phòng thí nghiệm mô phỏng): agent tự động hoàn thành các thí nghiệm vật lý (vd. đo hằng số lò xo theo định luật Hooke) — đo đạc, phân tích, kết luận.
Robot hai tay AgileX thật: hoàn thành phần lớn tác vụ tabletop, thường nhanh hơn kết quả đã công bố.
Quan sát được tự tiến hóa ở ba cấp: dữ liệu, model và công cụ; tiến hóa đầy đủ đồng thời bốn mục tiêu (Harness, model, dữ liệu/môi trường, phần cứng) vẫn là việc tương lai.

IV. Conclusion & Future Works:

Physical Coding cho thấy giao diện thực thi (code) giữa trạng thái vật lý, hành động và bằng chứng là mảnh còn thiếu của agent tự tiến hóa — trải nghiệm thực thi không biến mất sau mỗi episode mà trở thành artifact tái sử dụng. Báo cáo chứng minh được vòng lặp Harness → trace → dữ liệu → model mới ở quy mô nhỏ. Hướng tương lai: internalize kiến thức vào trọng số model, tự thiết kế lại kiến trúc/ngôn ngữ/biểu diễn/tác vụ, và triển khai trong sản xuất công nghiệp và khoa học.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng tự tiến hóa từ Harness + dữ liệu sang cập nhật trọng số model toàn phần — cho phép planner học từ verified trace mà không cần retraining từ đầu.
Tiến hóa biểu diễn: cho agent tự thiết kế lại schema của Code as World và ngôn ngữ policy thay vì giữ nguyên ngôn ngữ do con người định nghĩa.
Vòng lặp co-evolution giữa thiết kế phần cứng robot (embodiment) và Harness/model vận hành trên đó.
Chuẩn hóa giao thức verifier cho môi trường vật lý: typed verdict, provenance, rollback trong triển khai công nghiệp thực tế.

2. Patent:

Robot phục vụ gia đình có 'hồ sơ thế giới bằng code': trước khi đóng cửa lò nướng, robot kiểm tra predicate 'cả hai nguyên liệu đã vào lò' bằng camera, nếu thiếu thì tự lấy tiếp — báo về điện thoại trạng thái từng bước bằng ngôn ngữ dễ hiểu.
Hệ thống thí nghiệm vật lý tự động cho trường học: cánh tay robot tự thêm quả cân, đọc thước, vẽ đồ thị và tính hằng số lò xo rồi lưu kết quả có nguồn gốc từng phép đo, phát hiện số liệu nhiễu và đo lại.
Module tự cải thiện cho robot sản xuất: mỗi ca làm việc, robot ghi lại các lần thực thi thành công; cuối ngày dữ liệu đã xác minh tự huấn luyện nâng cấp model điều khiển mà không cần kỹ sư lập trình lại.
Nền tảng điện thoại điều khiển robot đa năng: người dùng nói mục tiêu, điện thoại hiển thị chương trình thực thi dạng cây (quan sát → hành động → kiểm tra) và cho phép duyệt/sửa từng bước trước khi robot chạy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35432
ArXiv Abstract	https://arxiv.org/abs/2609.35432
PDF Download	https://arxiv.org/pdf/2609.35432.pdf
Github Repository	https://github.com/HexaFuture/PhysicalCoding

6. Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue (82 votes)

Tác giả: Chengqian Ma, Wenhao Feng, Weixuan Jin, Gaole Dai, Tianyu Xie, et al.

Xuất bản lúc: 2026-09-25

Tag: Full-Duplex Speech, Spoken Dialogue Systems, Multi-Party Interaction, Benchmark, Addressee Recognition, Speech LLMs

I. Main Problem:

Các mô hình speech full-duplex (nghe trong lúc nói) hiện nay được đánh giá chủ yếu trong tương tác một người dùng – một trợ lý cố định. Khi trợ lý tham gia cuộc trò chuyện chung của nhiều người (phòng họp, phòng khách, xe hơi), benchmark hiện có thiếu các khía cạnh:

Không có người dùng cố định: ai cũng có thể hỏi, cung cấp thông tin, hoặc trả lời thay trợ lý.
Nói nhiều không đồng nghĩa với tham gia đúng lúc: cần tách riêng quyết định khi nào nói, khi nào im, khi nào dừng.
Chỉ số response rate đơn lẻ che giấu các profile lỗi khác nhau: bỏ lỡ yêu cầu, trả lời sai, chen ngang khi cần im lặng, hoặc nói liên tục gần như mọi lúc.

II. Main Idea:

Duplex-MPE là benchmark đánh giá khả năng tham gia có chọn lọc của trợ lý trong hội thoại đa bên liên tục. Cấu trúc:

2,000 kịch bản (3–4 người + trợ lý Aria), mỗi kịch bản có cặp explicit/implicit: yêu cầu T gọi tên Aria hoặc buộc suy luận người được nhắc tới từ ngữ cảnh, giữ nguyên nhiệm vụ và đáp án.
Mỗi lượt được gán nhãn: T (yêu cầu cần trả lời), N1–N3 (nhắc tên nhưng không hỏi / nói với người khác / tự nói — đều phải im), N4 (người khác trả lời thay yêu cầu — trợ lý phải dừng nói).
Mô hình nhận audio liên tục duy nhất, không transcript, không nhãn người nói, không ranh giới lượt.
4 chỉ số tách biệt: fresh-onset response rate (bắt đầu nói mới trong 5s), conditional answer accuracy, silence preservation, answering-window yield (dừng khi người khác giải quyết yêu cầu). Pipeline xây dựng và chấm điểm tự động (Claude Opus 5 sinh kịch bản, Qwen3-TTS tổng hợp giọng, Silero VAD đo thời gian), có kiểm chứng con người.

Ví dụ đời thường: giống một người mới ngồi vào bàn ăn gia đình — phải nghe hết mọi người nói chuyện, tự biết câu nào hỏi mình thì trả lời, câu nào người ta nói với nhau thì im, và khi có người đã trả lời thay mình thì khéo léo ngậm miệng.

III. Main Results:

MiniCPM-o 4.5 dẫn đầu 3/4 chỉ số (fresh-onset ~0.95, silence preservation ~0.92, conditional accuracy ~0.47); các hệ thống khác (Moshi, FLM-Audio, V oila, Freeze-Omni) nói thường xuyên nhưng trả lời sai hoặc không giữ được im lặng.
Response presence không phân biệt được hành vi: Freeze-Omni có presence 0.9955 nhưng fresh-onset chỉ 0.2525 và silence preservation 0.0002 (chỉ 5/20,360 cửa sổ cần im). FLM-Audio presence 0.9505 nhưng chỉ đúng 2/1,901 câu trả lời.
Ảnh hưởng của addressing: Gemini 3.1 Pro (tham chiếu trên transcript) trả lời nhiều hơn 64.3 điểm phần trăm với yêu cầu explicit; 5 mô hình speech không có khác biệt có ý nghĩa thống kê giữa hai điều kiện — hoặc suy luận tốt người được hỏi, hoặc không nhận ra cả khi bị gọi tên.
Dừng nói khi bị thay thế (N4): MiniCPM-o yield ~0.60, V oila 0.85 (trên tập sự kiện đủ điều kiện), Moshi 0.19, FLM-Audio 0.008.
Nhạy cảm: thứ hạng silence preservation ổn định qua mọi ngưỡng VAD; một số mô hình trả lời kém hơn khi yêu cầu xuất hiện muộn trong hội thoại.

IV. Conclusion & Future Works:

Duplex-MPE biến suy luận người được nhắc tới (addressee inference) thành bài kiểm tra điều khiển lời nói đầu-cuối trên audio liên tục. Kết quả cho thấy một chỉ số response rate duy nhất che giấu các profile lỗi hoàn toàn khác nhau — tách riêng các chỉ số là cần thiết để đánh giá thật. Hướng mở rộng: taxonomy và pipeline tự động (sinh kịch bản + chấm điểm ngữ nghĩa) cho phép tạo các bộ đánh giá lớn hơn hoặc mới thay vì phụ thuộc tập dữ liệu gán tay cố định; có thể mở rộng số người nói, ngôn ngữ, và điều kiện acoustic thực tế hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Duplex-MPE sang hội thoại đa bên nhiều vòng, nhiều yêu cầu xen kẽ, trong đó trạng thái hội thoại phải được duy trì qua nhiều sự kiện T/N4 chồng lấp.
Benchmark tương tự cho môi trường có nhiễu acoustic thật (xe hơi, phòng họp lớn) và giọng nói chồng lấp (overlap speech) giữa nhiều người, thay vì tổng hợp tuần tự.
Nghiên cứu fine-tuning/alignment cho mô hình full-duplex nhắm riêng addressee inference dưới dạng quyết định ẩn kiểm soát luồng lời nói, khai thác cặp explicit/implicit của benchmark.
Đánh giá tương tác đa thiết bị trong cùng phòng: trợ lý phải phân biệt lời nói dành cho thiết bị nào, mở rộng từ device-directed speech detection.

2. Patent:

Trợ lý giọng nói thông minh trong điện thoại và loa thông minh tham gia cuộc trò chuyện nhóm: tự nhận biết câu nào đang hỏi mình (kể cả không gọi tên), tự im khi mọi người nói chuyện riêng, và tự dừng ngay khi một người trong nhóm đã trả lời thay — tránh chen ngang gây khó chịu.
Hệ thống họp trực tuyến/họp phòng có trợ lý AI ảo: lắng nghe audio liên tục của nhiều người, chỉ lên tiếng khi được hỏi trực tiếp, đồng thời tận dụng thông tin nói lơi của các bên khác để trả lời chính xác hơn.
Ứng dụng xe hơi thông minh: trợ lý giọng nói trên xe phân biệt tài xế hỏi xe hay hành khách nói chuyện với nhau, chỉ phản hồi đúng lúc, tự dừng khi người khác đã đưa thông tin (ví dụ đã đọc địa chỉ, đã tra giờ mở cửa).
Công cụ đánh giá chất lượng tự động cho các sản phẩm trợ lý giọng nói: pipeline sinh kịch bản đa người, tổng hợp giọng, chấm điểm thời gian nói/im/dừng bằng VAD và chấm điểm ngữ nghĩa bằng LLM, dùng trong kiểm thử QA trước khi phát hành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.31948
ArXiv Abstract	https://arxiv.org/abs/2609.31948
PDF Download	https://arxiv.org/pdf/2609.31948.pdf
Github Repository	N/A

7. MassAlloc Attention: Let Attention Allocate Its Own Compute (64 votes)

Tác giả: Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, et al.

Xuất bản lúc: 2026-09-26

Tag: Attention, Long Context, Sparse Attention, Efficient Inference, LLM Training, Online Softmax, FlashAttention

I. Main Problem:

Attention softmax đầy đủ (FullAttn) ở context dài phân phối xác suất rất lệch: phần lớn normalized mass tập trung vào vùng local, sink tokens và vài tương tác retrieval quan trọng, trong khi nhiều tile còn lại có đóng góp không đáng kể. Tuy nhiên các kernel dạng dense như FlashAttention vẫn thực thi trọn vẹn toàn bộ post-score path (softmax update, nạp V, tích lũy PV ở forward; dP, dS, dQ, dK, dV ở backward) cho mọi tile hợp lệ. Hệ quả:

Lãng phí tính toán lớn trong cả training và inference khi context kéo dài tới hàng trăm nghìn tokens
Các phương pháp sparse truyền thống dùng support cố định theo vị trí (window, block) hoặc chọn token bằng router bên ngoài, dễ bỏ sót các tương tác xa quan trọng và phải hiệu chuẩn ngưỡng riêng tng layer/head/độ dài.

II. Main Idea:

MassAlloc Attention (MALA) biến attention thành bộ phân bổ compute tại runtime: tách riêng QK score discovery (vẫn tính điểm cho toàn bộ causal context, giữ độ phức tạp quadratic) khỏi post-score execution (chỉ chạy cho tile đủ đóng góp).

Cơ chế cốt lõi:

Mỗi tile sau khi có điểm QK được so với ngưỡng τ/Lq (tolerance chung, chuẩn hóa theo số key nhìn thấy của query q)
Forward: dùng online-softmax normalizer đang tiến hóa (running max m và sum ℓ) để kiểm tra — tile nào contribution nhỏ hơn ngưỡng thì bỏ qua toàn bộ softmax update, load V, PV
Backward: tái sử dụng normalizer đã finalized do forward lưu lại (chỉ lưu log-normalizer, không lưu mask hay index), support của backward lồng trong support của forward
Một tolerance duy nhất (τ=1) dùng chung cho training forward/backward, prefill và decoding; phân phối attention thực tế tự quyết định khối lượng work được giữ lại theo từng query, head, layer, input
Fused kernel: không vật chất hóa attention matrix, mask nhị phân hay router state; peak memory bằng FullAttn

Ví dụ đời thường: giống như đọc một cuốn sách dày — bạn vẫn lướt qua tất cả các trang (score discovery đầy đủ), nhưng chỉ ghi chép và suy nghĩ kỹ (post-score) ở những trang thực sự quan trọng, còn trang không liên quan thì lật qua mà không tốn công ghi nhớ.

III. Main Results:

Matched-work study (8K): cùng tổng post-score work (~1,024 slots/query), MALA đạt omitted mass trung bình 0.0188% so với oracle per-instance 0.0182%, và vượt xa mọi phân bổ tĩnh (position-only 0.60%, layer-head 0.17%)
Operator fidelity (1K–32K): một tolerance duy nhất giữ omitted mass ≤ 0.0062%, output error ≤ 0.021%, gradient error ≤ 0.38%; work ổn định quanh ~1,010–1,066 slots/query
Associative recall (8K): MALA đạt 89.67% so với FullAttn 89.97%, trong khi DSA 52.61%, MoBA 47.25%, NSA 22.61% — dù cùng ngân sách slots
Kernel benchmark (128K, 8×H100, TP=8): giảm latency forward 2.2×, backward 3.0×, decoding 1.6× so với FullAttn, peak memory ngang FullAttn
Scaling laws (0.6B–14B): perplexity gần như trùng FullAttn (chênh < 0.001 ở 14B), giảm 2.5% training FLOPs ở 4K pre-training và 23.1% ở 32K long-context training
Model-level (14B & 32B): knowledge, reasoning, RULER 32K và RULER 128K (YaRN) đều tương đương FullAttn (vd. 14B RULER 32K: 89.45 vs 89.42).

IV. Conclusion & Future Works:

MALA chứng minh rằng phân bổ post-score compute theo normalized attention contribution — với một tolerance chuẩn hóa duy nhất — có thể giữ nguyên mọi năng lực đánh giá của FullAttn (fidelity, associative recall, perplexity, knowledge/reasoning/retrieval) trong khi giảm đáng kể chi phí training và inference. Điểm mấu chốt là không cắt bỏ score access (quadratic QK discovery được giữ), mà chỉ lược bỏ phần thực thi sau điểm số có đóng góp thấp. Giới hạn/hướng tương lai ngầm định: chi phí QK discovery vẫn quadratic (savings chỉ là hằng số dữ-liệu-phụ-thuộc ở post-score), nên các phương pháp support-sparse vẫn có thể vượt mặt ở khâu QK; việc kết hợp MALA với quản lý KV-cache và sparse support bên ngoài còn bỏ ngỏ.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp MALA với support-sparse attention (giảm cả QK score discovery) trong một kernel fused thống nhất để giảm độ phức tạp asymptotic thay vì chỉ hằng số.
Tích hợp MALA vào hệ thống KV-cache management (pruning, offloading) để tối ưu đồng thời execution và bộ nhớ cache khi decoding context rất dài.
Nghiên cứu tolerance τ adaptive theo layer/head/sequence length trong khi vẫn giữ tính chuẩn hóa, nhằm cân bằng chất lượng và FLOPs ở các mô hình đa dạng.

2. Patent:

Module tăng tốc attention trên điện thoại/NPU: mô hình ngôn ngữ dài context chạy local bằng cách tính điểm tương tác đầy đủ nhưng bỏ qua phép nhân ma trận giá trị cho các vùng điểm thấp, giảm tiêu thụ pin khi đọc tài liệu dài mà không làm mất thông tin.
Dịch vụ đám mây suy luận context dài: hệ thống tự động phân bổ GPU theo mức độ quan trọng thực tế của từng phần văn bản (được đo bằng xác suất attention), giảm chi phí thuê GPU cho doanh nghiệp xử lý hợp đồng/sổ sách dài.
Hệ thống training LLM tiết kiệm năng lượng: trung tâm dữ liệu dùng cơ chế attention tự phân bổ compute để giảm ~23% FLOPs ở giai đoạn long-context training, kéo dài tuổi thọ phần cứng và giảm hóa đơn điện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32712
ArXiv Abstract	https://arxiv.org/abs/2609.32712
PDF Download	https://arxiv.org/pdf/2609.32712.pdf
Github Repository	https://github.com/HKUSTDial/flash-sparse-attention

8. TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces (60 votes)

Tác giả: Dehai Min, Daoan Zhang, Yiming Zeng, Huayi Zhang, Ziyi Chen, et al.

Xuất bản lúc: 2026-09-27

Tag: LLM Agents, Benchmark Construction, Agent Evaluation, Deployment Traces, Process-Level Evaluation, LLM-as-Judge, Recursive Self-Improvement

I. Main Problem:

Các benchmark agent thường chỉ hỏi cuối cùng hoàn thành được không, trong khi một agent vẫn có thể làm xong việc nhưng gây hành vi xấu: rò rỉ token vào log, tắt test đang lỗi để qua mặt bộ kiểm thử, chạy lệnh phá hoại mà không hỏi lại. Các bộ test hành vi cố định lại không bắt kịp hành vi mới khi mô hình và bối cảnh triển khai thay đổi. Nhu cầu cốt lõi là: biến các sự cố thật trong deployment thành bài kiểm thử đúng chỗ đau, theo đúng hành vi mà developer chỉ định bằng ngôn ngữ tự nhiên.

II. Main Idea:

TraceDance nhận một câu truy vấn hành vi không mong muốn cùng hàng trăm nghìn trace thật, rồi tự dựng benchmark bằng decision-point continuation: cắt trace ngay trước điểm agent đã phạm lỗi, cho LLM cần chấm tạo lượt tiếp theo, và chấm lượt đó bằng rubric riêng cho hành vi đó; không cần đáp án mẫu và không cần tái chạy môi trường.

Cơ chế chính gồm ba lớp:

Anchor-and-Confirm: bộ lọc lập trình được quét trace rẻ và nhanh trên CPU để lấy ứng viên; một mô hình LLM nhỏ/nhanh chỉ xác nhận từng ứng viên có đúng hành vi yêu cầu không.
Anchor Synthesis Loop: khi không có spec có sẵn, hệ thống tự sinh anchor, tiêu chuẩn xác nhận, quy tắc cắt ngữ cảnh và rubric; chạy thử, lấy phản hồi, sửa lại cho tới khi đạt ngưỡng chất lượng.
Ba khung cắt theo loại quyết định: chọn hành động, phản ứng sau lỗi, hoặc tuyên bố về kết quả đã làm.

Ví dụ đời thường: giống như rà soát camera an ninh của một ca làm việc: không xem lại từng giờ mất công, mà dùng bộ lọc tìm đúng khoảnh khắc người vận hành sắp bấm nút sai, dừng hình trước cú bấm, rồi thử đưa một người mới vào xem họ có bấm đúng cách an toàn không.

III. Main Results:

Quy mô dữ liệu: 252,557 session thật từ Claude Code và OpenClaw; dựng 107 benchmark gồm 4,125 instance.
Khả năng phục vụ truy vấn: đáp ứng 95.3% yêu cầu cần build và từ chối đúng toàn bộ truy vấn adversarial hoặc thiếu tham số.
Chất lượng instance: hai annotator độc lập cùng xác nhận hành vi yêu cầu trong 84% mẫu; rubric được đánh giá tốt ở 90% mẫu, điểm trung bình 4.75/5.
Độ tin cậy chấm tự động: sự đồng thuận pass/fail giữa hội đồng LLM judge và người là 81.0%, ngang mức hai người chấm với nhau.
Chín LLM frontier chỉ đạt pass rate trung bình 26.7%; dải từ 22.9% tới 33.5% cho thấy hành vi tại điểm quyết định vẫn rất yếu.
Theo yêu cầu hành vi: gọi tool đúng dạng đạt 67.9%, xử lý lỗi 33.5%, tuyên bố trung thực 28.9%, nhưng kiểm tra trước khi tiếp tục chỉ 8.1%.
Các lỗi cực nghiêm trọng bị lộ: bảo vệ bí mật 6.9%, commit hygiene 0.9%, inspection log lỗi trước khi retry chỉ 0.6%.
Mở đầu bằng TodoWrite có pass rate rất thấp: 4.6% so với khoảng 30.8% của các cách mở đầu khác trên cùng instance.
Xếp hạng tổng che giấu điểm mạnh riêng: Kimi-K3 thua Opus tổng thể hơn 10 điểm nhưng vượt rõ ở error-guided correction, 57.8% vs 27.8%; GPT-5.6-Sol xếp thứ năm tổng thể nhưng dẫn 8/28 nhóm hành vi.

IV. Conclusion & Future Works:

TraceDance cho thấy đường đi khả thi từ sự cố deployment thật tới benchmark hành vi có mục tiêu: không chỉ kiểm tra xong việc, mà kiểm tra agent có cư xử đúng ngay điểm dễ vấp. Giá trị lớn nhất là làm lộ các điểm yếu mà xếp hạng tổng thể che khuất, đồng thời tạo bài test để so sánh các bản sửa mô hình và phát hiện regression. Hướng mở: đưa TraceDance vào vòng recursive self-improvement thật sự; áp pipeline cho bộ trace khác khi không thể công bố trace gốc; làm rubric rõ ràng hơn ở biên giới giữa các mức điểm để giảm tranh luận khi chấm.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp decision-point continuation cho benchmark hành vi agent: cắt ngay trước lượt quyết định, chấm lượt kế tiếp bằng rubric riêng mà không cần replay môi trường hay đáp án tham chiếu.
Khung Anchor-and-Confirm để khai thác trace triển khai quy mô lớn: giảm chi phí bằng lọc lập trình trên CPU, chỉ dùng LLM xác nhận ở tầng ứng viên.
Anchor Synthesis Loop: tự sinh, kiểm thử và sửa đặc tả hành vi khi truy vấn nằm ngoài danh mục có sẵn.
Phân tích hành vi frontier LLM theo nhóm yêu cầu và nhóm hành vi cụ thể, chứng minh xếp hạng tổng thể che giấu điểm mạnh/yếu riêng.
Vai trò của benchmark từ trace thật trong vòng dữ liệu tự cải thiện: đo tiến bộ, phát hiện regression, hướng tinh chỉnh và lựa chọn mô hình theo hành vi.

2. Patent:

Bộ kiểm thử hành vi cho trợ lý AI trên điện thoại: thu thập log tương tác đã ẩn danh, tự tìm các điểm agent sắp làm sai như gửi tin nhắn hộ, xóa lịch, đặt lệnh mua hàng; dựng kịch bản thử lại đúng khoảnh khắc đó để chấm mô hình mới trước khi phát hành.
Hệ thống giám sát chất lượng agent cho doanh nghiệp dùng điện thoại và máy tính bảng: quét phiên làm việc thật, phát hiện hành vi rủi ro theo mô tả bằng ngôn ngữ thường ngày, rồi tạo bộ câu hỏi nội bộ để kiểm tra mọi bản nâng cấp trợ lý.
Công cụ tự động hồi quy hành vi cho ứng dụng có trợ lý tự động: mỗi khi người dùng hoặc audit ghi nhận một lỗi cư xử, hệ thống biến nó thành bài test lặp lại được, báo pass/fail và điểm hành vi theo thang 0-5.
SDK kiểm chứng an toàn cho agent gọi tool trong app di động: nhà phát triển nhập mô tả hành vi cấm như làm lộ mật khẩu, retry sau lỗi mà không đọc log, hoặc tuyên bố hoàn thành khi chưa chạy thử; SDK trả về benchmark nhỏ đủ để chấm nhanh trước mỗi release.
Dashboard cải tiến liên tục cho assistant cá nhân: gom các lỗi hành vi từ thực tế dùng, nhóm theo chọn hành động, xử lý thất bại, và xác nhận kết quả; đo xem bản mô hình mới có sửa đúng các nhóm yếu hay chỉ tăng điểm benchmark tổng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33295
ArXiv Abstract	https://arxiv.org/abs/2609.33295
PDF Download	https://arxiv.org/pdf/2609.33295.pdf
Github Repository	https://github.com/ZhishanQ/TraceDance

9. CoWindow Attention: Full Causal Coverage Is a Collective Property (59 votes)

Tác giả: Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, et al.

Xuất bản lúc: 2026-09-26

Tag: Sparse Attention, Long Context, Transformer, GQA, KV Cache, Tensor Parallelism, Efficient Inference, Associative Recall

I. Main Problem:

Full attention (FullAttn) trong mô hình ngữ cảnh dài vẫn cho mọi attention head nhìn toàn bộ lịch sử causal, nên dù đã có FlashAttention, chi phí tính toán và memory traffic vẫn bị lặp lại một cách dư thừa. Các phương pháp sparse động như router/indexer giảm được phần nào, nhưng lại thêm bài toán chọn token/block, làm mất tính đều đặn khiến kernel sparse đắt đỏ và khó tối ưu khi train lẫn decode.

II. Main Idea:

CoWindow Attention (CoWA) phân phối quyền truy cập lịch sử causal qua các KV head thay vì nhồi hết vào từng head:

Mọi KV head cùng giữ near-diagonal window cho ngữ cảnh gần và prefix-sink window cho đầu chuỗi.
Phần lịch sử xa còn lại được chia thành các long-range window bù trừ lẫn nhau, mỗi head nhận một đoạn khác nhau.
Hợp của các tập key visible là full causal coverage: token nào cũng được ít nhất một head truy cập trực tiếp, dù từng head chỉ sparse ở vùng xa.

Cách chia này chỉ phụ thuộc vị trí token và chỉ số KV head toàn cục, không cần learned router/indexer; dùng cùng một rule cho training forward/backward, prefill và autoregressive decoding; đồng thời khớp với KV-head tensor parallelism vì mỗi rank giữ các cửa sổ xa khác nhau.

Ví dụ đời thường: giống nhóm nhân viên cùng xem sổ ghi chú gần nhất và trang đầu hồ sơ, còn mỗi người phụ trách một kệ lưu trữ cũ khác nhau; ghép lại là tìm được toàn bộ hồ sơ mà không ai phải ôm trọn kho.

III. Main Results:

Ablation khớp cửa sổ tại 8K: CoWA với coverage tập thể 100% đạt 89.73%, gần FullAttn 89.97%; các layout long-range bị trùng lặp sụt mạnh dù width mỗi head như nhau.
Associative recall có ngân sách token khớp nhau: CoWA bám sát FullAttn khi context dài; tại 8K, CoWA 89.73% so với FullAttn 89.97%, trong khi DSA 53.71%, MoBA 50.12%, NSA 25.23%.
Operator benchmark 128K trên 8 H100, TP=8: giảm latency forward/backward khi train 7.4× / 8.6×, giảm decoding latency 3.0× so với FullAttn; peak operator memory khi decode thấp hơn 7.6×, còn khi train tương đương FullAttn.
Scaling law 0.6B–14B trên 128 H100: perplexity sát FullAttn; tại 14B giảm tổng training FLOPs 3.1% ở pre-training 4K và 28.5% ở long-context training 32K.
Model-level eval: 14B CoWA đạt knowledge/reasoning/RULER 32K/RULER 128K là 72.70 / 64.87 / 89.13 / 66.60, so với FullAttn 72.32 / 64.46 / 89.42 / 65.84; mô hình 32B continued-training cũng tương đương.

IV. Conclusion & Future Works:

Bài báo chứng minh full causal coverage có thể là tính chất tập thể của head ensemble, không cần nhân bản ở từng head. CoWA giữ khả năng retrieval và chất lượng ngôn ngữ gần FullAttn trong khi cắt mạnh chi phí attention nhờ pattern vị trí đều đặn, thân thiện tensor parallelism. Hướng tương lai nêu trong paper: nghiên cứu cơ chế chia long-range theo diện tích bằng nhau cho training, và làm offloading/prefetch có nhận thức cửa sổ để giảm KV cache resident trong HBM khi serving.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng nguyên tắc collective coverage sang các kiến trúc sparse attention khác ngoài GQA, kiểm tra xem phân chia cửa sổ bù trừ có còn hiệu quả khi số head, số rank hoặc chiến lược sharding thay đổi.
Nghiên cứu cơ chế equal-area allocation cho training thay vì equal-width, nhằm cân bằng tải chính xác hơn giữa các head và rank khi độ dài chuỗi biến thiên.
Kết hợp CoWA với KV-cache compression, offloading và prefetching để giảm memory resident khi inference dài, đồng thời giữ latency decode thấp.
Đánh giá collective coverage trên các bài toán retrieval phức tạp hơn associative recall, ví dụ multi-hop reasoning, repository-level code generation và long-document QA có nhiễu nhiều đoạn.
Phân tích vai trò head specialization khi train end-to-end dưới pattern position-defined, xem mô hình tự học phân công vùng xa như thế nào và có thể tối ưu bằng khởi tạo/ràng buộc nào.

2. Patent:

Trợ lý đọc tài liệu dài trên điện thoại: thay vì mọi lõi xử lý đều ôm toàn bộ hội thoại/tài liệu, hệ thống giữ đoạn đầu và đoạn mới nhất ở mọi phần xử lý, còn các đoạn cũ được chia cho từng phần xử lý khác nhau; khi trả lời, kết quả các phần được gộp lại để giảm nóng máy, tốn pin mà vẫn nhớ chi tiết cũ.
Dịch vụ AI đám mây cho hội thoại dài: máy chủ lưu đoạn mới nhất và đoạn mở đầu ở tất cả nút, nhưng mỗi nút chỉ giữ một khoảng quá khứ xa khác nhau; khi có câu hỏi, các nút tra cứu song song rồi hợp nhất, giúp giảm bộ nhớ lưu trữ và chi phí vận hành dịch vụ ngữ cảnh dài.
Tính năng tóm tắt/tìm lại tin nhắn cũ trong ứng dụng nhắn tin trên mobile: phần mềm duy trì vùng tin gần và tin đầu cuộc hội thoại ở mọi khối xử lý, các tin cũ hơn được phân chia cho các khối; khi người dùng hỏi lại sự kiện cũ, hệ thống tổng hợp từ các khối thay vì quét toàn bộ lịch sử.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32704
ArXiv Abstract	https://arxiv.org/abs/2609.32704
PDF Download	https://arxiv.org/pdf/2609.32704.pdf
Github Repository	N/A

10. How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining (55 votes)

Tác giả: Lin Chen, Bolin Ni, Qi Yang, Lan Jiang, Kun Ding, et al.

Xuất bản lúc: 2026-09-28

Tag: Multimodal LLMs, Scaling Laws, Encoder-Free Vision-Language Models, MoE, Visual Encoder, Compute-Optimal Training

I. Main Problem:

Hầu hết các mô hình ngôn ngữ đa phương thức (MLLM) hiện nay phụ thuộc vào một visual encoder đã pretrain (như SigLIP) để cung cấp biểu diễn thị giác sẵn có cho language model. Hướng encoder-free bỏ luôn visual encoder, đưa raw pixel patches thẳng vào decoder — kiến trúc đơn giản và thống nhất hơn, nhưng:

Hiệu quả tính toán kém hơn ở quy mô nhỏ (cần nhiều FLOPs hơn để đạt cùng loss)
Chưa ai đặc trưng hệ thống scaling behavior của kiến trúc này: liệu nó có bao giờ đuổi kịp encoder-based, và ở ngân sách tính toán nào?
Chưa rõ decoder tự bù đắp vai trò của visual encoder như thế nào khi phải học biểu diễn thị giác từ đầu.

II. Main Idea:

Bài báo chạy một thí nghiệm scaling có kiểm soát: hai họ mô hình encoder-free và encoder-based dùng chung một ladder gồm 11 sparse MoE decoder (1.1B–44B params), cùng data mixture, cùng setup tối ưu hóa, cùng độ chi tiết visual token. Fit scaling laws (Chinchilla-style IsoFLOP profiles) riêng cho objective text và multimodal để so sánh hai kiến trúc, rồi dùng các probe bên trong decoder để giải thích cơ chế.

Ba phát hiện chính:

Compute-optimal allocation dịch về model lớn hơn: số mũ phân bổ cho model tăng từ 0.464 → 0.570 trên objective multimodal (text gần như không đổi) — nghĩa là thiếu encoder thì decoder cần nhiều capacity hơn.
Encoder-free có thể đuổi kịp trong ngân sách thực tế: frontier loss–compute giảm nhanh hơn, ngoại suy cho thấy điểm vượt mặt quanh ~10^22 FLOPs (tính theo compute-optimal), thấp hơn khoảng 3 bậc so với ~10^25 FLOPs của các flagship như Kimi K2.5.
Decoder tự chuyển hóa thành visual encoder qua ba cơ chế adaptation riêng cho vision: attention hai chiều giữa các visual token ngày càng có lợi khi scale lớn, biểu diễn visual bị 'viết lại' từ các layer nông (vai trò của ViT), và routing MoE cho visual token tập trung vào một số expert chuyên trách.

Ví dụ đời thường: giống một nhân viên mới không có người hướng dẫn (encoder) — ban đầu chậm và lóng ngóng, nhưng vì tự làm hết nên học sâu hơn; khi đã đủ lâu (đủ compute), năng lực cuối cùng vượt cả người có sẵn kinh nghiệm cũ được truyền lại.

III. Main Results:

Text objective: hai kiến trúc gần như chồng khít — số mũ loss–compute 0.0973 vs 0.0979, efficiency gain quanh 0.98–0.99; text đóng vai trò control group.
Multimodal objective: encoder-free kém hiệu quả hơn trong toàn bộ phạm vi đo (compute EG trung bình ~0.47, model EG ~0.79, tức cần decoder ~1.25× FLOPs/token), nhưng gap thu hẹp theo scale.
Điểm vượt mặt (crossover): ~6.1×10^21 FLOPs (khoảng tin cậy 80%: [4.2×10^21, 1.0×10^22]) dưới compute-optimal; ~1.2×10^22 FLOPs nếu overtraining 5×.
Phân tích theo chủ đề: crossover đến sớm nhất với STEM (gần ngang bằng ở ngân sách lớn nhất), sau đó Charts; đến rất muộn với OCR, Caption, GUI — các chủ đề phụ thuộc mạnh vào biểu diễn thị giác/perception.
Cơ chế adaptation: attention tới visual token tại layer 12 tăng từ 0.217 → 0.645 sau 'loss drop'; visual token rời xa input từ layer nông (encoder-based thì không); MaxVio routing của visual token cao hơn rõ rệt, text token thì gần như giống nhau — chứng tỏ một số expert chuyên hóa cho vision.
Bidirectional vs causal attention trên visual token: bidirectional tốt hơn ngày càng rõ trên multimodal khi scale lớn, chi phí trên text nhỏ và giảm dần — phù hợp giả thuyết decoder 'thừa hưởng' chức năng contextualization của ViT.

IV. Conclusion & Future Works:

Lợi thế của visual prior từ encoder đã pretrain suy giảm theo scale: encoder-free tuy kém hiệu quả hơn ở quy mô hiện đo, nhưng frontier multimodal giảm nhanh hơn và điểm vượt mặt nằm trong ngân sách pretraining thực tế (~10^22 FLOPs). Ngoài ra, phát hiện decoder tự tạo 'encoder ngầm' (layer nông + expert chuyên trách + attention hai chiều) gợi ý rằng thay vì kế thừa kiến trúc thiết kế cho ngôn ngữ, nên thiết kế decoder ngay từ đầu cho việc học biểu diễn thị giác thuần túy. Hướng tương lai: kiến trúc decoder và chiến lược training tối ưu riêng cho native visual input để nâng hiệu quả compute trước điểm crossover.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế decoder architecture có cấu trúc attention và vị trí layer được tối ưu riêng cho visual token (ví dụ bidirectional block ở layer nông, chuyên biệt hóa expert ngay từ khởi tạo) để rút ngắn giai đoạn bootstrapping thị giác của encoder-free MLLM.
Nghiên cứu curriculum/data mixture: cân bằng dữ liệu perception-intensive (OCR, GUI, caption) với dữ liệu ngôn ngữ-nặng để kéo sớm điểm crossover của các chủ đề phụ thuộc visual prior.
Phân tích scaling cho unified multimodal models kết hợp cả hiểu và sinh ảnh (native understanding + generation), kiểm tra xem kết luận encoder-free còn đúng khi decoder phải sinh pixel.

2. Patent:

Kiến trúc chip/mô hình cho điện thoại thông minh chạy đa phương thức không cần visual encoder riêng: một mô hình duy nhất nhận ảnh chụp trực tiếp dưới dạng các mảnh ảnh ghép vào cùng mạng xử lý văn bản, giảm bộ nhớ và độ phức tạp triển khai so với mô hình hai khối (encoder + decoder), phù hợp thiết bị ngân sách tính toán thấp.
Phương pháp huấn luyện mô hình đa phương thức trên đám mây với phân bổ tự động: hệ thống ước lượng scaling law trong quá trình training và tự điều chỉnh kích thước mô hình/số token để đạt hiệu quả compute tối ưu cho kiến trúc không visual encoder.
Cơ chế chuyên môn hóa expert tự động trong mạng MoE trên thiết bị đầu cuối: hệ thống định tuyến token hình ảnh về một nhóm expert chuyên trách đã học biểu diễn thị giác, trong khi token văn bản dùng nhóm expert còn lại, cho phép một mô hình duy nhất xử lý đồng thời ảnh và chữ hiệu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35457
ArXiv Abstract	https://arxiv.org/abs/2609.35457
PDF Download	https://arxiv.org/pdf/2609.35457.pdf
Github Repository	N/A

11. Improving Test-Time Scaling with Adaptive Looped Transformers (46 votes)

Tác giả: Yichen You, Tianyu Fu, Aosong Feng, Xingtai Lv, Xuefei Ning, et al.

Xuất bản lúc: 2026-09-28

Tag: Looped Transformers, Test-Time Scaling, Adaptive Computation, LLM Reasoning, Post-Training, Inference Compute

I. Main Problem:

Các looped transformer hiện có, khi được đưa vào mô hình ngôn ngữ qua post-training, thường có độ dốc accuracy–compute tốt hơn mô hình không loop khi output dài ra, nhưng vẫn kém hơn ở cùng lượng test-time compute. Nguyên nhân chính:

chiến lược fixed-depth chạy thêm vòng lặp cho mọi token, dù nhiều token gần như không cải thiện hoặc thậm chí tệ hơn
cổng thoát thích ứng của Ouro tiết kiệm compute hơn nhưng vẫn chưa vượt baseline
huấn luyện và suy luận bị lệch khi backbone chỉ tối ưu cho độ sâu tối đa rồi mới áp early exit lúc chạy

II. Main Idea:

TaH2 post-training một adaptive looped transformer bằng cách huấn luyện đồng thời ba thành phần: shared Transformer backbone, learned input-injection updater để nạp lại embedding giữa các vòng lặp, và iteration decider nhẹ để quyết định token nào nên tiếp tục tính toán. Thay vì dùng nhãn tĩnh từ giai đoạn trước, TaH2 dùng lookahead depth supervision: sau mỗi vòng lặp, hệ thống đo xem thêm một vòng nữa có làm giảm loss dự đoán token tiếp theo không, rồi biến tín hiệu đó thành nhãn continue/stop trực tuyến. Quyết định dừng được học bằng cost-sensitive binary cross-entropy, trong khi output cuối là tổ hợp có trọng số của các dự đoán ở các độ sâu đã chạy.

Điểm khác biệt cốt lõi là chính sách chọn độ sâu được học on-policy: token đi theo quyết định của decider hiện tại như lúc inference, nên mô hình tập trung vòng lặp vào các token thật sự hưởng lợi.

Ví dụ đời thường: giống người làm bài thi không rà soát lại từng dòng như nhau, mà chỉ dành thời gian kiểm tra lại những câu đang lấp lửng; câu nào càng có khả năng đổi đáp án đúng thì càng được xem lại kỹ hơn.

III. Main Results:

Phân tích token-level cho thấy nhiều token không cần thêm vòng lặp: với Ouro và Huginn, lần lượt 52.3% và 33.5% token thay đổi loss rất nhỏ, trong khi 21.7% và 15.9% trở nên tệ hơn sau các vòng lặp bổ sung.
Trên AIME24–26 với model 1.7B, TaH2 đạt độ dốc test-time scaling 2.74 accuracy points mỗi lần decode FLOPs tăng gấp đôi, cao hơn 53% so với Standard 1.79; các looped baseline khác đạt khoảng 2.12–2.42.
Khi mở rộng đánh giá tới 32K token, Standard bão hòa ở 12.0% với khoảng 191.7 TFLOPs/response, còn TaH2 đạt 15.4% ở cùng compute, tức cao hơn khoảng 3.4 points.
Khi tăng depth ceiling từ 2 lên 8, lợi thế của TaH2 trên Standard tăng từ +2.8 points lên +3.9 points trên AIME; trung bình 10 benchmark tăng từ +2.9 lên +4.8.
Kết quả giữ ở scale lớn hơn: TaH2 vượt Standard trên mọi benchmark ở 4B và 8B, cải thiện trung bình +3.2 points ở 4B và +2.4 points ở 8B.
Ablation cho thấy các lựa chọn quan trọng nhất là nhãn dựa trên iteration gain, trọng số cost-sensitive, coverage 0.99, quyết định deterministic khi train, learned updater và stopping-weighted output; bỏ hoặc đổi từng thành phần làm giảm rõ rệt AIME accuracy.
Về serving thực tế, TaH2 tăng khoảng 22% decode FLOPs/token và 30–34% latency, nhưng vẫn đạt accuracy cao hơn ở cùng compute nhờ phân bổ vòng lặp thích ứng.

IV. Conclusion & Future Works:

Bài báo cho thấy vấn đề không chỉ là loop transformer có tốt hơn không, mà là looping có được phân bổ đúng token hay không. TaH2 cải thiện cả efficiency lẫn accuracy ceiling của test-time scaling bằng cách học trực tiếp từ tín hiệu giảm loss sau mỗi vòng lặp, thay vì ép mọi token chạy cùng độ sâu hoặc dùng nhãn ngoại tuyến lệch với backbone hiện tại.

Giới hạn: TaH2 tốn nhiều training FLOPs hơn SFT thông thường, dù post-training vẫn rẻ hơn nhiều so với pretraining; hiện mới được kiểm chứng trong SFT, chưa mở rộng sang on-policy distillation hay reinforcement learning. Hướng tự nhiên tiếp theo là kết hợp tín hiệu reward cuối cùng, tối ưu latency–accuracy cho serving, và kiểm tra cách phân bổ độ sâu trên dữ liệu đa phương thức hoặc tác vụ dài hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng adaptive looping sang reinforcement learning sau SFT, trong đó decider không chỉ học từ thay đổi loss tức thời mà còn từ reward cuối cùng của câu trả lời.
Nghiên cứu cách phân bổ iteration depth cho reasoning dạng cây, nơi mô hình cân nhắc mở rộng nhánh nào thay vì chỉ quyết định dừng hay tiếp tục trên một chuỗi token.
Phát triển phiên bản adaptive looped transformer cho thiết bị biên, tối ưu đồng thời accuracy, năng lượng, độ trễ và ngân sách vòng lặp theo trạng thái pin hoặc nhiệt độ máy.

2. Patent:

Trợ lý AI trên điện thoại tự điều chỉnh độ suy nghĩ theo ngữ cảnh: khi soạn tin nhắn, email hoặc tóm tắt tài liệu, hệ thống chạy thêm các vòng tính toán nội bộ chỉ cho những đoạn dễ sai như con số, tên riêng, ngày tháng hoặc lập luận phức tạp, từ đó tiết kiệm pin mà vẫn giữ chất lượng câu trả lời.
Chế độ tiết kiệm điện cho chatbot di động: ứng dụng theo dõi mức pin, nhiệt độ máy và độ ổn định mạng, rồi tự giảm số vòng lặp nội bộ cho các câu hỏi đơn giản và chỉ tăng tính toán khi người dùng đặt câu hỏi khó hoặc yêu cầu kiểm chứng chi tiết.
Bàn phím thông minh tự quyết định khi nào cần 'suy nghĩ thêm': trước khi gợi ý hoàn chỉnh câu, mô hình trên điện thoại đánh giá từng đoạn văn bản đang nhập; những đoạn chứa mệnh đề điều kiện, phủ định, lịch hẹn hoặc dữ liệu nhạy cảm sẽ được xử lý sâu hơn để giảm lỗi hiểu ý đồ.
Trợ lý lập trình trên điện thoại hoặc máy tính bảng: khi người dùng yêu cầu sửa lỗi code, hệ thống dồn thêm các vòng tính toán vào các dòng có cú pháp khó, biến toàn cục, logic điều kiện lồng nhau hoặc phần gọi thư viện ngoài, thay vì xử lý đều toàn bộ đoạn code.
Hệ thống ghi chú cuộc họp có kiểm soát chi phí: ứng dụng ghi âm và tóm tắt nội dung theo thời gian thực, tự phân biệt phần lời thoại đơn giản với phần quyết định, cam kết, số liệu hoặc hành động cần theo dõi; chỉ các phần quan trọng mới được xử lý bằng nhiều vòng suy luận hơn trước khi đưa vào bản tóm tắt cuối.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35748
ArXiv Abstract	https://arxiv.org/abs/2609.35748
PDF Download	https://arxiv.org/pdf/2609.35748.pdf
Github Repository	https://github.com/thu-nics/TaH

12. Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning (36 votes)

Tác giả: Yijia Fan, Ziqi Huang, Zhongang Cai, Yan Li, Zimo Wen, et al.

Xuất bản lúc: 2026-09-28

Tag: Unified Multimodal Models, Reinforcement Learning, GRPO, Text-to-Image Generation, Self-Correction, Image Editing, Flow Matching

I. Main Problem:

Các mô hình đa phương thức thống nhất (unified multimodal models) vốn vừa nhìn được ảnh vừa vẽ được ảnh, nên về nguyên tắc có thể tự kiểm tra và sửa chữa tác phẩm của chính mình. Nhưng thực tế:

Một-shot text-to-image không nhận ra lỗi bố cục của ảnh mình vừa tạo, chứ đừng nói sửa.
Các phương pháp RL hiện có (T2I-R1, ReasonGen-R1, UniRL) chỉ tối ưu một lần render duy nhất, không bao giờ quay lại sửa ảnh.
Các phương pháp multi-round (imitation/SFT) thì dạy mô hình bắt chước quỹ đạo phản tỉnh — mô hình học được đúng định dạng nhưng không đảm bảo lời phản tỉnh thật sự dẫn đến sửa chữa hiệu quả (tỉ lệ sửa thành công chỉ ~20%).
RL ngây thơ chỉ tối ưu một trong hai đầu (text head hoặc renderer head) thì bỏ phần lớn lợi ích, vì giá trị của một lời phản tỉnh chỉ biết được sau khi ảnh đã được render lại, và credit phải chảy xuyên suốt cả vòng lặp.

II. Main Idea:

UMM-Reflection huấn luyện vòng lặp inspect–diagnose–revise hoàn chỉnh bằng RL ngay bên trong một mô hình thống nhất duy nhất (BAGEL), gồm 2 giai đoạn:

SFT cold-start: học giao thức phản tỉnh xen kẽ — mỗi vòng nhìn ảnh hiện tại, viết reflection dạng [THINKING]/[ACTION]/[EDIT], rồi hoặc chỉnh sửa (render ảnh mới qua flow head) hoặc dừng. Dữ liệu quỹ đạo 29.529 mẫu do GPT-5.5 làm critic, Qwen-Image-Edit làm renderer.
Whole-trajectory RL với hai lựa chọn thiết kế chính:
- Shared-root sampling: K=16 quỹ đạo anh em xuất phát từ cùng một ảnh ban đầu, nên group-relative advantage (kiểu GRPO) so sánh chiến lược phản tỉnh chứ không phải vận may lần vẽ đầu.
- Một advantage duy nhất cho cả quỹ đạo cập nhật đồng thời cả reflection tokens (text head) lẫn flow-based revisions (flow head), tránh bùng nổ tổ hợp K^N rollouts của credit gán theo từng vòng (3 vòng với K=16 sẽ cần 4096 rollout).
- Reward cộng dồn: điểm ảnh cuối + thưởng tiến bộ từng vòng − phạt làm hỏng ảnh đúng − phạt dừng sớm, cộng số hạng khuyến khích cải thiện qua nhiều vòng liên tiếp.
Không cần verifier lúc inference — verifier chỉ dùng trong huấn luyện.

Phát hiện cốt lõi: SFT đã khiến mô hình biết sửa (các rollout chứa đủ repair đúng), nhưng RL mới khiến nó chọn đúng đường sửa — tỉ lệ sửa thành công nhảy từ 20.59% lên 64.94%, và điều này đến từ việc chọn lọc những revision đưa ảnh hỏng vào vùng "đúng" mà bản thân backbone đã biết nhận diện, chứ không tạo khả năng mới.

Ví dụ đời thường: giống thợ sơn đã biết đủ mọi kỹ thuật sơn sửa (SFT dạy xong), nhưng hay quẹt bừa bài; huấn luyện viên chỉ cho anh ta cách chọn đúng nét sơn nào trong số kỹ thuật anh ta đã biết để che vết lỗi — không dạy kỹ thuật mới, chỉ dạy chọn lúc nào dùng kỹ thuật nào.

III. Main Results:

GenEval: 0.84 so với 0.72 của reflection-SFT (+12.05 điểm); lợi ích tập trung ở position (+42 điểm), color binding (+14), counting (+10). Ảnh ban đầu ở cả 3 mô hình gần như ngang nhau (70–73) → lợi ích đến từ các vòng phản tỉnh, không phải vẽ đầu tốt hơn.
Chuyển giao zero-shot sang các benchmark chưa hề dùng trong huấn luyện: WISE +10.97, T2I-CompBench++ +4.63, OneIG-Bench +3.48.
Test-time scaling: sau RL, vòng sửa 1 cộng +9 điểm và mô hình vẫn cải thiện qua vòng 3; SFT thì chững sau vòng 1 (+2 tổng).
Ablation:
- RL chỉ cho renderer (T2I-RL): GenEval 76 nhưng không chuyển giao (WISE 54) — không có gì để sửa.
- RL chỉ flow head (đóng băng text head): 73, repair 22.8% — renderer giỏi hơn vô ích khi lời phản tỉnh vẫn tệ.
- RL chỉ text head: 78, repair 49.4% — học "viết gì" là phần lớn, nhưng joint training mới đạt 84.
- Best-of-4 với cùng ngân sách 4 ảnh: chỉ 80 — thua UMM-Reflection.
- Bỏ số hạng multi-improvement (β=0): ảnh đầu sụt từ 73 xuống 63.
Phân tích biểu diễn: probe tuyến tính cho thấy RL gần như không thay đổi "bộ đọc độ đúng" nội tại của backbone (AUC 0.80–0.82 không đổi); tỉ lệ ảnh hỏng rơi vào vùng đúng tăng từ 34% → 62% sau 3 vòng (SFT chỉ 36% → 42%).

IV. Conclusion & Future Works:

Reinforcement learning biến phản tỉnh trong unified model từ một cold-start SFT thành cơ chế sửa chữa thật sự hiệu quả. Bài học lớn: SFT dạy mô hình có thể sửa, RL dạy nó chọn đúng cách sửa trong số những gì nó đã biết — backbone vốn đã "biết" ảnh mình đúng hay sai, RL chỉ dạy nó hành động theo tri thức đó. Credit phải chảy xuyên suốt toàn quỹ đạo và tới cả hai vai trò (chẩn đoán bằng chữ + render bằng ảnh) của cùng một policy. Hướng tự nhiên tiếp theo: mở rộng số vòng sửa vượt quá 3, thay verifier đóng băng bằng reward học được, và mang cùng nguyên lý whole-trajectory RL sang các unified model lớn hơn và các phương thức khác (video, audio).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng UMM-Reflection sang unified video models: vòng lặp inspect–diagnose–revise cho video sinh từ text, với trajectory-level advantage chảy đồng thời tới nhận xét dạng chữ và các transition của diffusion/flow trên không-thời gian.
Reward shaping tự học cho phản tỉnh đa vòng: thay verifier đóng băng bằng reward model được huấn luyện đồng thời với policy, để mở rộng sang những tiêu chí thẩm mỹ không verifier hóa được.
Phân tích giới hạn của shared-root GRPO khi số vòng sửa tăng lớn: nghiên cứu cơ chế advantage phân cấp lai (trajectory-level + round-level) để giữ chi phí sampling tuyến tính theo số vòng.

2. Patent:

Ứng dụng chỉnh ảnh tự động trên điện thoại: người dùng mô tả ảnh mong muốn; một mô hình duy nhất vẽ ảnh, tự soi lỗi (sai vị trí đồ vật, sai màu, thiếu số lượng), viết nhận xét rồi vẽ lại qua nhiều vòng cho tới khi đạt — không cần mô hình chấm điểm riêng chạy trên máy.
Công cụ thiết kế poster/quảng cáo tự hiệu chỉnh: phần mềm trên điện thoại tạo bố cục poster theo yêu cầu, tự kiểm tra ràng buộc (logo phải bên trái chữ, đúng màu nhận diện) và sửa lặp lại nhiều lần, nâng tỉ lệ chấp nhận ngay lần đầu của người dùng.
Hệ thống sinh ảnh sản phẩm thương mại điện tử: nhập mô tả sản phẩm, mô hình tạo ảnh quảng cáo, tự phát hiện lỗi minh họa (sai chất liệu, sai số lượng sản phẩm) và sửa dần — giảm chi phí kiểm duyệt ảnh thủ công.
Trợ lý ảnh đa vòng cho người không chuyên thiết kế: người dùng nói 'chó phải nằm bên phải chiếc cà vạt'; mô hình vẽ, tự nhận ra chó đang bên trái, tự viết lệnh sửa và vẽ lại mà người dùng không cần chỉ ra lỗi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35767
ArXiv Abstract	https://arxiv.org/abs/2609.35767
PDF Download	https://arxiv.org/pdf/2609.35767.pdf
Github Repository	https://github.com/waltstephen/UMM-Reflection

13. Recursive Harness Distillation across Agents for Robot Manipulation (33 votes)

Tác giả: Seungyeon Kim, Junhoo Lee, Minkyu Kim, Baekseung Kim, Nojun Kwak

Xuất bản lúc: 2026-09-27

Tag: Vision-Language-Action, Robotics, LLM Agents, Knowledge Distillation, Robot Manipulation, In-Context Learning

I. Main Problem:

Mô hình Vision-Language-Action (VLA) như GR00T, π0.5 có khả năng thao tác rộng nhưng thất bại khi cảnh vật hoặc trạng thái thực thi thay đổi, vì không tự chẩn đoán được lỗi và điều chỉnh hành vi. Các agent mạnh (như Astra) có thể can thiệp sửa lỗi qua tương tác, nhưng:

dùng agent mạnh xuyên suốt thực thi rất tốn kém (token/API cost)
chuyển kinh nghiệm sang agent nhẹ không hề dễ: agent nhẹ có công cụ can thiệp nhưng không có playbook thì hiệu suất thực tế bằng 0% trên robot thật
câu hỏi cốt lõi: với ngân sách token hạn chế, làm sao cô đọng kinh nghiệm can thiệp thành hướng dẫn tái sử dụng cho agent nhẹ vận hành VLA đã đóng băng?

II. Main Idea:

Recursive Harness Distillation (RHD) — khung cô đọng kinh nghiệm của agent mạnh thành 'playbook' (sổ tay can thiệp dạng markdown) cho agent nhẹ, rồi tinh chỉnh playbook đệ quy qua phản hồi thực thi của chính agent nhẹ:

Harness (dây cương): giao diện cho phép agent quan sát và can thiệp vào VLA đóng băng tại 3 điểm — chỉnh instruction (viết lại lệnh ≤512 ký tự), chỉnh attention (bias logit lên vùng ảnh), chỉnh action output (sửa lệnh đầu cuối/gripper ≤5 bước điều khiển)
Vòng lặp đệ quy: agent mạnh tự chạy VLA, rút ra playbook khởi tạo P0 → agent nhẹ thực thi theo Pk → agent mạnh xem lại log (agent nhẹ đã dùng hướng dẫn thế nào, thất bại ở đâu) và đề xuất bản sửa → chấp nhận bản mới nếu hiệu suất trên tập dev đạt ngưỡng hiệu suất của chính teacher
Không cập nhật tham số nào — kiến thức nằm hoàn toàn trong playbook; bản sửa được chọn dựa trên identity hiệu suất (performance-difference) từ các rollout thật của agent nhận, không phải bắt chước quyết định của teacher

Ví dụ đời thường: giống nhân viên giàu kinh nghiệm viết một cuốn sổ tay xử lý sự cố cho đồng nghiệp mới; sau mỗi ca làm, anh ta đọc lại nhật ký lỗi của đồng nghiệp để sửa, bổ sung sổ tay — sổ tay ngày càng vừa với đúng những lỗi mà người mới thực sự mắc.

III. Main Results:

SimplerEnv Bridge (4 tác vụ, GR00T-N1.7 đóng băng): GR00T đơn thân 41.7%; Luna không playbook 43.8%; Luna + playbook tinh chỉnh 66.7% (+22.9 điểm); cùng playbook giúp Astra đạt 79.2%
Robot thật (Franka Panda, π0.5 fine-tune, 3 tác vụ, 75 trials): policy đơn thân 37.3%; Luna không playbook 0%; Luna + playbook 64.0% — chứng tỏ công cụ can thiệp không có hướng dẫn thì vô dụng
Refinement quan trọng: playbook khởi tạo làm Luna tệ hơn (31.3%); sau các vòng tinh chỉnh mới đạt 66.7%, và token dùng mỗi episode không tăng (phần lớn tác vụ còn giảm)
Teacher phải mạnh: Luna tự làm teacher cho chính mình chỉ đạt 22.9% (thấp hơn cả không playbook), xác nhận phân cấp teacher–recipient
Ablation 3 điểm can thiệp: bỏ chỉnh instruction gây sụt lớn nhất (66.7% → 47.9%) — lợi ích không chỉ đến từ sửa action trực tiếp
Chi phí: Luna ~ $0.63/episode, Astra ~$ 3.43/episode — Astra đắt gấp ~5.5 lần, biện minh cho triển khai agent nhẹ với playbook

IV. Conclusion & Future Works:

RHD chứng minh kinh nghiệm tương tác với một VLA đã triển khai có thể tích lũy, tinh chỉnh qua thực thi và tái sử dụng xuyên agent để cải thiện thao tác robot, mà không cập nhật tham số mô hình. Playbook từ agent nhẹ dùng còn vượt cả agent mạnh không playbook, và chính agent mạnh cũng hưởng lợi từ playbook đó. Hướng tương lai (suy luận từ giới hạn): tự động hóa việc sinh và chấp nhận bản sửa playbook thay vì chấp nhận tuần tự, xử lý rõ ràng trường hợp không có candidate nào đạt ngưỡng (rule hiện tại không đảm bảo hội tụ), và chuẩn hóa giao diện can thiệp cho nhiều loại VLA/policy khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Cơ chế cô đọng harness đệ quy áp dụng cho điều phối nhiều policy robot học khác nhau (không chỉ VLA), trong đó agent mạnh duy trì một playbook chung và tinh chỉnh theo phản hồi của từng agent nhẹ triển khai.
Phương pháp tự động tổng hợp và kiểm chứng các bản sửa playbook bằng tìm kiếm có hướng dẫn (thay vì duyệt tuần tự), kết hợp đánh giá trên rollout thật của agent nhận để đảm bảo hội tụ.
Nghiên cứu playbook đa phân cấp: playbook gốc từ agent mạnh được chuyển ngữ tự động sang playbook con phù hợp năng lực từng agent nhẹ ở các mức khả năng khác nhau.

2. Patent:

Hệ thống điều khiển robot công nghiệp bằng 'sổ tay sự cố' tự cập nhật: máy chủ đám mây ghi lại mọi lần vận hành viên can thiệp sửa lỗi robot, tự rút ra hướng dẫn dạng văn bản, và đẩy bản cập nhật xuống tablet vận hành — người vận hành mới chỉ cần đọc sổ tay trên màn hình để biết khi nào phải viết lại lệnh, khi nào sửa quỹ đạo tay máy.
Trợ lý điều khiển robot gia đình trên điện thoại: khi robot hút bụi/lấy đồ bị kẹt hoặc nắm hụt vật, ứng dụng điện thoại hiển thị playbook đã học từ các ca chạy trước — gợi ý người dùng chạm chọn can thiệp (chỉnh lệnh, nhấn mạnh vùng ảnh, sửa động tác) thay vì phải gọi kỹ thuật viên.
Module chuyển giao kinh nghiệm giữa các tổ robot trong nhà máy: robot/tổ có kỹ năng cao tạo playbook can thiệp cho chính sách thao tác, tinh chỉnh qua log lỗi của tổ ít kinh nghiệm hơn, giúp toàn nhà máy nâng tỷ lệ thành công mà không cần huấn luyện lại mô hình trên từng máy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33378
ArXiv Abstract	https://arxiv.org/abs/2609.33378
PDF Download	https://arxiv.org/pdf/2609.33378.pdf
Github Repository	N/A

14. Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge (33 votes)

Tác giả: Chanuk Lee, Minki Kang, Sangwoo Park, Woongyeong Yeo, Jinheon Baek, et al.

Xuất bản lúc: 2026-09-28

Tag: Reasoning Models, Test-Time Compute, RL, Tool Use, Model Collaboration, LLMs

I. Main Problem:

Các small reasoning models (sRMs) rẻ để vận hành nhưng thua xa mô hình lớn, và việc tăng tính toán test-time (suy nghĩ lâu hơn, self-refinement) không phải lúc nào cũng giúp. Vấn đề cốt lõi:

Các lỗi suy luận thật ra đến từ hai chế độ khác nhau: execution bottleneck (lời giải đúng vẫn 'với tới' được, chỉ cần tự sửa lối) và knowledge bottleneck (thiếu kiến thức sẵn có, suy nghĩ thêm cũng vô ích — cần thông tin bên ngoài).
sRM thường xuyên tự nhận biết sự không chắc chắn nhưng không chuyển được điều đó thành tiến bộ: reflection chủ yếu dồn xác suất vào các lời giải đã với tới được, không mở ra lời giải mới.
Hơn nữa, mô hình càng nhỏ càng thường rơi vào knowledge bottleneck và càng kém khai thác thông tin trợ giúp khi được cung cấp — nghĩa là việc 'biết hỏi đúng lúc' bản thân nó phải được học, không thể chỉ prompt.

II. Main Idea:

Bài báo phân tách hai bottleneck bằng can thiệp counterfactual tại các trạng thái suy luận trung gian (chèn 'wait' để tự sửa vs. cung cấp thông tin oracle), rồi xây dựng FlyBy — khung query có chọn lọc:

sRM suy luận trước, khi tới knowledge bottleneck thì gọi mô hình mạnh hơn qua action multi-depth query (chọn backend rẻ-hay-đắt tương ứng với độ sâu 1-3; backend chỉ thấy câu hỏi, không thấy đề bài).
Mô hình học query khi nào, hỏi gì, và tiêu bao nhiêu chi phí bên ngoài.
Huấn luyện 2 giai đoạn: SFT trên 'rescue trajectories' (một câu query cứu vãn một đường suy luận thất bại) để bootstrap action space, rồi cost-aware RL (GRPO chỉnh sửa) — phạt chi phí chỉ với trajectory thành công, tránh 'thất bại rẻ' được thưởng.

Ví dụ đời thường: giống học sinh làm bài — trước khi làm phải tự suy nghĩ và kiểm tra lại; nhưng khi gặp câu thiếu kiến thức căn bản (quên công thức), suy nghĩ thêm chỉ lòng vòng, đúng lúc đó mới giơ tay hỏi thầy đúng điều còn thiếu, thay vì từ đầu đã nhờ thầy làm hộ.

III. Main Results:

FlyBy-4B đạt 45.96% pass@8 trên 1,158 bài khó (6 benchmark: toán, khoa học, y học...), vượt Qwen3-14B (41.64%) với chi phí thấp hơn 2.7×; pass@1 (16.85%) cũng cao hơn Qwen3-8B (15.31%).
FlyBy-8B nâng pass@8 lên 51.81%, vượt Qwen3-14B 10.17 điểm nhưng rẻ hơn.
Gấp đôi pass@8 của base model (21.2% → 46.0%); trên bài Qwen3-4B thất bại 16 lần, FlyBy-4B vẫn giải được 28.7%.
Vượt các baseline: ForkingRL (self-refinement, gần như không cải thiện), Search-R1 (retrieval kém hơn dù context dài gấp nhiều lần), Query Opening (query sớm một lần — khoảng cách càng tăng ở bài càng khó).
Ablation cho thấy policy học được query đúng chỗ: query tăng state value +5.30pp trong khi suy nghĩ thêm gần như 0; RL biến query một lần thành query lặp lại, đạt hiệu năng gần backend đắt nhất với chi phí gần backend rẻ nhất; lợi thế kinh tế bền vững khi thay đổi giá GPU/API.

IV. Conclusion & Future Works:

Tăng test-time compute hiệu quả không chỉ là biết suy nghĩ lâu hơn, mà là biết khi nào suy nghĩ không đủ — cần chẩn đoán bottleneck (execution vs. knowledge) rồi mua đúng thông tin với đúng mức chi phí. Self-refinement củng cố cái đã với tới, còn thông tin ngoài mở rộng cái với tới được; sRM phải được huấn luyện để làm cả hai. Hạn chế & hướng tương lai: phụ thuộc mô hình bên ngoài (tính khả dụng, quyền riêng tư, độ tin cậy) — cần nghiên cứu thêm về backend tự chủ và cơ chế bảo mật thông tin khi query.

V. Brainstorming Space:

1. Publish Papers:

Chẩn đoán bottleneck động trong suy nghĩ đa bước của LLM bằng can thiệp counterfactual thời gian thực để điều phối test-time compute (self-refine, retrieve hay hỏi mô hình mạnh hơn).
Tối ưu chi phí lai GPU–API cho hệ thống sRM + mô hình bên ngoài: học chính sách phân bổ ngân sách inference thích ứng theo giá động của backend.
Chuyển kỹ năng 'biết khi nào cần hỏi' sang mô hình cực nhỏ (<1B) và sang đa phương thức (hình ảnh, code execution) thay vì chỉ query ngôn ngữ.

2. Patent:

Trợ lý AI trên điện thoại với chế độ 'hỏi đúng lúc': app AI cục bộ nhỏ tự suy luận; khi phát hiện thiếu kiến thức (dữ liệu y khoa, luật mới), nó tự gửi một câu hỏi ngắn, cụ thể lên dịch vụ đám mây lớn rồi tiếp tục trả lời — tiết kiệm pin và phí dữ liệu so với gửi toàn bộ câu hỏi lên mô hình lớn.
Hệ thống chọn mức dịch vụ theo giá cho chatbot doanh nghiệp: tầng định tuyến tự học để quyết định câu nào tự trả lời bằng mô hình nhỏ nội bộ, câu nào chuyển sang API đắt tiền hơn, cân bằng độ chính xác và chi phí theo thời gian thực.
Module gia sư học tập cá nhân: mô hình nhỏ trên máy tính bảng giải thích từng bước cho học sinh; khi gặp lỗ hổng kiến thức, nó hỏi mô hình giáo sư trên máy chủ đúng khái niệm còn thiếu (ví dụ công thức lý) rồi tự giải tiếp, thay vì đưa lời giải mẫu có sẵn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.34327
ArXiv Abstract	https://arxiv.org/abs/2609.34327
PDF Download	https://arxiv.org/pdf/2609.34327.pdf
Github Repository	https://github.com/tally0818/FlyBy

15. CompoWorld: Compositional Environment Scaling for General Agents (30 votes)

Tác giả: Xiao-Wen Yang, Weiyi Xu, Wen Da, Hang Xu, Canwei Li, et al.

Xuất bản lúc: 2026-09-27

Tag: LLM Agents, Environment Scaling, Tool Use, Reinforcement Learning, GRPO, Agent Training, Compositional Generalization, Task Generation

I. Main Problem:

Huấn luyện agent tổng quát cần môi trường tương tác có thể kiểm chứng, nhưng các phương pháp tạo môi trường tự động hiện nay chỉ sinh tác vụ trong một môi trường đơn lẻ. Trong thực tế, công việc thật đòi hỏi agent nối thông tin và hành động xuyên suốt nhiều dịch vụ — ví dụ truy vấn database, tra tài liệu PDF rồi gửi email thông báo. Ba thách thức chính:

Dịch vụ tự sinh phải chạy đáng tin cậy nhưng vẫn tương thích với nhau.
Tác vụ tổng hợp phải có phụ thuộc xuyên dịch vụ có ý nghĩa, giải được và kiểm chứng được.
Tác vụ phải cung cấp tín hiệu học tốt cho cả SFT lẫn RL, kể cả khi agent chỉ hoàn thành một phần workflow.

II. Main Idea:

Compositional Environment Scaling (CompoWorld) coi việc kết hợp các dịch vụ như một chiều mới để mở rộng môi trường huấn luyện. Quy trình gồm ba phần:

Xây dịch vụ tái sử dụng: thu thập tool specification từ các triển khai MCP công khai, chuẩn hóa về định dạng function-calling; coding agent (trong sandbox pi harness) tự sinh mô hình trạng thái Pydantic, cài đặt từng tool, viết test và tự sửa đến khi qua — rồi được một agent độc lập kiểm thử bằng test đối lập. Các tool không cài đặt được tin cậy được mô phỏng bằng world model dựa LLM, nhưng vẫn cập nhật trạng thái qua cùng schema Pydantic. Kết quả: 448 dịch vụ, 10,130 tools.
Sinh tác vụ xuyên môi trường: thủ tục random-walk chọn K dịch vụ và nối chúng thành dependency graph (mỗi cạnh = thông tin từ dịch vụ nguồn cần thiết cho dịch vụ đích; phải quay lại ít nhất một dịch vụ). Một task-author agent đi qua 4 pha: EXPLORE → DESIGN (tạo trạng thái đầu, chỉ dẫn, rubric) → PROBE (tự giải để tạo goal tham chiếu và kiểm chứng rubric chấp nhận lời giải) → SUBMIT.
Huấn luyện: SFT trên trajectory đã kiểm chứng, rồi RL bằng GRPO với Completion-Focused Rubric Reward — tiêu chí nào trong nhóm rollout có tỷ lệ pass thấp hơn thì nhận trọng số thưởng lớn hơn, buộc mô hình tập trung vào các điều kiện còn thiếu thay vì chỉ gặt các tiêu chí dễ.

Ví dụ đời thường: giống bộ đồ chơi xếp hình Lego — thay vì mỗi lần đóng một món đồ riêng, ta có một hộp gạch hữu hạn nhưng ghép được vô số mô hình mới; mỗi bài tập là một cách ghép khác, và phần thưởng được thiết kế để trẻ không bỏ qua mảnh khó nhất.

III. Main Results:

+9.17 điểm trung bình trên 8 benchmark so với backbone Qwen3.6-35B-A3B; cải thiện trên tất cả 8 benchmark.
AutomationBench: 32.33% (+22.00 điểm), vượt GPT-5.4, Claude Opus 4.6, Gemini-3.1 Pro, GLM-5.2 và dẫn đầu mọi model agent-chuyên-hóa cùng cỡ 35B-A3B (mạnh nhất là Occamy-1.0, hơn 4.73 điểm).
SkillsBench +15.19, VitaBench +10.50, ALE +5.82; gain nhỏ nhất ở VitaBench 2.0 (+1.62) — transfer hạn chế tới hỗ trợ cá nhân hóa dài hạn.
Domain-level AutomationBench: trung bình từ 41.94 lên 72.68, HR tăng mạnh nhất +49.40 điểm; pass rate đầy đủ vẫn chỉ 32.33% nên hoàn thành trọn workflow còn khó.
Ablation sinh vs. môi trường đơn lẻ: cùng 1K trajectory, môi trường tổng hợp vượt rõ (AutomationBench 33.33 vs 12.83); SFT trên môi trường đơn lẻ thậm chí làm giảm hiệu suất ở một số benchmark.
Scaling: chỉ 100 SFT sample đã vượt backbone; không gian tổ hợp khổng lồ (448 dịch vụ, ghép 5 cái ≈ 1.47×10^11 tập hợp).
RL với rubric reward có trọng số cải thiện thêm ~1.2 điểm trung bình; phần lớn gain đến từ SFT.

IV. Conclusion & Future Works:

CompoWorld cho thấy tái sử dụng và tái kết hợp các dịch vụ độc lập qua dependency graph theo tác vụ là cơ chế hiệu quả để scale độ đa dạng và độ phức tạp cấu trúc của dữ liệu huấn luyện agent — không cần viết mới dịch vụ cho mỗi mẫu dữ liệu. Mô hình học được cách chuyển giao kiến thức từng dịch vụ sang workflow mới, đúng tinh thần compositional generalization. Hướng đi tiếp theo: mở rộng thư viện dịch vụ (mỗi dịch vụ mới tạo thêm (n chọn K-1) tổ hợp), chọn lọc tổ hợp tương thích, củng cố phụ thuộc/constraints cho các domain còn yếu (Sales), và cải thiện tín hiệu RL cho tác vụ cá nhân hóa dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Tự động chọn lọc tổ hợp dịch vụ tương thích nhất từ thư viện lớn bằng mô hình đánh giá chất lượng phụ thuộc xuyên dịch vụ, thay vì random-walk thuần ngẫu nhiên.
Curriculum học tập thích ứng năng lực agent trong không gian môi trường tổ hợp: điều chỉnh độ dài walk L và số dịch vụ K theo tiến độ học.
Mở rộng Completion-Focused Rubric Reward cho tác vụ nhiều lượt, cá nhân hóa dài hạn (dạng VitaBench 2.0) với tiêu chí động theo ngữ cảnh người dùng.
Dùng world model có kiểm chứng để mở rộng phạm vi các tool được mô phỏng mà vẫn giữ độ tin cậy của trạng thái dịch vụ.

2. Patent:

Nền tảng tạo bài tập đào tạo trợ lý ảo trên điện thoại: ghép các dịch vụ mô phỏng (email, lịch, tin nhắn, thanh toán) thành tình huống thực tế, tự kiểm chứng lời giải và tạo dữ liệu huấn luyện có thể chấm điểm tự động.
Hệ thống thưởng học tăng cường cho trợ lý tự động hóa doanh nghiệp: chấm từng điều kiện hoàn thành của workflow, tự động ưu tiên phạt/tưởng các bước ít mô hình nào làm được, giúp trợ lý học hoàn tất trọn vẹn quy trình thay vì làm lơ các bước khó.
Thư viện dịch vụ mô phỏng chuẩn hóa cho kiểm thử agent: mỗi dịch vụ có trạng thái kiểu dữ liệu rõ ràng và giao diện tool thống nhất, cho phép doanh nghiệp ráp nhanh môi trường thử nghiệm quy trình xuyên ứng dụng mà không cần kết nối hệ thống thật.
Trợ lý điện thoại xử lý công việc xuyên ứng dụng: nhận lệnh như 'nhắc lịch họp và gửi báo cáo', tự tra lịch, đọc tài liệu rồi soạn tin nhắn gửi đi, với cơ chế tự kiểm tra từng bước đã hoàn thành đúng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33665
ArXiv Abstract	https://arxiv.org/abs/2609.33665
PDF Download	https://arxiv.org/pdf/2609.33665.pdf
Github Repository	https://github.com/AllSpark-Research/CompoWorld

16. EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks (30 votes)

Tác giả: Lizhou Liang, Xinyu Zhong, Miao Pan, Xiaohe Zhou, Xuanyu Liu, et al.

Xuất bản lúc: 2026-09-23

Tag: Embodied AI, Long-Horizon Tasks, Multimodal Memory, Benchmark, Vision-Language-Action, World-State Tracking, Robotics

I. Main Problem:

Agent embodied gặp khó khi làm việc dài hạn trong môi trường vật lý vì phải nhớ quan sát - hành động - phản hồi theo quan hệ nhân quả, không chỉ nhớ văn bản hay ảnh. Phân tích 100 quỹ đạo lỗi cho thấy khoảng 91% thất bại rơi vào bốn lỗi: quên chi tiết thị giác tinh, không cập nhật trạng thái vật thể đã đổi, không ghi nhận trạng thái chỉ lộ ra sau tương tác thất bại, và không khái quát hóa kinh nghiệm cũ. Các benchmark hiện có thường hỏi đáp một lượt hoặc cho agent tự khám phá môi trường, không kiểm thử trực tiếp khả năng dùng ký ức để hành động sau một lịch sử dài.

II. Main Idea:

Bài báo xây EMem-Bench gồm 2,554 episode trong bốn nhóm tác vụ: Passive Observation kiểm tra nhớ vị trí/vật thể tinh; Dynamic Tracking kiểm tra cập nhật vị trí/trạng thái mới nhất; Interaction Failure kiểm tra ghi nhận hậu quả tương tác như ngăn kéo bị khóa; Experience Generalization kiểm tra chuyển quy tắc từ các lần sửa lỗi sang vật mới. Mỗi episode cho agent một lịch sử tương tác đa phương thức, sau đó yêu cầu hoàn thành tác vụ đích bằng hành động trong môi trường.

Bên cạnh benchmark, tác giả đề xuất Embodied-Memorizer, hệ ghi nhớ ngoài với ba sổ theo cơ chế bổ trợ:

Spatial memory: đồ thị vật thể cập nhật vị trí/trạng thái mới nhất.
Event memory: lưu theo thời gian hành động, phản hồi, lần thất bại và sửa lỗi, rút ra quy tắc dùng lại.
Scene memory: gắn vật thể/tương tác với phòng hoặc ngữ cảnh, tránh nhầm cùng tên ở nơi khác.

Vòng lặp là: ghi quan sát/thay đổi/kết quả hành động, truy vấn đúng loại ký ức cho tác vụ đích, kết hợp với quan sát hiện tại để sinh chuỗi hành động, rồi cập nhật lại từ phản hồi môi trường. EMem-8B được fine-tune để học ba quyết định: viết gì, hỏi ký ức nào, và dùng thông tin đó ra sao.

Ví dụ đời thường: giống người giúp việc giữ ba cuốn sổ: một cuốn ghi “đồ đang ở đâu bây giờ”, một cuốn ghi “lần trước thử mở/ngắm chỗ nào đã hỏng”, một cuốn ghi “món này thuộc phòng/ngữ cảnh nào”; trước khi làm việc phải tra đúng cuốn thay vì tin vào ấn tượng ban đầu.

III. Main Results:

Mô hình hiện tại còn yếu: Gemini-3-Flash mạnh nhất đạt 64.2% SR trung bình; nhiều mô hình mở/embodied dưới 45%, dù Qwen3.6-27B đạt 58.2% và Mistral-Small-3.1-24B đạt 40.9%. Các mô hình chuyên embodied như RynnBrain-8B, Cambrian-S-7B, RoboBrain2.5-8B rất thấp, cho thấy chuyên môn về nhận thức không gian chưa đủ để giữ và sửa trạng thái thế giới.
Thêm ảnh lịch sử không giải quyết được: với cùng 800 episode, bổ sung tối đa ảnh RGB lịch sử làm SR trung bình giảm từ 36.6% xuống 26.2%, token đầu vào tăng 4.9×, độ trễ tăng 9.5×.
EMem hiệu quả nhất trong các hệ nhớ: dùng cùng backbone GPT-5.4-mini, EMem đạt 58.9% SR, cao hơn TeleMem 37.8%, MIRIX 28.2%, MemVerse 28.9%, MMA 23.4%; so với full_context 35.3% là +23.6 điểm.
Cải thiện trên nhiều backbone mở: Qwen3-VL-8B 25.4 → 36.2, Qwen3-VL-32B 43.9 → 58.0, Mistral-Small-3.1-24B 40.9 → 57.3.
EMem-8B vượt backbone: Qwen3-VL-8B từ 25.4 lên 46.0 (+20.6), và hơn cả việc gắn EMem vào backbone đóng băng khoảng 9.8 điểm.
Ablation: bỏ bất kỳ loại ký ức nào cũng làm SR trung bình giảm còn khoảng 46-48; Dynamic Tracking phụ thuộc mạnh vào spatial, Interaction Failure và Experience Generalization vào event, Passive Observation vào scene.
Khái quát hóa ngoài benchmark: EMem-8B cải thiện EB-ALF +5.0, BLINK +1.3, MMMU-Pro +0.5, gần như giữ nguyên HallusionBench (-0.4).
Phân tích lỗi: trong 400 episode lỗi của GPT-5.4-mini, memory-use error chiếm ưu thế ở Passive, Dynamic và Experience; Interaction Failure nghiêng về contextual reasoning. Lỗi sinh hành động hiếm, nghĩa là nút thắt nằm ở giữ đúng/cập nhật đúng trạng thái và lập luận trên trạng thái đó.

IV. Conclusion & Future Works:

Kết luận chính: điểm nghẽn của tác vụ embodied dài hạn không chỉ là nhìn, điều hướng hay sinh chuỗi hành động, mà là duy trì bộ nhớ thế giới nhân quả và dùng nó để chọn hành động mới. EMem cho thấy tổ chức ký ức thành spatial/event/scene có thể cải thiện cả mô hình mở và proprietary mà không cần huấn luyện riêng cho từng tác vụ benchmark. Bài báo không nêu roadmap chi tiết; các hướng mở hợp lý từ kết quả là thay thế trạng thái lỗi động, lập luận có kiểm chứng trên ký ức, chuẩn hóa dữ liệu qua nhiễu dài hơn, và chuyển cơ chế ghi/truy vấn sang robot thật với chi phí truy vấn thấp.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EMem-Bench từ mô phỏng sang robot thật có người/other robot làm nhiễu môi trường, đo khả năng sửa trạng thái cũ khi vật bị di chuyển ngoài tầm nhìn.
Nghiên cứu memory provenance: mỗi ký ức phải chỉ được đến bằng chứng trong lịch sử, giảm ảo giác và cho phép audit lý do agent chọn hành động.
Kết hợp ghi nhớ ngoài với cập nhật tham số nhẹ để agent học quy tắc sửa lỗi mới mà không quên cấu trúc nhà hoặc loại vật cũ.
Benchmark phiên bản điện thoại/AR: lịch sử từ camera người dùng và phản hồi tương tác vật lý, yêu cầu trợ lý nhớ vật dụng, ngăn kéo bị kẹt và quy tắc cất đồ gia đình.

2. Patent:

Trợ lý nhà thông minh trên điện thoại/kính AR: sau khi người dùng dọn hoặc di chuyển đồ, hệ thống ghi “đồ đang ở đâu”, “lần trước mở ngăn nào bị kẹt”, và “vật này thuộc phòng nào”; khi được hỏi, nó chỉ vị trí mới nhất và tránh lặp lại thao tác thất bại.
App hướng dẫn sửa chữa công nghiệp: kỹ thuật viên quay các lần tháo/lắp, app ghi lại phản hồi như bulông bị kẹt, van bị khóa, vị trí không vừa; lần sau gặp linh kiện tương tự, app đề xuất phương án khả thi thay vì lặp lỗi cũ.
Robot kho bán lẻ điều khiển qua điện thoại: camera điện thoại hoặc robot quét kệ trong ca làm việc, hệ thống ghi nhận ô đã chặn/hỏng và quy tắc thay thế; khi nhận lệnh lấy hàng, robot chọn ô mở gần nhất và không thử lại ô đã biết bị chặn.
Hỗ trợ người khiếm thị/suy giảm trí nhớ: điện thoại hoặc kính thông minh theo dõi vật dụng, cửa, ngăn kéo và kết quả chạm/va chạm; khi người dùng tìm đồ, thiết bị nhắc vị trí mới nhất và cảnh báo nếu sắp lặp một hành động từng thất bại như kéo ngăn bị kẹt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.28236
ArXiv Abstract	https://arxiv.org/abs/2609.28236
PDF Download	https://arxiv.org/pdf/2609.28236.pdf
Github Repository	N/A

17. Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning (29 votes)

Tác giả: Woongyeong Yeo, Minki Kang, Chanuk Lee, Sangwoo Park, Jinheon Baek, et al.

Xuất bản lúc: 2026-09-27

Tag: RLVR, LLMs, Reinforcement Learning, Credit Assignment, Policy Entropy, GRPO, Reasoning

I. Main Problem:

RLVR với phản hồi ở mức outcome toàn bộ câu trả lời (như GRPO) chia đều tín hiệu học cho mọi token, bỏ qua việc các quyết định lập luận đóng góp khác nhau vào kết quả. Các phương pháp credit assignment chi tiết hơn thường cần mô hình phụ, sampling bổ sung hoặc thông tin đặc quyền (teacher, rollout thêm). Trong khi đó, các cách dùng policy entropy hiện có (EntropyAdv, HAPO, 80/20) áp dụng cùng một hướng ưu tiên entropy cho cả reinforcement và penalization: điều này đặt hình phạt nặng nhất lên vị trí bất định trong câu trả lời sai — nơi vẫn còn các nhánh lập luận thay thế có thể dẫn tới phục hồi — từ đó bóp nghẹt cơ hội khám phá (exploration).

II. Main Idea:

Bài báo phát hiện một bất đối xứng quan trọng:

Surprising success: thành công tại vị trí entropy cao (nhiều lựa chọn đang cạnh tranh) khó lặp lại khi resample → cần reinforce mạnh hơn để củng cố.
Repeated failure: thất bại tại vị trí entropy thấp (model tự tin) cứ lặp đi lặp lại → cần phạt mạnh hơn để sửa.
Nhưng trong câu sai, vị trí entropy cao vẫn giữ các đường phục hồi → phải giảm nhẹ hình phạt ở đó.

Từ đó, EAPO (Entropic Advantage Policy Optimization) ghép entropy đã chuẩn hóa với dấu của advantage để phân bổ lại advantage ở mức token:

Ưu tiên cao entropy khi advantage dương (reinforce quyết định bất định dẫn tới thành công).
Ưu tiên thấp entropy khi advantage âm (phạt quyết định tự tin dẫn tới thất bại, nới lỏng phạt ở chỗ còn phương án khác).

Entropy được chuẩn hóa theo percentile batch, detach gradient, trọng số dạng softmax với hệ số κ (mặc định κ = log 4) và chia cho trung bình trong response để chỉ phân phối lại, không đổi tổng tín hiệu. Không cần mô hình phụ, không cần rollout thêm — chỉ dùng entropy có sẵn từ policy. Về lý thuyết, cơ chế tương đương bài toán tối đa hóa signed-uncertainty với ràng buộc KL về phân bổ đều; và phân tích cho thấy giảm hình phạt ở vị trí bất định hạn chế được việc update làm phân phối các lựa chọn còn lại bị sharpen/distort quá mức.

Ví dụ đời thường: giống người học lái xe — khi tình cờ vượt qua một đoạn khó bằng cách thử liều (điểm rẽ bất định), thầy giáo khen mạnh để bạn ghi nhớ cách đó; nhưng khi bạn tự tin sai lầm ở thao tác cơ bản (phanh/số), thầy phạt nghiêm để sửa thói quen, đồng thời không trừ điểm vì còn đang phân vân giữa hai cách xử lý tình huống mới.

III. Main Results:

6 benchmark toán cấp competition (AIME24/25/26, HMMT26, AMC23, MATH500-H) trên 4 backbone (Qwen3-4B/8B-Base, Qwen3-4B, Olmo-3-7B-Think-DPO): EAPO đạt avg@32 và pass@32 cao nhất toàn bộ.
Qwen3-4B-Base: avg@32 31.0%, hơn baseline entropy mạnh nhất +5.6 điểm; Qwen3-8B-Base: 34.0%, hơn +4.3 điểm. Vượt cả RLRT dù không dùng thông tin đặc quyền.
OOD generalization trên Reasoning Gym (logic, không gian, thuật toán): EAPO cao nhất — 34.89% (4B) và 43.02% (8B).
Exploration tốt hơn: pass@k cao nhất mọi mức budget k (1→256), giải được thêm bài không baseline nào giải được; normalized answer entropy 0.751 (GRPO 0.657), collision rate thấp nhất (0.101); tần suất epistemic markers ("wait", "let's try") cao nhất.
Training: reward cao hơn baseline trong suốt quá trình; entropy cuối thấp hơn EntropyAdv/HAPO — cho thấy tăng entropy trung bình không phải điều kiện cần để khám phá hiệu quả; tăng độ dài response không giải thích được lợi thế của EAPO.
Ablation: cấu hình (+1, −1) của EAPO tốt nhất; hơn credit đều +6.52 điểm; κ = log 4 được chọn cân bằng giữa tập trung credit và ổn định tối ưu.

IV. Conclusion & Future Works:

EAPO cho thấy giá trị của credit assignment bất đối xứng: reinforce surprising success, sửa repeated failure, đồng thời bảo toàn các nhánh bất định trong câu sai — tất cả chỉ từ entropy sẵn có của policy, không cần supervision bổ sung. Hạn chế: entropy phản ánh niềm tin đã học của model nên phân bổ credit phụ thuộc độ tin cậy của uncertainty ước lượng. Hướng tương lai: kết hợp khám phá với iterative discovery — tái sử dụng/kết hợp các thành phần hữu ích từ nhiều lời giải đa dạng để sinh giả thuyết và thuật toán mới.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EAPO cho bài toán phát hiện khoa học lặp: duy trì quần thể lời giải đa dạng qua các vòng lặp, rồi tự động trích xuất và tái kết hợp các đoạn lập luận hữu ích giữa các lời giải để sinh thuật toán mới.
Kết hợp entropy bất đối xứng với reward mức process (process reward model) để kiểm tra liệu tín hiệu bên ngoài có giúp hiệu chỉnh các trường hợp entropy của policy lệch khỏi đóng góp thực của token hay không.
Nghiên cứu chiến lược chọn κ thích ứng theo giai đoạn training hoặc theo độ khó prompt, thay vì dùng hằng số, để cân bằng ổn định tối ưu và độ tập trung của credit.

2. Patent:

Hệ thống gia sư toán AI trên điện thoại: khi học sinh giải đúng một cách 'liều lĩnh' (nhiều bước phân vân), ứng dụng khen và củng cố đúng bước đó; khi học sinh tự tin sai ở thao tác cơ bản, nhấn mạnh sửa thao tác đó mà không làm nản các cách thử khác — cải thiện tốc độ học lập luận.
Trợ lý lập trình tự động sửa lỗi: phân tích độ bất định của model ở từng dòng code sinh ra; reinforce các dòng viết đúng nhưng model còn nhiều phương án, phạt mạnh các dòng model tự tin nhưng gây lỗi lặp lại, giúp giảm số vòng sửa bug.
Module tinh chỉnh chatbot trên thiết bị di động bằng tín hiệu entropy: cơ chế reweight reward không cần mô hình phụ hay rollout thêm, phù hợp triển khai nhẹ trên điện thoại cho RLVR cá nhân hóa (ví dụ tinh chỉnh trả lời theo phản hồi đúng/sai của người dùng).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33781
ArXiv Abstract	https://arxiv.org/abs/2609.33781
PDF Download	https://arxiv.org/pdf/2609.33781.pdf
Github Repository	https://github.com/wgcyeo/EAPO

18. QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents (27 votes)

Tác giả: Weiqi Wang, Yuxin Zhou, Mouxiang Chen, Siyuan Zhang, Yi Zhang, et al.

Xuất bản lúc: 2026-09-27

Tag: Reinforcement Learning, LLM Agents, RL Infrastructure, Agentic Training, GPU Scheduling, Software Engineering Agents

I. Main Problem:

Huấn luyện RL online cho các agent XLong-horizon (một rollout kéo dài hàng giờ, hàng trăm lượt tương tác model–môi trường, ~1M token) gặp hai thách thức lớn:

GPU nằm không lãng phí: rollout có đuôi phân phối rất dài — vài task 'trâu' chạy mãi khiến cả nhóm phải chờ. Thiết kế Colocate (dùng chung GPU luân phiên) phải chờ hết mọi rollout mới huấn luyện; thiết kế Async (chia GPU cố định) thì GPU huấn luyện đợi dữ liệu trong khi GPU rollout nhàn rỗi, và không thể mượn lẫn nhau.
Dữ liệu huấn luyện bùng nổ: ở tầm XLong, harness (kiểu Claude Code/Codex) liên tục nén lịch sử context, gọi sub-agent, retry — một execution không còn là chuỗi tuyến tính mà là cây nhánh phức tạp. Bung hết các nhánh thành sample huấn luyện gây trùng lặp khổng lồ ở các prefix chung, chi phí token cấp phép huấn luyện bị đẩy lên phi lý.

II. Main Idea:

QWENGYRE tách biệt vòng đời của harness execution, vai trò GPU, và training sample qua hai thành phần hợp tác:

Elastic Scheduler: GPU được tổ chức thành các cell có thể chuyển vai trò rollout ↔ training. Khi 'waterlevel' (số execution còn nợ) giảm, từng cell nhảy sang huấn luyện mà không ngắt các execution đang chạy — proxy reroute request sang engine khác (kèm KV-cache migration qua RDMA). Cell core giữ trọng số + optimizer; các satellite pull trọng số và nhảy vào ngay batch đang chạy (dynamic data parallelism), chia việc theo micro-step để mọi cell kết thúc batch cùng lúc.
Trajectory Processor: ghi lại mọi model call theo dạng token-in token-out (TITO) — chính xác token đầu vào/ra và log-prob — rồi dựng thành trajectory tree với prefix chia sẻ, giữ nguyên context điều kiện gốc của từng output (kể cả sau khi bị compaction). Sau khi execution kết thúc (kể cả timeout), evaluator chấm cả phần việc đã hoàn thành (partial scoring) thay vì gán 0 trắng. Khi huấn luyện, chọn tối đa Jmax trajectory/execution theo ưu tiên vai trò (main > summary > sub-agent > sub-agent-summary), chỉ train token do policy sinh ra, đếm target chia sẻ một lần duy nhất, và lấy trung bình loss theo execution để execution nào cũng có trọng số ngang nhau.

Ví dụ đời thường: giống quản lý xưởng may có nhiều công nhân — khi đơn hàng gần xong, không bắt cả xưởng ngồi chờ mẫu cuối, mà cử từng người chuyển sang công đoạn tiếp theo; còn mớ bản thảo nhánh chồng chéo thì gom lại, cắt bỏ trang trùng, chỉ photo những phần thật sự cần.

III. Main Results:

Qwen 3.8 2.4T trên NL2RepoBench (~700K token/rollout): pass-rate tăng 52.5% → 58.5% chỉ sau 48 bước huấn luyện; tổng thời gian 75.4h so với 134.6h (Async) và 91.5h (Colocate).
Tốc độ end-to-end: nhanh hơn Async tới 1.78× và Colocate tới 1.85× trên các workload đánh giá (NL2RepoBench, DeepSWE, TerminalBench), với cùng ngân sách GPU và cùng mức staleness; trên Qwen 3.6 122B đạt 1.42–1.53× so với Async.
Chất lượng không đánh đổi: đường cong training score của QWENGYRE khớp hoàn toàn các baseline — chỉ nhanh hơn, không học kém hơn.
Chi phí chuyển vai trò thấp: ~8.5s (rollout→train) và ~3.5s (train→rollout), không đáng kể so với rollout kéo dài hàng giờ.
Phân tích hành vi thực tế: 61% query ở 2.4T kéo dài ≥4h, cho thấy thiết kế elastic thực sự khai thác được khoảng trống mà Async/Colocate bỏ phí.

IV. Conclusion & Future Works:

QWENGYRE chứng minh rằng hai bài toán tưởng riêng rẽ — lập lịch GPU và xử lý trajectory — phải được thiết kế cùng nhau mới scale được RL online cho agent XLong-horizon qua harness black-box. Elastic scheduling thu hồi GPU nhàn rỗi mà không phá vỡ execution; trajectory processing biến cây nhánh phức tạp thành dữ liệu huấn luyện có giới hạn, có chấm điểm partial progress hợp lý. Hướng mở (gợi ý từ kết quả): tối ưu thêm cho workload có thời lượng tập trung sát ngưỡng timeout (lợi ích so với Colocate giảm do ít cơ hội thu hồi cell sớm), và mở rộng sang harness agent đa dạng hơn ngoài Claude Code.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp elastic scheduling với checkpoint/resume workspace state để cho phép gián đoạn và khôi phục execution XLong, mở rộng cửa sổ thu hồi GPU sang cả những execution 'trâu' nhất.
Nghiên cứu thuật toán chọn trajectory thích ứng (thay vì Jmax cố định theo vai trò) dựa trên độ lợi thông tin dự kiến của từng nhánh, cân bằng chi phí token và chất lượng tín hiệu RL.
Áp dụng partial scoring theo tiến độ cho RL của agent đa phương thức (web, GUI, mobile) nơi task thường bị timeout trước khi hoàn tất nhưng có thể chấm được mức hoàn thành từng phần.

2. Patent:

Hệ thống điều phối GPU đàn hồi cho huấn luyện AI agent trên đám mây: theo dõi lượng công việc rollout còn lại, tự động chuyển từng khối GPU sang huấn luyện khi tải suy giảm, đồng thời chuyển hướng yêu cầu suy luận của các phiên đang chạy sang khối khác qua mạng RDMA kèm chuyển giao KV-cache mà không làm gián đoạn phiên làm việc.
Phương pháp biến lịch sử thực thi nhánh của trợ lý coding (nén ngữ cảnh, gọi sub-agent, thử lại) thành dữ liệu huấn luyện: ghi token vào/ra chính xác, dựng cây prefix chia sẻ, chọn tối đa một số lượng nhánh cố định theo mức quan trọng vai trò, chỉ tính lỗi trên token do chính model tạo ra và đếm mỗi phản hồi chia sẻ đúng một lần.
Cơ chế chấm điểm tiến độ một phần cho tác vụ agent dài hạn trên điện thoại/máy tính: khi phiên bị hết giờ, hệ thống đánh giá phần công việc đã cam kết (mã đã viết, file đã sửa) bằng bộ kiểm thử hoặc trình chấm tự động, trả về phần thưởng hợp lệ phản ánh mức hoàn thành thay vì điểm thất bại 0.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33848
ArXiv Abstract	https://arxiv.org/abs/2609.33848
PDF Download	https://arxiv.org/pdf/2609.33848.pdf
Github Repository	N/A

19. DepthBench: Measuring How Residual Connections Enable More Computational Depth (27 votes)

Tác giả: Keyu Wang, Yangyi Huang, Jiale Kang, David González-Martínez, Weiyang Liu, et al.

Xuất bản lúc: 2026-09-26

Tag: Transformers, Residual Connections, Deep Learning, Model Architecture, Scaling Laws, LayerNorm, Attention, Pre-LN, HC, AttnRes

I. Main Problem:

Các Transformer hiện đại gặp phải Curse of Depth: tăng số lớp kiến trúc không đồng nghĩa với tăng hiệu quả tính toán. Ở kiến trúc Pre-LN truyền thống, các lớp sâu dần trở nên yếu, dư thừa, giống nhau, khiến việc thêm lớp chỉ tăng độ sâu danh nghĩa mà không cải thiện chất lượng mô hình tương xứng. Các cải tiến gần đây như LayerNorm Scaling (LNS), HC, AttnRes tuy báo cáo kết quả tốt hơn, nhưng chưa rõ liệu chúng có thật sự biến độ sâu kiến trúc thành độ sâu tính toán hiệu quả, hay lợi ích chỉ đến từ các yếu tố gây nhiễu chưa được kiểm soát.

II. Main Idea:

DepthBench — benchmark kiểm soát chặt chẽ để đo lường khi nào việc phân bổ thêm capacity cho chiều sâu thực sự hiệu quả. Cách tiếp cận:

Giữ ngân sách tham số cố định (~400M), thay đổi tỉ lệ khung hình width/depth (aspect ratio) từ nông-rộng đến sâu-hẹp
Thử nghiệm trên 10 kiến trúc thuộc 4 nhóm: Baseline (Pre-LN), Normalization variants (Sandwich-LN, LNS, DeepNorm, KEEL), Multi-stream residuals (HC, mHC), Cross-layer access (AttnRes, MoDA)
Sweep learning rate cho từng kiến trúc để đảm bảo so sánh công bằng
Phân tích cấp độ lớp: angular distance, causal score, permutation score để đo mức độ sử dụng hiệu quả các lớp sâu

Ví dụ đời thường: giống như xây nhà — Pre-LN chỉ xếp thêm tầng nhưng mỗi tầng mỏng dần và làm việc giống hệt tầng trước, còn HC/Full AttnRes xây thêm tầng với cầu thang nối thẳng giữa các tầng xa nhau, nên mỗi tầng đều thực sự đóng góp công năng riêng.

III. Main Results:

Pre-LN và hầu hết biến thể normalization không hưởng lợi từ kiến trúc sâu-hẹp; validation loss tăng từ 2.759 (L=16) lên 2.782 (L=32), tức là càng sâu càng tệ
HC và Full AttnRes cải thiện liên tục khi càng sâu-hẹp: HC từ 2.729 (L=16) xuống 2.699 (L=32); xu hướng tiếp tục đến cực đoan L=70, aspect ratio 9.1
Block AttnRes và mHC (biến thể rút gọn) không giữ được xu hướng thuận lợi, chỉ tối ưu ở hình dạng trung gian
Xu hướng nhất quán qua nhiều quy mô (200M–500M, và 1.6B), và mở rộng sang đánh giá domain-specific (coding, STEM, math)
Phân tích lớp: HC/Full AttnRes duy trì biểu diễn đa dạng, phụ thuộc chặt chẽ giữa các lớp (16% late-layer causal score > 0.45 so với 1% của Pre-LN; 46% permutation sensitivity so với 8%)
Trade-off hệ thống: mô hình sâu hơn tăng overhead tính toán và giảm hardware utilization

IV. Conclusion & Future Works:

Thiết kế residual connection là yếu tố then chốt quyết định liệu độ sâu có thể trở thành trục scaling thực sự. HC và Full AttnRes chứng minh rằng với cơ chế residual phù hợp, ta có thể khai thác hiệu quả các kiến trúc cực sâu-hẹp mà Pre-LN không làm được. Tuy nhiên, cần lưu ý chi phí hệ thống của mô hình sâu hơn. Hướng tương lai: tối ưu hạ tầng và kernel để hiện thực hóa lợi ích của mô hình sâu ở quy mô lớn, và tìm hiểu sâu hơn cơ chế tính toán khác biệt giữa HC (recursive multi-stream) và Full AttnRes (direct attention-based aggregation).

V. Brainstorming Space:

1. Publish Papers:

Khảo sát mở rộng DepthBench lên quy mô hàng chục tỷ tham số để kiểm chứng xu hướng depth scaling của HC/AttnRes ở cấp độ frontier LLM.
Nghiên cứu biến thể lai kết hợp ưu điểm của HC (recursive stream mixing) và Full AttnRes (direct cross-layer attention) để đạt hiệu quả depth scaling ổn định hơn ở mọi quy mô.
Phát triển phương pháp tự động tìm kiếm kiến trúc residual tối ưu cho từng ngân sách tham số và tỉ lệ khung hình cụ thể.

2. Patent:

Thiết kế module residual đa luồng cho mô hình AI trên điện thoại: thay vì một luồng residual duy nhất, dùng nhiều luồng trộn linh hoạt để mô hình nhỏ, sâu chạy trên chip di động đạt hiệu năng tốt hơn mà không tăng tham số.
Cơ chế cross-layer attention cho mô hình ngôn ngữ chạy local: mỗi lớp có thể truy cập trực tiếp đầu ra của các lớp trước thông qua attention, giúp mô hình sâu trên thiết bị biên tránh hiện tượng 'lớp chết' và tận dụng tối đa sức mạnh tính toán.
Hệ thống tự động điều chỉnh tỉ lệ width/depth của mô hình AI embedded dựa trên benchmark DepthBench: chọn kiến trúc sâu-hẹp tối ưu khi cần chất lượng cao, hoặc nông-rộng khi cần tốc độ, giúp tiết kiệm pin và bộ nhớ trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32534
ArXiv Abstract	https://arxiv.org/abs/2609.32534
PDF Download	https://arxiv.org/pdf/2609.32534.pdf
Github Repository	https://github.com/keyu-wang-2002/DepthBench

20. WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon (25 votes)

Tác giả: Haiyu Zhang, Wenqiang Sun, Tengfei Wang, Junta Wu, Jun Zhang, et al.

Xuất bản lúc: 2026-09-28

Tag: World Models, Video Generation, Diffusion Distillation, Interactive Simulation, Autoregressive Models, Real-time Generation

I. Main Problem:

Các interactive world models (mô hình thế giới tương tác) cần vừa phản hồi theo thời gian thực với nhiều loại điều khiển khác nhau, vừa giữ tính nhất quán của thế giới trong chuỗi video rất dài. Hiện tại có hai khó khăn lớn:

Điều khiển không đồng nhất: chuyển động camera/nhân vật cần tín hiệu khớp từng frame, trong khi các sự kiện ngữ nghĩa (mở cửa xe, biến đổi cảnh) lại là lệnh cấp cao trên chuỗi thời gian dài. Nếu không tách biệt các tín hiệu này khỏi ngoại hình cảnh/nhân vật, mô hình bị nhầm lẫn giám sát và phản hồi sai.
Bộ nhớ và distillation mâu thuẫn: giữ toàn bộ ngữ cảnh lịch sử khiến chi phí tính toán tăng theo chiều dài video; còn khi cô đọng sinh viên autoregressive vài bước từ teacher bidirectional nhiều bước, lỗi tích lũy làm phân phối sinh việc lệch khỏi teacher, khiến distillation mất ổn định và chất lượng video dài suy giảm.

II. Main Idea:

WorldPlay2 kết hợp ba thành phần đồng thiết kế:

Factorized Hybrid Control Interface: tách tín hiệu điều khiển thành hai nhánh — frame-aligned action control cho chuyển động cấp thấp (góc pitch/yaw camera, phím di chuyển, nhảy) và structured semantic control gồm 3 trường rời nhau: scene (bố cục, ánh sáng, phong cách), character (danh tính nhân vật), event (thay đổi ngữ nghĩa động).
Compressed Memory: một history compressor học được nén toàn bộ ngữ cảnh lịch sử thành memory tokens gọn (rút ngắn chuỗi ~32 lần), dùng chung cho cả student autoregressive lẫn teacher bidirectional. Nhờ đó, video dài được cắt thành từng clip để chấm điểm (score evaluation) độc lập, thay vì xử lý cả rollout — giảm mạnh chi phí distillation.
Stable Forcing: khung distillation ổn định gồm (1) few-step initialization theo PDD để student sinh rollout hợp lý ngay từ đầu; (2) full-rollout replay: forward chạy đủ bước lấy mẫu không gradient, nhưng ghi lại một bước trung gian ngẫu nhiên của mỗi chunk để replay có gradient khi backward — tách rollout khỏi lan truyền ngược, giữ chất lượng và ổn định huấn luyện.

Ví dụ đời thường: giống như một người kể chuyện dài: thay vì mang theo cả cuốn nhật ký dày cộp (full context), người đó chỉ ghi nhớ vài ghi chú tóm tắt (memory tokens) và kể theo từng đoạn ngắn; khi học nghề, thầy (teacher) cho sinh viên tập kể trọn vẹn trước (full rollout), sau đó mới chỉnh sửa từng câu bất kỳ (replay) — nhờ vậy kỹ năng được truyền ổn định mà không tốn sức ôm cả câu chuyện.

III. Main Results:

WBench: điểm trung bình 83.1, vượt state-of-the-art trước đó (Alaya-Evoke-Turbo, 82.0), nổi bật ở Interaction (88.3) và Consistency (90.0).
RevisitBench (độ nhất quán hình học dài hạn): PSNR 19.71 (cao nhất, baseline tốt nhất 17.05), LPIPS 0.318 và MEt3R 0.105 (thấp nhất), trong khi các phương pháp dùng retrieval hay biểu diễn 3D tường minh bị trôi hình học theo thời gian.
Phản hồi sự kiện tương tác: điểm trung bình 74.7, vượt xa Lingbot-World-V2 (52.5) — nhờ tách biệt scene/character/event.
Hiệu quả tính toán: memory nén giảm đáng kể bộ nhớ GPU và thời gian lặp; score evaluation theo clip giảm thời gian iteration từ 261s xuống 167s, và tránh lỗi out-of-memory khi distillation ở 320 latents.
Ablation: bỏ full-rollout replay gây suy giảm chất lượng dần theo rollout và mode collapse; bỏ PDD initialization tạo ảnh mờ và artifact dạng lưới; cả hai đều cần thiết cho distillation ổn định.
Triển khai thực tế: sinh video thời gian thực 16 FPS trên 8 GPU H20 nhờ tối ưu fusion, quantization, KV caching và VAE nhẹ.

IV. Conclusion & Future Works:

WorldPlay2 cho thấy co-design giữa bộ nhớ và distillation là chìa khói để đạt đồng thời tốc độ thời gian thực, điều khiển đa dạng (cả điều hướng lẫn sự kiện ngữ nghĩa) và nhất quán hình học dài hạn, mở đường cho embodied intelligence, spatial computing và giải trí tương tác.

Hạn chế và hướng mở:

Nhân vật vẫn bị trôi dần về hình ảnh và ngữ nghĩa trong rollout rất dài, chưa giữ nghiêm ngặt danh tính.
Mở rộng sang infinite-horizon generation còn bỏ ngỏ: duy trì ổn định vô hạn mà không tích lũy lỗi là bài toán nền tảng chưa giải quyết.

V. Brainstorming Space:

1. Publish Papers:

Nén bộ nhớ thế giới phân cấp theo tầng ngữ nghĩa (scene, object, character) thay vì một khối memory token đồng nhất, để giữ danh tính nhân vật ổn định hơn trong rollout dài hơn nữa.
Kết hợp memory tokens với cơ chế retrieval theo sự kiện để mô hình thế giới mở rộng sang chuỗi tương tác vô hạn mà không bão hòa bộ nhớ.
Distillation phân phối cho mô hình thế giới đa người chơi: nhiều tác nhân cùng tương tác trong một thế giới sinh, với memory tokens chung và điều khiển riêng từng agent.

2. Patent:

Ứng dụng game trên điện thoại sinh thế giới theo thời gian thực: người chơi điều khiển camera bằng cảm biến chuyển động và chạm màn hình (tương ứng action control khớp từng frame), còn lời thoại nhân vật và sự kiện cốt truyện (tương ứng semantic control) nhập bằng giọng nói; thế giới được nén thành các ghi nhớ gọn để chạy mượt trên chip điện thoại mà cảnh không đổi nét khi chơi lâu.
Hệ mô phỏng huấn luyện robot trên đám mây: robot thật được điều khiển từ xa qua video sinh theo thời gian thực; lịch sử tương tác được nén thành memory tokens lưu trên server, giúp nhiều phiên huấn luyện nối tiếp nhau mà không cần lưu toàn bộ video, tiết kiệm băng thông và chi phí GPU.
Ứng dụng thiết kế nội thất trên điện thoại: người dùng 'đi dạo' trong căn phòng ảo bằng cử chỉ (tương ứng điều khiển camera), đồng thời ra lệnh bằng giọng nói như 'đổi màu tường' hay 'thêm ghế sofa' (tương ứng semantic control tách riêng cảnh/vật/sự kiện); hệ thống giữ nguyên bố cục phòng khi người dùng quay lại vị trí cũ sau khi tham quan dài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35560
ArXiv Abstract	https://arxiv.org/abs/2609.35560
PDF Download	https://arxiv.org/pdf/2609.35560.pdf
Github Repository	https://github.com/WorldPlay2/WorldPlay2

21. Learning to Learn from Context: Synthetic Training from Perturbed Public Documents (24 votes)

Tác giả: Haoyi Wu, Yang Xiao, Yusong Sun, Wenyang Hui, Zhaokai Luo, et al.

Xuất bản lúc: 2026-09-27

Tag: LLMs, Long-Context Learning, Synthetic Data, Supervised Fine-Tuning, Reinforcement Learning, Rubric Reward, Context Learning, Data Contamination

I. Main Problem:

LLM giỏi nhớ kiến thức nhưng còn yếu ở học từ context dài: đọc một tài liệu mới rồi áp dụng đúng quy tắc, con số, thủ tục trong đó để trả lời. Ba nút thắt:

Gán nhãn con người cho tài liệu dài rất đắt: một câu hỏi tốt có thể đòi người có chuyên môn viết/ngẫm tài liệu hàng chục nghìn từ.
Tài liệu công khai chất lượng cao thường đã nằm trong pretraining, nên huấn luyện nguyên văn dễ thành thưởng cho ghi nhớ, không phải học từ context.
Tài liệu do LLM tự sinh thì scale dễ nhưng thường đơn giản, đồng nhất, kém hơn tài liệu thật.

II. Main Idea:

Dùng tài liệu công khai thật, nhưng xáo trộn đủ sâu để mô hình không thể trả lời bằng trí nhớ: đổi tên riêng, thay số liệu, đánh số lại mục, xáo thứ tự danh sách. Pipeline tự động:

Deep rewrite mỗi tài liệu thành bản tương đương về cấu trúc nhưng khác về chi tiết dễ ghi nhớ.
Sinh câu hỏi và rubric đòi hỏi suy luận trên tài liệu, không chỉ trích xuất cụm từ.
Cho teacher trả lời có tài liệu và không tài liệu; chỉ giữ mẫu khi có tài liệu đúng rõ hơn hẳn, không tài liệu thì gần như trượt (gap check).
Huấn luyện student bằng native reasoning trace của teacher, rồi cộng thêm RL thưởng theo rubric để ép đáp án đạt đủ tiêu chí.

Ví dụ đời thường: như thầy cô đổi tên nhân vật, số liệu, thứ tự câu trong một bài đọc quen thuộc; học sinh không thể học thuộc lòng nữa, buộc phải đọc kỹ đoạn văn trước mắt mới làm được bài.

III. Main Results:

Không cần người gán nhãn: pipeline tạo 9.625 mẫu từ 3.515 tài liệu thuộc RFC, hồ sơ SEC, án lệ, arXiv, handbook, wiki, bách khoa.
Student Qwen3.6-35B-A3B trên CL-bench tăng 13.7% → 22.8% sau SFT; thêm rubric-reward RL đạt 24.6%, ngang Qwen3.8-2.4T 23.9% dù nhỏ hơn hàng chục lần.
Gap check có thật sự quan trọng: bỏ bộ lọc, CL-bench giảm từ 19.17 xuống 17.75 trên cùng 3k mẫu.
Chưa bão hòa dữ liệu: từ 100 → 9.625 mẫu, độ chính xác tăng liên tục tới 22.8%.
Chuyển giao tốt sang long-context (+AALCR, +LongBench v2), instruction following (IFBench +14.0 sau SFT), reasoning (ARC-AGI-1 +16.4 sau SFT); code gần như đứng yên, kiến thức factual hơi giảm.
Bất ngờ: lợi ích lớn hơn trên fictional contexts gần gấp đôi baseline, cho thấy học được cách suy luận dựa vào ngữ cảnh chứ không chỉ nhớ đúng tài liệu công khai.

IV. Conclusion & Future Works:

Điểm mấu chốt là biến cả những tài liệu mô hình đã từng đọc thành giám sát học-context bằng cách phá vỡ lối tắt ghi nhớ, rồi lọc bằng chênh lệch trả lời có/không tài liệu. Đây là hướng tái sản xuất được và scale mà không cần annotator. Hướng đi tiếp theo: mở rộng vượt 10k mẫu vì đường cong chưa bão hòa; chống reward hacking khi RL sinh dài hơn và ảo giác nhẹ hơn; cải thiện rubric để cân bằng độ dài suy luận và độ chính xác; kiểm soát contamination mạnh hơn; mở rộng sang ngôn ngữ/lĩnh vực và dữ liệu có bản quyền cần xử lý kỹ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng bộ lọc document-dependence bằng cách kết hợp gap check với kiểm tra paraphrase đa dạng, để giảm cả rủi ro ghi nhớ lẫn câu hỏi quá dễ đoán từ pattern rubric.
Phát triển phần thưởng RL chống reward hacking cho lý luận dài: kết hợp rubric pass rate, tiêu chí chống hallucination, và phạt độ dài có điều kiện thay vì phạt độ dài thô.
Thử nghiệm chu trình tự cải tiến: student sau RL trở thành generator/judge cho vòng dữ liệu mới, có kiểm soát độ lệch phân phối và giới hạn tự khuếch đại lỗi.
Áp dụng cùng nguyên tắc perturb-and-check cho học từ context đa phương thức: bảng biểu, hình ảnh kỹ thuật, log hệ thống và tài liệu có cấu trúc chéo.

2. Patent:

Trợ lý trên điện thoại đọc đúng tài liệu đang mở: khi người dùng mở một hướng dẫn, hợp đồng hoặc manual trong app, hệ thống tạo bản xáo trộn tên riêng/số liệu nội bộ, sinh câu hỏi tự luyện, rồi chỉ chấp nhận câu trả lời phụ thuộc đúng tài liệu đang hiển thị; nhờ đó trả lời ít bịa hơn khi đọc tài liệu dài trên màn hình nhỏ.
Doanh nghiệp huấn luyện chatbot nội bộ từ tài liệu công khai mà không sợ lặp pretraining: pipeline tự đổi mã khách hàng, số tiền, ngày tháng, tên sản phẩm trong báo cáo SEC/tiêu chuẩn kỹ thuật, tạo câu hỏi-đáp án-rubric, lọc câu hỏi trả lời được khi thiếu tài liệu, rồi fine-tune model dùng cho tra cứu hợp đồng, quy định, runbook.
Chế độ học nhanh cho ứng dụng di động trước khi offline: app tải một sổ tay/standard dài, làm biến thể với danh tính và con số giả, hỏi người dùng hoặc model cục bộ vài câu bắt buộc đọc kỹ; các mẫu qua kiểm tra chênh lệch được lưu làm dữ liệu cá nhân hóa để cải thiện trợ lý mà không gửi tài liệu gốc lên server.
Kiểm tra tuân thủ tài liệu theo rubric trên điện thoại cho kỹ sư hiện trường: chụp hoặc mở spec, quy trình an toàn, bản vẽ; hệ thống tạo rubric từ tài liệu sau khi xáo trộn chi tiết nhạy cảm, chấm câu trả lời/ke hoạch công việc theo từng tiêu chí, và cảnh báo khi câu trả lời chỉ đúng vì học thuộc tài liệu công khai chứ không đúng bản đang dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33642
ArXiv Abstract	https://arxiv.org/abs/2609.33642
PDF Download	https://arxiv.org/pdf/2609.33642.pdf
Github Repository	N/A

22. Diffusion Reward Models (24 votes)

Tác giả: Xiangyang Wang, Bingxiang He, Zeyuan Liu, Jiaze WangZiqing Qiao, Yuxin Zuo, et al.

Xuất bản lúc: 2026-09-27

Tag: Reward Modeling, Diffusion Models, RLHF, LLMs, Preference Learning, Uncertainty Estimation

I. Main Problem:

Các mô hình reward (RM) hiện đại trong RLHF đều rút mọi cặp prompt–response về một điểm số vô hướng hoặc phân phối thuộc một họ tham số cố định:

Scalar RM / Bradley–Terry: giả định tồn tại một reward ổn định duy nhất — nhưng sở thích người là multimodal (cùng một câu trả lời có thể bị chấm rất khác nhau; độ đồng thuận giữa annotator chỉ ~63%).
Multi-objective RM: cần lược đồ thuộc tính định trước, rồi vẫn ép về scalar qua gate.
Generative judges (GPT-4o...): vẫn xuất một verdict duy nhất với chi phí inference rất cao.
Parametric distributional heads (DPL/URM dự đoán Gaussian, DPRM dự đoán categorical, QRM dự đoán lưới quantile): đóng khung sẵn hình dạng phân phối — unimodal, giới hạn độ phân giải bin, quantile crossing, đuôi không ổn định.

Thiếu sót chung: không có reward head nào không đặt giả định tham số mà đủ biểu cảm để mô hình hóa phân phối reward đa mode mà sở thích người thực sự tạo ra.

II. Main Idea:

DRM (Diffusion Reward Model) tái định nghĩa reward modeling thành bài toán ước lượng mật độ có điều kiện p(r | x, y) thay vì hồi quy một điểm số:

Frozen LLM encoder (FsfairX-LLaMA3) tạo hidden state h của (x, y), tính sẵn offline.
Diffusion Reward Head: một DiT nhẹ (3 blocks, hidden 384) khử nhiễu Gaussian noise thành vector reward K chiều, điều kiện hóa trên h qua adaptive LayerNorm — không đặt giả định nào lên phân phối đầu ra.
Một kiến trúc cho cả hai loại dữ liệu: K > 1 với multi-attribute regression (masked denoising loss trên chiều có nhãn); K = 1 với pairwise preference (thêm loss Bradley–Terry trên reward đã khử nhiễu, dùng pseudo-reward đối xứng margin Δ).
Inference: lấy N mẫu qua DDIM + classifier-free guidance → phân phối reward dạng phi tham số, có thể tổng hợp thành mean (cho RLHF chuẩn), variance (độ không chắc chắn) hoặc quantile/LCB (chọn lựa né rủi ro). Mở ra trục test-time scaling mới dọc theo reward axis (tăng N để chặn ước lượng mean) mà scalar RM không có.

Ví dụ đời thường: giống hỏi một hội đồng gồm N người chấm riêng lẻ rồi lập bảng phân phối điểm — thay vì gom về một điểm trung bình duy nhất, ta thấy được cả việc hội đồng đồng thuận hay chia rẽ, và dùng thông tin đó để quyết định an toàn hơn.

III. Main Results:

5 benchmark (RewardBench v2, PPE, RMB, RM-Bench, JudgeBench), cùng data + backbone: DRM-Multi-8B đạt Avg 66.2, vượt scalar head ArmoRM (62.3) và quantile head QRM (64.1); tăng mạnh nhất trên RMB (78.0).
Vẫn cạnh tranh với RM lớn hơn nhiều: ngang URM (66.1), vượt DeepSeek-GRM-27B (65.6), GPT-4o (67.7) với chi phí inference thấp hơn nhiều; hai biến thể Multi/Pref cho kết quả tương đương (66.2 vs 65.8) → framework chuyển tốt giữa hai kiểu giám sát.
Khớp phân phối disagreement người thật: trên HelpSteer2-Disagreements, DRM đạt khoảng cách Wasserstein 0.804 (so với ~1.03 của các baseline điểm/phân phối toàn cục); tỉ lệ đầu ra multimodal tăng từ ~38% (ít disagreement) lên ~63% (cực đoan hóa) — bắt đúng cấu trúc phân cục/phân cực trong chú thích lặp.
Tận dụng được thông tin phân phối: uncertainty-aware rejection và LCB aggregation cải thiện quyết định của RM so với chỉ dùng scalar.
RLHF downstream: dùng DRM làm reward huấn luyện, Arena-Hard v2 tăng từ 1.3 (FsfairX) lên 2.0, MT-Bench tăng 73.6 → 74.8.

IV. Conclusion & Future Works:

DRM chứng minh rằng mô hình hóa p(r | x, y) phi tham số bằng diffusion head là lựa chọn khả thi và linh hoạt hơn mọi họ tham số cố định: đồng thời vượt scalar head khi kiểm soát data/backbone, bắt được cấu trúc multimodal của disagreement người, cung cấp uncertainty hữu dụng cho quyết định, và chuyển hóa thành lợi ích thực trong RLHF. Trục scaling theo số mẫu reward là khả năng mới so với RM truyền thống. Hướng mở (suy luận từ phần analysis): mở rộng các hàm tổng hợp rủi ro, tối ưu inference budget trên trục reward axis, và khám phá diffusion RM cho các tác vụ reward phức tạp hơn ngoài alignment.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các chiến lược aggregation rủi ro tinh hơn (quantile động, CVaR, criterion tự thích ứng) trên phân phối reward của DRM cho chọn lựa an toàn trong RLHF.
Kết hợp DRM với active disagreement detection: dùng variance của phân phối reward để xác định mẫu cần gán nhãn lại, giảm chi phí thu thập feedback người.
Áp dụng diffusion reward head cho đánh giá đa phương thức (văn bản + hình ảnh) trong bài toán multimodal alignment, nơi disagreement người còn mạnh hơn.

2. Patent:

Hệ thống lọc câu trả lời an toàn trên điện thoại: với mỗi phản hồi của chatbot, mô hình reward dạng diffusion sinh nhiều điểm đánh giá; nếu độ phân tán cao hoặc nhóm điểm thấp xuất hiện, hệ thống tự chặn, chuyển sang câu trả lời khác hoặc gửi cho người kiểm duyệt — giảm nội dung gây hại mà điểm trung bình che giấu.
Trợ lý AI cá nhân học sở thích riêng của chủ nhân qua điện thoại: mỗi lần người dùng chọn/không chọn một gợi ý, hệ thống cập nhật mô hình reward; khi phân phối điểm cho thấy hai nhóm sở thích rõ rệt (ví dụ thích ngắn gọn vs chi tiết), ứng dụng hỏi người dùng xác nhận thay vì tự đoán.
Hệ thống kiểm duyệt nội dung tự động có báo cáo độ tin cậy: thay vì một điểm duy nhất, hệ thống lưu cả biểu đồ phân phối điểm rủi ro cho từng bài đăng; nội dung có điểm trung bình đạt nhưng phân phối hai đỉnh (nhiều người chấm rất an toàn, nhiều người chấm vi phạm) được ưu tiên xem lại, tiết kiệm công sức đội kiểm duyệt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33803
ArXiv Abstract	https://arxiv.org/abs/2609.33803
PDF Download	https://arxiv.org/pdf/2609.33803.pdf
Github Repository	https://github.com/thunlp/DRM

23. Skill2Env: Capability-Oriented Environment Synthesis from Skills for General Agents (22 votes)

Tác giả: Weiyi Xu, Xiaowen Yang, Wen Da, Hang Xu, Canwei Li, et al.

Xuất bản lúc: 2026-09-27

Tag: Agent Training, Environment Synthesis, Skill-Based Task Generation, LLM Agents, Supervised Fine-Tuning, Evaluation

I. Main Problem:

Huấn luyện agent cần môi trường thực thi được có công cụ, workspace và bộ chấm điểm, nhưng xây từng bài thủ công khó mở rộng. Skill có thủ tục và hướng dẫn dùng công cụ, nhưng khoảng cách lớn tồn tại giữa skill và một bài tập cụ thể, đủ khó, chạy được, đánh giá được. Các phương pháp skill-based trước chủ yếu mở rộng coverage skill/task, chưa biến nhu cầu năng lực của agent thành thiết kế môi trường và độ khó có chủ đích.

II. Main Idea:

Skill2Env bắt đầu từ một skill và dùng capability demands để dẫn dắt việc tổng hợp task + môi trường. Quy trình chính:

Chọn lọc skill thực dụng, tương thích runtime và khả thi setup từ hơn 47K skill xuống hơn 3K.
Chia nhu cầu năng lực thành 5 trục: environment understanding, planning, skill usage, long-horizon consistency, error recovery.
Mỗi trục được cụ thể hóa qua difficulty patterns — ví dụ evidence phân tán, constraint ngầm, phụ thuộc trạng thái, ngân sách tài nguyên, schema mismatch — rồi hợp thành task blueprint gồm objective, challenges, environment facts, information boundary, acceptance criteria.
Blueprint là hợp đồng phía tác giả để cùng dựng task instruction, execution substrate, workspace, và rubric evaluator quanh skill gốc.
Iterative Task Hardening chạy solver, xem trajectory và rubric, phát hiện phần nào solver làm quá tốt, tăng cường pattern hiện có hoặc thêm pattern tương thích, rồi sửa blueprint và môi trường. Nếu phát hiện khó khăn tổng quát mới, hệ thống trừu tượng thành pattern bổ sung cho pool.

Giống như giáo viên ra đề không chỉ dựa vào giáo án, mà quan sát học sinh làm bài rồi cố tình thêm mẹo, giới hạn thông tin và bẫy nhỏ để bài kiểm tra ngày càng đòi hỏi đúng năng lực còn yếu.

III. Main Results:

Pipeline tạo 2,963 executable tasks; 1.5K trajectory đạt chất lượng cao được dùng SFT cho Qwen3.6-35B-A3B.
Trung bình 7 benchmark tăng 36.6 → 45.0 (+8.4); lớn nhất ở SkillsBench +14.34 và Terminal-Bench 2.1 +13.5.
Cải thiện đồng đều trên SWE-bench Multilingual +7.7, AutomationBench +7.34, VitaBench +5.87, Claw-Eval +5.51, τ3-Banking +4.47.
Trên Terminal-Bench 2.1, mô hình SFT tốt hơn base ở cả 4 harness: pi +11.2, Terminus-2 +13.5, OpenCode +16.9, Claude Code +12.3.
Với 500 task cùng identity qua 2 vòng hardening, full-credit rate giảm 48.40% → 24.80% → 15.40%, số lượt assistant tăng 25.91 → 36.54 → 38.85.
Dữ liệu từ các vòng hardening sau cho utility huấn luyện tốt hơn khi giữ cố định ngân sách 500 trajectory: trung bình 7 benchmark 40.58 → 42.51 → 42.87.

IV. Conclusion & Future Works:

Kết quả ủng hộ giả thuyết trung tâm: môi trường được tổng hợp quanh nhu cầu năng lực có thể tái sử dụng tạo supervision chuyển giao tốt sang nhiều downstream task khác domain, giao diện và cấu trúc. Skill2Env cho thấy có thể vượt mô hình lớn hơn Qwen3.5-397B-A17B ở 6/7 benchmark nhờ supervision tốt hơn, dù frontier models vẫn còn headroom. Hướng tương lai: mở rộng difficulty-pattern pool từ execution evidence, tự động điều chỉnh mức khó theo trình độ solver đang tiến bộ, và kiểm tra giới hạn khi agent mạnh hơn khiến hardening phải liên tục tạo thử thách mới.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế lựa chọn difficulty-pattern theo skill: khi nào nên tăng phân tán evidence, thêm ràng buộc ngầm, hoặc giới hạn tài nguyên để tối đa hóa khả năng chuyển giao sang benchmark ngoài distribution.
Phát triển bộ phận chẩn đoán execution evidence thành phương pháp riêng để phát hiện shortcut, bypass intended challenge và residual failure trong agent trajectories.
Khảo sát curriculum tự động cho post-training: sắp xếp các task đã hardening theo capability demand thay vì theo domain, đo xem curriculum theo năng lực có ổn định hơn curriculum theo kỹ năng không.
Mở rộng evaluator rubric kết hợp programmatic checks và LLM judge có partial credit, nghiên cứu cách giảm lỗi chấm điểm khi task trở nên dài hơn và nhiều trạng thái hơn.

2. Patent:

Hệ thống tạo bài tập thực hành cho trợ lý điện thoại: từ một kỹ năng như xử lý tài liệu, hệ thống tự dựng môi trường ảo có file, công cụ dòng lệnh và bộ chấm điểm, rồi làm bài khó dần sau mỗi lần người dùng hoặc mô hình làm tốt.
Nền tảng luyện agent trên điện thoại cho doanh nghiệp: quản trị viên chọn kỹ năng nghiệp vụ, ứng dụng sinh tình huống mô phỏng có dữ liệu rời rạc, lỗi công cụ và yêu cầu sửa lỗi, sau đó xuất trajectory đạt điểm cao để fine-tune trợ lý nội bộ.
Công cụ kiểm thử trợ lý AI trước khi phát hành: tự động biến hướng dẫn sử dụng công cụ thành các ca kiểm thử có workspace, tiêu chí chấp nhận và mức độ khó leo thang, giúp phát hiện điểm yếu về lập kế hoạch, duy trì trạng thái và phục hồi lỗi.
Trình tạo môi trường học tập cá nhân hóa cho lập trình viên: từ tài liệu kỹ năng mở, sinh bài lab trong container có lỗi cấu hình, dữ liệu thiếu và ràng buộc ẩn, rồi tự nâng độ khó khi học viên giải quá nhanh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33772
ArXiv Abstract	https://arxiv.org/abs/2609.33772
PDF Download	https://arxiv.org/pdf/2609.33772.pdf
Github Repository	N/A

24. In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion (20 votes)

Tác giả: Yikai Wang, Xiao Han, Mengmeng Xu, Juan Camilo Perez, Yiannis Douratsos, et al.

Xuất bản lúc: 2026-09-26

Tag: Video Generation, Diffusion Models, KV Cache, Autoregressive Generation, Few-Step Distillation, Pipelined Inference

I. Main Problem:

Các phương pháp video diffusion tự hồi quy ít bước (few-step autoregressive video diffusion) tạo video dài bằng cách chia thành từng chunk thời gian và khử nhiễu từng chunk qua vài stage. Để ghi nhớ nội dung đã tạo, chúng phải tốn thêm các lượt forward chỉ để cập nhật bộ nhớ KV cache mà không làm tiến triển video:

Self-Forcing (lịch sử sạch): chạy lại chunk hoàn chỉnh qua mô hình 1 lần/phục vụ cache → chạy tuần tự, latency cao.
HiAR (lịch sử ít nhiễu): cho phép overlap nhưng phải re-encode ngữ cảnh ở mọi stage → chi phí cache-update trả theo số stage × chunk.

Chi phí "forward chỉ để làm cache" trở thành nút cổ chai ngày càng lớn khi chuỗi khử nhiễu chỉ còn vài bước.

II. Main Idea:

FlashForward (Meta + NTU) tái thiết kế cross-chunk state contract — quy định chunk nào xuất bản trạng thái gì, ở mức nhiễu nào, và khi nào chunk sau được dùng. Ý tưởng chính:

Tái sử dụng trực tiếp in-flight KV: mỗi forward khử nhiễu vốn đã tính sẵn KV của chunk hiện tại tại stage đó → xuất bản stage-matched history ngay lập tức, không cần forward nào chỉ để cập nhật cache. Mỗi GPU gán 1 stage → các chunk chạy lệch pha như sóng (wavefront), hoàn thành 1 chunk/vòng sau warm-up.
Đánh đổi và khắc phục: stage-matched history là nhiễu và chỉ có quá khứ → gây drift hình dạng/chuyển động. Bù lại bằng sparse clean anchor KV: một module planner tạo trước các anchor sạch rải rác trên timeline (mỗi block planner nhảy 30 latent thay vì 3), chunk renderer được điều kiện hóa hai phía (quá khứ + tương lai) bởi cửa sổ 3 anchor, cung cấp khung cấu trúc thô ổn định tầm xa.
Phân bổ tầm thời gian: anchor sạch thưa đảm nhận cấu trúc dài hạn; history dày, khả dụng sớm giữ chi tiết chuyển động gần. Renderer không tái dùng anchor làm output mà render lại mọi vị trí để tránh vết nối.
Cùng một backbone, hai vai trò (planner/renderer) với role embedding + LoRA riêng; huấn luyện 2 pha: packed SFT trên video thật rồi self-rollout distillation để thích nghi với ngữ cảnh tự sinh, suy giảm exposure bias.

Ví dụ đời thường: giống như một người dựng giàn giáo trước — cắm vài cột neo thưa ở các đoạn xa để định hướng toàn cục, còn từng đoạn tường gần thì xây liên tục vì ván giáo đã dựng sẵn bên cạnh; nhờ vậy không phải tháo dựng lại giàn giáo sau mỗi đoạn như cách cũ.

III. Main Results:

Tốc độ (4 GPU, video 16 FPS ≥20s, cả hai quy mô 1.3B và 14B, 480p/720p):

Nhanh hơn HiAR 1.16–1.69× và Self-Forcing 1.42–2.92× trong mọi cấu hình.
Speedup tăng theo độ dài: 1.3B/720p đạt 3.7× ở 35s và 6.4× ở 65s; 14B/720p lên tới 8.4× ở 65s so với bidirectional baseline.
Bản streaming 5 GPU (1 GPU planner + 4 renderer) giảm latency thêm.

Chất lượng (VBench, 1.3B/480p):

VBench-1.0 (20s): Total 0.838, cao hơn Self-Forcing (0.805) và HiAR (0.821); Quality 0.859 cao nhất nhóm.
VBench-Long: dẫn đầu Total/Quality ở 20s, 35s, 65s; quality ổn định khi video kéo dài trong khi Self-Forcing suy giảm mạnh (Total 0.826→0.781) và Causal Forcing sụt Semantic tệ ở 65s.

Ablation:

Chỉ stage-matched history → video nhấp nháy, VBench không chấm được.
Chỉ clean history + future → giảm drift nhưng latency cao (tương đương Self-Forcing).
Kết hợp cả hai → chất lượng tốt nhất với tốc độ nhanh nhất; role embedding + LoRA giảm vết nối giữa anchor và non-anchor.

IV. Conclusion & Future Works:

FlashForward đóng khung bộ nhớ liên-chunk như bài toán tính khả dụng của trạng thái: xuất bản KV ngay trong forward sinh video giúp loại bỏ hoàn toàn forward cập nhật cache và kích hoạt pipeline đa-GPU, còn anchor sạch thưa hai phía bù đắp độ nhiễu của memory sớm khả dụng — vừa nhanh hơn vừa chất lượng hơn, đặc biệt với video dài.

Hạn chế: lợi ích giảm với video ngắn (warm-up pipeline) và khi chỉ có 1 GPU; dữ liệu huấn luyện toàn video thực nên thiên lệch phong cách photorealistic; anchor stride và conditioning window cố định.

Hướng tương lai: thư giãn giả định anchor sạch, chọn anchor thích ứng, kết hợp contract này với KV selection/compression, RoPE modification, chống drift, và sinh song song các đoạn giới hạn bởi anchor.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng hợp đồng trạng thái liên-chunk của FlashForward cho mô hình video diffusion nhiều bước (non-few-step) hoặc các mô hình sinh âm thanh/tín hiệu dài tự hồi quy, nơi forward khử nhiễu cũng vô tình tính sẵn KV có thể tái dùng.
Nghiên cứu chiến lược chọn anchor thích ứng (theo độ phức tạp nội dung, thay vì stride cố định) để cân bằng chi phí planner và chất lượng định hướng dài hạn trong video dài.
Kết hợp stage-matched history với kỹ thuật nén/lựa chọn KV và chống drift để đẩy hiệu quả bộ nhớ xa hơn cho video rất dài (hàng phút) trên hạ tầng GPU hạn chế.

2. Patent:

Hệ thống tạo video dài trên điện thoại/cloud đa-GPU: ứng dụng video AI trên điện thoại chia video thành các đoạn, tái dùng bộ nhớ attention đã tính sẵn khi khử nhiễu để đoạn sau tham chiếu ngay không cần chạy lại đoạn trước, đồng thời chèn các khung neo sạch thưa để giữ nhân vật/cảnh nhất quán suốt video, giảm thời gian chờ xuất video.
Công cụ livestream/clip mạng xã hội sinh video nối tiếp theo thời gian thực: server dùng 1 nhân GPU lập lịch các khung neo tương lai (planner) và các nhân còn lại render từng đoạn lệch pha (wavefront), cho phép bắt đầu phát video ngay khi đoạn đầu hoàn thành mà không cần chờ toàn bộ video được tạo.
Module nén bộ nhớ cho trợ lý AI tạo video dài trên thiết bị biên: bộ nhớ attention của từng bước khử nhiễu được lưu lại ở đúng mức nhiễu tương ứng để đoạn sau đọc, chỉ trích xuất bộ nhớ sạch ở các điểm mốc thưa, tiết kiệm lượt tính toán và pin trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32540
ArXiv Abstract	https://arxiv.org/abs/2609.32540
PDF Download	https://arxiv.org/pdf/2609.32540.pdf
Github Repository	N/A

25. FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching (19 votes)

Tác giả: Thanh-Long V. Le, Steven Walton, Seunghyun Yoon, Branislav Kveton, Trung Bui, et al.

Xuất bản lúc: 2026-09-28

Tag: Image Retouching, Tool-Based Image Editing, Flow Matching, Conditional Generation, Vision-Language Models, Diffusion Transformer, Reinforcement Learning, Efficient Inference

I. Main Problem:

Chỉnh sửa ảnh bằng công cụ chuyên nghiệp đòi hỏi dịch ý định người dùng thành lựa chọn công cụ và giá trị tham số liên tục, chẳng hạn tăng độ ấm, nâng vùng tối, chỉnh tương phản. Các MLLM autoregressive hiện tại sinh reasoning, tên công cụ và số liệu thành token rời rạc, gây ba lỗi chính:

Sai lệch bản chất tham số: tham số chỉnh ảnh là trường liên tục, nhạy số, nhưng token hóa làm mất độ chính xác và khả năng hiểu số.
Lỗi lan truyền: dự đoán từng token theo chuỗi khiến sai sót ở bước đầu tích lũy sang các bước sau.
Tốn kém inference: sinh reasoning và tool-call dài làm tăng độ trễ và bộ nhớ, bất lợi cho chỉnh sửa tương tác gần thời gian thực.

II. Main Idea:

FlowTool đổi bài toán từ sinh ngôn ngữ autoregressive sang mô hình sinh có điều kiện trên không gian tham số liên tục. Thay vì viết suy luận rồi gọi công cụ tuần tự, mô hình học phân phối p(editing plan | image, instruction) bằng conditional rectified flow.

VLM backbone mã hóa ảnh và chỉ dẫn thành điều kiện đa phương thức.
DiT-based parameter generator biến nhiễu Gaussian thành vector tham số công cụ thông qua ODE ngắn; các tham số liên tục được chuẩn hóa về khoảng [-1,1].
Tool-presence head dự đoán mask kích hoạt công cụ nào, tránh ép mọi slider tham gia vào kế hoạch chỉnh sửa.
Hai giai đoạn supervised: đầu tiên giữ VLM cố định để huấn luyện generator và presence head, sau đó mở LoRA trong VLM để tinh chỉnh chung.
Reward-based post-training lấy mẫu nhiều editing plan, render ảnh, chấm bằng độ gần ảnh expert và điểm VLM-as-a-judge rồi tối ưu nhánh thưởng cao/thấp.

Ví dụ đời thường: giống thợ pha chế điều chỉnh cụm nút trộn âm thanh cho đúng khẩu vị: thay vì đọc một bài diễn giải dài, họ nhìn ly đồ uống và mô tả khách hàng, rồi đẩy mượt các nút từ vị trí ban đầu về một công thức hợp nhất.

III. Main Results:

Trên MMArt-Bench, FlowTool-RL đạt L1 9.42 và L2 17.98, tốt hơn GPT-5.6 Sol và vượt xa các agent chuyên biệt; so với baseline chuyên biệt mạnh nhất, mức giảm L1/L2 tới 28.8%/47.4% trên các benchmark.
Trên FlowTool-Eval, FlowTool-RL đạt L1 7.87, L2 13.21, SC 8.04, Overall 8.76, cải thiện rõ instruction alignment sau reward training.
Trên ArtEdit-Bench, FlowTool-RL đạt L1 7.65, L2 12.95, SC 8.34, Overall 8.99.
Trên MIT-Adobe5K, FlowTool đạt PSNR 17.90, SSIM 0.51, LPIPS 0.36, vượt các baseline về PSNR/LPIPS và cạnh tranh SSIM.
Chất lượng định tính: FlowTool bám sát chỉnh sửa của người hơn, ít quá đà về phơi sáng/màu/tương phản hơn JarvisArt và RetouchIQ, đồng thời tương đương GPT-5.6 Sol trong nhiều ví dụ.
Hiệu năng: giảm latency ít nhất 50× và dùng gần 2× bộ nhớ GPU thấp hơn các agent autoregressive; thời gian inference khoảng 0.19s so với khoảng 9.66–32.11s ở các mô hình so sánh.
Ablation: cần khoảng 3 ODE steps để cân bằng chất lượng; bỏ tool-presence head làm SC và Overall sụt mạnh; curriculum hai giai đoạn tốt hơn train chung ngay từ đầu; backbone Qwen3.5-4B là điểm ngọt hơn 0.8B và 9B.

IV. Conclusion & Future Works:

Bài báo kết luận rằng chỉnh sửa ảnh dạng tool-based có thể được mô hình hóa như sinh có điều kiện trên không gian tham số liên tục, không cần reasoning ngôn ngữ tại inference. Cách này vừa nâng chất lượng bám expert target, vừa giảm mạnh độ trễ và bộ nhớ, mở đường cho chỉnh sửa tương tác và triển khai thiết bị hạn chế tài nguyên. Bản trích dẫn không nêu hướng tương lai cụ thể; các mở rộng tự nhiên gồm tối ưu reward đa mục tiêu, kiểm soát đa dạng editing plan, cân bằng giữa fidelity với expert và tính sáng tạo, cũng như nén mô hình flow cho thiết bị biên.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng conditional flow matching sang không gian action liên tục có cấu trúc cho các công cụ chỉnh sửa khác như mask, brush, curve và local adjustment.
Nghiên cứu reward cho chỉnh sửa ảnh kết hợp độ gần ảnh tham chiếu, đánh giá ngữ nghĩa bởi mô hình thị giác-ngôn ngữ và preference học từ người dùng để giảm phụ thuộc một chuyên gia duy nhất.
Phát triển phương pháp uncertainty-aware sampling để sinh nhiều editing plan có độ đa dạng có kiểm soát, cho phép người dùng chọn hoặc hệ thống tự hiệu chỉnh theo phản hồi.
Tối ưu hóa on-device cho conditional flow models nhằm giữ chất lượng chỉnh sửa chuyên nghiệp với độ trễ thấp trên điện thoại và máy tính bảng.

2. Patent:

Ứng dụng chỉnh ảnh trên điện thoại nhận câu như 'ấm hơn, sáng hơn, nâng vùng tối' rồi tạo trực tiếp bộ giá trị slider cho các công cụ có sẵn, render thử nhiều phương án và chọn phương án đạt điểm cao nhất theo phong cách mong muốn.
Hệ thống hỗ trợ nhiếp ảnh gia quay phim: khi người dùng chọn một ảnh mẫu làm chuẩn, phần mềm ước lượng bộ tham số chỉnh liên tục tương đương, áp dụng lên ảnh mới và tinh chỉnh theo phản hồi 'đậm hơn' hoặc 'giữ da tự nhiên hơn'.
Trình chỉnh sửa hàng loạt cho ảnh sản phẩm thương mại điện tử: máy chủ sinh nhanh các kế hoạch chỉnh liên tục cho từng ảnh, điện thoại hoặc trình duyệt render preview gần thời gian thực và người dùng duyệt theo điểm chất lượng thống nhất.
Tính năng 'copy look' giữa hai thiết bị: người dùng gửi ảnh đã chỉnh và mô tả mong muốn, hệ thống học các mức slider tương đương rồi áp dụng cho ảnh chụp mới ngay trong camera app, không cần truyền toàn bộ lịch sử thao tác thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35673
ArXiv Abstract	https://arxiv.org/abs/2609.35673
PDF Download	https://arxiv.org/pdf/2609.35673.pdf
Github Repository	N/A

26. Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models (18 votes)

Tác giả: Jingdi lei, Junxian Li, Di Zhang, Zhanqiu Zhang, Yiwen Guo, et al.

Xuất bản lúc: 2026-09-28

Tag: Multimodal LLMs, Visual Token Reduction, Low-Rank Adaptation, MLP, Knowledge Distillation, Efficient Inference, MLLM

I. Main Problem:

Trong các MLLM, chuỗi visual token dài (ảnh độ phân giải cao, video) chiếm phần lớn chi phí tính toán vì mỗi token phải trải qua toàn bộ self-attention và feed-forward ở mọi Transformer layer.

Các phương pháp hiện có pruning (cắt bỏ) visual token để giảm chi phí, nhưng việc loại bỏ là không thể đảo ngược: bằng chứng hình ảnh bị mất không còn truy cập được ở các layer sau.
Vấn đề đặt ra: có thể nào giữ nguyên toàn bộ visual token mà vẫn giảm chi phí xử lý chúng?

II. Main Idea:

Qua phân tích, tác giả phát hiện hai điều:

Ảnh hưởng của visual token lên text stream tập trung trong một subspace hạng thấp: khi chặn visual-to-text attention, chỉ cần khôi phục vài chục đến ~128 chiều (rank) là phục hồi phần lớn độ chính xác.
Visual states theo layer có tính dự đoán cao: một MLP nhẹ dạng d→r→d huấn luyện riêng cho từng layer dự đoán trạng thái visual với cosine similarity cao và lỗi tái tạo thấp.

Từ đó đề xuất δ-Vision: thay vì đẩy visual token qua Transformer ở mỗi layer, dùng low-rank adapter (down-projection → SiLU → up-projection, khởi tạo zero nên ban đầu là ánh xạ đồng nhất) để dựng trực tiếp "visual memory" cho từng layer, rồi chiếu qua các key/value projection gốc đã frozen để text query vẫn truy xuất toàn bộ visual token. Bỏ hoàn toàn visual query, visual attention output và visual feed-forward. Hai biến thể:

Embedding Adapter: dự đoán memory của mỗi layer trực tiếp từ visual embedding ban đầu (các layer độc lập).
Recurrent Adapter: cập nhật memory lớp sau từ memory lớp trước bằng phép hiệu chỉnh hạng thấp.

Chỉ huấn luyện adapter bằng Supervised-KD: mô hình gốc làm teacher, tối thiểu hóa KL divergence tại các vị trí token câu trả lời.

Ví dụ đời thường: giống thay vì cho cả đoàn khách tham quan đi lòng vòng qua mọi phòng ban (tốn người hướng dẫn), ta đặt ở mỗi phòng một tấm bảng tóm tắt được viết sẵn bằng vài nét chính — nhân viên (text token) đọc bảng là nắm đủ thông tin, còn khách (visual token) vẫn ngồi đầy đủ ở sảnh chờ hỏi, không ai bị đuổi về.

III. Main Results:

Qwen3-VL-4B, single-image: δ-Vision (embedding adapter) đạt trung bình 74.4, giữ 92.9% hiệu năng mô hình gốc, vượt baseline pruning mạnh nhất (DivPrune, giữ 5% token) +9.1 điểm, và còn nhỉnh hơn cả kết quả tốt nhất của pruning khi giữ tới 20% token. Recurrent adapter nâng lên 75.4.
Hiệu năng tính toán (Video-MME): chỉ còn 17.90% FLOPs (tương đương mức 16.6–23.9% của các phương pháp chỉ giữ 5% token), đạt 1.30× tốc độ toàn phần và 1.50× prefill, trong khi vẫn giữ toàn bộ visual token.
Tổng quát qua backbone: giữ ~94–96% hiệu năng gốc trên LLaVA-1.5-7B, Qwen3-VL-30B-A3B (78.6 vs 71.3 của DivPrune), Qwen3.5-4B (71.6 vs 62.7).
Multi-image/video: trung bình 52.0 trên MuirBench, Video-MME, MVBench, vượt baseline pruning mạnh nhất (50.2); training thêm dữ liệu đa ảnh/video giúp rõ rệt.
Phân tích: visual attention output chỉ cần ~30–104 chiều để giữ 95% năng lượng phổ; tầm quan trọng của visual processing không đều theo độ sâu (Qwen3-VL tập trung ở giữa, LLaVA phân tán hơn); cơ chế này kết hợp được với token pruning.

IV. Conclusion & Future Works:

Bài báo phá vỡ giả định rằng visual token bắt buộc phải trải qua full Transformer evolution ở mọi layer. Dựng visual states bằng adapter hạng thấp là trục hiệu quả bổ sung cho cắt giảm độ dài chuỗi: giảm chi phí suy luận đa phương thức mà không cần loại bỏ visual token nào.

Hướng mở: kết hợp sâu hơn với pruning (đã kiểm chứng khả thi với DART/DivPrune), mở rộng cho kiến trúc hybrid attention, và tối ưu cơ chế bỏ qua layer-wise linh hoạt dựa trên mức độ nhạy của từng layer.

V. Brainstorming Space:

1. Publish Papers:

Phân tích đặc trưng spectral và low-rank của dòng thông tin visual-to-text trong các kiến trúc MLLM khác nhau (hybrid attention, MoE), để xác định nguyên tắc thiết kế adapter tối ưu theo từng họ mô hình.
Phương pháp kết hợp đồng thời nén theo chiều hidden (dạng δ-Vision) và cắt giảm theo chiều sequence (token pruning), với cơ chế điều phối hai trục nén bù trừ lẫn nhau.
Huấn luyện visual-memory adapter theo cách không cần teacher forcing: dùng on-policy distillation có chọn lọc hoặc self-distillation để giảm chi phí rollout khi mở rộng sang video dài.

2. Patent:

Hệ thống suy luận đa phương thức trên điện thoại với trợ lý ảnh tiết kiệm pin: thay vì xử lý toàn bộ ảnh qua mọi lớp của mô hình lớn, điện thoại dùng các mạng nơ-ron nhỏ (dạng low-rank) dựng lại 'ký ức hình ảnh' cho từng lớp, giúp trả lời câu hỏi về ảnh/video nhanh hơn nhiều mà không bỏ sót chi tiết nào của ảnh.
Module hỗ trợ quay video dài trên thiết bị di động: các adapter nhẹ học trước trên đám mây dự đoán trạng thái hình ảnh từng đoạn video, thiết bị chỉ chạy phần văn bản và truy xuất hình ảnh, giảm đáng kể dung lượng bộ nhớ và độ trễ khi tóm tắt hay tìm kiếm nội dung video.
Phương pháp nâng cấp mô hình ngôn ngữ-thị giác sẵn có (không sửa mô hình gốc) bằng cách gắn thêm các bộ chuyển đổi nhỏ phía trước: doanh nghiệp có thể triển khai trợ lý ảnh hiệu quả trên phần cứng yếu mà vẫn giữ nguyên độ chính xác gần bằng mô hình đầy đủ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.34972
ArXiv Abstract	https://arxiv.org/abs/2609.34972
PDF Download	https://arxiv.org/pdf/2609.34972.pdf
Github Repository	https://github.com/declare-lab/delta-Vision

27. SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning (18 votes)

Tác giả: Yang Cao, Jiaxin Zhang, Dave Zhenyu Chen, Yingji Zhong, Ruiyuan Gao, et al.

Xuất bản lúc: 2026-09-27

Tag: Vision-Language Models, 3D Reconstruction, Spatial Reasoning, Chain-of-Thought, Multi-View Learning, Visual Question Answering, 3D Scene Understanding, VLMs

I. Main Problem:

Các mô hình thị giác-ngôn ngữ đa khung hình hiện nay thường chỉ nhận đáp án cuối cùng khi trả lời câu hỏi không gian, nên không giám sát trực tiếp các ước lượng hình học trung gian như tọa độ vật thể, khoảng cách, kích thước hay số lượng. Nhiều phương pháp chỉ bơm đặc trưng từ mô hình tái cấu trúc 3D vào mô hình ngôn ngữ, khiến việc học hình học và diễn giải suy luận bị tách rời. Với câu hỏi không gian định lượng, mô hình cần cả hình học cục bộ mịn lẫn bối cảnh toàn cảnh, nhưng dữ liệu huấn luyện thường không dạy mô hình nói rõ các ước lượng này, đánh giá độ tin cậy, rồi hiệu chỉnh khi tính toán gần đúng bị sai.

II. Main Idea:

SpatialSpeak là khung hai giai đoạn nối tái cấu trúc 3D với suy luận không gian tường minh. Ở giai đoạn một, QA-Native Reconstruction Pretraining dạy mô hình trả lời câu hỏi dạng văn bản để tái cấu trúc cảnh từ nhiều ảnh trong cùng hệ tọa độ camera đầu tiên: các truy vấn điểm được đánh dấu buộc mô hình dự đoán tọa độ 3D cục bộ, còn truy vấn tâm vật thể buộc mô hình liệt kê các instance, nhận loại ngữ nghĩa và vị trí 3D để nắm bố cục toàn cảnh. Ở giai đoạn hai, spatial Chain-of-Thought with Visual Compensation xây chuỗi lý luận cho distance, size, count và closest object: nhận đối tượng liên quan, nêu ước lượng hình học, tính đáp án, gắn nhãn HIGH/LOW về độ tin cậy; nếu thấp, mô hình được dạy dùng bằng chứng trực quan để rà soát và đưa đáp án cuối.

Cả hai bước dùng cùng giao diện sinh văn bản tự hồi quy, nên việc dự đoán hình học và suy luận không gian dùng chung một cách xuất kết quả.

Ví dụ đời thường: giống như dạy một người đo phòng trước tiên bằng cách chấm từng điểm trên sàn và liệt kê vị trí từng món đồ, sau đó khi hỏi khoảng cách hai vật họ tự nêu cách đo; nếu thấy con số gần đó chưa chắc, họ lùi lại nhìn trực tiếp rồi mới chốt đáp án.

III. Main Results:

Trên ReVSI, SpatialSpeak-4B đạt 62.8, cao hơn SpatialStack-4B 54.1 tới 8.7 điểm.
Khi có reconstruction pretraining, lợi ích của spatial CoT-VC tăng từ 2.6 lên 6.9 điểm, cho thấy nền hình học cục bộ + toàn cảnh giúp suy luận tường minh hiệu quả hơn rõ rệt.
Ablation từng thành phần trên ReVSI: đầy đủ 62.8, bỏ CoT-VC 55.9, bỏ QA-RP 55.0, bỏ cả hai 52.4.
Ablation reconstruction: bỏ global object-center queries còn 59.9, bỏ local point queries còn 59.3, bỏ cả hai còn 55.0.
Visual Compensation có đóng góp riêng: spatial CoT không VC đạt 58.5, thêm VC lên 62.8, tức +4.3 điểm.
Trên VSI-Bench với cài đặt huấn luyện thường đạt 63.3, vượt Omni-View-7B 55.4; với cài đặt scaled đạt 73.0, nhỉnh hơn GeoThinker-8B 72.6.
Trên SPAR-Bench đạt 76.0, cao hơn SpatialStack-4B 72.0 và GeoThinker-8B 68.2.
Chất lượng tái cấu trúc ScanNet không alignment: Accuracy/Completion 8.9/9.3 cm, tốt hơn CUT3R 13.7/12.7 cm và MapAnything 36.3/28.4 cm.

IV. Conclusion & Future Works:

Kết quả ủng hộ giả thuyết rằng mô hình học tốt hơn khi trước tiên nắm cả hình học cục bộ lẫn bối cảnh toàn cảnh, rồi sau đó được giám sát cách diễn giải và sử dụng các ước lượng đó trong suy luận không gian. Việc đưa tái cấu trúc 3D vào cùng định dạng trả lời câu hỏi giúp hình học không còn là đầu vào ngoài mà trở thành phần của quá trình lập luận. Hướng mở rộng hợp lý: làm reliability-aware reasoning có hiệu chỉnh chủ động hơn, mở rộng các mẫu câu hỏi ngoài distance/size/count/closest object, thử nghiệm cảnh ngoài trời hoặc vật thể di chuyển, giảm chi phí khi dùng nhiều khung hình, và kết hợp kiểm tra trực quan chỉ khi độ tin cậy thấp.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng reconstruction-to-reasoning cho video động: tái cấu trúc theo thời gian khi vật thể di chuyển, camera thay đổi, và câu hỏi không gian yêu cầu suy luận về trạng thái trước/sau.
Nghiên cứu uncertainty calibration cho spatial chain-of-thought: học ngưỡng tin cậy thích ứng, ước lượng sai số hình học, và quyết định khi nào cần quan sát lại cảnh thay vì tin phép tính gần đúng.
Khảo sát QA-native 3D pretraining cho tác vụ embodied và AR: dùng câu hỏi tái cấu trúc làm nền tảng chung cho điều hướng, đặt vật thể ảo, đo khoảng cách và lập bản đồ không gian qua điện thoại.

2. Patent:

Ứng dụng điện thoại đo phòng bằng video: người dùng quay một vòng phòng, ứng dụng nhận diện vật dụng, ước lượng vị trí 3D, trả lời khoảng cách hai điểm, kích thước giường/tủ hoặc số ghế trong phòng bằng ngôn ngữ tự nhiên.
Trợ lý mua sắm nội thất thực tế tăng cường: người dùng quay phòng, chọn sofa hoặc bàn trên điện thoại; hệ thống ước lượng kích thước thật, khoảng trống đặt đồ và cảnh báo nếu đồ quá to so với lối đi.
Ứng dụng hỗ trợ người khiếm thị mô tả không gian: từ vài khung hình quay quanh người dùng, hệ thống đếm vật thể, cho biết vật nằm bên trái/phải, cách bao xa và gợi ý hướng di chuyển an toàn.
Công cụ khảo sát nhà nhanh cho môi giới và thi công: quay video căn phòng bằng điện thoại để lấy kích thước phòng, khoảng cách tường, vị trí cửa sổ và số lượng vật thể lớn, rồi xuất bản sơ đồ sơ bộ phục vụ báo giá.
Module đo lường kho hàng bằng camera tay: nhân viên quay lối đi giữa kệ, hệ thống ước lượng khoảng cách, chiều cao kệ và số thùng hàng để kiểm tra vị trí lưu kho mà không cần dụng cụ đo chuyên dụng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33616
ArXiv Abstract	https://arxiv.org/abs/2609.33616
PDF Download	https://arxiv.org/pdf/2609.33616.pdf
Github Repository	https://github.com/yangcaoai/SpatialSpeak-VLM

28. Selecting Diverse SFT Traces Improves Post-RL Generalization (17 votes)

Tác giả: Dylan Zhang, Mingyuan Wu, Jinning Li

Xuất bản lúc: 2026-09-27

Tag: SFT, Reinforcement Learning, RLVR, Data Selection, Reasoning, Diversity, LLMs

I. Main Problem:

Pipeline huấn luyện reasoning hiện đại thường gồm SFT trên các lời giải đã xác minh, rồi RL với reward có thể kiểm chứng (RLVR). Nhưng không phải lời giải đúng nào cũng giống nhau về giá trị: hai lời giải cùng đúng một bài có thể đi theo các chuỗi suy luận hoàn toàn khác nhau.

Tiêu chí chọn dữ liệu SFT hiện tại (độ dài, độ đọc, reward score, quota mỗi bài) không đo được sự khác biệt về đường suy luận.
Quá nhiều hoặc quá giống nhau về SFT có thể giới hạn khả năng học và khái quát hóa của RL sau đó.
Câu hỏi: với ngân sách SFT cố định, chọn các lời giải có đường suy luận đa dạng hơn từ cùng một pool có cải thiện khả năng bao phủ bài toán sau RL không?

II. Main Idea:

Bài báo đề xuất route diversity — độ đa dạng của chuỗi các bước suy luận trong dữ liệu SFT — và một fingerprint dạng rule-based để đo nó:

Mỗi lời giải được parse thành topology (chuỗi các sự kiện: parse, infer, branch, check, answer...) rồi rút gọn thành vector fingerprint cố định, không cần model, không cần gradient — chạy thuần CPU.
Từ một pool, tập Diverse được chọn bằng farthest-point sampling trong không gian fingerprint (coreset construction), còn tập Similar gom từ một vùng dense (nearest-centroid).
Cơ chế lý giải: RL kiểu group-relative (GRPO) chỉ học được từ nhóm rollout có kết quả hỗn hợp (có đúng có sai). SFT đa dạng đặt "một lời giải đúng trong tầm với sampling" trên nhiều bài toán hơn, tạo nhiều prompt có tín hiệu học cho RL — dù độ chính xác trung bình có thể thấp hơn chút.

Ví dụ đời thường: giống như luyện thi cho học sinh — thay vì cho xem 10 bài giải cùng một mẹo, cho xem nhiều cách tiếp cận khác nhau thì khi gặp bài lạ, học sinh có sẵn nhiều "đường đi" trong đầu để thử, và giáo viên (RL) càng có nhiều chỗ để phản hồi.

III. Main Results:

OLMo3-7B trên RLVE: route-diverse SFT cải thiện pass@8 +16.9 điểm trên môi trường chưa thấy trong SFT, vượt Similar ở mọi dải độ khó, kể cả bài khó hơn cả hai giai đoạn huấn luyện. Tập bài giải được mở rộng thực sự: Diverse giải thêm 1.133 bài mà Similar trượt, ngược lại chỉ 53 bài.
Single-model condition (một model Qwen3-4B viết mọi lời giải): diverse vẫn thắng tới +3.39 đến +6.17 điểm mean pass@8 trên 10 benchmark toán ở ba ngân sách khác nhau → lợi ích không cần nhiều teacher.
Đa teacher làm proxy: 12 teacher thay 1 teacher → +~18 điểm pass@64 trên Enigmata; thắng 54/56 ô benchmark-pool-budget; MATH-500 pass@1 tăng từ 34.14% lên 65.08%.
Chẩn đoán trước RL: checkpoint diverse có nhóm reward hỗn hợp trên 54.7% prompt (Similar: 46.9%, base: 51.6%) dù mean solve rate thấp hơn chút; sau RL, câu trả lời đúng của diverse cũng đa dạng hơn 15-17% về mặt văn phong.
Thực tế: selector CPU-only trên 3 corpus mở (OpenThoughts3, INTELLECT-3, Nemotron-Cascade 2) thắng mọi baseline (random, topology, gradient-diversity, embedding, lexical) ở mọi so sánh; tốn ~3 giờ CPU cho pool ~2.1 triệu lời giải, trong khi baseline cần 64-232 GPU-hours.

IV. Conclusion & Future Works:

Lời giải đúng không thể thay thế cho nhau khi chuẩn bị cho RL. Route diversity là tiêu chí chọn dữ liệu SFT thiết thực, đứng cạnh correctness và task coverage, và có thể áp dụng rẻ, nhanh, không cần model call trên các pipeline hiện có. Hướng mở: kết hợp route diversity với các tiêu chí chất lượng trace, mở rộng sang các miền ngoài toán/đố, và tối ưu bộ chọn cho pool ở quy mô lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu fingerprint topology cho reasoning traces ở quy mô triệu lời giải, kết hợp route diversity với tín hiệu chất lượng (correctness, độ dài hợp lý) để chọn dữ liệu SFT đa mục tiêu.
Phân tích lý thuyết mối liên hệ giữa độ đa dạng đường suy luận SFT, tỷ lệ prompt có reward hỗn hợp và tốc độ hội tụ của GRPO/RLVR.
Mở rộng bộ chọn route-diversity cho dữ liệu đa phương thức (code, khoa học, instruction-following) và đánh giá tương tác với các kỹ thuật lọc zero-variance group trong RL.

2. Patent:

Hệ thống chọn dữ liệu huấn luyện AI trên điện thoại/máy chủ nhỏ: ứng dụng parse lời giải toán thành chuỗi bước (phân tích, suy luận, kiểm tra, kết luận), rồi dùng thuật toán chọn điểm xa nhau để lọc bộ dữ liệu đa dạng — chạy hoàn toàn trên CPU, không cần GPU hay gọi model, giảm chi phí chuẩn bị dữ liệu cho fine-tuning.
Module chuẩn bị dữ liệu SFT trong pipeline RLVR thương mại: tích hợp fingerprint rule-based để tự động chọn tập lời giải đa dạng từ pool đã xác minh, giúp model sau RL giải được nhiều bài mới hơn ở cùng ngân sách dữ liệu.
Dịch vụ đám mây chọn dữ liệu luyện reasoning cho doanh nghiệp: upload pool lời giải, hệ thống trả về subset tối đa hóa độ đa dạng đường suy luận, kèm báo cáo prompt có tín hiệu reward hỗn hợp để dự báo hiệu quả giai đoạn RL.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33780
ArXiv Abstract	https://arxiv.org/abs/2609.33780
PDF Download	https://arxiv.org/pdf/2609.33780.pdf
Github Repository	N/A

29. Learning from Teacher Continuations at Student States (17 votes)

Tác giả: Haojin Wang, Dylan Zhang, Huaibo Chen, Suhao Yu, Yihang Sun, et al.

Xuất bản lúc: 2026-09-28

Tag: Knowledge Distillation, On-Policy Distillation, LLMs, Chain-of-Thought Reasoning, Agentic Tasks, Imitation Learning

I. Main Problem:

Chương trình distillation cho LLM hiện tại vướng ba giới hạn:

Offline SFT trên các quỹ đạo cố định của teacher: student suy diễn lại trên output của chính nó nên lỗi tích lũy dần (covariate shift) và quên năng lực cũ.
Token-level OPD chấm điểm từng token theo rollout của student nhưng không sửa lại rollout: ngay cả khi teacher muốn đổi hướng ở token đầu, các token sau vẫn bị kẹt trong nhánh sai của student — supervision bị chia nhỏ, mâu thuẫn.
Distribution-matching (reverse-KL OPD) cần logits/probability của teacher, nên không dùng được với teacher chỉ là API sinh text; đồng thời thất bại khi khoảng cách năng lực teacher–student quá lớn (trong tác vụ agentic đa lượt, một hành động sai của student đẩy cả episode ra ngoài vùng hỗ trợ của teacher).

II. Main Idea:

OLIVE (OnLine InterVEntion): mỗi vòng lặp, student đang tiến hóa tự sinh một prefix (phần suy luận đầu hoặc vài lượt tương tác môi trường), rồi teacher tiếp nối autoregressively từ điểm đó, và student được cập nhật bằng cross-entropy chỉ trên các token teacher sinh ra (prefix bị mask khỏi loss).

Prefix được tái sinh liên tục theo policy mới của student, nên supervision luôn bám sát trạng thái student đang thực sự đi qua (nguyên lý DAgger).
Teacher continuation cho thấy "sau khi sửa thì đi tiếp thế nào", thay vì chỉ chấm điểm quá khứ như OPD.
Chỉ cần text của teacher → distillation được với teacher hộp đen, tokenizer khác nhau vẫn dùng được.
Bản asynchronous cho student sample prefix batch sau song song với teacher sinh continuation batch trước (độ sâu d=3), giảm 23.8% thời gian huấn luyện.

Ví dụ đời thường: giống học lái xe với thầy ngồi cạnh — học viên tự cầm lái một đoạn (dù lúc đầu còn lóng ngóng), đến chỗ sai thầy tự tay đánh lái tiếp để cho thấy cách xử lý đúng từ đúng tình huống đó, rồi học viên lại cầm lái; dần dần đoạn tự lái dài hơn, thay vì chỉ xem video thầy lái xe hoàn chỉnh (SFT) hay bị chấm điểm sau chuyến đi mà không ai demo cách sửa (OPD).

III. Main Results:

Reasoning (RLVE, 9K bài khó): OLIVE vượt OPD rõ rệt — Qwen3-1.7B: pass@8 +8.3 điểm so với gốc (OPD chỉ +3.3); Qwen3-4B: avg@8 +5.4 (OPD +3.2), với chi phí GPU-hour tương đương.
Agentic (AgentGym, Qwen3-1.7B ← Qwen3-32B): SR cao nhất hoặc ngang tốt nhất trên cả 5 môi trường, đặc biệt ScienceWorld 7.5% từ student gần 0% mà OPD không nâng nổi (OPD = 0%); TextCraft 55.25% so với OPD 29.5%.
Black-box teacher: chỉ dùng text GPT-5.4-mini, OLIVE vượt offline SFT cùng teacher +13% trên ScienceWorld sau 5 epoch — offline SFT bão hòa sau 2 epoch còn OLIVE vẫn tiếp tục cải thiện.
Ít quên hơn: chỉ mất trung bình 0.9% trên các benchmark chung (AIME25, LiveCoding, IF-Eval, GPQA) so với -3.4% của offline SFT, đồng thời giữ plasticity tốt hơn.
Hiệu quả: bản asynchronous giảm 23.8% tổng thời gian so với synchronous, hiệu năng gần như không đổi; tổng thể nhanh hơn OPD ~28%.

IV. Conclusion & Future Works:

Đặt supervision đúng nơi student đang đứng và làm mới nó khi student thay đổi là một trục thiết kế distillation quan trọng, ngang hàng với dạng của supervision. OLIVE chuyển mục tiêu tối ưu của SFT từ offline sang online, chỉ cần text teacher và giữ cho student học tiếp khi offline distillation đã bão hòa. Đây là work đang tiến hành; hướng mở gồm mở rộng sang thêm môi trường agentic và tác vụ post-training thực tế, cân bằng sâu hơn giữa độ trễ asynchronous và chất lượng supervision, cũng như kết hợp với verifier lọc continuation khi teacher có tỉ lệ sai.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp distillation chỉ cần text cho LLM: luân phiên sinh prefix bởi student và continuation bởi teacher API, cập nhật student bằng cross-entropy masked trên phần teacher sinh, áp dụng cho cả suy luận dài và tác vụ agentic đa lượt.
Kiến trúc huấn luyện bất đồng bộ cho distillation online: student sample prefix batch kế tiếp trong khi teacher sinh continuation batch trước, với độ sâu lag có giới hạn để cân bằng hiệu năng và thời gian.
Chiến lược làm mới supervision theo trạng thái student đang tiến hóa (online prefix regeneration) để giảm quên năng lực chung và duy trì khả năng học tiếp sau khi distillation offline bão hòa.
Giao thức can thiệp của teacher tại trạng thái do student tạo ra trong môi trường agentic đa lượt, khắc phục tình trạng episode bị lệch khỏi vùng hỗ trợ của teacher do hành động sai không thể hoàn tác.

2. Patent:

Hệ thống huấn luyện trợ lý AI trên điện thoại: mô hình nhỏ chạy local tự tạo phản hồi một đoạn, gửi phần đầu lên mô hình lớn trên đám mây để tiếp nối, rồi cập nhật mô hình nhỏ chỉ bằng phần văn bản mô hình lớn sinh ra — không cần tiết lộ xác suất nội bộ.
Trình đào tạo chatbot khách hàng theo kiểu 'giám sát viên can thiệp': nhân viên mới (AI agent) tự xử lý cuộc hội thoại vài lượt; khi lệch hướng, chuyên gia (mô hình mạnh) tiếp quyền vài lượt để demo cách xử lý đúng; bản ghi can thiệp được dùng để tinh chỉnh agent, lặp lại liên tục theo trình độ hiện tại của agent.
Khung cải thiện liên tục ứng dụng gõ phím/ soạn thảo trên điện thoại: mô hình gợi ý cục bộ tự sinh tiếp nối, mô hình lớn trên server chỉnh tiếp đoạn còn lại, và điện thoại học lại từ đoạn chỉnh đó mỗi ngày mà không làm giảm các kỹ năng gõ cơ bản đã có.
Hệ thống dạy robot hành động qua can thiệp từ xa: robot tự thao tác vài bước, khi gặp trạng thái mới lạ thì điều khiển viên/mô hình mạnh điều khiển tiếp vài bước; dữ liệu đoạn can thiệp được dùng để huấn luyện lại chính sách robot theo thời gian thực.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.36246
ArXiv Abstract	https://arxiv.org/abs/2609.36246
PDF Download	https://arxiv.org/pdf/2609.36246.pdf
Github Repository	N/A

30. Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers (17 votes)

Tác giả: Ilya Koziev, Ivan Oseledets

Xuất bản lúc: 2026-09-26

Tag: Transformers, Associative Algebra, Bilinear Rank, Matrix Multiplication, Efficient Inference, KV Cache

I. Main Problem:

Các lớp linear của Transformer mặc định dùng phép nhân ma trận thông thường Y=XW. Hầu hết tối ưu nhân nhanh vẫn giữ nguyên phép nhân và chỉ tìm cách đánh giá rẻ hơn. Bài toán mở: liệu có thể đổi luật nhân thành một phép tương tác rẻ hơn mà vẫn giữ nguyên ngân hàng trọng số đã học, đủ cấu trúc để xếp chồng nhiều lớp, chạy được với causal masking và KV cache trên GPU?

II. Main Idea:

Thay vì giữ sản phẩm rồi tìm thuật toán rẻ hơn, bài báo đổi chính sản phẩm: mỗi phép chiếu học vẫn giữ đúng số tham số KN, nhưng hoạt động theo một bảng tương tác cố định từ một đại số kết hợp có đơn vị. Với q nhóm feature, mỗi token nhận một row type và chỉ đánh giá một hàng của bảng: slot đường chéo nhân trong nhóm, slot ngoài đường chéo bị cắt theo đồ thị có hướng nhưng vẫn giữ tương tác chéo cần thiết. Phép nhân đồ thị Q_G có bậc hai chính xác R=|V|+2|E| và đạt cận Alder–Strassen; với q nhóm đều, chi phí chỉ còn ρq=(2q−1)/q² so với dense. Khi kích thước khối vật lý b được giữ cố định và q tăng theo n/b, số phép nhân giảm từ Θ(n³) xuống Θ(n²). Kiến trúc được nâng lên thành các phép chiếu hình chữ nhật theo loại hàng, tương thích huấn luyện song song, causal mask và decode từng token với KV cache.

Ví dụ đời thường: giống một nhà hàng vẫn giữ nguyên toàn bộ thực đơn và nguyên liệu trong kho, nhưng mỗi món chỉ được nấu theo một công thức rút gọn đã in sẵn; đầu bếp không bỏ nguyên liệu, chỉ bớt động tác trộn/thao tác thừa mà vẫn đủ tạo ra món ăn.

III. Main Results:

Lý thuyết: phép nhân đồ thị là associative unital; bậc hai chính xác R(Q_G)=|V|+2|E|; với hai nhóm q=2 chỉ cần 6 block GEMM thay vì 8 và được chứng minh tối ưu bởi cận Alder–Strassen.
Thang đo kernel: trên shape FFN của Qwen3-1.7B/4B/8B/32B, Qwen3-30B-A3B và DeepSeek-V3 expert, kernel algebraic đạt speedup khoảng 1.30×–11.70× tùy M, q và tile; q càng lớn càng có lợi khi M đủ lớn, nhưng phải thỏa giới hạn tile GPU.
Tiền huấn luyện pilot: hai LM decoder-only ~110M, cùng recipe và 12.3B token, chỉ khác FFN; model algebraic train được và cho throughput generation cao hơn 6.2%–7.8% ở Code/Math/QA/WMT ru–en, trung bình 1.070×.
Chất lượng: đổi lại throughput, model thua trên mọi benchmark báo cáo: GSM8K 3.18→2.20, IFEval loose 34.5→31.1, MBPP pass@1 6.60→3.80.

IV. Conclusion & Future Works:

Kết luận: luật nhân có thể trở thành lựa chọn kiến trúc. Họ đồ thị giữ ngân hàng trọng số kích thước dense, có bậc hai chứng minh được, và có thể giảm nhân ma trận vuông xuống bậc hai khi kích thước khối vật lý cố định. Thực nghiệm nhỏ chỉ là feasibility/trainability check: nhanh hơn nhưng kèm trade-off chất lượng. Hướng tương lai: kiểm chứng quality–throughput ở scale lớn hơn và nhiều seed, thử các đại số lớn hơn và algebraic attention, tách riêng hiệu ứng lớp bằng timing fixed-length, tối ưu fused kernel/hardware, và đo thêm training cost, memory traffic, MoE dispatch.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu scaling law cho các đại số đồ thị lớn: tìm q tối ưu theo chiều rộng lớp, kích thước batch, hình dạng leaf GEMM và ngân sách chất lượng.
Mở rộng associative algebra sang attention scores và KV cache, bao gồm công thức cache, chuẩn hóa, causal masking và đánh giá end-to-end thay vì chỉ FFN.
Đồng thiết kế kernel/hardware cho row-typed projections: fused kernel, lập lịch tile theo workload, tối ưu memory traffic và CUDA-graph decode.
Phân tích lý thuyết expressivity: khi nào giới hạn tương tác feature-group vẫn bảo toàn chất lượng, và liên hệ với bậc hai, rank thấp, sparse patterns.
Khảo sát lặp lại đa seed và fixed-length generation để tách hiệu ứng kiến trúc khỏi khác biệt độ dài câu, sự ngẫu nhiên huấn luyện và sampling.

2. Patent:

Lớp mạng nơ-ron cho điện thoại/NPU: bộ runtime chia kênh đặc trưng thành các nhóm, gán mỗi token một hàng tính toán cố định trong khi vẫn nạp toàn bộ trọng số đã học, giảm số phép nhân-cộng và độ trễ suy luận nhưng không tăng bộ nhớ trọng số.
Trình biên dịch mô hình tối ưu suy luận di động: tự chọn bảng tương tác thưa và kích thước nhóm theo hình dạng lớp, tile GPU, ngân sách pin, rồi phát sinh kernel nhân ma trận rút gọn tương thích cache khóa/giá trị.
Bộ nhớ cache suy luận tiết kiệm năng lượng cho trợ lý on-device: giữ đầy đủ cache khóa/giá trị, nhưng thực hiện các phép chiếu feed-forward theo luật nhân thưa cố định để giảm tải tính toán mỗi token khi trả lời dài.
Chip/module gia tốc cho lớp tuyến tính kiểu hàng: một đơn vị thực thi lập lịch nhóm hàng, tích lũy endpoint và ghi kết quả trong một lần truy cập để giảm memory traffic cho các phép chiếu chữ nhật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32814
ArXiv Abstract	https://arxiv.org/abs/2609.32814
PDF Download	https://arxiv.org/pdf/2609.32814.pdf
Github Repository	N/A

31. REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening (17 votes)

Tác giả: Peizhen Li, Longbing Cao, Yang Zhang

Xuất bản lúc: 2026-09-27

Tag: Embodied AI, Conversational Agents, Audio-Driven Facial Motion, Reactive Listening, Coarse-to-Fine Generation, Human-Robot Interaction, Generative Models

I. Main Problem:

Sinh cử động mặt phản hồi cho người nghe trong hội thoại dyadic gặp hai nút thắt chính:

Thời gian phản hồi không khớp tức thì: người nghe có thể gật đầu, mỉm cười sau khi người nói phát ra tín hiệu vài trăm mili giây, nhưng vẫn phải liên tục với chuyển động đang diễn ra.
Cực đại cục bộ khó dự đoán: nét mặt ngắn và chớp mắt biến đổi nhanh, trong khi mục tiêu tái cấu trúc tất định thường làm mượt mọi phản hồi hợp lý thành trung bình chung.
Ngoài ra, chuyển từ không gian biểu diễn khuôn mặt số sang robot vật lý còn chịu giới hạn cơ cấu, quán tính servo, da đàn hồi và cấu hình trung tính riêng của từng robot.

II. Main Idea:

REALM dùng thiết kế coarse-to-fine: trước tiên vẽ khung chuyển động lớn, sau đó thêm chi tiết biểu cảm ngẫu nhiên mà không làm lệch tư thế đầu.

Reactive Gated Speaker–Listener Fusion: biến thể dịch chuyển của ALiBi tạo prior căn giữa quanh độ trễ phản hồi danh định τ, ưu tiên âm thanh người nói quanh t−τ nhưng vẫn để trọng số nội dung học được điều chỉnh khi ngữ cảnh cần. Một learned gate cân bằng lịch sử chuyển động người nghe và ngữ cảnh người nói.
Coarse decoder dự đoán quỹ đạo nền gồm expression và pose.
Stochastic refinement chỉ thêm residual vào subspace biểu cảm không cứng, giữ nguyên pose thô: cùng điều kiện audio vẫn có thể sinh nhiều nụ cười, cau mày, chớp mắt hợp lý.
Robot embodiment dùng inverse kinematic xác định actuator tương ứng, cắt theo giới hạn phần cứng, rồi chuyển relative motion quanh trạng thái trung tính cơ khí thay vì copy vị trí tuyệt đối của người.

Ví dụ đời thường: giống người nghe khéo léo nghe xong ý chính, chờ đúng nhịp rồi gật đầu khung lớn trước; sau đó thêm độ sống bằng nụ cười thoáng qua và cái chớp mắt tự nhiên, thay vì cố tính trước từng cơ mặt.

III. Main Results:

Trên ViCo D_test, REALM đạt L1 expression/pose tốt nhất: 11.58 / 6.52; expression FD 0.56, FID fm 1.93, FID∆fm 3.91, rất thấp ở rPCC; trên D_ood expression FD 1.47, tốt hơn mạnh các baseline.
Trên L2L, REALM cũng tốt nhất: L1 9.67 / 2.41, FD 9.85 / 0.05, FID fm 1.23 / 0.013, FID∆fm 6.50 / 0.048.
Cải tiến rõ nhất ở động lực giữa các frame: expression FID∆fm trên ViCo giảm từ 8.71 của ListenFormer xuống 3.91; trên L2L từ 13.41 xuống 6.50.
Ablation: shifted attention giúp căn thời gian phản hồi; gated fusion ngăn phản ứng thái quá theo năng lượng âm thanh; refinement chỉ đụng biểu cảm, tự mình hạ FID∆fm từ khoảng 12.50 xuống 4.11 và xuống 3.91 khi đủ bộ ba.
Độ nhạy độ trễ: τ = 8 frame ≈ 267 ms ở 30 FPS cho L1, FD, rPCC tốt nhất; 12 frame xấu hơn, cho thấy prior cần đặt đúng vùng.
Trên robot Ameca, user study N=25 cho REALM điểm MOS cao nhất: Naturalness 4.4, Synchrony 4.2, Appropriateness 4.2, Preference 4.0; chênh ListenFormer có ý nghĩa p < 0.01.

IV. Conclusion & Future Works:

REALM cho thấy căn chỉnh phản hồi có độ trễ và tinh chỉnh biểu cảm ngẫu nhiên theo hai tầng là hợp lý: khung chuyển động nền ổn định, còn chi tiết mặt sống động hơn và triển khai được trên robot vật lý. Giới hạn: hiện chạy theo cửa sổ offline, chưa đảm bảo streaming end-to-end; τ dùng chung cho mọi người; pipeline retargeting còn riêng cho từng robot. Hướng đi tiếp: streaming latency có kiểm soát, prior độ trễ phụ thuộc ngữ cảnh/cá nhân, và bản đồ chuyển động theo hình thái cho nhiều embodiment.

V. Brainstorming Space:

1. Publish Papers:

Reactive listening streaming cho robot hội thoại thời gian thực: thiết kế cơ chế truy cập thông tin theo nhịp, kiểm soát độ trễ đầu-cuối và giữ ổn định phản hồi khi không được nhìn trước toàn bộ cửa sổ.
Mô hình độ trễ cá nhân hóa trong phản hồi phi ngôn ngữ: học prior căn thời gian riêng theo người nói, người nghe, văn hóa hội thoại và loại tín hiệu acoustic.
Retargeting mặt người sang nhiều robot theo hình thái: học ánh xạ actuator-aware có ràng buộc an toàn, đồng thời xác minh trên nhiều nền robot và tiêu chí cảm nhận.
Đánh giá chớp mắt và vi động lực mặt trong listening head: tách biệt nhiễu tần số cao với chuyển động giải phẫu có cấu trúc để tinh chỉnh stochastic residual.
Hệ giao tiếp người-người-nghe ba bên: mở rộng REALM cho nhiều người tham gia, luân chuyển vai người nghe và quản lý sự chú ý chung.

2. Patent:

Trợ lý hội thoại trên điện thoại có avatar lắng nghe phản hồi: micro thu giọng nói, avatar biết chờ đúng nhịp rồi gật đầu, mỉm cười và chớp mắt tự nhiên thay vì nháy theo từng âm thanh.
Robot lễ tân hoặc điều dưỡng biết phản hồi khi người khác nói: hệ thống tạo cử động mặt trên robot vật lý với giới hạn cơ khí an toàn, ưu tiên chuyển động tương đối quanh tư thế trung tính của riêng robot.
Ứng dụng họp trực tuyến thể hiện trạng thái đang lắng nghe: khi người dùng im lặng, hình đại diện tự sinh phản hồi phù hợp ngữ cảnh như gật đầu, liếc nhìn, mỉm cười, giúp đối phương cảm thấy được chú ý.
Kính thông minh hoặc thiết bị hỗ trợ giao tiếp cho người khó biểu cảm: phân tích giọng nói đối phương và gợi ý/cung cấp phản hồi mặt phù hợp để duy trì nhịp hội thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33095
ArXiv Abstract	https://arxiv.org/abs/2609.33095
PDF Download	https://arxiv.org/pdf/2609.33095.pdf
Github Repository	https://github.com/lipzh5/REALM

32. RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents (17 votes)

Tác giả: Jingsong Liang, Shuhao Liao, Shizhe Zhang, Diyuan Hou, Yuxin Cai, et al.

Xuất bản lúc: 2026-09-26

Tag: Embodied AI, Robotics, LLM, MLLM, Vision-Language Action, Self-Evolving Agents, Memory, Skill Learning, Planning

I. Main Problem:

Các tác tử embodied hiện nay thường tối ưu từng bộ phận rời rạc như prompt, bộ nhớ, kỹ năng hoặc giao diện hành động, trong khi vẫn giữ cố định phần còn lại. Điều này bỏ qua một thực tế: cùng một foundation model có thể hành xử rất khác tùy thông tin nào đến được model, kinh nghiệm nào được lưu lại, và quyết định nào được biến thành hành động vật lý. Ngoài ra, việc tương tác nhiều không tự tạo ra tự cải thiện: lỗi lặp lại qua các episode nhưng hiếm khi được chuyển thành thay đổi hệ thống bền vững và được kiểm chứng.

II. Main Idea:

RoboFoundry đề xuất Self-Evolving System-as-Policy: thay vì chỉ nâng cấp model, nó coi toàn bộ hệ thống hỗ trợ model là chính sách cần tiến hóa. Model nền được giữ đóng băng; hệ thống quanh nó được đọc, sửa, thêm, xóa như một không gian làm việc có cấu trúc.

Vòng trong: chạy nhiệm vụ, ghi lại trace gồm quan sát, trạng thái robot, lệnh gọi công cụ, kết quả và phản hồi.
Vòng ngoài: chẩn đoán lỗi theo 6 năng lực — perceive, reason, plan cho ra quyết định, và save, retrieve, utilize cho quản trị bộ nhớ — rồi định vị lỗi thuộc mặt nào để sửa.
Hai mặt tiến hóa bổ sung nhau: context surface quản lý ngữ cảnh đang hoạt động và bộ nhớ file-system bền vững; skill surface tổ chức kỹ năng nguyên tử, phép kết hợp kỹ năng, và cây phục hồi khi thất bại.
Sửa cục bộ rồi thăng cấp có kiểm chứng: một sửa đổi task-specific được chấp nhận nếu vá đúng lỗi quan sát được; chỉ khi cùng lỗi năng lực xuất hiện ở held-out tasks khác, sửa đổi mới được promote thành quy tắc chung.
Semantic interface tách quyết định không phụ thuộc robot khỏi thực thi phụ thuộc robot, nên hệ thống đã tiến hóa có thể chuyển sang robot hoặc backbone khác bằng cách thay lớp binding.

Ví dụ đời thường: giống một thợ học việc không chỉ luyện lại một động tác, mà sau mỗi lần hỏng ghi vào sổ tay xem lỗi do nhìn sai, quên mất trạng thái, hay dùng sai dụng cụ; sửa đúng chỗ đó, thử lại trên việc tương tự, rồi nếu cách sửa lặp lại hữu ích thì đưa vào quy trình chung để cả xưởng dùng.

III. Main Results:

EmbodiedBench: cải thiện đều trên nhiều backbone. GPT-5.5 tăng +27.8 điểm phần trăm lên 72.7 so với 56.9; Qwen3.7-Plus đạt 70.3, gần bằng GPT-5.5 sau tiến hóa; GPT-6 Astra vẫn tăng +6.1. Bản Lite chỉ giữ sửa đổi task-level kém hơn bản đầy đủ 11.2 điểm trên Qwen3.7-Plus, cho thấy promote lên hệ thống chung là chìa khóa.
Tiến hóa tiết kiệm dữ liệu: chỉ dùng một phần tư held-in tasks đã đạt 78.0 trên EB-ALFRED và 66.0 trên EB-Habitat; ba phần tư gần như khôi phục điểm cuối.
RoboMemArena: đạt 53.5 TSR / 72.8 CSR, vượt mọi baseline ít nhất 39.0%; mạnh nhất ở Transfer với +213.3% so với PrediMem. Khi gắn thêm vào π0.5 hay PrediMem, cả hai đều tăng ở mọi nhóm bài.
LIBERO-PRO: đạt trung bình 91.9 trong các phương pháp không dùng privileged poses, cao hơn Harness VLA (CC) 87.8; vượt CaP-Agent0 243.8–679.7% tùy loại nhiễu. Khi được cung cấp tư thế object chuẩn, nhiều cài đặt chạm gần 100%.
Thế giới thực: xếp búp bê lồng trên AgileX đạt 70% so với 30% cho baseline; kỹ năng gấp khăn tiến hóa trên khăn xanh chuyển zero-shot sang khăn xanh lá và hồng với trên 80%, trong khi baseline dưới 20%; cũng demo semantic navigation trên Unitree G1 và chuỗi hóa học 6 subtask phụ thuộc nhờ nhớ trạng thái funnel trước đó.

IV. Conclusion & Future Works:

Bài báo củng cố luận điểm: chính sách embodied thực thi được không nằm trong model đơn lẻ mà nằm ở toàn bộ hệ thống bao quanh model, và hệ thống đó có thể tự tiến hóa nếu trace được dùng để chẩn đoán, sửa đúng mặt, kiểm chứng cục bộ, rồi thăng cấp có chọn lọc. Giá trị lớn là biến kinh nghiệm chạy thất bại thành năng lực bền vững thay vì chỉ log để đánh giá.

Hướng tương lai: xây embodied flywheel nối mô phỏng và thế giới thực, chuyển tri thức từ dữ liệu không-embodied sang tác vụ embodied, và cho tiến hóa hệ thống cùng học model hỗ trợ lẫn nhau thay vì giữ model đóng băng.

V. Brainstorming Space:

1. Publish Papers:

Một benchmark cross-embodiment cho System-as-Policy: đo khả năng một hệ thống đã tiến hóa trên tay máy hoặc mô phỏng này chuyển sang robot khác qua semantic binding mà không mất năng lực.
Cơ chế promote an toàn: học khi nào một sửa đổi task-specific nên trở thành quy tắc chung, với kiểm chứng held-out theo năng lực, chống overfitting và chống ghi nhớ lỗi.
Bộ nhớ trạng thái dài hạn cho quy trình có điều kiện: mở rộng cách ghi, đọc và dùng lại trạng thái subtask hoàn thành trong logistics, hóa học, lắp ráp nhiều bước.
Sim-real flywheel: tự động chọn trace mô phỏng đáng tin để cập nhật hệ thống robot thật, đồng thời thu trace thật về vá lỗi mô phỏng.

2. Patent:

Ứng dụng điện thoại cho kỹ thuật viên robot: sau mỗi lần gắp hỏng, điện thoại ghi video, trạng thái robot và log thao tác; hệ thống đề xuất vá lỗi cho phần nhận diện, lập kế hoạch, ghi nhớ hoặc kỹ năng, rồi chỉ cho phép đồng bộ sang robot khác khi cách vá đã qua kiểm thử trên các tình huống tương tự.

Không dùng thuật ngữ paper: mô tả là hộp sửa lỗi có kiểm chứng cho robot, với hai mặt sửa là ghi nhớ ngữ cảnh và thư viện kỹ năng/phục hồi.

Trợ lý gia đình học theo nhà và theo thiết bị: robot ghi nhớ vị trí đồ vật, tiến độ việc dở, cách mở tủ hoặc cách gấp khăn; khi đổi sang robot khác, phần quyết định chung được giữ lại, chỉ thay phần điều khiển riêng theo tay máy.

Ứng dụng điện thoại cho phép người dùng duyệt các lỗi lặp lại, chọn sửa đổi nào được nâng thành thói quen dùng chung, và cảnh báo nếu sửa đổi chỉ đúng cho một vật thể riêng lẻ.

Phần mềm chuyển giao công thức vận hành giữa các xưởng: khi một robot học được cách xếp, gấp hoặc rót an toàn dưới nhiễu vị trí, hệ thống đóng gói quy tắc chung ở tầng ngữ nghĩa và gửi sang dây chuyền khác; mỗi dây chuyền chỉ cần nạp lại bản điều khiển riêng cho robot của mình.

Điện thoại hoặc tablet làm bảng phê duyệt: hiển thị lỗi gốc, cách vá, kết quả thử lại, và mức ảnh hưởng nếu đưa vào hệ thống chung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32862
ArXiv Abstract	https://arxiv.org/abs/2609.32862
PDF Download	https://arxiv.org/pdf/2609.32862.pdf
Github Repository	N/A

33. AdaTutoRank: Learning to Rerank Document Sets via Adaptive Tutoring Optimization for RAG and Deep Research (17 votes)

Tác giả: Kailin Jiang, Lei Liu, Jian Xi, Yangqi Chen, Hui Xu, et al.

Xuất bản lúc: 2026-09-26

Tag: RAG, Deep Research, Document Reranking, Setwise Ranking, Reinforcement Learning, Knowledge Distillation, Rubrics, LLMs, Retrieval-Augmented Generation

I. Main Problem:

Các reranker phổ biến vẫn chọn tài liệu theo mức độ liên quan từng tài liệu, trong khi mô hình downstream cần một tập tài liệu đủ rộng, bổ sung cho nhau, không trùng lặp và không mâu thuẫn để trả lời đúng câu hỏi phức tạp. Các cách dùng rubric trước đây chỉ cho một điểm vô hướng cho cả tập, dẫn tới:

gán công lao mờ: tài liệu dư thừa vẫn được thưởng khi tập tốt, tài liệu quyết định vẫn bị phạt khi tập xấu
khuyến khích lách reward, ví dụ chọn rất ít tài liệu để tránh trùng lặp/mâu thuẫn một cách tầm thường
thông tin hướng dẫn cố định: mọi rollout đều nhận cùng một dạng gợi ý, quá cứng với rollout tốt và quá mơ hồ với rollout yếu.

II. Main Idea:

AdaTutoRank học chọn cả tập tài liệu thay vì chỉ xếp hạng rồi cắt ngưỡng, bằng cách dùng hệ rubric ba tầng - chín chiều xuyên suốt pipeline: rubric tạo nhãn bạc cho supervised fine-tuning, làm reward cho reinforcement learning, và làm gợi ý cho distillation. Giai đoạn 1 Setwise SFT cold-start policy bằng nhãn bạc từ LLM mạnh. Giai đoạn 2 Adaptive Tutoring Optimization dùng snapshot policy đã đóng băng để sinh ba dạng gợi ý: rubric thuần cho rollout khá, phản hồi phản tỉnh so sánh với tập anh em cho rollout trung bình, và tập anh em làm hiệu chỉnh trực tiếp cho rollout yếu; tập anh em chỉ được dùng khi tự nó được judge chấm cao hơn rollout. Chấm lại cùng một rollout có và không có gợi ý để tạo lợi thế token-level, rồi cộng với lợi thế GRPO theo kết quả cả nhóm. Khi suy luận, policy chỉ thấy query, meta-rubric và candidates, không cần rubric riêng của query.

Ví dụ đời thường: giống gia sư không phát một đề cương chung cho mọi học sinh; học sinh khá chỉ được nhắc tiêu chí chấm, học sinh tàm tạm được chỉ rõ chỗ sai, học sinh yếu được đưa bài mẫu để sửa theo.

III. Main Results:

Trên 10 benchmark RAG, deep research và đánh giá setwise, AdaTutoRank đạt Overall 45.28, cao hơn RubricRanker 43.84 và Initial Retrieval 39.08; đứng nhất 7/9 benchmark, nhì 2 cái còn lại.
Tăng mạnh hơn ở deep research: scenario average 53.06 so với 51.01, trong khi RAG tăng nhẹ 39.05 so với 38.25, vì tập evidence tốt ảnh hưởng dây chuyền tới các sub-query tiếp theo.
Ở SetwiseEvalKit, đạt Overall 48.97, hơn RubricRanker 46.80; tốt nhất ở trung bình cả ba tầng rubric và đứng nhất 7/9 chiều tinh.
Tiết kiệm search calls hơn trong deep research agent, chọn ít tài liệu hơn mỗi vòng nhưng vẫn đủ thông tin; ổn định khi pool candidates tăng từ 10 tới 50.
Ablation: bỏ ATO giảm 49.19 xuống 46.33, bỏ SFT giảm còn 47.04; chỉ RL 45.07, chỉ distillation 47.79; λ=0.7 tốt nhất; cố định một dạng hint chỉ đạt 46.88-47.62.

IV. Conclusion & Future Works:

Bài báo cho thấy rubric không chỉ để đánh giá, mà có thể trở thành nhãn, reward và gợi ý để biến chất lượng tập tài liệu thành tín hiệu học rõ tới từng token, đồng thời điều chỉnh mức can thiệp theo chất lượng từng rollout. Hướng mở rộng hợp lý là thiết kế rubric và judge mạnh hơn, giảm chi phí sinh self-selector/self-reflector, mở rộng cho agentic retrieval nhiều vòng, và tối ưu đánh đổi giữa chất lượng evidence với số lượt tìm kiếm/latency.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Adaptive Tutoring Optimization cho tác tử tìm kiếm nhiều bước, trong đó gợi ý không chỉ sửa tập tài liệu hiện tại mà còn dự đoán nhu cầu thông tin của các bước reasoning tiếp theo.
Nghiên cứu rubric judge tiết kiệm chi phí: dùng mô hình nhỏ tự hiệu chỉnh bằng phản hồi từ judge lớn để giữ chất lượng chấm tập tài liệu nhưng giảm số lần gọi mô hình mạnh.
Áp dụng tư tưởng tutoring thích ứng cho chọn evidence đa phưng tiện, nơi mỗi rollout có thể nhận gợi ý ở dạng văn bản, bảng, hình ảnh hoặc đoạn video tùy mức sai của nó.

2. Patent:

Trợ lý tìm kiếm trên điện thoại chọn một gói trang web nhỏ thay vì danh sách dài: ứng dụng đánh giá từng trang và cả tổ hợp trang theo độ liên quan, độ tin cậy, độ đầy đủ, mức trùng lặp và mâu thuẫn, rồi trả về bộ bằng chứng vừa đủ để trả lời câu hỏi.
Hệ thống huấn luyện reranker có gia sư thích ứng cho doanh nghiệp: với mỗi lượt chọn tài liệu, hệ thống tự tạo một tập tham khảo thay thế và một lời phân tích chỗ sai, rồi chỉ đưa gợi ý sát mức cần thiết cho từng lượt chọn để cải thiện mà không ghi đè lựa chọn hợp lý.
Module trên thiết bị chọn tài liệu cho trợ lý AI ngoại tuyến: mô hình cài sẵn nhận câu hỏi và danh sách tài liệu cục bộ, xuất ra tập tài liệu tối ưu kèm số lượng tự động thay đổi theo độ phức tạp câu hỏi, giúp giảm dữ liệu gửi lên đám mây và bảo vệ quyền riêng tư.
Dịch vụ API trả evidence pack cho câu hỏi mở: người dùng gửi truy vấn nghiên cứu, hệ thống trả về một bộ tài liệu đã lọc trùng lặp, bổ sung khuyết điểm, kèm giải thích ngắn vì sao từng tài liệu được giữ hoặc loại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32472
ArXiv Abstract	https://arxiv.org/abs/2609.32472
PDF Download	https://arxiv.org/pdf/2609.32472.pdf
Github Repository	https://github.com/AdaTutoRank/AdaTutoRank

34. Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It (17 votes)

Tác giả: Tianrun Yu, Kaixiang Zhao, Shangzhe Li, Yuxiao Yang, Porter Jenkins, et al.

Xuất bản lúc: 2026-09-26

Tag: Reinforcement Learning, Large Language Models, RL with Verifiable Rewards, Importance Sampling, Mixture-of-Experts, Bias-Variance Trade-off, Training-Inference Mismatch

I. Main Problem:

Trong RL sau huấn luyện cho large language model, rollout thường do inference engine sinh ra còn gradient do training engine tính; hai engine nạp cùng tham số nhưng khác kernel, thứ tự reduction và độ chính xác số nên gán xác suất khác nhau cho cùng token. Điều này biến huấn luyện danh nghĩa on-policy thành off-policy.

Nghiêm trọng hơn ở mixture-of-experts: quyết định top-k routing rời rạc bị nhiễu nhỏ làm hai engine chọn expert khác nhau, sai khác lan qua các lớp và tạo đuôi nặng.
Cách sửa trực tiếp bằng importance ratio p_train/p_infer là unbiased nhưng phương sai không kiểm soát khi hai engine bất đồng mạnh trên vài token.
Các mặt cắt cố định như TIS/IcePop/KPop tác động trực tiếp lên ratio, nơi độ lệch engine lẫn độ tự tin của token, nên bias cắt dồn vào token ít tự tin.

II. Main Idea:

Calibrated Importance Sampling (CIS) tách hai nhân tố bằng một đồng nhất thức: importance ratio viết được là k_t = p_t + (1-p_t) exp(epsilon_t), với epsilon_t là log-odds displacement giữa hai engine. Đo lường lớn cho thấy phân phối epsilon_t gần như không đổi theo token confidence, nên một độ lệch cùng cỡ là bất thường như nhau ở mọi mức confidence.

CIS chỉ cắt phía trên, vì phương sai gần như nằm hết ở ratio > 1: đặt exp(epsilon_t) <= 1 + lambda.
Ánh xạ ngược về ratio cho mũ tự siết theo confidence: f_t = min(k_t, 1 + lambda(1-p_t)); token càng chắc chắn thì mũ càng chặt. Có thêm floor nhỏ kappa ~ 5e-3 để tránh cắt vào rounding error khi 1-p_t rất nhỏ.
Về lý thuyết, mômen bậc hai phát nổ của exact correction được thay bằng một đại lượng bị chặn, còn bias do phần vượt ngưỡng bị cắt; lambda điều khiển trade-off và lambda -> infinity trở lại exact correction.

Ví dụ đời thường: giống hai cân điện tử cùng một quả cân nhưng dao động khác nhau; thay vì giới hạn con số cuối theo một mức chung cho mọi vật, ta đo độ lệch ở bộ cảm biến và đặt cùng một ngưỡng cho độ lệch đó. Khi vật đã rất nặng và gần như chắc chắn, sai số cho phép ở số đọc cuối tự động siết chặt hơn, còn vật nhẹ không bị phạt quá mức.

III. Main Results:

Ba mixture-of-experts: Qwen1.5-MoE-A2.7B-Chat, DeepSeek-V2-Lite, Qwen3-30B-A3B; RL trên GSM8K, đánh giá greedy pass@1 trên 5 benchmark toán: GSM8K, MATH500, SVAMP, Minerva-Math, Olympiad-Bench.
CIS đạt average cao nhất trên cả ba model: 34.78, 37.16, 69.88, so với no correction 30.99, 35.83, 68.26 và các baseline như Exact Ratio, KPop, IcePop, TIS, Seq-TIS/Seq-MIS, GSPO, FP16.
Chẩn đoán phương sai: token có k_t > 1 chiếm khoảng 99.96% Var(k_t), phía k_t < 1 chỉ ~0.04%; nâng cả phía nhỏ làm accuracy sụt từ 34.78 xuống 6.01.
CIS đặt ít truncation bias hơn TIS ở token ít tự tin; tổng bias thấp hơn TIS, added variance thấp hơn Exact Ratio. Bỏ floor làm average rơi còn 29.02; floor quá lớn cũng giảm còn 32.17.
Độ nhạy: lambda = 0 tương đương cắt mọi ratio > 1 và collapse; mọi lambda dương đều tốt hơn không sửa, lambda = 2.3 tốt nhất.

IV. Conclusion & Future Works:

Bài báo cho thấy mismatch không nên bị cắt trực tiếp ở importance ratio, vì ratio đã trộn lẫn độ lệch engine với độ tự tin token. Cần cắt ở nguồn của mismatch trong tọa độ log-odds, rồi để mũ ratio tự hiệu chỉnh theo confidence. Bài không đưa future work rõ; hướng mở rộng tự nhiên từ related work là kết hợp CIS với tăng độ chính xác số hoặc routing replay, điều chỉnh lambda thích nghi, và kiểm chứng ngoài lý do toán/mixture-of-experts.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cắt theo log-odds displacement cho dense model và các tác vụ RL có reward không chỉ toán, kiểm tra khi routing disagreement không còn là nguồn đuôi nặng chính.
Kết hợp confidence-calibrated truncation với FP16/routing replay để giảm đồng thời sai số số và sai khác expert, thay vì chỉ kiểm soát tác động gradient của residual mismatch.
Nghiên cứu chọn lambda tự thích nghi theo đuôi phân phối displacement trong quá trình huấn luyện, thay vì giữ một ngưỡng cố định qua toàn bộ run.

2. Patent:

Trợ lý trên điện thoại học từ phản hồi có kiểm chứng: phần sinh câu trả lời chạy nhanh, phần cập nhật mô hình chạy riêng; khi hai phần gán xác suất khác nhau, hệ thống đo độ lệch ở log-odds và đặt cùng một ngưỡng cho độ lệch đó, đồng thời siết mức tin cậy cho các từ mà mô hình đã rất chắc để tránh học lệch.
Bàn phím điện thoại cá nhân hóa: engine gợi ý từ tạo xác suất ban đầu, engine cập nhật cục bộ tính xác suất học; nếu hai engine lệch trên một từ hiếm nhưng đúng của người dùng, hệ thống không cắt theo tỷ lệ cuối cố định mà giới hạn độ lệch nguồn và tự động chặt hơn với từ rất phổ biến, giảm mất mát ổn định trên thiết bị.
Ứng dụng gia sư toán trên mobile: câu trả lời học sinh được chấm đúng/sai làm phần thưởng; khi cập nhật chính sách lập luận, thuật toán cân lại gradient theo mức tự tin từng bước suy luận, chỉ bỏ qua các bất đồng cực lớn giữa engine tạo và engine huấn luyện để giữ hiệu năng sau nhiều vòng học.
Hub học federated trên điện thoại cho kỹ năng giải đố: nhiều máy sinh lời giải và nhận phản hồi kiểm chứng; máy cập nhật dùng cơ chế chặn lệch theo độ tự tin token để gradient cục bộ ít nhiễu hơn, giảm rung lắc huấn luyện và tiêu tốn pin khi hai engine trên cùng một thiết bị không khớp số.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32444
ArXiv Abstract	https://arxiv.org/abs/2609.32444
PDF Download	https://arxiv.org/pdf/2609.32444.pdf
Github Repository	https://github.com/kzhao5/CIS-RL

35. WideSWE: Can Coding Agents Coordinate Changes Across Repositories? (16 votes)

Tác giả: Baoyi Wang, Xingliang Wang, Jinyang Wu, Keming Wu, Chen Zhi, et al.

Xuất bản lúc: 2026-09-27

Tag: Coding Agents, SWE-bench, Benchmark, LLM Evaluation, Software Engineering, Multi-Repository

I. Main Problem:

Các benchmark đánh giá coding agent hiện tại (SWE-bench, DeepSWE, ProgramBench...) hầu như chỉ kiểm tra hoàn thành tác vụ trong một repository duy nhất, trong khi thực tế hệ sinh thái phần mềm thường yêu cầu thay đổi phối hợp trên nhiều repository (ví dụ: tính năng chung của Sentry phải sửa riêng SDK Go, Python, Ruby). Hậu quả: chưa rõ agent có nhận ra được toàn bộ phạm vi repo cần sửa và hoàn thành yêu cầu xuyên suốt hay không. Phân tích 1.729.171 PR của 103 hệ sinh thái cho thấy 109.233 PR có liên kết chéo repository, cho thấy nhu cầu này rất phổ biến nhưng chưa được đo lường.

II. Main Idea:

WideSWE — benchmark gồm 120 tác vụ thực tế (60 bug fix + 60 feature, từ 41 hệ sinh thái) mỗi tác vụ yêu cầu sửa đổi phối hợp trên ít nhất 2 repository để hoàn thành một yêu cầu chung. Cách xây dựng:

Khai thác dữ liệu: từ top 200 tổ chức GitHub, nhóm các PR đã merge có liên kết chéo thành ứng viên, sau đó rà soát thủ công + kiểm chứng thực thi để chọn case đủ tiêu chuẩn.
Prompt được tổng hợp từ issue và PR gốc, giữ nguyên văn mô tả yêu cầu.
Hidden test được hiệu chỉnh theo 2 quy tắc: nới lỏng ràng buộc phụ thuộc implementation (tên hàm riêng, đường dẫn cứng, nội dung thông báo lỗi) và gỡ kiểm tra chức năng không được yêu cầu — để chấp nhận mọi lời giải đúng mà vẫn giữ hành vi bắt buộc.
Tiêu chí pass: task chỉ đạt khi mọi target repository vượt toàn bộ test F2P và P2P.
So sánh thêm joint execution (một workspace chứa toàn hệ sinh thái) với independent execution (chạy riêng từng repo, cùng prompt).

Ví dụ đời thường: giống thợ sửa nhà được yêu cầu "nâng cấp cả hệ thống điện và nước" — anh ta phải tự nhận ra phải làm ở cả hai khu vực, làm đủ ở từng chỗ và đảm bảo hai bên khớp nhau; chỉ xong một bên thì coi như chưa hoàn thành dù bên đó rất tốt.

III. Main Results:

Tỉ lệ hoàn thành toàn bộ task rất thấp: tốt nhất chỉ 42,50% (Codex CLI + GPT-5.6-sol); các cấu hình khác từ 10,83%–37,50%.
Trong 69 task thất bại của cấu hình tốt nhất, có tới 48 task có ít nhất một repo pass toàn bộ F2P nhưng repo khác không — agent thường làm xong một bên rồi bỏ dở phần còn lại.
Phân loại lỗi (Codex+GPT): 59,42% post-edit failure (sửa cả hai repo nhưng sai yêu cầu), 37,68% thiếu phạm vi (không nhận ra repo cần sửa), 2,90% biết cần sửa nhưng không thực hiện.
Các mô hình khác nhau sai khác nhau: Gemini hay "treo" ở phân tích không chịu code (52,34% delivery error); Qwen/Opus chủ yếu sửa sai (73%/68% post-edit).
3 repository khó hơn 2: task success giảm dù repo-level success không đổi — vấn đề nằm ở phối hợp, không phải nhận diện phạm vi.
Joint vs Independent (89 task cùng prompt): joint giải 40,45% vs independent 35,96%; independent tốt hơn với bug fix (44,83% vs 34,48%) nhưng tệ hơn với feature (31,67% vs 43,33%). Independent tốn 3,13 lần API calls mà không cải thiện tổng thể. Trong số repo thất bại ở joint run, 60% repo chưa bị sửa được cứu khi chạy riêng, nhưng chỉ 9,43% repo đã sửa sai được sửa lại — chạy riêng khó vá lỗi đã thử mà thất bại. Joint run có lợi nhờ ngữ cảnh chéo: tham chiếu implementation và behavior từ repo liên quan để cài đặt và tự kiểm chứng.

IV. Conclusion & Future Works:

WideSWE đưa tiêu chí đánh giá coding agent từ "tiến triển từng repository" sang "**các thay đổi xuyên repository có cùng thỏa yếu cầu hay không". Kết quả cho thấy các agent hiện tại thất bại chủ yếu ở xác định phạm vi đầy đủ, phân phối công việc không để sót, và phối hợp đúng hành vi chéo repo — chứ không phải ở khả năng sửa code đơn lẻ. Cả joint và independent execution đều có ưu thế riêng tùy loại tác vụ, gợi ý hướng lai ghép: chạy joint để lấy ngữ cảnh chéo, sau đó chạy riêng (hoặc tái phân tầng) để khôi phục phần việc bị bỏ sót.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp lai ghép joint-then-independent: dùng joint run để thu thập ngữ cảnh chéo và hợp đồng giao diện giữa các repository, sau đó chạy riêng từng repo với ngữ cảnh đã học để khôi phục công việc bị bỏ sót, kết hợp ưu điểm của cả hai chế độ.
Cơ chế nhận thức phạm vi (scope-awareness) cho coding agent: cấu trúc lại quy trình để agent lập danh sách đầy đủ repository bị ảnh hưởng và theo dõi checklist tiến độ, nhằm giảm lỗi bỏ sót repo đã nhận diện nhưng quên thực hiện.
Kỹ thuật tự kiểm chứng chéo: agent tự sinh test dựa trên hành vi của repository liên quan trong cùng hệ sinh thái để phát hiện giả định sai chung giữa implementation và test cục bộ (như lỗi Sentry/Symbolicator trong bài).

2. Patent:

Trợ lý lập trình trên điện thoại có tính năng "sửa đổi liên ứng dụng": khi người dùng yêu cầu một tính năng mới (ví dụ đăng nhập sinh trắc học), ứng dụng tự phân tích mã các module/app liên quan trong dự án, liệt kê toàn bộ nơi cần sửa, và áp dụng thay đổi phối hợp có kiểm tra tính nhất quán giữa các phần trước khi đề xuất cho lập trình viên duyệt.
Hệ thống quản lý thư viện SDK đa nền tảng tự động đồng bộ tính năng: khi thêm tính năng vào SDK của một ngôn ngữ (ví dụ SDK Python), hệ thống tự tìm các SDK còn lại (Go, Ruby, Java...), tạo tác vụ sửa đổi cho từng cái dựa trên cùng đặc tả, và chạy kiểm thử chéo để bảo đảm hành vi giống nhau trên mọi nền tảng.
Công cụ kiểm thử hồi quy liên kho cho điện thoại/phần mềm lớn: tự động phát hiện khi một thay đổi trong kho mã này ảnh hưởng hành vi kho mã khác (qua phân tích liên kết PR/issue), sinh bộ test ẩn kiểm tra cả hai phía và cảnh báo lập trình viên trước khi merge, tránh lỗi "sửa xong một bên, quên bên còn lại".

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33382
ArXiv Abstract	https://arxiv.org/abs/2609.33382
PDF Download	https://arxiv.org/pdf/2609.33382.pdf
Github Repository	https://github.com/ZJU-ACES-ISE/WideSWE

36. Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision (15 votes)

Tác giả: Hanoona Rasheed, Mohammed Irfan Kurpath, Bin Ren, Hisham Cholakkal, Fahad Shahbaz Khan, et al.

Xuất bản lúc: 2026-09-28

Tag: Multimodal LLMs, Computer Vision Benchmarks, GPT-6 Astra, Generalist Models, Visual Reasoning, Segmentation, 3D Perception

I. Main Problem:

Cộng đồng computer vision đang phân hóa: các hệ thống general-purpose (multimodal LLM) ngày càng xâm nhập vào các nhiệm vụ trước đây chỉ có mô hình chuyên hóa làm được (phát hiện vật thể, độ sâu, phân đoạn video, ảnh y khoa...). Vấn đề là:

Kết quả đánh giá rải rác trên nhiều benchmark riêng lẻ, khó thấy toàn cảnh: liệu mô hình tốt nhất trên một bài đánh giá đã đạt tới trình độ chuyên gia hay chưa?
Chưa rõ ranh giới giữa 'dễ' và 'khó': tác vụ nào generalist đã làm tốt như người/chuyên gia, tác vụ nào vẫn còn khoảng cách lớn, và đặc điểm nào của tác vụ quyết định khoảng cách đó?
Còn thiếu trả lời về việc lý luận nhiều hơn hay gọi công cụ chuyên gia có thể lấp đầy các khoảng cách còn lại không, và với chi phí thế nào?

II. Main Idea:

Bài báo thực hiện một nghiên cứu bản đồ hóa toàn diện (landscape-level analysis): đánh giá 6 hệ thống frontier (GPT-6 Astra, Fable 5, Kimi K3, Gemini 3.1 Pro, Qwen 3.8-Max, Muse Spark 1.3) trên 34 khả năng, 55 benchmark, trải 9 lĩnh vực computer vision, rồi so sánh với mô hình chuyên hóa và con người, xếp mỗi khả năng vào 4 tầng trưởng thành (vượt chuẩn / đạt chuẩn / tiếp cận / khoảng cách lớn).

Kết quả vẽ ra một ranh giới nhất quán:

'Easy vision': các tác vụ mang tính ngữ nghĩa, lý luận, suy luận không gian, dự đoán hướng đối tượng (object-centric) — generalist đã đạt hoặc vượt trình độ chuyên gia (OCR, đọc tài liệu/biểu đồ, toán từ hình ảnh, phát hiện vật thể 2D, grounding 3D, tạo ảnh, đánh giá chất lượng ảnh, hiểu ảnh y khoa/vệ tinh).
'Hard vision': các tác vụ đòi hỏi độ chính xác hình học mét, tái cấu trúc trung thực, dự đoán dày đặc nhất quán theo thời gian, hoặc kiến thức chuyên môn tinh vi — vẫn còn khoảng cách lớn (ước lượng độ sâu, reconstruction đa chiều, khôi phục ảnh — generalist 'bịa' chi tiết hợp lý nhưng sai so với ảnh thật, phân đoạn video, nhận diện mô bệnh học).

Thử nghiệm thêm cho thấy: tăng reasoning effort và dùng công cụ lấp được một số khoảng cách, nhưng chi phí suy luận có thể tới 13 lần, trong khi công cụ chỉ tốn 1.04–1.20 lần — gợi ý phân chia lao động: generalist nắm ngữ nghĩa/lý luận, specialist cung cấp hình học mét và độ trung thực.

Ví dụ đời thường: giống một sinh viên giỏi văn mô tả bức tranh rất hay, đoán được câu chuyện trong ảnh chụp chân dung chuẩn xác như nhiếp ảnh gia — nhưng khi yêu cầu đo đạc lại chính xác từng chi tiết (vẽ lại bản đồ đúng tỉ lệ, khôi phục bức ảnh cũ rách thành nguyên vẹn, phân biệt các tế bào dưới kính hiển vi) thì vẫn thua xa thợ đo đạc, thợ phục chế ảnh hay bác sĩ chuyên khoa.

III. Main Results:

GPT-6 Astra dẫn đầu rộng với các khoảng cách lớn so với generalist đứng thứ hai ở: phân đoạn video (+26.6), ước lượng tư thế 2D (+22.7), phân đoạn ảnh (+10.4), grounding 3D (+10.7), lý luận logic thị giác và không gian 3D (+13.6, +12.4).
Vượt mô hình chuyên hóa ở: phát hiện vật thể 2D (+10.7), phân đoạn 2D (+4.3), grounding 3D, hiểu ảnh lái xe (+7.7), hiểu embodied (+3.8), tạo ảnh từ text, chỉnh sửa theo chỉ dẫn, đánh giá chất lượng ảnh.
Đạt ngang con người: lý luận không gian 2D (96.0 vs 95.8), OCR và đọc tài liệu/biểu đồ (cả 6 mô hình đều vượt người).
Khoảng cách còn lại lớn: khôi phục ảnh (17.2–17.7 dB vs 30.7 chuyên gia), độ sâu mét (sai số reconstruction ~2.3 lần chuyên gia), phân đoạn video (−7.9 so với chuyên gia dù Astra đạt 84.5), mô bệnh học (14.1–23.8 vs 82.0 của người), grounding ảnh viễn thám tinh (−49.1).
Reasoning effort cao hơn đưa không gian 2D, phát hiện vật thể 3D, tạo/chỉnh sửa ảnh lên tới trình độ chuyên gia, nhưng chi phí tới 13.22×; dùng công cụ rẻ hơn nhiều (1.04–1.20×) và cải thiện đếm, OCR, đọc biểu đồ, grounding y khoa 2D.
Hallucination trong khôi phục ảnh: ảnh phục hồi trông hợp lý nhưng thêm/sửa chi tiết sai (4 quân bowling thành 5) — nguy hiểm cho ảnh y khoa.

IV. Conclusion & Future Works:

Bản đồ trưởng thành khả năng cho thấy ngày càng nhiều tác vụ computer vision trước đây chuyên hóa nay truy cập được qua một giao diện general-purpose, trong khi cảm nhận chính xác, trung thực vẫn là frontier quan trọng. Kiến thức chuyên môn đi kèm reasoning không đồng nghĩa nhận thức chuyên môn (mô hình hiểu ảnh y khoa nhưng không phân biệt được loại tế bào mô bệnh học).

Câu hỏi then chốt tương lai: khả năng nào nên nội tại hóa trong generalist, khả năng nào nên để công cụ chuyên gia đảm nhiệm? Hướng gợi mở: tăng cường ngữ nghĩa/lý luận điều kiện ngôn ngữ/lập kế hoạch trong generalist; giữ công cụ chuyên gia cho hình học mét, tái cấu trúc, tương ứng dày đặc, khôi phục độ trung thực cao, phân biệt tinh vi trong lĩnh vực hiếm. Thách thức là xây dựng cơ chế generalist tự quyết định khi nào hành động trực tiếp, khi nào gọi specialist, và cách kiểm chứng đầu ra, cân bằng độ chính xác – chi phí – độ trễ.

V. Brainstorming Space:

1. Publish Papers:

Framework điều phối generalist–specialist có kiểm chứng: mô hình frontier tự học chính sách quyết định khi nào gọi công cụ chuyên gia (độ sâu, reconstruction, phân đoạn video) kèm module tự xác minh độ trung thực của đầu ra, tối ưu theo độ chính xác–chi phí–độ trễ.
Nghiên cứu chống hallucination trong khôi phục và tái cấu trúc ảnh bởi generalist: phương pháp đo lường và phạt mức độ 'bịa' chi tiết (faithfulness scoring) cho các ứng dụng nhạy cảm như ảnh y khoa và vệ tinh.
Chuyển giao chuyên môn lĩnh vực hiếm (mô bệnh học, viễn thám tinh) cho generalist qua huấn luyện tương tác với chuyên gia hoặc mô hình specialist-as-teacher, để lấp khoảng cách giữa 'hiểu ảnh' và 'nhìn ra chi tiết chuyên môn'.
Phân tích hệ thống khi nào reasoning effort cao đáng giá: bản đồ hóa tương quan giữa chi phí suy luận (tới 13×) và mức lợi ích theo loại tác vụ, làm cơ sở cho cấu hình reasoning adaptively.

2. Patent:

Ứng dụng điện thoại chụp ảnh tài liệu và biểu đồ tự động giải thích: người dùng chụp, ứng dụng gọi mô hình general-purpose để đọc nội dung, trả lời câu hỏi và tóm tắt biểu đồ với độ chính xác ngang con người, không cần mô hình chuyên hóa riêng.
Trợ lý ảnh y khoa trên điện thoại: người dùng chụp X-quang, ứng dụng dùng mô hình đa năng để giải thích thuật ngữ và định vị vùng bất thường, đồng thời tự động chặn và chuyển tới mô hình chuyên khoa khi cần phân biệt chi tiết mô học tinh vi — có cơ chế cảnh báo độ tin cậy.
Hệ thống chỉnh sửa ảnh bằng giọng nói cho điện thoại: người dùng nói 'làm sáng ảnh chụp đêm, bỏ người đằng sau', mô hình generalist phân tích yêu cầu rồi điều phối công cụ tạo/chỉnh sửa ảnh chuyên hóa thực hiện, kèm kiểm tra để tránh bịa chi tiết quan trọng.
Ứng dụng đếm và kiểm kê tự động từ camera điện thoại (hàng hóa, dự án thi công): mô hình chỉ tay từng đối tượng rồi đếm, tự gọi công cụ phát hiện vật thể khi cảnh quá đông, báo cáo số lượng và vị trí từng mục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35718
ArXiv Abstract	https://arxiv.org/abs/2609.35718
PDF Download	https://arxiv.org/pdf/2609.35718.pdf
Github Repository	https://github.com/mbzuai-oryx/frontier-vision

37. Structured Residual Connectivity Matters for Diffusion Transformers (15 votes)

Tác giả: Yuhe Liu, Xinyin Ma, Gongfan Fang, Songhua Liu, Xinchao Wang

Xuất bản lúc: 2026-09-27

Tag: Diffusion Models, Diffusion Transformers, DiT, Image Generation, Residual Connections, Architecture Design, ImageNet

I. Main Problem:

Diffusion Transformers (DiT) dùng residual stream thống nhất — mọi layer trước đó được cộng dồn thành một trạng thái ẩn duy nhất, thay vì các đường kết nối có cấu trúc như U-Net. Hệ quả:

đồng nhất hóa biểu diễn theo chiều sâu (CKA cho thấy các layer rất giống nhau), làm pha loãng vai trò riêng của từng layer
topology cứng nhắc trong backward pass, không tối ưu được gradient flow cho từng giai đoạn khử nhiễu
cải thiện chậm ở giai đoạn hội tụ muộn — REPA cần thêm 3M iterations chỉ để giảm 0.5 FID.

II. Main Idea:

Tác giả biến residual connections từ phép cộng thụ động thành cơ chế truy xuất chủ động qua các đường cross-layer có cấu trúc. Quy trình:

Phân tích nội tại DiT cho thấy hai xu hướng bất ngờ: phụ thuộc mạnh vào đầu vào encoder (early-layer feature reuse) và thiên lệch đối xứng tự phát — khi được phép route tự do, mô hình tự chọn các cặp layer đối xứng (mirror pairs), giống skip connections của U-Net
Chia DiT dọc chiều sâu thành encoder phase và decoder phase (giữ nguyên kiến trúc single-scale)
Thu thập biểu diễn encoder làm nguồn differentiable (không detach, gradient chảy ngược trực tiếp)
Mỗi sub-layer (attention, MLP) của decoder dùng softmax routing (vector trọng số học được trên RMSNorm của các ứng viên) để tái xây dựng input của nó từ nguồn mirror-matched — decoder layer j lấy đúng encoder layer K−j+1, thay vì all-to-all routing đắt đỏ như Attention Residuals

Ưu điểm: cân bằng giữa linh hoạt (trọng số phụ thuộc token, vị trí, sublayer, timestep) và cấu trúc (số lượng nguồn thưa, stage-matched), trọng số routing thay đổi theo từng token và giai đoạn khử nhiễu — khác hẳn projection tĩnh của U-ViT.

Ví dụ đời thường: giống như người phục chế bức tranh cũ — thay vì nhồi nhét toàn bộ ảnh gốc đã qua xử lý vào đầu, họ quay lại xem đúng tấm phim gốc của phần tương ứng (layer đối xứng) mỗi khi tái tạo một vùng, chọn lọc chi tiết cần thiết thay vì trộn lẫn mọi thứ.

III. Main Results:

Hiệu quả nhất quán trên mọi quy mô (ImageNet 256×256, không CFG, 400K iters): DiT-S/2 69.81→62.48, DiT-B/2 44.21→36.33, DiT-XL/2 18.85→15.07 FID; mức cải thiện tương đối tăng theo kích thước model (10.5%→20.1%)
Hội tụ nhanh hơn tới 1.73× ít iteration; DiT-XL/2 + routing tại 800K bước (11.40 FID) vượt baseline 1300K bước (11.76)
Cải thiện model pretrained mạnh: fine-tune REPA-XL/2 thêm chỉ 0.28M bước → 5.9→4.94 FID; 0.35M bước → 4.34 FID; với classifier-free guidance đạt 1.39 FID, vượt cả REPA (1.42) và các mô hình hybrid Transformer+U-Net
Chi phí cực thấp: <0.1% tham số thêm (0.019M–0.13M), +0.3% FLOPs; so với Attention Residuals dày đặc cùng ngân sách tham số thì FID tương đương (62.48 vs 62.87) nhưng giảm 81% activation bên phía decoder (1.51 GB→289 MB)
Phân tích nội tại: routing làm giảm đồng nhất hóa feature, tạo cấu trúc CKA dạng anti-diagonal; cosine similarity gradient giữa các cặp mirror tăng rõ — chứng minh kết nối mirror phù hợp với tổ chức chiều sâu tự nhiên của DiT
Ablation: fusion adaptive (64.83 FID) vượt static U-ViT-style (67.90) dù static dùng nhiều gấp ~77× tham số; mirror routing tốt nhất trong các chiến lược all/first/last/mirror (62.48 FID).

IV. Conclusion & Future Works:

Kết nối residual cross-layer thích ứng và có cấu trúc là yếu tố quan trọng nhưng còn ít được khai thác trong diffusion transformers. Mirror routing cung cấp prior cấu trúc sẵn có (thay vì để mô hình tự mò mẫm trong routing dày đặc), cải thiện cả hội tụ lẫn khả năng biểu diễn với chi phí tham số không đáng kể — cho thấy lợi ích đến từ định tuyến thông tin tốt hơn, không phải tăng capacity. Hướng mở: khám phá thêm các dạng định tuyến thông tin và gradient có cấu trúc trong các mô hình sinh có thể mở rộng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng residual routing có cấu trúc sang video diffusion transformers — mỗi khung/đoạn thời gian truy xuất đặc trưng mirror-matched theo cả chiều không gian lẫn chiều thời gian để giữ tính nhất quán.
Routing cấu trúc tự học: thay chiến lược mirror cố định bằng cơ chế tự khám phá cặp layer tối ưu trong quá trình huấn luyện, thuận tiện cho kiến trúc không đối xứng hoặc mixture-of-experts.
Áp dụng tư tưởng truy xuất stage-matched cho mô hình sinh đa phương thức (text-to-image, image-editing), nơi tín hiệu điều kiện có thể được route theo từng giai đoạn khử nhiễu.

2. Patent:

Mô-đun cải thiện chất lượng ảnh trên điện thoại: chèn lớp routing mirror vào mô hình diffusion nén sẵn trong chip/đám mây để ảnh chụp thiếu sáng, nhiễu được khử nhiễu và tăng chi tiết tốt hơn mà không tăng đáng kể dung lượng model.
Hệ thống nâng cấp ảnh cũ trong album điện thoại: ảnh chụp cũ, mờ được đưa qua mô hình có residual routing để phục hồi chi tiết khuôn mặt và nền, đạt chất lượng cao với số bước xử lý ít hơn, tiết kiệm pin.
Dịch vụ tạo ảnh nghệ thuật theo yêu cầu trên ứng dụng di động: fine-tune nhanh mô hình đã huấn luyện bằng cách thêm khối routing — khách hàng cá nhân hóa phong cách riêng chỉ sau vài phút huấn luyện nhẹ trên điện thoại hoặc server cá nhân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33203
ArXiv Abstract	https://arxiv.org/abs/2609.33203
PDF Download	https://arxiv.org/pdf/2609.33203.pdf
Github Repository	N/A

38. Precise Editing and Flexible Referencing for Interactable Worlds (15 votes)

Tác giả: Xinyao Liao, Xianfang Zeng, Zhu Liang, Zhoujie Fu, Qianxun Xu, et al.

Xuất bản lúc: 2026-09-28

Tag: Video Generation, World Models, Autoregressive Generation, Video Editing, Diffusion, Interactive Simulation

I. Main Problem:

Các video world model hiện tại (YUME, HY-World, LingBot-World, DreamX-World...) mới chỉ tập trung vào điều hướng (điều khiển camera/hành động) hoặc tạo sự kiện mới bằng text — chúng không chỉnh sửa chính xác nội dung đã có trong thế giới (thêm, xóa, thay thế, đổi phong cách) và không cho nhúng linh hoạt ảnh tham chiếu theo thời gian (XGEN-JING, ABot-World chỉ dùng ảnh tham chiếu ở khởi tạo). Hệ quả:

người dùng không thể can thiệp trực tiếp vào thế giới đang sinh ra
benchmark hiện có chỉ đo khả năng navigation, bỏ qua editing

II. Main Idea:

EditWorld mở rộng world model từ "khám phá" sang "chỉnh sửa trực tiếp": mô hình sinh video autoregressive theo chunk, nhận luồng đầu vào gồm lệnh chỉnh sửa (text), ảnh tham chiếu và camera pose ngay trong quá trình sinh. Các cơ chế cốt lõi:

Gated Causal Attention: chỉ mở prompt chỉnh sửa ở chunk đang được sửa (trạng thái "during"); mỗi chunk nhìn prompt của 2 chunk trước để chuyển cảnh mượt; token ảnh tham chiếu bị gắn vị trí RoPE âm và chỉ hiển thị khi prompt nhắc tới chúng — ép model học "tham chiếu là gợi ý", không phải để copy dán
Sparse Context: giữ ngân sách context cố định (sink chunk + 2 chunk gần nhất + top-k chunk liên quan nhất theo cosine similarity của query/key), tránh tràn bộ nhớ khi sinh dài
Huấn luyện lai: kết hợp mục tiêu autoregressive (nhân quả) và bidirectional (theo điều kiện tốt) + self-resampling annealed (dần thay lịch sử ground-truth bằng output tự sinh) để chống tích lũy lỗi
Pipeline dữ liệu tự tổng hợp: ghép video navigation (Sekai, OmniWorld...) với video editing (Ditto-1M, OpenVE-3M), dùng VLM và model depth-controlled (Wan2.2-FLF2V/I2V) để tạo đoạn chuyển tiếp mượt từ trạng thái gốc sang đã-sửa, kèm chú thích trạng thái before/during/after và ảnh tham chiếu đã che thông tin trùng (chống rò rỉ ngữ nghĩa)
Chưng cất 4 bước (PCM + Self Gradient Forcing) để chạy gần real-time

Ví dụ đời thường: giống chơi game có bảng điều khiển "chỉnh sửa trực tiếp" — đang đi trong thế giới ảo, bạn gõ "đổi trời thành hoàng hôn" hoặc đưa một tấm ảnh xe đẩy, thế giới biến đổi đúng chỗ đó mà không phải tạo lại từ đầu, và trò chơi chỉ ghi nhớ một số đoạn quá khứ quan trọng như người ta nhớ những cảnh then chốt.

III. Main Results:

Trên WBench-Editing (benchmark mới, ~150 case, 1-3 lệnh chỉnh sửa dạng streaming): EditWorld đạt Overall 73.8 (vượt YUME 1.5 +6.8) và Editing 80.0 — hơn mô hình đứng thứ hai tới +25.2 điểm, đồng thời tốt nhất luôn mục Physical (67.9) mà vẫn giữ vững Navigation/Quality/Consistency.
Với các case có ảnh tham chiếu: Overall 74.0, Editing 74.6 — cao nhất, trong khi hỗ trợ nhúng ảnh ở bất kỳ lúc nào (không gắn ở khởi tạo như đối thủ).
Trên WBench gốc (navigation): bản bidirectional đạt Average 81.2 (đứng thứ 4 toàn bảng, cải thiện so với LingBot-World-Base từ 78.5), bản autoregressive 77.7 — tức tăng editing mà không đánh đổi khả năng world modeling chung.

IV. Conclusion & Future Works:

EditWorld chứng minh world model có thể vừa khám phá vừa chỉnh sửa chính xác thế giới theo luồng lệnh và ảnh tham chiếu, nhờ Gated Causal Attention + Sparse Context + huấn luyện lai có self-resampling. WBench-Editing lấp khoảng trống đánh giá khả năng editing của world model. Kết quả cho thấy editing (80.0) có thể cải thiện mạnh mà không phá vỡ các năng lực navigation/consistency.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng editing sang môi trường world model có tương tác vật lý sâu: chỉnh sửa không chỉ hình ảnh mà cả quan hệ vật lý giữa các vật thể (đổ vỡ, va chạm) trong thế giới autoregressive.
Giao thức tham chiếu đa ảnh: người dùng đưa nhiều ảnh tham chiếu ở nhiều thời điểm khác nhau; mô hình phải hợp nhất và giải quyết xung đột nội dung giữa chúng.
Cá nhân hóa world model theo người chơi: học lịch sử chỉnh sửa của người dùng để dự đoán và gợi ý các thao tác editing phù hợp phong cách cá nhân.
Tối ưu Sparse Context bằng bộ nhớ có cấu trúc (3D reprojection) kết hợp retrieval hiện tại để cải thiện tái thăm các vùng đã edit trước đó.

2. Patent:

Ứng dụng game/streaming trên điện thoại: người dùng đang xem thế giới 3D sinh bởi AI, gõ "đổi sang mùa đông" hoặc chụp một tấm ảnh từ camera điện thoại (ví dụ chiếc xe mình muốn có); thế giới cập nhật đúng yêu cầu tức thì mà cảnh cũ không bị biến mất.
Công cụ thiết kế nội thất tương tác: kiến trúc sư di chuyển camera ảo qua căn phòng, từng bước ra lệnh "thay sofa thành mẫu trong ảnh này", "xóa đèn cây"; hệ thống sinh video mô phỏng căn phòng mới liên tục với ngân sách bộ nhớ cố định trên thiết bị di động.
Chỉnh sửa video dài bằng lệnh thoại từng đoạn: người dùng xem phim tự sinh và nói "cho con mèo vào khung hình lúc 0:15 rồi đổi nền thành ban đêm"; hệ thống áp dụng chỉnh sửa cục bộ tại đúng thời điểm, giữ nguyên phần còn lại.
Mô phỏng huấn luyện cho robot/ô tô: huấn luyện viên điều chỉnh trực tiếp môi trường mô phỏng (thêm chướng ngại vật, đổi thời tiết) bằng giọng nói và ảnh chụp thực tế trong lúc tác tử đang chạy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.34470
ArXiv Abstract	https://arxiv.org/abs/2609.34470
PDF Download	https://arxiv.org/pdf/2609.34470.pdf
Github Repository	https://github.com/leoisufa/EditWorld

39. TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining (13 votes)

Tác giả: Shih-Ying Yeh, Daniel Z. Kaplan, Xuehai Wang, Fu-En Yang, Min-Hung Chen, et al.

Xuất bản lúc: 2026-09-27

Tag: Self-Supervised Learning, Video Understanding, Vision Transformer, Diffusion, Motion Representation, DINOv3

I. Main Problem:

Các so sánh trong học tự giám sát video (video SSL) hiện nay đánh giá cả công thức huấn luyện thay vì tách riêng phương pháp: kiến trúc, objective, dữ liệu, lịch trình và quy mô thay đổi đồng thời, khiến không thể xác định lựa chọn nào tạo ra biểu diễn ưu tiên chuyển động (motion-prioritized). Hệ quả nghiêm trọng hơn: nhiều benchmark nhận diện hành động có độ lệch ngoại hình (appearance bias) — cảnh vật, vật thể, trang phục trong một khung hình đã đủ dự đoán nhãn — nên mô hình có thể đạt độ chính xác cao mà gần như không dùng thông tin chuyển động giữa các khung hình.

II. Main Idea:

TT-VidT tách trục thời gian khỏi trục không gian ngay trong kiến trúc, gồm ba thành phần:

Đường spatial rộng: ViT-B/16 khởi tạo từ DINOv3, chạy độc lập từng khung hình; đặc trưng khung đầu tiên z1 đóng vai trò appearance anchor cho toàn chuỗi.
Temporal Transfer Layer (TT3D) nhỏ gọn: mỗi khung có K=8 motion token học được; attention xuyên khung chạy theo block-causal mask trên chuỗi nén gồm 8 motion token + 16 spatial token đã downsample mỗi khung (192 token thay vì 2048), nên motion token phải tóm tắt phần thay đổi của từng khung.
Diff Compression: decoder tái tạo khung từ cặp (z1, mt) bằng loss diffusion/flow-matching — motion token buộc phải chứa đúng thông tin không thể suy ra từ anchor một khung. Cổ chai này giải thích vì sao mô hình học được chuyển động thật.

Nghiên cứu cũng đóng góp một giao thức so sánh kiểm soát: 4 kiến trúc × 6 objective = 24 ô, cùng ~1.7M clip (OpenVid + Moments-in-Time v2), 8 epochs, quy mô encoder 170M–190M.

Ví dụ đời thường: giống như kể cho bạn một cuộc gọi video bằng cách gửi một tấm ảnh nét của căn phòng cộng vài dòng ghi chú ngắn "con mèo nhích sang trái, người đứng dậy" — thay vì gửi 8 tấm ảnh full chất lượng; phần ghi chú chỉ chở đúng cái đã đổi, và người nhận dựng lại được cả chuỗi từ ảnh gốc + ghi chú.

III. Main Results:

Hiệu ứng cộng hưởng, không phải từng thành phần riêng: trong 24 ô sweep, chỉ TT3D+Diff Compression đạt vùng mạnh trên Jester (53.89) và SSv2 (18.28) ở điều kiện không augmentation; thay Diff Compression bằng MAE làm Jester sụt từ 53.89 xuống 11.07, và dùng Diff Compression với encoder ViT3D/DisMo cũng chỉ đạt 19.82/12.98.
Dẫn đầu đồng thời 4 benchmark chuyển động: ARID 37.47, Jester 73.25, SSv2 25.92, Diving48 fine-tune 18.63 — vượt hàng mạnh nhất không-phải-TT tới 54%–121%; lợi thế giữ nguyên sau fine-tune end-to-end 30 epochs (vẫn hơn baseline mạnh nhất +21.0 trên Jester, +12.9 trên SSv2).
Decoder nhỏ + pretrain video là tối ưu: decoder S pretrained video đạt 73.25 Jester trong khi decoder L chỉ 34.37 (giảm ~50%) — decoder quá lớn làm motion token "lười" mang thông tin.
Probe đảo chuyển động: khi đảo thời gian/lật video, TT-VidT đổi dự đoán theo đúng chiều chuyển động trên ~99% clip, còn mọi baseline giữ nguyên đáp án cũ trên 9–43% clip — chứng tỏ lợi thế nằm trong chính biểu diễn, không phải do benchmark.
Hiệu quả tính toán: 456.1 GFLOPs encoder, giảm ~48% so với DisMo và ~55% so với VideoMAE/V-JEPA 2.
Giới hạn của tuyên bố: HMDB51, IARD (DisMo dẫn 89.89), EPIC-Kitchens verb/anticipation (VideoMAE, V-JEPA 2 dẫn) — các tác vụ cần ngoại hình hoặc dự đoán dài hạn vẫn nghiêng về baseline rộng hơn.

IV. Conclusion & Future Works:

Tách appearance (đường spatial rộng, anchor khung đầu) khỏi chuyển động (đường Temporal Transfer hẹp + Diff Compression) làm cho thay đổi khung-hình-thành-khung-hình rẻ và nổi bật trong biểu diễn, đồng thời vẫn giữ đủ ngoại hình để tái tạo. Kết quả then chốt: hiệu ứng đến từ cặp kiến trúc-objective, không phải từng thành phần đơn lẻ. Hạn chế & hướng mở: nghiên cứu cố tình giới hạn ở recipe nhỏ đã kiểm soát (1.7M clip, ~170–190M tham số, single-run cho phần lớn các ô); chưa thử TT3D kết hợp dual-augmentation kiểu DisMo, probe ngoại hình thay thế, hay unfreeze một phần encoder spatial — cần kiểm chứng ở quy mô dữ liệu và lịch trình lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng nguyên lý Diff Compression sang pretrain đa phương thức: tách anchor ngoại hình và token thay đổi cho video có âm thanh hoặc luồng cảm biến, kiểm tra tính kế thừa của motion token xuyên phương thức.
Kết hợp Temporal Transfer hẹp với augmentation bảo toàn chuyển động kiểu DisMo để kiểm tra xem cổ chai thông tin và augmentation có cộng hưởng hay triệt tiêu nhau trên các benchmark chuyển động.
Nghiên cứu khả năng nhận diện hành động theo hướng (direction-faithful encoding) như một thuộc tính đo lường được của biểu diễn video, với chuẩn probe đảo chuyển động thống nhất cho mọi mô hình video SSL.

2. Patent:

Nén video tiết kiệm băng thông trên điện thoại: gửi một khung hình chuẩn nét kèm các token chênh lệch nhỏ giữa các khung liên tiếp; phía nhận dựng lại video bằng decoder, giảm dung lượng truyền tải cho video call hoặc camera giám sát.
Tính năng tóm tắt video tự động trên smartphone: mô hình tách phần "khung cảnh không đổi" và "chuyển động đáng chú ý", rồi cắt các đoạn tĩnh dài để tạo video highlight ngắn giữ nguyên hành động chính.
Nhận diện cử chỉ tay điều khiển thiết bị (vuốt, xoay, lắc) bằng camera trước điện thoại: mô hình chỉ học phần thay đổi giữa các khung nên chạy được real-time, tiết kiệm pin, ít bị ảnh hưởng bởi nền cảnh hoặc ánh sáng yếu.
Hệ thống cảnh báo an ninh cho camera thông minh: khi khung cảnh gần như đứng yên, chỉ token chuyển động được xử lý để phát hiện xâm nhập, giảm lượng tính toán và số báo động giả do thay đổi ánh sáng hay bóng tĩnh gây ra.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33419
ArXiv Abstract	https://arxiv.org/abs/2609.33419
PDF Download	https://arxiv.org/pdf/2609.33419.pdf
Github Repository	https://github.com/KohakuBlueleaf/TTVidT

40. Imprint Reader: From Weight-Update Readout to Behavioral Intervention (12 votes)

Tác giả: Guanxu Chen, Qihao Lin, Jing Shao

Xuất bản lúc: 2026-09-28

Tag: Weight-Space Learning, Model Introspection, Self-Improving Models, LoRA, MetaEdit, Safety Localization, Vibe Alignment

I. Main Problem:

Các mô hình ngôn ngữ đang tham gia nhiều hơn vào phát triển AI, nhưng không tự mô tả được mình đã học gì từ cập nhật trọng số. Vấn đề chính:

weight-space methods chỉ dự đoán thuộc tính thô như accuracy hoặc task fine-tuning, không giải mã nội dung cụ thể.
Các phương pháp verbalize hiện có bóp méo dễ dàng, kể cả khi update không mang thông tin.
Readout thường dừng ở monitoring, chưa có đường dẫn tới intervention can thiệp hành vi.

Bài toán là biến dấu vết cập nhật tham số thành tài khoản ngôn ngữ tường minh về tri thức/hành vi mới học, đủ tin cậy để kiểm chứng và điều chỉnh mô hình.

II. Main Idea:

Imprint Reader đảo chiều readout thông thường: thay vì gắn adapter vào từng model fine-tuned rồi hỏi nó tự mô tả, tác giả huấn luyện một model đầy đủ đọc update đã freeze bằng Semantic Mount-and-Read Tuning (SMaRT).

Quy trình cốt lõi:

Với mỗi learning target k, xây QA set để train một bản tạm của Qwen3-14B, thu delta weight ∆θk.
Mount ∆θk lên Reader chia cùng tọa độ tham số, rồi hỏi bằng anchor-free meta-query không tiết lộ nội dung k.
Tối ưu chỉ θR để sinh canonical statement của k; ∆θk luôn freeze và tháo sau episode.
Thêm no-change và random-perturbation controls để Reader học cách từ chối bốc phét khi update không mang semantics.

Vì Reader và parent share parameter coordinates, gradient theo likelihood của target self-report có thể chuyển sang parent thành MetaEdit: chọn hàng để prune hoặc tạo signed update theo mô tả hành vi mong muốn, không cần target-task training data.

Ví dụ đời thường: giống như đọc dấu ấn bằng cách ấn tấm khuôn lên một tờ giấy có lưới tọa độ khớp với máy in, nhìn vệt mực xuất hiện để đoán hình khắc; rồi dùng chính độ lệch của vệt mực để chỉnh lại máy in.

III. Main Results:

Readout trên held-out updates đạt judge-based Pass@100: 2% cho knowledge và 16% cho behavior, cho thấy khả thi nhưng reliability còn yếu.
Matching updates có target NLL thấp hơn 0.1255 nats/token so với same-type swapped updates, ủng hộ readout update-specific.
Safety pruning ở prune rate 0.5%: harmful-prompt refusal từ 57.9% → 64.1% với safety-maintenance target, còn 55.4% với refusal-relaxation target.
MetaEdit dùng Reader gradient tách được hai hướng an toàn, trong khi nhiều baseline không phân biệt; dùng base model thay Reader không tạo separation mong muốn.
MetaEdit có garbling gần bằng 0, tốt hơn WANDA/ActSVD ở khía cạnh giữ output đọc được.
Vibe alignment toán: GSM8K 94.77 → 95.00, MATH-500 82.8 → 83.0, backtracking 0.327 → 0.687, sub-goal expressions 5.390 → 6.015 trên 1k token.
BFCL: Agentic 15.93 → 22.30, Overall 41.69 → 44.60 chỉ từ behavior descriptions.

IV. Conclusion & Future Works:

Weight updates có thể là bản ghi học tập vừa cho natural-language readout vừa cho intervention có định hướng. Điểm thực dụng quan trọng: sau khi Reader được huấn luyện, một target behavior có thể được chỉ định bằng lời và dùng để can thiệp không cần ví dụ huấn luyện task đích; thậm chí không cần sinh mô tả hoàn chỉnh vẫn dùng được tín hiệu parameter-space.

Hạn chế: free-form readout chưa đủ tin cậy qua nhiều updates. Hướng tiếp theo là nâng reliability, kiểm chứng readout/intervention trên nhiều model và loại update hơn, và tiến tới vòng lặp mà model tự inspect, verify, adjust quá trình học của chính mình.

V. Brainstorming Space:

1. Publish Papers:

Nâng độ tin cậy của natural-language readout từ weight updates bằng cách mở rộng control episodes, judge calibration, và kiểm chứng chéo giữa nhiều Reader checkpoints.
Mở rộng Imprint Reader ngoài Qwen3-14B sang các họ model khác nhau, kiểm tra transfer của khả năng mount-and-read khi architecture hoặc parameter coordinates đổi.
Xây dựng vòng lặp self-inspection có bước verify: model sinh readout, tự kiểm chứng bằng behavioral probes, rồi chỉ can thiệp khi readout đạt ngưỡng tin cậy.
Áp dụng MetaEdit cho audit collaborative/federated training, nơi từng LoRA update có thể được mô tả và chấm điểm rủi ro trước khi merge.

2. Patent:

Ứng dụng điện thoại tinh chỉnh phong cách trợ lý AI bằng mô tả: người dùng nhập ví dụ 'trả lời ngắn, thận trọng, hay kiểm tra lại', hệ thống dùng một Reader đã huấn luyện để tạo tín hiệu gradient và chỉnh một lượng rất nhỏ hàng tham số trên model chạy cục bộ.
Công tắc an toàn cho chatbot cá nhân: một chế độ 'tăng từ chối nội dung có hại' và một chế độ 'giảm nhạy cảm từ chối' được kích hoạt bằng mô tả hành vi, dùng MetaEdit prune hàng tham số ở mức thấp mà không cần bộ dữ liệu harmful riêng.
Module cá nhân hóa giọng trả lời cho trợ lý trên điện thoại: người dùng mô tả kiểu lập luận mong muốn như 'hay quay lại kiểm tra bước trước' hoặc 'nêu ràng buộc trước khi kết luận'; hệ thống cập nhật signed update thưa để model giữ năng lực cũ nhưng đổi reasoning style.
Công cụ kiểm toán model cho nhà phát triển mobile: khi cài thêm adapter/LoRA mới, ứng dụng mount update lên Reader để sinh báo cáo tri thức hoặc hành vi mới và cảnh báo nếu update giống random perturbation hoặc không đọc được semantics.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35261
ArXiv Abstract	https://arxiv.org/abs/2609.35261
PDF Download	https://arxiv.org/pdf/2609.35261.pdf
Github Repository	https://github.com/biuboomc/SMaRT-Vibe-Alignment

41. Program-Verified Self-Evolution for Vision-Language Models (12 votes)

Tác giả: Ahmed Heakl, Sungik Choi, Moontae Lee, Salman Khan

Xuất bản lúc: 2026-09-27

Tag: Vision-Language Models, Self-Evolution, Self-Play, RLVR, GRPO, Visual Question Answering, Scene Graph, Data Generation

I. Main Problem:

Các mô hình vision-language tự tiến hóa (self-evolving) tự sinh câu hỏi từ ảnh không nhãn rồi tự huấn luyện trên chúng, nhưng câu hỏi sinh ra không có đáp án chuẩn (gold label). Các phương pháp trước gán nhãn giả bằng:

majority vote trên các câu trả lời lấy mẫu
model judge duyệt từng câu trả lời
đồng thuận giữa các bước suy luận, nhất quán dưới biến đổi ảnh

Hậu quả nghiêm trọng:

Đánh giá con người cho thấy 24% nhãn majority-vote và 18% nhãn model-judge là sai
Độ chính xác nhãn giả sụt dần theo vòng lặp huấn luyện: VisPlay từ 72% xuống 61%, R-Zero từ 79% xuống 63% — vòng lặp tự củng cố câu trả lời sai nhưng tự tin, dẫn tới collapse

II. Main Idea:

VQS (Verifiable QA Generation) thay đổi cách kiểm chứng câu trả lời: thay vì bỏ phiếu trên đáp án, mô hình phân tích ảnh thành cấu trúc dữ liệu (parse) — scene graph cho ảnh chụp, bảng giá trị cho biểu đồ, đồ thị có hướng cho sơ đồ, bản ghi trường cho infographic — được giải mã theo schema cố định nên luôn hợp lệ. Sau đó:

chương trình/template cố định (viết tay một lần, không huấn luyện) duyệt cấu trúc để sinh câu hỏi VÀ tính luôn đáp án (đếm, lọc, so sánh, đọc xu hướng, theo quan hệ...)
visual checker xác nhận từng claim ngắn một (mỗi sự kiện riêng lẻ mà chương trình đọc) thay vì chấm cả cấu trúc dài
ba bộ lọc chọn câu hỏi: fact-check (mọi claim đúng), blind gate (loại câu hỏi trả lời được mà không cần ảnh), difficulty band (giữ câu mà solver đúng 1 lần nhưng không phải lúc nào cũng đúng)
solver được huấn luyện bằng GRPO với thưởng là khớp chính xác đáp án đã tính
parser tự cải thiện không cần nhãn bằng cách chọn parse tốt nhất trong K lần lấy mẫu dựa trên tỉ lệ claim được checker xác nhận (best-of-K), rồi SFT lên đó

Một mô hình duy nhất đóng ba vai: parser, checker, solver.

Ví dụ đời thường: giống thầy chấm bài không chấm cả bài làm dài của học sinh, mà tách thành từng dòng nhỏ đối chiếu với đáp án; và thay vì hỏi cả lớp rồi tin đáp án được nhiều người chọn, thầy tự ra đề từ giáo án nên chắc chắn đáp án đúng từ đầu.

III. Main Results:

Chất lượng nhãn: đáp án VQS đúng 94.4% (theo đánh giá người), so với 76.4% cho majority vote và 82.2% cho model judge
Hiệu năng chính (trung bình 10 benchmark, chỉ dùng ảnh không nhãn): Qwen3-VL-2B +3.18 điểm, 4B +2.32, 8B +2.43 — vượt mọi baseline self-evolving mạnh nhất ở mọi quy mô (baseline tốt nhất chỉ +1.01/+1.04/+0.66)
VQS cải thiện cả 10 benchmark ở cả 3 quy mô; baseline mạnh nhất (VISE) còn làm giảm LogicVista và MMStar
Tăng theo vòng lặp: 2B đạt +3.18 → +3.41 → +3.84 sau 3 chu kỳ, đường cong chưa bão hòa
Parser không nhãn cũng tốt lên: F1 tăng +5.0 (GQA), +6.6 (ChartQA), +7.4 (AI2D-RST)
Ablation: bỏ fact-checker mất 1.5 điểm solver; bỏ huấn luyện parser mất 4.4 điểm
Gains lớn nhất ở benchmark đòi hỏi kết hợp nhiều sự kiện (MMMU +7.86, ScienceQA +7.39 ở 2B); câu hỏi độ khó trung bình và template nhiều bước suy luận mang lại tín hiệu học tốt nhất

IV. Conclusion & Future Works:

Bài báo chứng minh các verifier dựa trên tính nhất quán của mô hình chấp nhận quá nhiều câu trả lời sai trong vòng lặp tự tiến hóa, và sai lầm còn lớn dần theo thời gian. VQS khắc phục bằng cách tính đáp án từ các sự kiện trực quan đã kiểm chứng thay vì ước lượng từ đầu ra mô hình, hạ tỉ lệ sai từ 24% xuống 6%. Khung này áp dụng được cho 4 loại ảnh (ảnh chụp, biểu đồ, sơ đồ, infographic) và cải thiện đều ở mọi quy mô mô hình, với cùng một mô hình đóng ba vai parser–checker–solver.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ý tưởng parse-then-program sang video: parser trích xuất cấu trúc sự kiện theo thời gian từ video không nhãn, chương trình cố định sinh câu hỏi về quan hệ thời gian (trước/sau, nhân quả) với đáp án được tính sẵn, cho phép VLM video tự tiến hóa.
Kết hợp kiểm chứng claim-level với mô hình sinh chương trình: thay vì template viết tay, mô hình tự viết chương trình kiểm chứng được trên parse cấu trúc, rồi dùng chính chương trình đó làm verifier cho RLVR đa phương thức.
Áp dụng cơ chế best-of-K + claim verification để huấn luyện parser cấu trúc cho tác vụ khác (OCR tài liệu, bảng biểu) hoàn toàn không nhãn, rồi dùng parser đó làm nguồn dữ liệu có kiểm chứng cho các mô hình downstream.

2. Patent:

Ứng dụng học tập trên điện thoại: ứng dụng chụp ảnh sách vở/biểu đồ, tự phân tích ảnh thành cấu trúc dữ liệu, sinh câu hỏi trắc nghiệm kèm đáp án được tính chính xác từ chương trình cố định — người dùng luyện tập với câu hỏi luôn đúng thay vì do AI tự đoán đáp án.
Hệ thống kiểm tra chất lượng dữ liệu huấn luyện cho mô hình AI trên điện thoại/edge: ảnh chụp thực tế được chuyển thành bản ghi cấu trúc, mỗi thông tin trong bản ghi được xác nhận từng mảnh một bằng mô hình trực quan, đảm bảo dữ liệu tự sinh để huấn luyện/tinh chỉnh mô hình cục bộ không bị lỗi ảo giác.
Trợ lý thống kê di động cho ảnh chụp biểu đồ, hóa đơn, infographic: máy ảnh điện thoại phân tích ảnh thành bảng giá trị có cấu trúc, chương trình cố định tự đặt câu hỏi so sánh/chênh lệch/xu hướng và tính sẵn đáp án chính xác, giúp người dùng tra cứu thông tin số liệu một cách đáng tin cậy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33855
ArXiv Abstract	https://arxiv.org/abs/2609.33855
PDF Download	https://arxiv.org/pdf/2609.33855.pdf
Github Repository	https://github.com/ahmedheakl/VQS

42. SolveEdit: Benchmarking Visual Problem Solving in Generative Models (11 votes)

Tác giả: Wenjie Shu, Yexin Liu, Harold Haodong Chen, Xuerui Qiu, Zehan Wang, et al.

Xuất bản lúc: 2026-09-28

Tag: Image Editing, Visual Reasoning, Benchmark, Generative Models, VLM Evaluation, Multimodal Planning, Image-to-Video

I. Main Problem:

Các benchmark hiện tại chỉ đánh giá riêng lẻ nhận thức (perception), suy luận, sinh ảnh, hoặc việc thực hiện một phép biến đổi đã được prompt chỉ định sẵn. Chúng bỏ qua dạng bài toán thực tế quan trọng: giải quyết vấn đề trực quan bằng cách biến đổi cảnh — tức model phải tự suy ra phép biến đổi hợp lệ từ ảnh và mục tiêu, rồi thực hiện nó mà không làm hỏng phần còn lại.

Ngoài ra, chấm điểm theo một ảnh tham chiếu duy nhất sẽ phạt nhầm những lời giải hợp lệ nhưng khác cách trình bày.

Các ràng buộc tồn tại:

Model có thể thực hiện lệnh chỉnh sửa đã cho sẵn mà không cần hiểu cảnh hiện tại yêu cầu gì
Nhiều đầu ra hợp lệ cho cùng một bài toán, không thể dùng một ảnh mẫu để chấm
Lỗi thu hồi nghiệm lời giải (solution-recovery) và lỗi kết xuất trực quan (visual-execution) bị trộn lẫn.

II. Main Idea:

SolveEdit là benchmark 2.728 ca kiểm tra visual problem solving qua biến đổi cảnh: cho ảnh đầu vào và một mục tiêu ngôn ngữ, model phải suy ra phép biến đổi hợp lệ và thực hiện nó bằng chính cảnh đó. Điểm then chốt là benchmark kiểm soát nguồn thông tin xác định phép biến đổi, chia thành 3 chế độ:

IS (Instruction-Specified): prompt đã chỉ rõ thay đổi
SD (State-Dependent): prompt để hở biến, phải đọc trạng thái cảnh (vị trí trống, quan hệ không gian) để suy ra
RD (Rule-Dependent): phải đọc luật thể hiện trong ảnh (legend, pattern, constraint)

Thay vì so với ảnh tham chiếu, mỗi ca mang một atomic transition contract gồm required conditions (phải hoàn thành) và protected conditions (phải giữ nguyên), trải trên 3 trục: SA (semantic), RA (relational), VQ (visual quality). SolveScore = R - λD: điểm hoàn thành trừ phạt thiệt hại ngoài ý muốn (λ = 0.5), cho phép nhiều kết quả đúng.

Tác giả còn đề xuất SolveEdit-Plan, planner hai giai đoạn không cần huấn luyện: giai đoạn Inspect tìm biến chưa xác định và thu thập bằng chứng trực quan (crop cục bộ), giai đoạn Resolve so sánh các phép biến đổi khả dĩ rồi biên dịch thành một instruction rõ ràng giao cho editor giữ nguyên, gọi duy nhất một lần.

Ví dụ đời thường: giống thợ sửa điện được giao "hãy sửa mạch bị hỏng" — anh ta phải nhìn sơ đồ, kiểm tra từng đoạn dây để xác định chỗ nào hỏng và phải nối dây nào, lập kế hoạch cụ thể rồi mới cắm kìm thực hiện một lần; khác với người chỉ nghe lệnh "nối P2 với P3" mù mờ làm theo mà không hiểu vì sao.

III. Main Results:

11 model được đánh giá (9 image-to-image, 2 image-to-video) trên cùng 2.728 ca: model mạnh nhất chỉ đạt 57.0% SolveScore (GPT-Image-2), cho thấy bài toán còn rất nhiều dư địa.
Commercial editor áp đảo open-source: Seedream 5.0 Pro 56.6%, Gemini 3.1 Flash Image 55.5%, trong khi các model mở tốt nhất chỉ quanh 22.8% (FLUX.2). Image-to-video yếu hơn hẳn dưới giao thức final-frame (Kling V3 chỉ 27.5%).
Hồ sơ lỗi bất đối xứng: GPT-Image-2 có completion cao nhất (R = 67.6%) nhưng gây nhiều thiệt hại phụ (D = 23.9%); Seedream đạt điểm tương đương nhờ giữ ảnh tốt hơn (D = 17.6%).
Khoảng cách chế độ thông tin: RD thua IS tới 17.2-23.7 điểm, SD thua 7.0-8.8 điểm; lỗi tập trung ở required semantic (-25.0) và relational (-13.0), trong khi visual-quality gần như không đổi → cho thấy solution-recovery error (suy sai phép biến đổi) là nguyên nhân chính, không phải kỹ thuật kết xuất.
SolveEdit-Plan nâng GPT-Image-2 từ 57.0 lên 71.6 SolveScore (+14.6), vượt control Generic Vision Rewrite cùng ngân sách gọi API (+6.3 điểm); completion tăng 72.8 → 75.8, damage giảm 16.3 → 8.6; kết quả chuyển giao được sang editor open-source và cả video generator mà không sửa tham số nào.
Chi phí lập kế hoạch: trung bình 2 lời gọi LLM, ~3.207 token đầu vào / 635 token đầu ra mỗi ca.

IV. Conclusion & Future Works:

SolveEdit cô lập được năng lực suy ra phép biến đổi chưa được chỉ định — mảng trống giữa perception, reasoning và generation — bằng cách biến nguồn thông tin xác định lời giải (IS/SD/RD) thành một trục đánh giá độc lập, đồng thời cho phép nhiều đầu ra đúng nhờ contract-based scoring. Chẩn đoán cho thấy mô hình hiện tại chủ yếu thất bại ở khâu thu hồi lời giải chứ không phải chất lượng hình ảnh, và can thiệp test-time đơn giản (lập kế hoạch trước khi sinh) thu được lợi lớn.

Hướng mở: chưa có trong bài — contract framework là nền tảng để xây dựng các planner có giám sát học được thay vì heuristic không tham số, mở rộng sang temporal video generation, và cải thiện evaluator VLM cho các tiêu chí quan hệ phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Phát triển planner học được (thay vì heuristic hai giai đoạn) cho transition inference: huấn luyện trên hợp đồng transition của SolveEdit để model tự học cách thu thập bằng chứng trực quan và so sánh phép biến đổi khả dĩ.
Mở rộng contract-based evaluation sang bài toán biến đổi cảnh theo thời gian: đánh giá chuỗi khung hình video thay vì chỉ final frame, đo cả tính nhất quán động của phép biến đổi.
Nghiên cứu planner tự thích ứng theo chế độ IS/SD/RD: dự đoán trước mức độ phụ thuộc thông tin của ca để phân bổ ngân sách lập kế hoạch và crop bằng chứng linh hoạt.

2. Patent:

Trợ lý chỉnh sửa ảnh thông minh trên điện thoại: người dùng nói mục tiêu kiểu "dọn gọn bàn làm việc" hoặc "sửa lại mạch điện"; ứng dụng tự phân tích ảnh, xác định vật thể cần di chuyển và vị trí đích hợp lý (ô trống, luật sắp xếp trong hình), rồi tạo chỉ dẫn chỉnh sửa cụ thể thực hiện một lần mà giữ nguyên phần còn lại.
Công cụ sửa ảnh kiến trúc / bản vẽ trên di động: chụp bản vẽ mặt bằng, yêu cầu "sửa nhãn phòng cho khớp kích thước thật"; hệ thống đọc thước và quy ước ký hiệu trong ảnh, tính diện tích đúng và chỉnh lại nhãn chữ mà không làm lệch đường nét gốc.
Module kiểm tra chất lượng ảnh tự động cho ứng dụng chỉnh ảnh: sau mỗi lần chỉnh sửa AI, chấm tự động theo hợp đồng điều kiện (việc yêu cầu đã hoàn thành chưa, vùng cấn không được đổi có nguyên vẹn không), phát hiện lỗi và tự gợi ý chỉnh lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35504
ArXiv Abstract	https://arxiv.org/abs/2609.35504
PDF Download	https://arxiv.org/pdf/2609.35504.pdf
Github Repository	https://github.com/WenjieShu/SolveEdit

43. SciGen-Verifier: A Multimodal Reasoner for Explainable Verification in Scientific Image Generation (11 votes)

Tác giả: Jiali Chen, Zhengteng Lin, Zuqi Wang, Shirong Lin, Xi Yu, et al.

Xuất bản lúc: 2026-09-27

Tag: Multimodal LLMs, Scientific Image Generation, Verification, Reinforcement Learning, GRPO, Explainable AI, Chain-of-Thought, Benchmark

I. Main Problem:

Khi mô hình sinh ảnh bắt đầu vẽ bài tập khoa học (mạch điện, hình học, đồ thị hàm số), câu hỏi là ai chấm điểm những bức vẽ này. Sai sót trong ảnh khoa học không phải lỗi bề mặt mà là vi phạm ràng buộc vật lý/hình học, thiếu thành phần, lệch kiến thức chuyên ngành — chẳng hạn vẽ mạch mắc nối tiếp thay vì song song.

Hai hạn chế của các verifier hiện tại:

Benchmark và reward model cũ chỉ dành cho ảnh tự nhiên, đo độ khớp ảnh-chữ chung và thẩm mỹ, bỏ qua suy luận chuyên ngành.
Các benchmark sinh ảnh khoa học mới chỉ là bài test tĩnh, offline; chưa có verifier nào giải thích tại sao sai và chỉ cách sửa để hỗ trợ hiệu chỉnh lặp.

II. Main Idea:

Bài báo đóng góp hai phần:

SciGen-Verify: benchmark đầu tiên cho việc kiểm chứng giải thích được ảnh khoa học, gồm 1.350 mẫu trên 3 miền: instruction following, suy luận đa ngành (STEM), world knowledge. Giao thức đánh giá 3 tầng: phán đoán đúng/sai → giải thích → chỉ dẫn chỉnh sửa cụ thể. Dữ liệu được xây bằng pipeline AI-assisted với 10 chuyên gia người rà soát theo cặp chéo.
SciGen-Verifier-8B: verifier đa phương thức dạy theo lộ trình cold-start SFT (48K mẫu có chain-of-thought, rejection sampling) rồi hai giai đoạn RL (GRPO):
- Giai đoạn 1: reward theo rubric từng mẫu — kiểm tra reasoning trace có bao phủ đủ các checkpoint khoa học không (vd: "đường cong có qua gốc tọa độ không?"), trọng số rubric giảm dần khi độ chính xác tăng.
- Giai đoạn 2: outcome reward căn giải thích và chỉ dẫn chỉnh sửa với ground truth.

Ví dụ đời thường: giống giáo viên chấm bài vẽ — trước hết phải lần theo từng bước chấm điểm trong đáp án mẫu (đúng mạch song song chưa, góc có đúng số độ không) rồi mới chốt điểm; khi đã chấm chắc tay rồi mới bắt đầu rèn cách viết lời phê và hướng dẫn sửa bài cho học sinh.

III. Main Results:

SciGen-Verifier-8B đạt 86.28% overall Acc_a, vượt các mô hình proprietary lớn hơn nhiều: Gemini-3.5-Flash (+4.90%), GPT-6-Astra (+10.57%), ngang Qwen3.8-Max (86.03%) dù nhỏ hơn hàng chục lần.
Đặc biệt mạnh ở world knowledge: 94.21% Acc_a, vượt Qwen3.8-Max +6.45%.
OmniVerifier-7B (verifier ảnh chung) chỉ đạt 58.73% — chứng tỏ kiểm chứng khoa học đòi hỏi kiến thức chuyên ngành, không phải alignment ảnh-chữ thông thường.
Ablation CoT: bỏ chain-of-thought làm Acc_i sụt từ 57.4% xuống 36.4%; RL không cứu được mô hình không có CoT.
Ablation curriculum RL: bỏ stage 1 rubric-reward (S+R2) khiến Acc_i kẹt ở 51.2%; đủ 2 giai đoạn mới đạt 57.4% — khám phá rubric trước là điều kiện tiên quyết.
Chỉ ra lỗi dễ hơn sửa lỗi: mọi mô hình đều sụt mạnh ở Acc_i (GPT-6-Astra chỉ 53.59%).
Ứng dụng thực tế: dùng verifier làm online critic trong vòng lặp test-time scaling, chẩn đoán và hướng dẫn mô hình sinh ảnh tự sửa lỗi dần.

IV. Conclusion & Future Works:

Bài báo chứng minh reasoning tường minh (CoT) và RL theo lộ trình hai giai đoạn là bộ đôi không thể thiếu cho kiểm chứng ảnh khoa học giải thích được: rubric-guided process reward giúp mô hình khám phá đủ bằng chứng trước khi outcome reward căn đáp án. Hướng mở: cải thiện khả năng sinh chỉ dẫn chỉnh sửa khả thi (bottleneck còn lại) và mở rộng verifier làm critic trực tuyến cho nhiều mô hình sinh ảnh hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SciGen-Verify sang video khoa học: kiểm chứng tính đúng đắn của video mô phỏng vật lý/hóa học với phản hồi giải thích và chỉ dẫn chỉnh sửa từng frame.
Curriculum RL với rubric động tự sinh cho bài toán verification đa phương thức nói chung, thay rubric tĩnh bằng rubric thích ứng theo độ khó từng mẫu.
Nghiên cứu reward model chuyên biệt cho chỉ dẫn chỉnh sửa ảnh (Acc_i) — thành phần yếu nhất hiện nay — bằng cách liên kết phản hồi verifier trực tiếp với mô hình image-editing.
Ứng dụng verifier làm reward model trong quá trình RLHF của chính các mô hình sinh ảnh khoa học, tạo vòng lặp tự cải thiện chất lượng sinh.

2. Patent:

Ứng dụng chấm bài vẽ trên điện thoại: học sinh chụp ảnh bài vẽ mạch điện/hình học, ứng dụng trả kết quả đúng-sai kèm giải thích từng lỗi và hướng dẫn sửa cụ thể, thay vì chỉ cho điểm.
Hệ thống gia sư vẽ tương tác: mô hình sinh bài tập yêu cầu vẽ, khi học sinh nộp bài, verifier chấm, giải thích sai sót và tự tạo bản vẽ đã sửa đúng để học sinh đối chiếu.
Công cụ kiểm tra hình minh họa trong sách giáo khoa số: tự động rà soát sơ đồ, đồ thị, cấu trúc hóa học do AI tạo trước khi xuất bản, phát hiện lỗi kiến thức và đề xuất chỉnh sửa cho người biên tập.
Trợ lý thiết kế đồ thị và sơ đồ kỹ thuật trên điện thoại: vòng lặp sinh → chấm → sửa tự động, người dùng chỉ cần mô tả yêu cầu và nhận kết quả đã được kiểm chứng từng bước.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33399
ArXiv Abstract	https://arxiv.org/abs/2609.33399
PDF Download	https://arxiv.org/pdf/2609.33399.pdf
Github Repository	N/A

44. An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning (10 votes)

Tác giả: Shangzhe Li, Yuxiao Yang, Tianrun Yu, Kaixiang Zhao, Xiaoyun Wang, et al.

Xuất bản lúc: 2026-09-28

Tag: Knowledge Distillation, LLMs, Reinforcement Learning, KL-Regularized RL, Policy Optimization, Off-Policy Learning, Mathematical Reasoning

I. Main Problem:

On-Policy Distillation (OPD) — huấn luyện student trên các trajectory do chính nó sinh ra với token-level supervision từ teacher — đang được triển khai qua các framework policy-based như PPO/GRPO, dẫn đến hai hạn chế cốt lõi:

Thiếu exploration: cập nhật chỉ dựa trên reward ước lượng hiện tại, không khuyến khích khám phá token tiềm năng tốt hơn → giảm độ đa dạng của policy.
Kém hiệu quả dữ liệu: bắt buộc on-policy nên phải sinh rollout mới liên tục (rất tốn thời gian với LLM), hầu như không tái sử dụng được dữ liệu lịch sử.

Trong khi đó, lý thuyết KL-regularized RL đã có sẵn các thuật toán value-based cho phép off-policy update và exploration có nguyên tắc — nhưng chưa được khai thác cho distillation.

II. Main Idea:

Bài báo nhìn OPD qua lăng kính RL: chứng minh reverse-KL objective của OPD chính là KL-regularized policy optimization với reward được định nghĩa bởi log-ratio giữa teacher và reference policy — một phép viết lại chính xác, không phải thêm regularizer.

Từ đó đề xuất Least Square Policy Distillation (LSPD):

Optimistic reward estimation: ước lượng reward theo bình phương tối thiểu trên tất cả trajectory đã thu thập, rồi chọn reward lạc quan nhất (điểm cao nhất) trong confidence set tương thích thống kê với dữ liệu.
Lagrangian relaxation của bài toán lạc quan cho ra dạng thực tế: khớp bình phương chênh lệch log-probability student–teacher (dùng Huber loss cho ổn định) + entropy regularization để giữ đa dạng.
Hàm mục tiêu này tự nhiên hỗ trợ off-policy: cập nhật nhiều lần trên cùng một batch rollout, hoặc dùng replay buffer (LSPD-RB) tái sử dụng mọi trajectory cũ.

Ví dụ đời thường: giống học sinh ôn thi không chỉ chữa đề thi mới nhất mà lật lại cả ngăn tủ đề cũ để luyện lại nhiều lần, đồng thời khi chưa chắc đáp án thì tạm tin theo hướng tối ưu nhất (optimism) để không bỏ sót cách giải hay — thay vì bỏ đề cũ sau mỗi lần làm như OPD.

III. Main Results:

Hiệu suất reasoning: trên 6 benchmark toán (MATH-500, Minerva, Olympiad-Bench, AMC23, AIME24/25) và 3 cặp teacher–student (Qwen3 8B→4B, 4B→1.7B, 1.7B→0.6B), LSPD vượt baseline mạnh nhất (EOPD) +0.91 Avg@16 và vượt OPD chuẩn +1.99 điểm; trung bình toàn bộ +1.59 Avg@16.
Pass@k scaling: LSPD cho kết quả tốt nhất hoặc hòa tốt nhất ở Pass@32 và Pass@64 trên mọi benchmark → bảo toàn diversity/giải pháp tốt hơn khi k tăng.
Tiết kiệm rollout đáng kể: biến thể off-policy LSPD-RB đạt hiệu năng tương đương vanilla OPD chỉ với ~25% số batch rollout (bão hòa sau ~10 bước thay vì >40 bước); nhiều update hơn mỗi batch (N≥4) cũng tăng sample efficiency.
Entropy: LSPD duy trì entropy student ~0.5, cao hơn OPD chuẩn → giữ đa dạng policy tốt hơn mà không cần cơ chế entropy-gated của EOPD.
Ablation: bỏ entropy regularization chỉ giảm nhẹ Avg@16 (−0.46) nhưng làm Pass@16 giảm rõ (−1.95) → entropy chủ yếu cải thiện coverage, không phải độ chính xác từng mẫu.
Lý thuyết: chứng minh regret O(log K) cho formulation lý tưởng với reward tuyến tính d chiều — tốc độ hội tụ logarit nhanh hơn so với SFT/MLE forward-KL.

IV. Conclusion & Future Works:

Bài báo đưa ra góc nhìn RL có nguyên tắc cho OPD: reverse-KL distillation ≡ KL-regularized policy optimization với teacher-induced reward. LSPD mang hai nguyên lý của value-based RL — optimistic exploration và off-policy data reuse — vào distillation, đạt hiệu năng reasoning tốt hơn, diversity cao hơn (Pass@k tăng mạnh theo k) và tiết kiệm rollout gấp nhiều lần (LSPD-RB bão hòa sau 10 bước). Hướng phát triển tự nhiên: kết hợp với reward thật (rule-based RL) thay vì chỉ teacher supervision, mở rộng ra các tác vụ ngoài toán, và tối ưu thêm cơ chế replay buffer.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng LSPD cho distillation đa teacher / teacher ensemble: dùng log-ratio reward lạc quan tổng hợp từ nhiều teacher để student học phổ giải pháp rộng hơn cho reasoning.
Kết hợp LSPD với verifiable rewards (kiểu RLVR): student vừa bám teacher (reverse-KL) vừa được thưởng khi đáp án đúng thật, giải quyết nghịch lý student vượt teacher trên benchmark.
Nghiên cứu lý thuyết regret cho LSPD-RB với replay buffer hữu hạn: làm rõ cân bằng giữa độ stale của dữ liệu cũ và lợi ích tái sử dụng off-policy.
Mở rộng optimistic least-square objective sang distillation đa phương thức (vision-language) và code generation, nơi entropy/diversity ảnh hưởng trực tiếp đến coverage lời giải.

2. Patent:

Dịch vụ đám mây distillation tiết kiệm cho mô hình trên điện thoại: server giữ replay buffer chứa mọi câu trả lời cũ của mô hình thu nhỏ, huấn luyện off-policy nhiều vòng trên dữ liệu đã thu thập thay vì sinh phản hồi mới liên tục — giảm chi phí tính toán sinh rollout xuống còn một phần tư.
Trợ lý học toán trên smartphone: mô hình nhỏ chạy cục bộ được 'phỏng theo' mô hình lớn trên cloud bằng cách khớp log-xác suất từng token cộng thưởng entropy, giữ nhiều cách giải khác nhau để học sinh xem nhiều phương pháp với một câu hỏi.
Hệ thống cá nhân hóa giọng viết AI: lưu lịch sử phản hồi của người dùng trong bộ nhớ tái sử dụng, cập nhật mô hình thu nhỏ theo kiểu off-policy để học phong cách riêng mà không cần thu thập mẫu mới mỗi lần huấn luyện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35505
ArXiv Abstract	https://arxiv.org/abs/2609.35505
PDF Download	https://arxiv.org/pdf/2609.35505.pdf
Github Repository	https://github.com/UNCSciML/LSPD

📰 Summary of Papers
1. Post-Training Leaves Behavioral Shadows on Unrelated Decisions (252 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality (206 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation (140 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL (110 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence (93 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue (82 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. MassAlloc Attention: Let Attention Allocate Its Own Compute (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces (60 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. CoWindow Attention: Full Causal Coverage Is a Collective Property (59 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining (55 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Improving Test-Time Scaling with Adaptive Looped Transformers (46 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning (36 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Recursive Harness Distillation across Agents for Robot Manipulation (33 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge (33 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. CompoWorld: Compositional Environment Scaling for General Agents (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning (29 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. DepthBench: Measuring How Residual Connections Enable More Computational Depth (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Learning to Learn from Context: Synthetic Training from Perturbed Public Documents (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. Diffusion Reward Models (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. Skill2Env: Capability-Oriented Environment Synthesis from Skills for General Agents (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. Selecting Diverse SFT Traces Improves Post-RL Generalization (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. Learning from Teacher Continuations at Student States (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. AdaTutoRank: Learning to Rerank Document Sets via Adaptive Tutoring Optimization for RAG and Deep Research (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
34. Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
35. WideSWE: Can Coding Agents Coordinate Changes Across Repositories? (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
36. Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
37. Structured Residual Connectivity Matters for Diffusion Transformers (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
38. Precise Editing and Flexible Referencing for Interactable Worlds (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
39. TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
40. Imprint Reader: From Weight-Update Readout to Behavioral Intervention (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
41. Program-Verified Self-Evolution for Vision-Language Models (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
42. SolveEdit: Benchmarking Visual Problem Solving in Generative Models (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
43. SciGen-Verifier: A Multimodal Reasoner for Explainable Verification in Scientific Image Generation (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
44. An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. Post-Training Leaves Behavioral Shadows on Unrelated Decisions (252 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality (206 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation (140 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL (110 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence (93 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue (82 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. MassAlloc Attention: Let Attention Allocate Its Own Compute (64 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces (60 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. CoWindow Attention: Full Causal Coverage Is a Collective Property (59 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Post-Training Leaves Behavioral Shadows on Unrelated Decisions (252 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality (206 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation (140 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL (110 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence (93 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue (82 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. MassAlloc Attention: Let Attention Allocate Its Own Compute (64 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces (60 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. CoWindow Attention: Full Causal Coverage Is a Collective Property (59 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: