🤗 Daily Hugging Face Paper Digest - 2026-09-18

Báo cáo được tạo tự động vào lúc 2026-09-19 10:11:33 bằng mô hình hermes-agent.

📰 Summary of Papers

---

1. DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (58 votes)

Tác giả: DeepSeek-AI, Anyi Xu, B. Li, Bangcai Lin, Bing Xue, et al.

Xuất bản lúc: 2026-09-17

Tag: KV Cache, Long Context, Sparse Attention, Mixture-of-Experts, FP4 Quantization, Multimodal, Agentic AI, Reinforcement Learning

I. Main Problem:

Các tác vụ long-horizon agent ngày càng nghiêng về xử lý đầu vào rất dài, khiến chi phí không còn nằm ở tạo token mà ở:

• prefill cho prompt dài và lặp lại qua nhiều lượt tool call
• lưu trữ cache trung gian trong bộ nhớ nhanh và ổ cứng, sát giới hạn dung lượng
• băng thông di chuyển cache giữa bộ nhớ, ổ cứng và máy tính

Nút cổ chai này làm tăng độ trễ, giảm throughput và kéo cao chi phí triển khai agent.

II. Main Idea:

DeepSeek-V4.1-Flash là mô hình multimodal MoE với 552B backbone parameters, hỗ trợ tới 1M tokens, nhưng chỉ kích hoạt khoảng 8B parameters trong prefill và 16B trong decode nhờ kiến trúc Causal Encoder-Decoder: nửa dưới tạo đại diện toàn cục, nửa trên tái sử dụng đại diện đó thay vì tính lại toàn bộ.

Phần nén bộ nhớ trung gian được đẩy mạnh bằng ba lớp tối ưu:

• CSA2: các lớp dùng chung main KV, indexer K và có thể dùng lại Top-K indices; ba chế độ Full, Reindex, Reuse cân bằng giữa tính toán và tiết kiệm bộ nhớ
• FP4 KV caching: giảm độ chính xác cache toàn cục xuống FP4 với suy giảm hiệu năng rất nhỏ
• SWA Bounded Replay: không lưu đầy đủ cache cửa sổ trượt trên ổ cứng, mà tái tạo gần đúng bằng cách replay một đoạn ngắn, chấp nhận ít tính toán hơn để đổi lấy bộ nhớ nhỏ hơn nhiều

Ngoài ra còn có Hierarchical Sparse Indexer thu hẹp miền tìm kiếm, Single-Pass mHC, Engram cho bộ nhớ có điều kiện và DSpark để giải mã suy đoán.

Ví dụ đời thường: giống như thay vì mỗi nhân viên trong công ty đều photo riêng một bản hồ sơ khách hàng, công ty giữ một bản chính, ai cần thì tra đúng mục, còn phần ghi chú cục bộ chỉ giữ vài trang gần nhất.

III. Main Results:

• Bộ nhớ cache toàn cục giảm còn khoảng 890 bytes/token, bằng ~1/4 DeepSeek-V4-Flash và ~1/437 DeepSeek-V1.
• Bộ nhớ cache lâu dài trên SSD/host memory giảm còn khoảng 1/8 DeepSeek-V4-Flash.
• Decode FLOPs gần như không đổi khi context tăng từ 4K lên 1M; chỉ tăng khoảng 1/4 trong khi bối cảnh dài hơn 256 lần.
• Bản base có khả năng world knowledge, reasoning, coding ngang DeepSeek-V4-Pro-Base dù chỉ dùng 1/3 tổng tham số và 1/4 tham số kích hoạt; một số held-out evaluations tăng 5%-10%.
• Reasoning: ngang các mô hình open-source mạnh như Kimi-K3 và DeepSeek-V4-Pro trên toán và competitive programming.
• Agent: sánh ngang mô hình closed-source frontier trên Terminal-Bench 2.1, DeepSWE v1.1, AutomationBench; vẫn thua các mô hình rất lớn trên tác vụ khoa học chuyên sâu kiểu Terminal-Bench 4.0.
• Multimodal: vượt Kimi-K3 ở visual reasoning và đọc biểu đồ chuyên nghiệp, hữu ích trong frontend development và office automation, nhưng vẫn có khoảng cách với hệ thống closed-source khổng lồ.

IV. Conclusion & Future Works:

DeepSeek-V4.1-Flash cho thấy có thể đồng thời tăng trí tuệ mô hình, giảm bộ nhớ trung gian, giảm độ trễ và giảm chi phí serving. Điểm quan trọng là nén cache không còn là tối ưu đơn lẻ mà là đồng thiết kế giữa kiến trúc, độ chính xác cache, hạ tầng training và hệ thống inference.

Hướng đi tiếp theo: mở rộng đồng thời kiến trúc, pre-training và post-training; nén cache sâu hơn cho agent làm việc nhiều ngày; cải thiện khoảng cách trên tác vụ khoa học chuyên sâu và đóng góp hạ tầng để long-horizon agent rẻ hơn, phổ cập hơn.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu dùng chung bộ nhớ trung gian giữa các lớp cho mô hình đa phương thức, kiểm tra cách chia sẻ ảnh và văn bản mà không làm lẫn routing hoặc suy giảm khả năng nhìn.
2. Phương pháp chọn độ chính xác cache thích ứng theo loại token, đoạn hội thoại và mức độ quan trọng của ngữ cảnh để giảm bộ nhớ hơn nữa với chi phí chất lượng có kiểm soát.
3. Chiến lược tái tạo bộ nhớ cục bộ cho hệ thống inference, tự động cân bằng giữa lưu trữ lâu dài và tính toán lại khi prompt ngắn nhưng lịch sử agent rất dài.
4. Quy trình tổng hợp dữ liệu agent quy mô lớn và khung reinforcement learning có kiểm soát độ dài suy luận để mô hình nhỏ hơn vẫn bám frontier trên tác vụ coding, văn phòng và thao tác giao diện.
5. Mở rộng on-policy distillation cho agent đa bước, giảm lệch phân phối giữa dữ liệu tự tạo và hành vi thật khi chạy rollout ở quy mô lớn.

2. Patent:

1. Trợ lý AI trên điện thoại lưu hội thoại dài bằng cách giữ một bản tóm lược trung tâm và chỉ lưu riêng vài chi tiết gần nhất; khi cần trả lời, máy tra lại đúng phần liên quan thay vì nạp toàn bộ lịch sử chat.
2. Hệ thống soạn thảo văn phòng trên thiết bị di động tự nén tài liệu dài: lưu các mục khóa chung giữa nhiều đoạn, còn trạng thái định dạng gần nhất được tái tạo khi mở lại, giúp mở file nhanh mà không chiếm nhiều bộ nhớ.
3. Ứng dụng coding assistant cho điện thoại hoặc máy tính bảng: khi repo lớn không vừa bộ nhớ, hệ thống lưu chỉ mục các đoạn code quan trọng và dùng lại kết quả tìm kiếm giữa các lớp xử lý để giảm giật lag khi hỏi tiếp nhiều lần.
4. Dịch vụ đám mây cho agent thực hiện nhiệm vụ nhiều ngày: bộ nhớ ít dùng được đẩy xuống lưu trữ rẻ, phần cửa sổ gần nhất được tính lại nhanh khi người dùng quay lại, cân bằng giữa chi phí lưu trữ và thời gian phản hồi.
5. Trợ lý đa phương thức xử lý ảnh chụp màn hình cho automation văn phòng: nén phần nhìn toàn cục thành các đặc trưng dùng chung, giữ riêng chi tiết vùng đang thao tác, rồi tự sửa lỗi dựa trên ảnh hiển thị thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.19969
ArXiv Abstract	https://arxiv.org/abs/2609.19969
PDF Download	https://arxiv.org/pdf/2609.19969.pdf
Github Repository	N/A

---

2. SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness (51 votes)

Tác giả: Haozhe Liu, Tian Ye, Sensen Gao, Qihang Cao, Yitong Li, et al.

Xuất bản lúc: 2026-09-17

Tag: Coding Agents, Agent Harness, Token Efficiency, Auto-Research Loop, Recursive Self-Improvement, LLM Agents, Cost Optimization

I. Main Problem:

Các coding agent chuyển từ hoàn thành code có giám sát sang vận hành tự động 24/7, khiến công việc trở thành các trajectory dài gồm reasoning, dùng công cụ và phản hồi — chi phí token bùng nổ. Vấn đề cốt lõi:

• Harness (lớp điều phối agent: đọc file, sửa code, chạy test, xem log) tiêu tốn rất nhiều token lặp lại, làm tắc nghẽn việc mở rộng recursive self-improvement (RSI).
• Các cải tiến harness trước đây chỉ được thiết kế thủ công hoặc thử-nghiệm trên môi trường hẹp, không chuyển giao được ra ngoài bối cảnh phát triển.

II. Main Idea:

SoL-Pi áp dụng tư tưởng RSI ở tầng harness: thay vì cải thiện trọng số mô hình, nó chạy một Auto-Research Loop tự động để khám phá và chọn lọc cải tiến harness. Quy trình:

• Mở rộng vòng lặp nghiên cứu trên ngày càng nhiều môi trường đa dạng (Python, TypeScript, Go, Rust, C++, Java; data science, web app, ML pipeline, CLI, infra scripts, docs) bằng cặp GitHub Issue–PR đã merge và auto-mở môi trường mới.
• Một Research AI (mô hình mạnh, chi phí cao) quan sát execution trace của harness, đề xuất ý tưởng vào idea pool, rồi thử nghiệm.
• Chỉ giữ lại cải tiến khi hiệu năng không giảm và chi phí giảm; các cơ chế sống sót được merge & freeze vào harness sản xuất.

Bốn cơ chế trụ cột của SoL-Pi:

• Action Fusion — gộp nhiều hành động agent lặp lại thành một bước.
• Online Context Compact — nén context ngay trong phiên.
• ObservationPack — đóng gói quan sát gọn thay vì trả nguyên văn log/dữ liệu thô.
• Evidence-Preserving Reducer — rút gọn bằng chứng mà không làm mất thông tin quyết định.

Ví dụ đời thường: giống một nhà quản lý thuê chuyên gia tư vấn (Research AI đắt tiền) ngồi xem cả bộ phận làm việc, ghi chú mọi thao tác lặp lại hoặc lãng phí, rồi chỉ giữ lại những quy trình gọn nhất cho nhân viên dùng hằng ngày — công việc không đổi nhưng hóa đơn giảm gần một nửa.

III. Main Results:

Trên EdgeBench (51 tác vụ held-out), SoL-Pi đạt hiệu năng ngang Pi trong khi:

• Giảm 44.7–49.0% token traffic và khoảng 1/3 chi phí API so với Pi.
• Với GPT-5.6 Sol: điểm ~42.0 (Pi ~44.8), chi phí **$894** so với$1,339 của Pi và $1,787 của Codex — tiết kiệm 50.0%.
• Với Claude Opus 5: điểm ~42.2 (Pi ~44.8), chi phí **$1,158** so với$1,741 của Pi và $2,535 của Claude Code — tiết kiệm 54.3%.
• Tiết kiệm ước tính $8.75–$13.50/giờ so với harness gốc Codex/Claude Code, và $4.36–$5.71/giờ so với Pi.
• Các cơ chế được chọn lọc tự động (thay vì thiết kế tay) nhưng vẫn chuyển giao sang benchmark chưa thấy, cho thấy automated harness discovery tiến gần mức production.

IV. Conclusion & Future Works:

SoL-Pi chứng minh rằng tự động hóa việc khám phá harness bằng vòng lặp auto-research mở rộng trên nhiều môi trường có thể tạo ra cải tiến tái sử dụng được, giảm ~một nửa chi phí vận hành agent mà gần như không đánh đổi hiệu năng. Hướng đi này đưa automated harness discovery tiến tới kết quả cấp production, và là bước quan trọng để RSI mở rộng quy mô thực sự.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng vòng lặp auto-research cho harness đa agent: nhiều Research AI đóng vai trò cạnh tranh-hợp tác, tự đề xuất và bác bỏ cơ chế tiết kiệm token của nhau trên môi trường mở liên tục.
2. Học cơ chế nén context thích ứng theo loại tác vụ: mô hình tự quyết định mức độ rút gọn ObservationPack dựa trên độ phức tạp và giai đoạn của trajectory.
3. Nghiên cứu chuyển giao cải tiến harness xuyên mô hình nền tảng: kiểm chứng liệu các cơ chế được chọn lọc trên một họ LLM có còn hiệu quả khi đổi sang nhà cung cấp khác hay khi mô hình nền tảng tự nâng cấp.

2. Patent:

1. Hệ thống tự tối ưu chi phí cho trợ lý lập trình trên điện thoại: một mô-đun giám sát ghi lại toàn bộ hành trình agent (đọc file, sửa code, chạy lệnh), tự động phát hiện các thao tác lặp lại và đóng gói kết quả trả về thành dạng gọn nhẹ, giúp ứng dụng lập trình AI trên điện thoại tiêu tốn ít dữ liệu và phí API hơn gần một nửa.
2. Bộ nén hội thoại có bảo toàn bằng chứng cho chatbot kỹ thuật: khi hội thoại dài, hệ thống rút gọn log lỗi và kết quả test nhưng vẫn giữ lại các chi tiết quyết định (tên hàm, mã lỗi, dòng liên quan), để phản hồi tiếp theo của AI không bị mất ngữ cảnh mà gói dữ liệu gửi lên máy chủ nhỏ hơn đáng kể.
3. Nền tảng 'huấn luyện lại quy trình' cho doanh nghiệp dùng AI agent: doanh nghiệp cắm agent vào nhiều môi trường nội bộ (kho code, hệ thống ticket, pipeline CI), hệ thống tự thử các cách điều phối khác nhau, chỉ giữ cách nào nhanh hơn-rẻ hơn mà chất lượng không giảm, rồi khóa thành quy trình chuẩn toàn công ty.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.20519
ArXiv Abstract	https://arxiv.org/abs/2609.20519
PDF Download	https://arxiv.org/pdf/2609.20519.pdf
Github Repository	https://github.com/NVlabs/SoL-Pi

---

3. An Empirical Study of Harness Design for Coding Agents (38 votes)

Tác giả: Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, et al.

Xuất bản lúc: 2026-09-17

Tag: Coding Agents, LLM Agents, Context Management, Agent Harness, Planning, SWE-Bench, Software Engineering

I. Main Problem:

Coding harness (lớp phần mềm bao quanh LLM để tự động hóa lập trình) quyết định hiệu suất tác tử, nhưng các nghiên cứu hiện tại đánh giá harness như một hệ thống nguyên khối, không tách rõ từng thành phần. Hệ quả:

• Khi hai harness khác nhau cho kết quả khác nhau, không biết lợi ích đến từ planning, thiết kế tool, context management hay sự tương tác với model.
• Không rõ mỗi thành phần có hiệu quả phổ quát hay phụ thuộc vào năng lực model, loại tác vụ và ngân sách tài nguyên.

II. Main Idea:

Xây dựng một harness lập trình nhẹ (lightweight) với vòng lặp ReAct cố định, rồi biến thiên độc lập ba thành phần trung tâm trên 4 model (Nemotron-3 30B/120B/550B, Mistral-3.5-128B) và 2 benchmark (SWE-Bench Verified, Terminal-Bench 2.1), tổng cộng 176 cấu hình:

• Planning: duy trì kế hoạch tác vụ tường minh qua công cụ update_plan.
• Action space: so sánh bộ tool định nghĩa sẵn (read_file, edit_file, grep_text...) với giao diện bash-only.
• Context management: 5 chiến lược T0–T4 kết hợp ba cơ chế — elision M1 (xóa nội dung cũ, thay bằng stub), recall M2 (lưu nội dung đã xóa ra ngoài để khôi phục), summarization M3 (tóm tắt lịch sử bằng LLM) — thử trên 4 ngân sách context 32k–128k tokens.

Ví dụ đời thường: giống như thay vì chạy thử cả chiếc xe để biết bộ phận nào tốt, người thợ tháo rời từng bộ phận (phanh, lốp, động cơ) và thử nghiệm từng cái giữ nguyên mọi thứ khác, để biết chính xác bộ phận nào tạo ra khác biệt.

III. Main Results:

• Context management càng giá trị khi ngân sách context càng chật: khoảng cách success rate giữa các tier quản lý và T0 giảm dần từ 35.7 xuống 2.7 điểm phần trăm (SWE-Bench) khi context tăng từ 32k lên 128k. Lợi ích chính đến từ việc ngăn tràn context — tỷ lệ thất bại do overflow của T0 giảm từ 78.7% xuống 8.7%.
• T4 (elision trước, summarization sau) cho hiệu quả tốt nhất: success tương đương T1–T3 nhưng chi phí thấp nhất trong 7/8 bảng model–benchmark, nhờ elision rẻ xử lý được phần lớn trường hợp trước khi cần gọi summarization đắt tiền.
• Cơ chế recall (M2) gần như vô dụng: 56.3% số cấu hình không bao giờ gọi recall_event; mô hình mạnh hầu như không dùng, và không mang lại cải thiện độ chính xác so với elision thuần.
• Planning đổi vai theo năng lực model: với Nemotron-3 30B yếu, planning tăng success +11.6 điểm (giữ trajectory sống đủ lâu để sửa code); với Nemotron-3 550B và Mistral mạnh, planning chủ yếu giảm ~30% chi phí bằng cách cắt bước kiểm tra thừa sau khi sửa code, gần như không đổi accuracy.
• Tool định nghĩa sẵn giúp model yếu về bash: Nemotron-3 30B tăng +15.0% success khi có bộ tool sẵn; ngược lại model mạnh về bash (Nemotron-3 550B) dùng bash-only vẫn đạt success cao hơn (69.4% so với 65.8% trên SWE-Bench) với chi phí giảm mạnh (2.33$xuống 1.11$).

IV. Conclusion & Future Works:

Kết quả chứng minh không có thành phần harness nào tối ưu cho mọi hoàn cảnh — thiết kế harness cần linh hoạt theo model, ngân sách context và loại tác vụ:

• Ngân sách context chật → bắt buộc có context management, ưu tiên T4.
• Model mạnh → có thể bỏ planning, dùng bash-only để tiết kiệm chi phí.
• Model yếu → cần planning và bộ tool định nghĩa sẵn như giàn giáo.

Phân tích trajectory cho thấy: context management kéo dài quỹ đạo thực thi, planning thay đổi điểm dừng, còn action space thay đổi độ chi tiết khi viết code. Khung module hóa của paper là nền tảng để đánh giá các thành phần harness tương lai một cách có kiểm soát.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu chiến lược context management thích ứng (adaptive): tự động điều chỉnh ngưỡng elision/summarization theo độ dài dự kiến của trajectory và giá token của model tại runtime.
2. Đánh giá tương tự component-level cho các thành phần harness còn lại: permission handling, post-edit diagnostics và stuck detection, để hoàn thiện bản đồ hiệu quả của từng bộ phận.
3. Phát triển meta-controller học cách chọn cấu hình harness (planning on/off, tool set, context tier) tự động dựa trên đặc điểm tác vụ và profile năng lực của model đang dùng.

2. Patent:

1. Hệ thống tiết kiệm chi phí cho trợ lý lập trình trên điện thoại/edge: tự động chọn cấu hình harness tối giản (bash-only, không planning, elision sớm) khi phát hiện model mạnh, giảm hóa đơn API xuống ~50% mà không giảm chất lượng sửa lỗi.
2. Cơ chế chống tràn bộ nhớ hội thoại cho chatbot kỹ thuật: khi lịch sử trò chuyện vượt ngưỡng, tự động thay nội dung log cũ bằng stub ngắn rồi chỉ tóm tắt bằng AI khi thật sự cần, giữ nguyên phần đầu và các lượt gần nhất — tránh mất ngữ cảnh và giảm gọi mô hình tốn kém.
3. Plugin chẩn đoán sau khi sửa code cho IDE di động: sau mỗi lần người dùng/chức năng AI chỉnh sửa file, tự chạy kiểm tra cú pháp read-only và gắn kết quả lỗi ngay vào phản hồi để AI tự sửa trước khi chạy test, tiết kiệm nhiều vòng lặp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.20804
ArXiv Abstract	https://arxiv.org/abs/2609.20804
PDF Download	https://arxiv.org/pdf/2609.20804.pdf
Github Repository	N/A

---

4. When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation (32 votes)

Tác giả: Yuxiao Yang, Tianrun Yu, Shangzhe Li, Kaixiang Zhao, Xuchao Zhang, et al.

Xuất bản lúc: 2026-09-17

Tag: On-Policy Distillation, LLM Alignment, Knowledge Distillation, Length Inflation, EOS Tokens, Post-Training

I. Main Problem:

On-policy distillation (OPD) huấn luyện student bằng chính rollout của nó với tín hiệu token-level từ teacher. Bài toán là student thường bị length inflation: câu trả lời ngày càng dài, đúng sớm nhưng không chịu dừng, lặp hoặc chạm hết ngân sách sinh token.

• Trước đây hiện tượng này được gán cho reverse KL, rollout degradation hoặc mất ổn định huấn luyện.
• Bài báo chỉ ra một nguyên nhân trực tiếp hơn: termination-token mismatch giữa base student và post-trained teacher.
• Ngay cả khi hai model có cùng tokenizer, cùng bộ EOS token đã khai báo, chúng vẫn có thể đặt xác suất dừng ở các token khác nhau. Khi đó, student sinh token dừng quen thuộc nhưng teacher ưu tiên token dừng khác, làm sampled-token OPD phát tín hiệu âm lên hành động dừng của student.

II. Main Idea:

Cốt lõi là tách ý định dừng khỏi hình thức token bề mặt. Trong sampled-token OPD, tín hiệu cập nhật phụ thuộc vào token mà student thực sự sinh: nếu student chọn <|endoftext|> nhưng teacher đang đặt phần lớn xác suất dừng ở <|im_end|>, hệ số distillation có thể âm và triệt tiêu EOS gốc của student. Trong khi đó teacher token gần như không được student sample nên ít nhận supervision trực tiếp.

• Fix 1, shared-set decoding: chỉ thêm EOS token vào danh sách dừng khi decode là không đủ, vì không đổi phân phối học cũng như tín hiệu distillation.
• Fix 2, teacher-side EOS mapping: gom toàn bộ xác suất dừng của teacher về một EOS token chuẩn mà student hỗ trợ.
• Fix 3, semantic EOS class: coi mọi EOS token tương đương là cùng một hành động ngữ nghĩa stop; supervised bằng tổng xác suất dừng thay vì từng token riêng lẻ.
• Fix 4, canonical single-EOS action space: gom xác suất teacher về token chuẩn và loại các token EOS còn lại khỏi không gian action của student. Cả Fix 2-4 đều giảm length inflation rõ rệt; semantic EOS aggregation là cách tổng quát nhất vì không cần chỉ định token bề mặt chuẩn. Phân tích K2-Horizon còn cho thấy preference dừng dịch chuyển qua các giai đoạn post-training, nhưng vẫn tồn tại một đợt inflation muộn không giải thích hết bằng EOS mismatch.

Ví dụ đời thường: giống như học sinh và giáo viên cùng muốn kết thúc buổi học, nhưng một người nói "tạm biệt" còn người kia nói "kết thúc"; nếu giáo viên chỉ công nhận câu "kết thúc" và phạt câu "tạm biệt", học sinh sẽ ngày càng không dám dừng, trừ khi ta quy ước cả hai câu đều là cùng một hành động "dừng lại".

III. Main Results:

• Trên Qwen3-1.7B-Base học từ Qwen3-4B non-thinking, vanilla OPD làm response length và clipping tăng dần; nhiều rollout đã có final answer đúng sớm nhưng tiếp tục sinh hậu tố lặp vô nghĩa.
• Student Qwen3 gán xác suất cao cho <|endoftext|>, trong khi teacher ưu tiên <|im_end|>; student gần như không sample <|im_end|>, khoảng 10^-11 gần trạng thái kết thúc.
• Shared-set decoding gần như không cải thiện, chứng tỏ align decoding stopping set là không đủ.
• Teacher-side EOS mapping, semantic EOS class, và canonical single-EOS action space đều giữ length/clipping gần teacher hơn hẳn và ngăn collapse của termination probability.
• Semantic EOS correction cũng giảm length inflation trên Llama 3.2 và Gemma 3; đặc biệt Gemma 3 có cùng declared EOS set nhưng PT student ưu <eos> còn IT teacher ưu <end_of_turn>.
• Với K2-Horizon-7B, preference dừng dịch chuyển mạnh từ pretraining sang midtraining/SFT; student pretrain đã có xác suất không nhỏ cho teacher EOS nên vanilla OPD có thể chuyển surface termination form.
• Tuy nhiên sau đó vẫn xuất hiện late-stage re-inflation: termination probability giảm lại, response length tăng, hầu hết rollout chạm budget; hiện tượng này còn lại dù đã semantic EOS correction.
• Prompt template và grader cũng ảnh hưởng đo lường: template chéo có thể làm response length giảm, và length inflation không luôn đồng nghĩa mất reasoning capability.

IV. Conclusion & Future Works:

Bài báo kết luận termination-token mismatch là một nguồn quan trọng, dễ chẩn đoán của length inflation trong sampled-token OPD, nhưng không phải nguồn duy nhất. Việc gom các EOS token tương đương thành một hành động ngữ nghĩa chung là biện pháp hiệu quả và tổng quát hơn so với chỉnh decoding stopping set.

• Hướng tiếp theo là giải thích residual length dynamics, đặc biệt đợt inflation muộn sau khi surface EOS mismatch đã được xử lý.
• Cần kiểm tra thêm bias từ local sampled-token update so với trajectory-level reverse KL, vì local update bỏ qua phần mismatch tương lai khi chọn continuation.
• Nên chuẩn hóa prompt template, evaluation protocol và grader để so sánh OPD công bằng hơn.
• Có thể mở rộng semantic termination handling sang các model families và bài toán multi-turn ngoài math reasoning.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu đợt length inflation muộn trong on-policy distillation sau khi đã align EOS semantics, nhằm tách các cơ chế độc lập với mismatch token dừng bề mặt.
2. Phát triển phương pháp termination-aware OPD tự động phát hiện và gom các token dừng tương đương giữa student và teacher mà không cần hard-code theo từng model family.
3. Đánh giá systematic ảnh hưởng của prompt template, grader và evaluation budget đến length inflation và chất lượng reasoning trong distillation cho các mô hình nhỏ.

2. Patent:

1. Module kiểm soát dừng cho trợ lý AI trên điện thoại: khi distil một model lớn sang model nhỏ chạy local, hệ thống gom mọi token dừng tương đương thành một hành động "kết thúc trả lời" để trả lời không bị dài vô hạn, lặp hoặc tốn pin do sinh token thừa.
2. Bộ cân bằng hành vi dừng trong ứng dụng chatbot di động: runtime theo dõi xác suất dừng tổng hợp thay vì từng token ký hiệu kết thúc, tự điều chỉnh tín hiệu huấn luyện hoặc sampling để model nhỏ dừng đúng lúc khi đã có câu trả lời hoàn chỉnh.
3. Hệ thống chẩn đoán và sửa lỗi kết thúc câu cho mô hình ngôn ngữ nhúng: kiểm tra xác suất các token kết thúc khác nhau giữa model dạy và model học, sau đó ánh xạ chúng về cùng một ngữ nghĩa dừng để giảm lỗi lặp, tràn bộ nhớ và câu trả lời bị cắt giữa chừng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.20511
ArXiv Abstract	https://arxiv.org/abs/2609.20511
PDF Download	https://arxiv.org/pdf/2609.20511.pdf
Github Repository	https://github.com/UNCSciML/opd-eos

---

5. JEPA-Anything: Learning Predictive Models across Different Worlds (23 votes)

Tác giả: Taoyong Cui, Zhongyao Wang, Xinyue Xu, Weiyang Liu, Zhaochen Yu, et al.

Xuất bản lúc: 2026-09-17

Tag: World Modeling, JEPA, Self-Supervised Learning, Representation Learning, Prediction, Molecular Dynamics, Scientific Discovery

I. Main Problem:

Các mô hình dự đoán (world model) hiện nay chuyên biệt theo từng miền: thị giác, sinh học, lâm sàng, điều khiển, vật lý... mỗi hệ thống một kiến trúc riêng. Câu hỏi cốt lõi: liệu có một nguyên lý học chung nào cho world modeling trên các hệ thống hoàn toàn khác nhau không?

Vấn đề cụ thể với JEPA chuẩn: nó dùng một embedding mục tiêu nguyên khối và một đường dự đoán duy nhất, nên khi trạng thái thế giới gồm nhiều thành phần ở các tỷ lệ khác nhau (cục bộ + toàn cục, nhiều thực thể):

• phần dễ dự đoán hoặc phương sai lớn chiếm ưu thế tối ưu hóa
• nhiều hướng tiềm ẩn trùng vai trò
• cấu trúc dự đoán yếu nhận gradient mâu thuẫn.

II. Main Idea:

JEPA-Anything — framework world modeling phi miền dựa trên Orthogonal Predictive Factorization (OPF), mở rộng JEPA. Thay vì một đường dự đoán đơn lẻ:

• K hệ cơ sở học được (projectors P_k) phân tách trạng thái mục tiêu thành K thành phần bù trừ (factor)
• mỗi factor có một predictor riêng đi từ biểu diễn context chung
• ràng buộc trực giao: các cột trong một factor gần orthonormal, các factor khác nhau gần trực giao → tránh học trùng hướng, đảm bảo tổng hợp ổn định (tổng trực tiếp, hệ số điều kiện κ=1)
• tổng hợp lại qua pseudoinverse thành trạng thái đầy đủ cho decode, planning, rollout tự hồi quy
• các regularizer factor activity và online encoder variance chống sụp đổ biểu diễn

Chỉ phần adapter (token hóa, ngữ cảnh–mục tiêu, encoder) là riêng từng miền; mọi thứ sau đó là một thuật toán chung, áp dụng cho 7 miền: thị giác, sinh học, lâm sàng, điều khiển, động lực học phân tử, trường vật lý, thời tiết.

Ví dụ đời thường: giống thay vì nhờ một người phụ trách tất cả các phần việc lớn nhỏ (phần dễ sẽ bị làm đè lên phần khó), ta chia cho K nhân viên chuyên trách từng mảng không chồng lấn nhau, rồi ghép lại thành bức tranh đầy đủ — mỗi người tập trung sở trường, không ai giẫm chân ai.

III. Main Results:

• Vượt JEPA baseline tương ứng trên cả 10 tác vụ dynamics trong benchmark so khớp.
• Giảm 34.8% lỗi dự đoán can thiệp đơn trên Interventional Pong (kể cả tổ hợp can thiệp chưa thấy).
• Dự đoán phân tử: lỗi 1-bước và 100-bước thấp nhất trong số các phương pháp so sánh, trên cả 4 hệ phân tử (rollout 100 bước).
• Lâm sàng: dự báo hơn 1.000 sự kiện dọc theo tiến trình bệnh nhân.
• Phát hiện khoa học ngoài dự đoán:
  • một can thiệp sinh học được đề cử từ factor nhận ủng hộ thực nghiệm qua đồng nuôi tế bào, organoid từ bệnh nhân, mảnh khối u và chuột
  • các mode quỹ đạo tiềm ẩn khôi phục số mũ Kepler với độ dốc fit −1.4991 (gần −1.5 lý thuyết)

IV. Conclusion & Future Works:

Kết quả ủng hộ tồn tại một nguyên lý dự đoán phân tích chung (factorized predictive principle) áp dụng được cho các "thế giới" dị biệt, và cho thấy world modeling có thể nối liền với can thiệp và phát hiện khoa học có kiểm chứng thực nghiệm — factor coordinates đóng vai trò giao diện chẩn đoán tái sử dụng được, không chỉ phục vụ dự đoán. Hướng mở: số lượng/độ rộng factor cấu hình theo độ phức tạp dự đoán của từng miền, và mở rộng giao diện phân tích factor cho các bài toán khoa học khác.

V. Brainstorming Space:

1. Publish Papers:

1. Áp dụng OPF cho mô hình hóa đa thế giới trong robot: một lõi predictive duy nhất phục vụ đồng thời điều khiển, lập kế hoạch và nhận diện đối tượng, thay vì huấn luyện riêng từng world model cho từng môi trường.
2. Hệ thống đề cử can thiệp sinh học tự động: khai thác factor coordinates của JEPA-Anything trên dữ liệu single-cell để đề xuất tổ hợp thuốc/knockout, rồi tự động hóa vòng kiểm chứng wet-lab (organoid, mô hình chuột) nhằm rút ngắn chu kỳ khám phá thuốc.
3. World model thời tiết–khí hậu phân tách nhân tố: tách riêng các mode dự báo ở tỷ lệ không gian–thời gian khác nhau (bão cục bộ vs xu hướng mùa) để cải thiện dự báo cực trị và giải thích từng thành phần vật lý.
4. Phân tích luật vật lý ẩn bằng factor diagnostics: phương pháp tự động trích xuất các đại lượng bất biến/số mũ co giãn từ mô phỏng động lực học phân tử và trường vật lý, mở rộng việc khôi phục luật Kepler cho các hệ nhiều hạt và vật liệu mới.

2. Patent:

1. Ứng dụng sức khỏe trên điện thoại: mô hình học từ hồ sơ sức khỏe, chỉ số đeo tay và nhật ký triệu chứng để dự báo nguy cơ sự kiện bệnh (tái nhập viện, biến chứng) trong nhiều bước thời gian, cảnh báo sớm cho người dùng và bác sĩ.
2. Trợ lý dự báo thời tiết cá nhân hóa: lõi dự đoán chung phân tách các nhân tố (mưa cục bộ, nhiệt, gió) để đưa ra cảnh báo chính xác hơn cho tuyến đường đi làm của người dùng theo vị trí điện thoại.
3. Nền tảng thiết kế thuốc trên đám mây: doanh nghiệp dược nhập dữ liệu tế bào, hệ thống đề cử can thiệp (gen/thuốc) có khả năng tác động nhất, kèm gợi ý thí nghiệm kiểm chứng trong phòng lab đối tác.
4. Mô phỏng vật liệu cho kỹ sư trên điện thoại/máy tính bảng: nhập cấu trúc phân tử, hệ thống rollout dài hạn để dự đoán tính chất vật liệu (độ bền, nhiệt) mà không cần siêu máy tính, hỗ trợ sàng lọc nhanh trong nghiên cứu và giáo dục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.20800
ArXiv Abstract	https://arxiv.org/abs/2609.20800
PDF Download	https://arxiv.org/pdf/2609.20800.pdf
Github Repository	https://github.com/Gen-Verse/JEPA-Anything

---

6. RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation (16 votes)

Tác giả: ZhuoXin Liu, Zhiming Ma, Ying Zhang, Mengzheng Yang, Yifan Wang, et al.

Xuất bản lúc: 2026-09-15

Tag: Benchmark, LLMs, Web Agents, Text Restoration, Platform Safety, Evidence Grounding

I. Main Problem:

Các chiến dịch lạm dụng nền tảng che giấu lời kêu gọi chuyển hướng bằng emoji, từ đồng âm, tách chữ và ký hiệu thừa, rồi dẫn người dùng tới nội dung khiêu dâm, lừa đảo, cờ bạc hoặc giao dịch bất hợp pháp. Đánh giá hiện tại tách rời hai khâu:

• khôi phục tin nhắn bị che giấu
• điều tra trang web rủi ro

Hệ quả: một lỗi nhỏ khi khôi phục đích đến có thể làm sai toàn bộ website được khảo sát phía sau, nhưng benchmark riêng lẻ không lộ được tổn thất xuyên giai đoạn này.

II. Main Idea:

RiskChainBench nối hai tác vụ bằng danh tính đích đến. Quy trình:

• Task 1 — phục hồi tin nhắn: mô hình nhận tin bị xáo trộn hoàn toàn tổng hợp, phải trả về tin chuẩn, ý định vận hành và danh sách đích xếp hạng; kết quả bị đóng băng trước khi duyệt web.
• Task 2 — điều tra web có bằng chứng: cùng mô hình nền chạy như một tác tử web bằng thị giác-ngôn ngữ, khảo sát website nội địa đúng liên kết trong môi trường sandbox; không được thấy tin nhắn gốc, bản khôi phục, tên miền gốc hay tín hiệu uy tín tên miền.
• Sau khi dừng, mô hình xuất kết luận rủi ro đóng băng, lý do và trích dẫn bước quan sát đã ghi lại.
• Một cổng đích dự báo được áp offline: nếu đích xếp hạng đầu từ biến thể chính không khớp website, kết quả end-to-end thành thất bại; không chạy lại trình duyệt.

Ví dụ đời thường: giống như giải mã tờ giấy mật thư để chọn đúng cánh cửa trước khi vào; sau khi vào, thanh tra chỉ được phán xét căn phòng dựa trên những gì tận mắt nhìn thấy, còn chọn nhầm cửa thì cuộc kiểm tra bị hủy dù bên trong đã được xem kỹ.

III. Main Results:

• Quy mô: 3.600 đầu vào khôi phục từ 600 phiên tổng hợp, mỗi phiên 6 biến thể; 600 website nội địa có nhãn người, gồm 394 vi phạm, 181 không vi phạm, 25 thiếu bằng chứng.
• Task 1: Entry Top-1 dao động 35.2%–95.2%; GPT-5.4 dẫn Entry Top-1, GPT-5.6 SOL dẫn full reconstruction và CER thấp nhất, cho thấy khôi phục ký tự tốt không đồng nghĩa tìm đúng đích hành động.
• Task 2: độ chính xác quyết định web 26.3%–62.8%; GPT-5.6 SOL dẫn accuracy, decision F1 và H-EM; Kimi K2.5 dẫn type F1.
• End-to-end có cổng đích: 16.7%–60.8%, tổn thất 0.7–32.3 điểm phần trăm so với web-only.
• Chẩn đoán lỗi: 31.9% run hỏng ở thực thi/exploration; chỉ 0.9% sai ở giai đoạn gán loại sau khi quyết định đúng → nút thắt chính là khám phá ổn định và phán đoán rủi ro từ bằng chứng.

IV. Conclusion & Future Works:

Benchmark cho thấy khôi phục đích hành động và điều tra web có bằng chứng xếp hạng mô hình khác nhau; lỗi upstream lộ ra qua cổng đích offline mà không cần chạy lại web. Kết luận chính: trước khi phán xét rủi ro, tác tử cần khảo sát ổn định và thu thập bằng chứng đủ tốt. Hướng tương lai: đo phương sai chạy lại, mở rộng loại rủi ro và ngôn ngữ còn thiếu, kiểm chứng rubric bằng chứng bằng audit quỹ tích người trong cùng môi trường cô lập.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu tác tử web chống chịu lỗi khám phá: tự phát hiện khi bị kẹt, tự quay lại trạng thái an toàn và bổ sung quan sát còn thiếu trước khi kết luận.
2. Phương pháp liên kết tin nhắn mật thư với hành trình web theo bằng chứng, để lỗi giải mã nhỏ không làm lệch toàn bộ quyết định điều tra.
3. Đánh giá tính đủ và trung thực của trích dẫn trong báo cáo rủi ro, tách biệt giữa nhãn nhiệm vụ và chất lượng luận cứ quan sát được.

2. Patent:

1. Bộ lọc an toàn trên điện thoại đọc tin nhắn có dấu hiệu che giấu, khôi phục lời mời và địa chỉ ẩn, mở một bản sao web trong vùng thử kín, rồi đưa cảnh báo kèm ảnh chụp và bước đã xem.
2. Trợ lý kiểm tra link trước khi chạm: khi người dùng nhận đường dẫn rút gọn hoặc bị thay ký tự, hệ thống dựng môi trường giả lập nội bộ, bấm thử có giới hạn, ghi lại bằng chứng và chỉ trả lời rủi ro khi có quan sát đủ.
3. Hệ thống duyệt web cô lập cho thanh tra viên nền tảng: mỗi nghi phạm được nhốt trong phiên riêng, mọi lượt nhấn và ảnh màn hình đều đánh số, báo cáo cuối bắt buộc trích dẫn đúng bước đã thấy và loại bỏ gợi ý từ tên miền.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.16900
ArXiv Abstract	https://arxiv.org/abs/2609.16900
PDF Download	https://arxiv.org/pdf/2609.16900.pdf
Github Repository	https://github.com/mattheliu/riskchainbench-task1

---

7. RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning (15 votes)

Tác giả: Yan Yu, Zhengxi Lu, Yizhou Liu, Yichen Pan, Aozhe Wang, et al.

Xuất bản lúc: 2026-09-17

Tag: LLM Agents, Reinforcement Learning, On-Policy Distillation, Knowledge Distillation, GRPO, RLVR, Agentic Learning

I. Main Problem:

Huấn luyện tác nhân đa lượt (multi-turn agent) bằng RL nhận một reward vô hướng duy nhất cho cả trajectory, khiến các quyết định trung gian không được giám sát. Phương pháp bổ sung — on-policy distillation (OPD) với giáo viên được cung cấp thông tin đặc quyền (task skills chỉ có lúc training) — dựa trên hai giả định mà tác giả chứng minh là sai:

• Giáo viên có context đặc quyền không chắc đã giỏi hơn học sinh: nhánh skill-conditioned chỉ đạt 23-29% trên ALFWorld nếu không được tối ưu, vì tham số chung được huấn luyện chủ yếu qua mục tiêu học sinh.
• Lợi ích của giáo viên phụ thuộc giai đoạn: khoảng cách teacher-student đầu tiên thu hẹp rồi giãn ra lại — khi học sinh đã internalize kỹ năng, gradient của reward tối ưu và gradient của bắt chước giáo viên xung đột, kìm học sinh ở trần hiệu suất của giáo viên.
• Các phương pháp hiện tài (annealing, chuyển giai đoạn cố định) chọn thời điểm bỏ giáo viên trước khi training, trong khi điểm chuyển thực tế biến thiên từ step 50 đến 90 tùy model và tác vụ.

II. Main Idea:

RetireOPD gồm ba giai đoạn:

• Teacher Construction: tách giáo viên khỏi học sinh, tối ưu giáo viên có skill-context bằng environment rewards (GRPO) trước, để context đặc quyền biến thành hành vi thực sự hiệu quả, rồi đóng băng.
• Joint GRPO-OPD: học sinh không skill học đồng thời từ reward thưa (GRPO, advantage nhóm) và giám sát dày token-level (OPD, reverse KL ước lượng bằng khoảng chênh log-prob teacher-student tại token học sinh sinh ra).
• Adaptive Retirement: cứ mỗi cửa sổ W step, theo dõi hai tín hiệu — alignment progress ρ (khoảng cách teacher-student có còn giảm không) và relative competence η (tỉ lệ success rate học sinh/giáo viên, ngưỡng γ=0.9). Khi ρ ≥ δ (gap ngừng co) và η đạt ngưỡng, bỏ OPD, training tiếp chỉ với GRPO. Học sinh tự vượt giáo viên và không cần forward pass giáo viên nữa.

Ví dụ đời thường: giống thầy dạy lái xe ngồi cạnh chỉ dẫn từng động tác khi học viên còn vụng, nhưng khi học viên đã đi đúng 90% số trường hợp và không còn tiến bộ từ lời nhắc thầy nữa, thầy xuống xe để học viên tự lái — nếu thầy cứ gào chỉnh mãi, học viên mãi không dám vượt xe hay chạy đường mới.

III. Main Results:

• ALFWorld: vượt GRPO +14.1 đến +18.8 điểm (3B đạt 93.8% vs 75.0%).
• WebShop: vượt GRPO +11.8 đến +19.0 điểm (1.5B đạt 75.8% vs 56.8%), cũng vượt GiGPO ở mọi quy mô.
• Vượt chính giáo viên của mình ở mọi thiết lập (vd 3B: 93.8% vs teacher 79.7% ALFWorld; 77.3% vs 64.8% WebShop).
• Vượt GRPO+OPSD (không tối ưu giáo viên) → chứng minh skill-context đơn thuần không đủ để làm giáo viên tin cậy; vượt GRPO+OPD (giữ OPD suốt training) → bỏ giáo viên đúng lúc quan trọng.
• Ablation: bỏ retirement chỉ đạt 82.8% vs 92.2%; mỗi tiêu chí ρ hay η riêng lẻ đạt 89.0% — hai tín hiệu bổ sung cho nhau.
• Robust: success rate ổn định 89.1-92.2% khi thay γ∈[0.8,1.0], δ∈[-0.1,0.05], điểm nghỉ hưu chỉ lệch ±5 step; adaptive retirement vượt linear annealing (anneal sớm plateau, adaptive tiếp tục tăng).

IV. Conclusion & Future Works:

Hai phát hiện chính: giáo viên có thông tin đặc quyền phải được tối ưu bằng reward môi trường trước khi giảng dạy, và giám sát giáo viên là giàn giáo tạm thời — phải bỏ dựa trên tín hiệu training (gap ngừng co + học sinh đạt tỉ lệ thành công ngưỡng) chứ không phải lịch cố định. RetireOPD cho phép học sinh internalize kỹ năng mà không cần context ở inference và vượt cả giáo viên. Các hướng mở rộng tự nhiên: áp dụng nguyên tắc retirement thích ứng cho các dạng giám sát hỗn hợp khác (annealing, two-stage) và kiểm chứng trên tác vụ agentic rộng hơn.

V. Brainstorming Space:

1. Publish Papers:

1. Cơ chế retirement thích ứng cho bài toán hợp nhất nhiều tín hiệu giám sát trong huấn luyện LLM: tổng quát hóa tiêu chí gap-stagnation + relative competence sang các cặp objective xung đột khác (RL + SFT, RL + preference).
2. Nghiên cứu chất lượng giáo viên trong self-distillation: phương pháp tối ưu giáo viên có context đặc quyền với ngân sách tính toán thấp, khi nào một giáo viên cùng kích thước nhưng có skill đáng tin cậy hơn một giáo viên lớn hơn.
3. Retirement nhiều cấp (curriculum của giáo viên): chuỗi nhiều giáo viên với mức đặc quyền khác nhau, học sinh 'thay giáo viên' theo tín hiệu động lực học thay vì một giáo viên duy nhất.

2. Patent:

1. Hệ thống đào tạo trợ lý ảo trên điện thoại: giai đoạn đầu mô hình lớn có quyền tra cứu tài liệu nội bộ (kịch bản chăm sóc khách hàng) chỉnh từng câu trả lời cho mô hình nhỏ chạy local; ứng dụng tự đo khoảng cách hành vi giữa hai mô hình và tắt vai trò người dạy khi mô hình nhỏ đạt ngưỡng chất lượng, giảm chi phí điện toán đám mây.
2. Phương pháp huấn luyện chatbot bán hàng tự học từ phản hồi khách hàng: chatbot có bản sao được cung cấp hướng dẫn nghề (playbook) được tối ưu bằng điểm hài lòng thật, sau đó bản chính bắt chước; hệ thống tự ngừng việc bắt chước khi tỉ lệ chốt đơn của bản chính đạt 90% bản có playbook và chênh lệch hành vi ngừng co lại.
3. Module tự 'cho thầy nghỉ hưu' trong pipeline fine-tune trên thiết bị: theo dõi hai chỉ số (mức đồng thuận token-level giữa mô hình thầy và trò, tỉ lệ thành công tương đối) theo từng cửa sổ huấn luyện, tự động cắt nhánh tính toán của mô hình thầy để tiết kiệm bộ nhớ và năng lượng khi điều kiện chuyển giao thỏa mãn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.20784
ArXiv Abstract	https://arxiv.org/abs/2609.20784
PDF Download	https://arxiv.org/pdf/2609.20784.pdf
Github Repository	N/A

---

8. Verifiable Social Reasoning for LLM Assistants (13 votes)

Tác giả: Amir Taubenfeld, Zorik Gekhman, Avigail Grinstein-Dabush, Itay Laish, Ariel Goldstein, et al.

Xuất bản lúc: 2026-09-15

Tag: LLMs, Social Reasoning, Multi-Agent Simulation, Evaluation Framework, User-Mediated Reasoning

I. Main Problem:

Người dùng ngày càng nhờ LLM assistant tư vấn các vấn đề xã hội đời thường (đồng nghiệp có thật lòng không, bạn bè có ý gì...), nhưng đánh giá khả năng suy luận xã hội trong bối cảnh này rất khó vì:

• Assistant chỉ biết sự việc qua lời kể chủ quan, thiếu sót, thiên lệch của người dùng — khác hẳn các benchmark truyền thống cho mô hình xem toàn bộ tình huống.
• Thuộc tính xã hội như ý định ẩn của người khác không có ground truth kiểm chứng được, nên không thể gán nhãn hậu kỳ bởi con người. Hệ quả: chưa ai đo được LLM thực sự suy luận tốt cỡ nào khi phải 'nghe qua lời kể một phía'.

II. Main Idea:

Fuse (Framework for User-mediated Social Evaluation) dùng mô phỏng đa tác tử để tạo bài toán suy luận xã hội có ground truth sẵn:

• Mô phỏng các tương tác xã hội giữa người dùng, một target có motive ẩn (được gán sẵn từ taxonomy ATOMS: desire, intention, belief, emotion, knowledge) và các nhân vật phụ.
• Sau đó tách riêng phần mô phỏng và buổi tư vấn: người dùng mô phỏng kể lại sự việc cho assistant bị đánh giá, với các trục điều khiển được — độ thiên lệch khi kể (reporting bias) và mức chi tiết của câu chuyện.
• Assistant phải đoán motive ẩn của target chỉ từ lời kể → ground truth có sẵn theo cấu trúc, không cần gán nhãn thủ công. Một LLM judge chấm điểm Correct/Incorrect/Abstain.
• Độ tin cậy được kiểm chứng bằng 24k chú thích của con người: 97% tình huống mô phỏng thể hiện đúng motive đã gán; 88% trường hợp đoán đúng được ngay từ tin nhắn đầu tiên của người dùng.

Ví dụ đời thường: giống như bạn nghe một người bạn than phiền về đồng nghiệp và phải đoán xem đồng nghiệp ấy thật sự định hại bạn hay bạn đang nghĩ quá lên — và ở đây người viết kịch bản đã biết trước 'đáp án' đồng nghiệp ấy là ai.

III. Main Results:

Thử nghiệm trên 12 LLM (Gemma, Mistral, GPT-OSS, GPT 5.6, Claude 5, Gemini 3.7, Grok):

• Không mô hình nào đạt MSR 88% của con người; model mạnh nhất dừng ở 83.7, nhiều model sai trên 20% — đủ để khiến người dùng hiểu lầm tình huống xã hội.
• Assistant-Observer gap: cho model xem trực tiếp sự việc (Observer) thì frontier model gần như đúng hoàn toàn, nhưng khi phải suy luận qua lời kể của người dùng thì lỗi và abstain tăng rõ — user mediation tạo một khoảng cách cố hữu. Claude Opus 5 dù gần như hoàn hảo ở Observer vẫn abstain rất nhiều khi tư vấn.
• Nhạy với bias của người dùng: chỉ một câu gợi ý khiến người dùng kể theo hướng ngược với sự thật làm MSR sụt trung bình 7.7 điểm (gấp đôi mức sụt 3.6 của con người); có case model còn khuếch đại thiên kiến, gán hành vi vô tội thành 'chiêu nịnh bợ cổ điển'.
• Chi tiết câu chuyện: model cần nhiều chi tiết hơn con người mới kết luận đúng — khoảng cách với baseline người thu hẹp 22% khi tăng detail; nhiều model có 'mặc định' nghiêng về kết luận đáng lo ngại dù bằng chứng ngược.
• Đa lượt không giúp: mở rộng hội thoại lên 8 lượt không cải thiện nhất quán, vì nhiều lượt tạo thêm cơ hội để model bị cuốn theo cách framing của người dùng.
• Phát hành mã nguồn + bộ dữ liệu 21.6k ví dụ làm benchmark tĩnh.

IV. Conclusion & Future Works:

Fuse chứng minh suy luận xã hội qua lời kể chủ quan của người dùng là một thách thức riêng biệt và nghiêm trọng so với hiểu sự việc trực tiếp, và các trục điều khiển (bias, detail, số lượt) là công cụ chẩn đoán hữu ích để phân tích hành vi từng mô hình. Hướng tương lai: xây dựng user simulator ổn định để benchmark đa lượt thực thụ, cải thiện khả năng đặt câu hỏi làm rõ thay vì bị kéo theo framing của người dùng, và nghiên cứu chính sách abstain tối ưu giữa thận trọng và hữu ích.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng Fuse từ dự đoán motive ẩn sang tư vấn hành động: đánh giá chất lượng lời khuyên thực tế (nên làm gì với đồng nghiệp nghi ngờ) chứ không chỉ đoán đúng/sai, kết hợp hậu quả của lời khuyên lên quan hệ xã hội thật.
2. Nghiên cứu kháng bias chủ động: huấn luyện assistant nhận diện và kiểm chứng framing thiên lệch của người dùng trước khi kết luận, đo lường bằng chênh lệch MSR giữa điều kiện biased và default của chính model đó.
3. Xây dựng benchmark đa lượt có user simulator được kiểm chứng: cho phép model chủ động hỏi làm rõ, đánh giá chiến lược thu thập thông tin và cách cập nhật giả thuyết qua các lượt hội thoại.
4. Mở rộng taxonomy tâm lý xã hội ngoài ATOMS: giao tiếp phi ngôn ngữ, mâu thuẫn đa bên, động lực thay đổi theo thời gian trong các mối quan hệ dài hạn.

2. Patent:

1. Trợ lý tư vấn quan hệ trên điện thoại có cơ chế phát hiện lời kể thiên lệch: khi người dùng mô tả một tình huống xã hội, ứng dụng tự đánh giá mức độ một chiều của câu chuyện và chủ động đặt câu hỏi làm ròi các bằng chứng trái chiều trước khi đưa ra nhận định về ý định của người liên quan.
2. Hệ thống kiểm chứng 'sự thật xã hội' cho chatbot: mỗi kết luận về ý định của một người thứ ba được gắn mức độ tin cậy dựa trên lượng chi tiết khách quan trong lời kể, và cảnh báo người dùng khi kết luận chủ yếu dựa trên cảm xúc của chính người kể.
3. Bộ công cụ huấn luyện/đánh giá chatbot tư vấn bằng mô phỏng đa nhân vật trên đám mây: tạo hàng nghìn tình huống xã hội có đáp án ẩn đã biết để doanh nghiệp kiểm thử chatbot của mình trước khi triển khai cho khách hàng.
4. Tính năng 'hỏi lại thông minh' trong trợ lý ảo: thay vì kết luận ngay từ tin nhắn đầu, ứng dụng gợi ý 2-3 câu hỏi bổ sung để thu thập chi tiết khách quan, giảm nguy cơ khuyên người dùng hành động dựa trên hiểu lầm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.17496
ArXiv Abstract	https://arxiv.org/abs/2609.17496
PDF Download	https://arxiv.org/pdf/2609.17496.pdf
Github Repository	N/A

---

9. Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents (12 votes)

Tác giả: Bofan Chen, Boxuan Zhang, Fei Tang, Zhengxi Lu, Yong Du, et al.

Xuất bản lúc: 2026-09-15

Tag: GUI Agents, Agent Skills, Self-Evolving Agents, Reflection, Training-Free, Mobile Agents, Computer Use

I. Main Problem:

Các GUI agent thực hiện tác vụ dài hạn trên giao diện đồ họa không ổn định: pop-up, tải trang chậm, widget bị dịch vị trí liên tục làm hỏng kế hoạch đã cố định trước khi chạy. Các framework skill hiện tại có 4 rào cản:

• Skill không cấu trúc, khó sửa: toàn bộ kiến thức nhét trong một file dài, các bước kế hoạch, gợi ý định vị, luật phục hồi bị đan xen.
• Giao diện thay đổi liên tục: skill đúng ở một trạng thái có thể thất bại khi pop-up xuất hiện, tạo vòng lặp lỗi lặp lại dẫn tới timeout.
• Reflection ngoài mô hình tốn kém và lỏng lẻo: dùng VLM ngoài gây thêm độ trễ, không gắn chặt với quá trình thực thi và sửa skill.
• Kiến thức không tích lũy: bài học về selector không tin cậy, thiếu phương án dự phòng bị khóa trong từng trajectory riêng lẻ, không thành tài sản tái sử dụng.

II. Main Idea:

Đề xuất EvoSkill-GUI, framework training-free biến skill từ artifact tĩnh thành tri thức thủ tục sống, tự sửa từ phản hồi thực thi ngay lúc deploy. Cấu trúc chính:

• Skill package đa file có cấu trúc: metadata truy xuất, kế hoạch thực thi (plan.md), định vị dự phòng (backup.md), luật phục hồi lỗi (recover.md), tiện ích accessibility tree, và kho ví dụ thất bại — mỗi loại lỗi sửa đúng file tương ứng.
• Vòng lặp reflect–revise–reuse:
  • In-rollout revision: executor sửa cục bộ ngay khi phản hồi mâu thuẫn kế hoạch (widget dịch, pop-up).
  • Critic bị cô lập thông tin: chính backbone model tự đóng vai critic, chỉ được xem instruction + trajectory, cấm xem skill, chain-of-thought, ground truth để chẩn đoán không dựa vào thông tin đặc quyền.
  • Executor sửa file qua tool interface bị giới hạn (read/write/append/search/create_failure) — sửa đúng chỗ, có thể audit.
• Truy xuất theo metadata (intent, app, platform, keywords, status) với chấm điểm lexical + semantic, thay cho full-text search dễ nhầm.

Ví dụ đời thường: giống nhân viên mới làm việc với một cuốn sổ tay hướng dẫn — gặp máy lỗi thì ghi chú sửa ngay trang liên quan (kế hoạch, cách tìm nút, cách xử lý sự cố), rồi người kiểm tra độc lập xem lại lỗi mà không xem bản thảo cũ để đưa nhận xét khách quan; sổ tay ngày càng chuẩn và đồng nghiệp sau mượn lại được.

III. Main Results:

• MobileWorld (GUI-only): cải thiện mọi mô hình — Claude-Sonnet-4.6 từ 57.1% lên 67.6%, Qwen3.6-Plus từ 53.3% lên 69.5% (+16.2 điểm so với baseline mạnh), Qwen3.6-35B-A3B từ 32.4% lên 44.8%, MAI-UI-8B từ 29.5% lên 37.1%.
• AndroidWorld: +2.6% (seed 30), +6.0% (seed 42).
• OSWorld (desktop): GUI-Owl-1.5-8B từ 46.7% lên 54.8% (+8.1), Qwen3-VL-8B-Instruct từ 23.8% lên 34.3% (+10.5); VLC +42.7, Thunderbird +20.0.
• Ablation: bỏ structured package −2.85; bỏ instant revision −6.66; bỏ information isolation −8.57; metadata retrieval đạt 12/12 đúng skill vs full-text chỉ 1/12; accessibility tree cộng thêm +1.9 đến +3.8 tùy model.
• Phân tích: tiến bộ bão hòa sau ~3 vòng tiến hóa; vượt pass@3 cùng ngân sách token (69.5% vs 62.8%, token ít hơn); library skill tích lũy — ở phase 2 tái sử dụng 100% task, recover 19/65 lỗi từ skill đã dùng lại; lỗi cấp kế hoạch dễ sửa nhất (69.6%), lỗi grounding 50%, thiếu contingency chỉ 25%.

IV. Conclusion & Future Works:

EvoSkill-GUI chứng minh skill cho GUI agent không cần là artifact tĩnh: với skill package cấu trúc đa file + vòng lặp reflect–revise–reuse (critic cô lập thông tin, sửa file qua tool giới hạn), một backbone model duy nhất tự xây, truy xuất, thực thi và tiến hóa skill hoàn toàn ở inference time, cải thiện nhất quán trên cả ba benchmark mobile và desktop mà không cần training. Hướng mở: mở rộng sang nhiều loại failure chưa sửa được (contingency), nâng cao chất lượng skill khi thiếu contingency, và xử lý các domain hiện tại còn kết quả âm.

V. Brainstorming Space:

1. Publish Papers:

1. Hệ thống tự tiến hóa skill đa agent: các agent chia sẻ một skill library dùng chung, mỗi agent phản ánh lỗi theo góc nhìn riêng nhưng tuân thủ schema chung, để library tiến hóa tập thể trên nhiều ứng dụng và nền tảng.
2. Cơ chế chiết xuất contingency tự động từ trajectory thành công: học các nhánh phụ từ những lần agent tự thoát khỏi tình huống ngoài ý muốn, để bổ sung recover.md mà không cần thất bại trước.
3. Kết hợp tiến hóa skill với kiểm chứng tự động (surrogate verifier) để skill mới chỉ vào library sau khi được xác minh chức năng, thu hẹp khoảng cách giữa skill 'được sửa' và skill 'đúng'.

2. Patent:

1. Trợ lý tự động thao tác trên điện thoại di động có bộ nhớ kỹ năng tự học: ứng dụng ghi lại từng lần thao tác thất bại (nhấm nhầm nút, pop-up chặn), tự sửa file hướng dẫn tương ứng và lần sau mở đúng màn hình sẽ áp dụng ngay, người dùng không cần lập trình lại kịch bản.
2. Hệ thống hỗ trợ người khiếm thị tương tác giao diện: kỹ năng định vị nút lưu trữ nhiều phương án dự phòng (vị trí, mô tả accessibility, menu ba chấm), khi ứng dụng cập nhật giao diện tự chuyển sang phương án dự phòng và ghi nhận thay đổi để lần sau đọc đúng.
3. Phần mềm tự động hóa văn phòng trên máy tính với thư viện thao tác tái sử dụng: mỗi quy trình (gửi email, xuất báo cáo) là một gói hướng dẫn có phân loại theo ứng dụng và mục đích; nhân viên mới chỉ cần nói yêu cầu, hệ thống tìm gói gần nhất, thực hiện, tự sửa nếu giao diện lệch và cập nhật gói cho cả nhóm dùng chung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.17653
ArXiv Abstract	https://arxiv.org/abs/2609.17653
PDF Download	https://arxiv.org/pdf/2609.17653.pdf
Github Repository	https://github.com/ZJU-REAL/EvoSkill-GUI