🤗 Daily Hugging Face Paper Digest - 2026-10-14

Báo cáo được tạo tự động vào lúc 2026-10-15 11:24:51 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Jeva: System One Models from First Principles (268 votes)

Tác giả: Qi Li, Xinchao Wang

Xuất bản lúc: 2026-10-13

Tag: System One Models, Decision Models, Language Models, Null Detection, Permutation Invariance, Caching, Efficiency

I. Main Problem:

Các mô hình System One hiện tại dự đoán quyết định bằng cách nối request và các phương án thành chuỗi text rồi đọc từ logit token trả lời, vi phạm 4 tính chất cấu trúc của bài toán quyết định:

không null-aware: chuẩn hóa softmax trên tập phương án không thể phân biệt không có đáp án đúng với không chắc giữa các đáp án
không permutation-invariant: xử lý tập không thứ tự như chuỗi có thứ tự nên vị trí ngẫu nhiên của phương án làm thay đổi dự đoán (flip rate tới 17–27% ở baseline)
không option-scalable: từ điển cố định các ký hiệu đáp án giới hạn số lượng phương án, mỗi kích thước mới phải định nghĩa lại không gian output
không cacheable: nội dung phương án (tool registry, tài liệu, nhãn) nằm trong computation phụ thuộc request nên mỗi request mới phải encode lại toàn bộ, gây trễ.

II. Main Idea:

Jeva là kiến trúc decision-native tách riêng biểu diễn ngữ nghĩa tái sử dụng khỏi phán đoán phụ thuộc tập phương án:

Encoder dùng chung biến request và từng phương án thành vector độc lập (không có câu hỏi, index hay phương án khác trong template của option)
Decision stack nhẹ chỉ tinh chỉnh state của request bằng cách đọc option memory bất biến qua attention nhiều head + FFN — chỉ với 1 block đã đủ để đảo ngược thứ tự ưu tiên giữa hai phương án khi phương án xung quanh đổi (điều mà independent scoring bất khả thi)
Symmetric aggregation + shared scoring cho xác suất permutation-equivariant, hỗ trợ tập kích thước biến đổi không đổi tham số
Coverage gate riêng (ρ = σ((max score − b)/τ)) ước lượng xác suất có ít nhất một phương án hợp lệ, tách biệt với phân phối cạnh tranh q — cho phép output null rõ ràng
Cache cả option vector lẫn các projection K/V theo layer, tái sử dụng xuyên suốt request và cả tập phương án mới lắp ráp; một cơ chế thống nhất Choice, Noul, Score.

Ví dụ đời thường: giống như giám khảo chấm thi có sẵn hồ sơ từng thí sinh photo sẵn trong kho — người ta chỉ mang bản photo ra xếp theo đề bài, cân nhắc so bộ hồ sơ cố định đó, chứ không photo lại hồ sơ mỗi lần đổi câu hỏi hay đổi thứ tự xếp; và nếu không ai đủ điều kiện thì ghi rõ "không có ai" thay vì chọn bừa.

III. Main Results:

Accuracy: dẫn đầu 7/8 benchmark slices với backbone Qwen3.5-4B + 1 decision block; >90% trên BANKING77 và MASSIVE (K=8/16); ~80% Mind2Web cross-task.
Null detection: AUROC 98.66% trên BANKING77 K=16 (baseline tốt nhất khác: 93.61%), phát hiện 93.88% trường hợp vắng đáp án ở FPR ~5%.
Permutation: 0 decision flips, mean total variation 3.17e-08 trên 600 câu Choice xáo trộn; baseline flip 17–27%.
Scalability: tại K=2.048 phương án, độ chính xác 69.88% (cao hơn JevK5 +12 điểm về all-size) với speedup latency >2× so với recursive selection; batching giảm p50 từ 94.5s xuống 12.0s (7.85×).
Cache reuse: speedup p50 tới 27.86× khi tái sử dụng toàn bộ option của tập mới, giảm 99.2% số row phải encode, không thay đổi bất kỳ quyết định nào (chênh lệch xác suất tối đa 0.0074).
Typed fidelity: Noul Brier 0.0184 và Score MAE 0.2315 — tốt nhất trong nhóm; Choice accuracy 78.30% ngang InternDecision-4B (78.70%).

IV. Conclusion & Future Works:

Jeva chứng minh một kiến trúc thiết kế từ nguyên lý cho System One — mô hình hóa quyết định như state tiến hóa đọc option memory tái sử dụng — có thể thống nhất đồng thời bốn tính chất: nhận thức null, bất biến hoán vị, mở rộng số phương án, và cache. Kết quả large-set cho thấy giá trị thực tiễn của readout lập chỉ mục theo candidate. Tác giả không nêu hướng nghiên cứu tương lai cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng option memory có thời hạn cho hệ thống quyết định liên tục: cơ chế cập nhật/loại bỏ entry cache khi registry tool hay tập tài liệu thay đổi theo thời gian mà vẫn giữ đảm bảo tính đúng đắn của Proposition 3.
Kết hợp coverage gate với selective classification/risk control để tự động điều chỉnh ngưỡng null theo mức rủi ro chấp nhận được của từng ứng dụng thực tế.
Nghiên cứu tinh chỉnh state đa block (L>1) và chiến lược curriculum cho tập phương án rất lớn (hàng chục nghìn) để khai thác thêm khả năng biểu diễn tương tác giữa các phương án.
Áp dụng kiến trúc decision-native vào tác vụ đa phương thức (ảnh, audio) với option memory dùng chung giữa các phương thức.

2. Patent:

Trợ lý ảo trên điện thoại chọn công cụ/tính năng: mỗi lệnh của người dùng, hệ thống so trạng thái câu hỏi với ngân hàng vector của các công cụ đã mã hóa sẵn; nếu không công cụ nào phù hợp thì trả về 'không hỗ trợ' thay vì đoán sai — các công cụ thêm mới không cần huấn luyện lại mô hình.
Ứng dụng tìm kiếm tài liệu trên điện thoại: tài liệu trong máy được mã hóa một lần thành vector lưu sẵn; mỗi truy vấn mới chỉ xử lý câu hỏi rồi đối chiếu với kho vector, giảm thời gian phản hồi và tiết kiệm pin đáng kể.
Hệ phân loại ý định khách hàng cho tổng đài tự động: danh mục dịch vụ thay đổi theo ngày nhưng vector từng dịch vụ được tái sử dụng xuyên suốt các cuộc gọi; hệ thống tự nhận biết cuộc gọi không thuộc dịch vụ nào để chuyển nhân viên thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18773
ArXiv Abstract	https://arxiv.org/abs/2610.18773
PDF Download	https://arxiv.org/pdf/2610.18773.pdf
Github Repository	https://github.com/LiQiiiii/Jeva

2. VideoJev: System One Model for Video Understanding and Interaction (198 votes)

Tác giả: Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, et al.

Xuất bản lúc: 2026-10-13

Tag: Video Understanding, Multimodal LLMs, Temporal Grounding, Video QA, Efficient Inference, System One, MLLMs

I. Main Problem:

Các tác vụ video cho agent (định vị thời gian, trả lời câu hỏi video) hiện bị kẹt giữa hai hướng:

Mô hình MLLM dạng sinh (autoregressive) linh hoạt ngữ nghĩa nhưng sinh câu trả lời từng token, kể cả khi đầu ra chỉ là một quyết định nhỏ gọn (một khoảng thời gian, một lựa chọn trắc nghiệm) → chậm, tốn kém khi agent phải hỏi nhiều lần về cùng một video.
Mô hình discriminative nhanh nhưng cứng nhắc, phụ thuộc thiết kế riêng cho từng tác vụ. Hệ quả: agent thực tế cần phán đoán trực quan kịp thời và lặp lại (kiểm tra tiến độ, đánh giá lựa chọn hành động) nhưng chi phí suy luận mỗi câu hỏi quá cao.

II. Main Idea:

VideoJev thay giải mã autoregressive của MLLM bằng một đầu chấm điểm ứng viên (candidate scorer): thay vì sinh token, mô hình đánh giá trực tiếp từng ứng viên dựa trên video và câu hỏi.

Thống nhất hai tác vụ: temporal grounding (chấm điểm các khoảng thời gian → sigmoid → ghép thành span liên tục bằng thuật toán Kadane) và Video QA trắc nghiệm (chấm điểm các phương án → softmax → chọn cao nhất).
Kiến trúc: giữ backbone ngôn ngữ nhân quả của MLLM, bỏ MLP cuối, thêm hai token đặc biệt <|option_end|> và <|decide|>; độ tương đồng cosine giữa vector câu hỏi và vector ứng viên (chuẩn hóa L2) cho ra điểm số.
Tái sử dụng tính toán video: video được encode một lần thành prefix; Cached inference (mỗi câu hỏi mới nối vào prefix đã cache) và Joint inference (chấm điểm cả nhóm câu hỏi trong một forward pass duy nhất).
Huấn luyện hai giai đoạn: căn chỉnh đầu chấm điểm trên đặc trưng đóng băng, rồi tinh chỉnh chung với backbone; grounding dùng BCE + Soft IoU loss để đảm bảo phủ kín sự kiện.

Ví dụ đời thường: giống như thay vì viết từng dòng bài luận dài để chọn món ăn, người ta chỉ cần khoanh tròn đáp án trên phiếu trắc nghiệm — và khi nhiều người hỏi về cùng một bữa tiệc, phiếu video chỉ cần photocopy một lần cho cả nhóm.

III. Main Results:

Temporal grounding (Charades, ActivityNet, QVHighlights): VideoJev-4B đạt mIoU trung bình 65.3 (+6.7 so với backbone Qwen3.5-4B); VideoJev-35B-A3B đạt 67.7 (+10.8 so với Qwen3.6-35B-A3B), dẫn đầu mọi mô hình open-source với nhanh hơn 2.8–3.1×.
Video QA (LVBench, Video-MME, LongVideoBench, MLVU): tăng +8.0 (4B) và +5.7 (35B) điểm trung bình so với backbone Instruct; ngang hoặc vượt bản Thinking (vốn suy luận dài) với tăng tốc >100×.
Kiểm chứng kiến trúc: cùng dữ liệu huấn luyện, VideoJev vẫn thắng fine-tuning autoregressive +1.3 điểm grounding, +1.9 điểm QA → lợi ích đến từ thiết kế, không chỉ dữ liệu.
Soft IoU đóng góp +4.6 điểm grounding; huấn luyện chung TG+QA tốt hơn huấn luyện riêng lẻ trên cả 7 benchmark (hai tác vụ hỗ trợ lẫn nhau).
Joint inference thậm chí nhẹ hơn Cached (+0.3–0.8 điểm): 10 câu hỏi chỉ tăng ~55ms (grounding) và ~31ms (QA) so với 1 câu hỏi.

IV. Conclusion & Future Works:

VideoJev chứng minh rằng phán đoán trực quan có cấu trúc (chấm điểm ứng viên) thay vệ sinh token kết hợp được sự linh hoạt ngữ nghĩa của MLLM với hiệu quả của mô hình discriminative, tạo ra một giao diện quyết định thống nhất, tái sử dụng được để ghép vào các workflow agent mở. Việc chia sẻ prefix video và chấm điểm hàng loạt câu hỏi trong một forward pass khiến chi phí mỗi phán đoán bổ sung gần như không đáng kể — nền tảng cho agent tương tác video liên tục. Hướng mở: mở rộng sang các dạng quyết định trực quan khác (điều kiện kiểm tra, đánh giá hành động) và tích hợp vào quy hoạch tác vụ cấp cao của agent.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng paradigm System One từ trắc nghiệm sang các dạng quyết định video có cấu trúc khác: kiểm tra điều kiện tiến độ, đánh giá khả thi của hành động, và lựa chọn bước tiếp theo trong quy hoạch tác vụ agent.
Nghiên cứu cơ chế hai tác vụ (grounding + QA) hỗ trợ lẫn nhau: phân tích cách giám sát thời gian làm sắc nét khả năng định vị bằng chứng và ngược lại, qua đại diện chia sẻ.
Kết hợp chấm điểm ứng viên trực tiếp với suy luận CoT có chọn lọc: chỉ gọi chế độ sinh token tốn kém khi độ tin cậy của điểm số thấp, cân bằng chất lượng và độ trễ.

2. Patent:

Trợ lý nấu ăn thông minh trên điện thoại: quay video quá trình nấu một lần, ứng dụng cache video và trả lời liên tiếp các câu hỏi của người dùng (đã cho nguyên liệu chưa, bước tiếp theo là gì) gần như tức thì mà không cần xử lý lại video.
Hệ thống giám sát an ninh phân tích nhiều câu hỏi trên cùng một luồng camera: bảo vệ hỏi tuần tự các sự kiện (có người vào lúc mấy giờ, xe nào đậu quá lâu), hệ thống chấm điểm tất cả câu hỏi trong một lượt chạy duy nhất trên video đã lưu, tiết kiệm điện toán đám mây.
Trợ lý học trực tuyến theo dõi video bài giảng dài: encode bài giảng một lần, học sinh đặt nhiều câu hỏi về nội dung (đoạn nào giảng công thức X, ví dụ nào được đưa ra), hệ thống định vị chính xác đoạn liên quan và chọn đáp án với độ trễ cực thấp trên điện thoại.
Tính năng tua nhanh video thông minh trên ứng dụng xem phim/xem bóng đá: người dùng hỏi nhiều câu hỏi lặp lại (bàn thắng ở phút bao nhiêu, ai ghi bàn), ứng dụng dùng chấm điểm ứng viên để nhảy đến đoạn video chính xác mà không phải xử lý lại toàn bộ phim mỗi lần hỏi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18615
ArXiv Abstract	https://arxiv.org/abs/2610.18615
PDF Download	https://arxiv.org/pdf/2610.18615.pdf
Github Repository	https://github.com/MCG-NJU/VideoJev

3. Agent-Reflex: Teaching Language Agents to Act Reflectively (195 votes)

Tác giả: Guanting Dong, Xinyu Yang, Jiajie Jin, Yuyang Hu, Xiaoshuai Song, et al.

Xuất bản lúc: 2026-10-13

Tag: LLMs, Agents, Tool Use, Reflection Learning, Reinforcement Learning, Noisy Interaction, Environment Scaling

I. Main Problem:

Các tác nhân ngôn ngữ hiện tại thường được huấn luyện trong môi trường quá lý tưởng: phản hồi công cụ sạch, ít bị người dùng can thiệp. Khi triển khai thật, mô hình dễ:

không phản hồi được lỗi công cụ như timeout, mất quyền, sai tham số, quá tải dịch vụ
không biết tự điều chỉnh khi người dùng nhắc lại ý định đúng
thiếu cơ chế rút kinh nghiệm tái sử dụng từ các lần thất bại trước đó

II. Main Idea:

Agent-Reflex coi khả năng phản tỉnh như một kỹ năng học được, thay vì chỉ dựa vào lời tự phê bình ở lúc suy luận. Quy trình gồm 3 giai đoạn:

RSD: xây hàng trăm môi trường công cụ có thật, cố tình bơm các lỗi công cụ quan sát được từ dữ liệu triển khai; chạy nhiều mô hình khác nhau, ghép cặp đường đi thành công - thất bại để khai thác các meta-skill phản tỉnh tái sử dụng theo môi trường
ReSFT: biến skill thành dữ liệu học gồm tự phản tỉnh, phục hồi kế hoạch, và hiệu chỉnh theo người dùng, chỉ giữ các quỹ đạo được verifier chứng minh thành công
ORPO: kết hợp reinforcement learning trong môi trường nhiễu với on-policy distillation: cùng hành động được chấm lại dưới góc nhìn có skill, tạo tín hiệu dày đặc để mô hình học chỗ nào nên dừng, sửa, hoặc làm lại

Ví dụ đời thường: giống nhân viên mới không chỉ đọc sổ tay, mà làm thật trong cửa hàng có lúc mất mạng, khách quên nói rõ yêu cầu; sau mỗi lần vấp, người quản lý chỉ ra quy tắc sửa lỗi đúng để lần sau tự xử lý ngay.

III. Main Results:

Trên 5 benchmark dùng công cụ dài hạn, Agent-Reflex-8B đạt 58.6 overall, vượt các baseline mạnh về reflection và environment scaling.
Trên AgentNoiseBench đạt 29.1 overall, tốt hơn NoisyAgent-8B ở 25.9; duy trì hiệu quả rõ khi có nhiễu công cụ và nhiễu người dùng.
So với Reflexion/ExpeL, lợi thế đến từ việc học trực tiếp hành vi phục hồi đã được kiểm chứng, không phụ thuộc vào lời khuyên văn bản tại inference.
So với Agent-R/NoisyAgent, meta-skill cấp môi trường giúp hơn cả việc học từ từng quỹ đạo sửa lỗi riêng lẻ.
ORPO ổn định hơn GRPO, DAPO, REINFORCE++, SEED trong 100 bước RL và cho reward huấn luyện tiếp tục tăng.
Ablation cho thấy SR quan trọng nhất; bỏ OPD hoặc bỏ confidence weighting đều làm giảm rõ rệt, nghĩa là lợi ích đến từ tín hiệu phản tỉnh cấp token, không chỉ từ việc cho mô hình xem skill.

IV. Conclusion & Future Works:

Bài báo chứng minh rằng phản tỉnh có thể được huấn luyện có hệ thống bằng cách biến thất bại thực tế thành kỹ năng phục hồi có thể kiểm chứng và nội tại hóa dần vào policy. Điểm mấu chốt là kết hợp thư viện skill ngoại tuyến, SFT đa mức phản tỉnh, và RL nhiễu + distillation có hướng dẫn skill. Hướng mở tự nhiên là mở rộng sang môi trường động hơn, nhiều người dùng hơn, và các tác vụ tác nhân dài hạn có rủi ro an toàn cao hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Agent-Reflex cho tác nhân cộng tác nhiều người dùng, trong đó phản tỉnh phải phân biệt giữa lỗi công cụ, hiểu sai ý định, và xung đột mục tiêu giữa các người dùng.
Nghiên cứu cách nén và cập nhật thư viện meta-skill theo thời gian để tác nhân học liên tục từ triển khai thật mà không bị quá tải hoặc ghi nhớ quy tắc lỗi thời.
Áp dụng reflection learning cho tác vụ có chi phí lỗi cao như y tế, tài chính, hoặc vận hành hạ tầng, kết hợp kiểm chứng ràng buộc an toàn trước khi hành động.

2. Patent:

Trợ lý điện thoại tự sửa lỗi dịch vụ: khi gọi ứng dụng bị timeout hoặc sai quyền, trợ lý tự nhận diện loại lỗi, thử lại bằng tham số đúng, đổi luồng hoặc xin người dùng xác nhận trước khi tiếp tục.
Hệ thống gợi ý sửa lỗi cho ứng dụng đặt hàng hoặc đặt vé: nếu API trả về lỗi, hệ thống học từ lần thành công - thất bại để đề xuất bước khôi phục phù hợp, ví dụ kiểm tra lại mã khuyến mãi, đổi phương thức thanh toán, hoặc chọn lịch khác.
Giao diện người dùng biết tự điều chỉnh: khi người dùng nói 'không phải cái này', ứng dụng ghi nhận câu hiệu chỉnh, quay lại trạng thái trước lỗi và tạo phản hồi mới đúng ý định thay vì chỉ xin lỗi chung chung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17953
ArXiv Abstract	https://arxiv.org/abs/2610.17953
PDF Download	https://arxiv.org/pdf/2610.17953.pdf
Github Repository	https://github.com/RUC-NLPIR/Agent-Reflex

4. Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes (111 votes)

Tác giả: Yu Wang, Rui Dai, Wei Chen, Yi Wang, Bo Dang, et al.

Xuất bản lúc: 2026-10-13

Tag: 3D Grounding, Vision-Language Models, Reinforcement Learning, Agentic AI, City-Scale 3D, Tool Use, Spatial Reasoning

I. Main Problem:

Bài toán grounding ngôn ngữ ở quy mô thành phố (tìm vật thể trong scene 3D đô thị lớn từ mô tả tự nhiên, ví dụ "chiếc xe trắng đậu cạnh xe cam bên trái tòa nhà X") hiện bị kẹt ở công thức candidate ranking:

Cần instance proposals tính trước (ground-truth hoặc từ mạng segmentation ngoài), nên độ chính xác phụ thuộc hoàn toàn vào chất lượng proposals.
Chi phí suy luận tăng theo số lượng candidates phải chấm điểm (hàng nghìn instance/scene).
Phương pháp indoor (downsample point cloud về ~50k điểm) mất hết hình học chi tiết của vật nhỏ trong scene hàng chục triệu điểm.
Coi việc định vị như retrieval tĩnh một lần, trong khi thực tế nó là quá trình tìm kiếm tuần tự, có khám phá.

II. Main Idea:

Urbex định khung lại grounding thành phố thành tìm kiếm không gian chủ động (active spatial search): thay vì chấm điểm mọi ứng viên, một VLM agent tương tác với scene như một môi trường đa-view.

Quy trình:

Bắt đầu từ global bird's-eye-view (BEV) của toàn thành phố, kèm ánh xạ tọa độ view-to-world.
Landmark Query: tra cứu tên địa danh (tòa nhà, đường) để có neo không gian thô.
Zoom-in: cắt vùng BEV gốc độ phân giải cao (ảnh BEV dài hơn 10.000 pixel) để xem chi tiết vật nhỏ.
Oblique Rendering: render vùng ứng viên theo hướng nghiêng để kiểm chứng hình dạng, chiều cao 3D.
Submit: đưa ra bounding box tự do trên view BEV-aligned, hệ thống chiếu ngược về tọa độ thế giới.

Chính sách dùng tool được huấn luyện bằng reinforcement learning (GRPO) trên CityRefer với terminal reward mượt (IoU + khoảng cách tâm mũ âm + phạt số bước) và tool-level shaping rewards (thưởng zoom đi gần mục tiêu hơn, phạt tool lỗi). Không cần candidate boxes, không cần supervised demonstrations.

Ví dụ đời thường: giống người lạ tra bản đồ thành phố trên điện thoại: nhìn toàn cảnh trước, tìm tên con đường/tòa nhà làm mốc, phóng to khu vực nghi là đúng, rồi xoay sang ảnh nghiêng (Street View) kiểm tra lần cuối trước khi chốt vị trí — thay vì soi từng ngôi nhà trong cả thành phố.

III. Main Results:

CityRefer (With GT): Hit@1 tốt nhất ở cả hai split — ND 25.8, NO 23.9 — vượt CityAnchor (23.4/14.2); thời gian suy luận 3.2s/example so với 32.1s của CityAnchor (nhanh ~10 lần).
CityRefer (Without GT): Urbex đạt 15.6/11.0 2D/3D IoU (ND); pipeline CityAnchor + SoftGroup proposals chỉ đạt 4.2/2.4 — chứng tỏ grounding không cần proposals khả thi và vượt trội.
Zero-shot trên STPLS3D-Refer: tốt nhất mọi metric (Hit@1 27.2 vs 16.3 của GPT-5.4 cùng công cụ), cho thấy chính sách tìm kiếm học được khái quát hóa cross-scene; trên 30 câu không có landmark vẫn đạt 23.3 Hit@1.
Ablation tool: không tool → Hit@3 chỉ 10.5; thêm Zoom-in 15.5; thêm Landmark Query 28.2 (tăng mạnh nhất); đủ 3 tool + ngân sách 8 lượt → 36.9. Ablation reward: IoU-only 22.8 → full reward 36.9.
Phân tích lỗi: box dự đoán thường lớn hơn mục tiêu (median diện tích 1.4x, P90 gần 10x) — nhận đúng vật nhưng bao nhiêu ngữ cảnh thừa, gợi ý cải thiện bước tinh chỉnh box.

IV. Conclusion & Future Works:

Urbex chứng minh grounding 3D quy mô thành phố nên được xem là tìm kiếm không gian chủ động bằng agent chứ không phải ranking tĩnh: bỏ được phụ thuộc proposals, nhanh hơn một bậc độ lớn, và chính sách RL học được khái quát hóa sang scene mới zero-shot. Hướng cải tiến hợp lý:

Tinh chỉnh box sau khi chọn đúng mục tiêu (box hiện thường bao thừa ngữ cảnh).
Cải thiện chọn vùng và kiểm chứng cục bộ — hai nguồn lỗi chính (zoom lệch vùng, nhầm instance gần nhau).
Mở rộng sang đặt tên/tra cứu địa danh tự động và môi trường đô thị động, thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng agentic spatial grounding cho bài toán định vị nhiều mục tiêu cùng lúc (multi-object referring) trong scene đô thị lớn, agent tự phân chia lượt tương tác giữa các mục tiêu.
Học chiến lược tự chọn độ phân giải (foveated zoom) thay vì ngân sách lượt cố định, cân bằng độ chính xác và chi phí tương tác theo độ khó của câu truy vấn.
Kết hợp bản đồ địa danh ngoài (kiểu OpenStreetMap) như một công cụ retrieval bổ sung cho Landmark Query để xử lý câu mô tả mang tên địa danh hiếm hoặc mới.

2. Patent:

Ứng dụng điện thoại hỏi-đáp bản đồ: người dùng hỏi bằng giọng nói "xe tải màu xanh đậu cạnh siêu thị ở đâu"; hệ thống trên điện thoại hiển thị bản đồ toàn cảnh, tự phóng to khu vực gần siêu thị, đổi sang ảnh nghiêng để kiểm tra rồi đánh dấu vị trí chính xác lên bản đồ.
Hệ trợ lý giám sát drone bay quan sát đô thị: khi nhân viên mô tả mục tiêu ("cột điện nghiêng gần ngã tư X"), drone tự tìm khu vực, bay lại gần, chụp ảnh nghiêng xác nhận và gửi tọa độ + ảnh chứng cứ về trung tâm.
Module giao hàng tự hành định vị điểm giao chi tiết: xe tự phóng to ảnh vệ tinh/bản đồ khu phố để phân biệt cổng nhà giống nhau (số nhà, xe đậu trước cửa) thay vì dựa vào tọa độ GPS thô thường lệch vài chục mét.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18356
ArXiv Abstract	https://arxiv.org/abs/2610.18356
PDF Download	https://arxiv.org/pdf/2610.18356.pdf
Github Repository	https://github.com/AMAP-ML/Urbex

5. Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards (96 votes)

Tác giả: Wenbo Hu, Shraman Pramanick, Krishna Kumar Singh, Nanyun Peng, Kai-Wei Chang, et al.

Xuất bản lúc: 2026-10-13

Tag: Long-Horizon Agents, RL, Reward Shaping, Agentic Training Data, Synthetic Environments, Verification, GRPO

I. Main Problem:

Các agent dài hạn làm việc nhiều giờ đến nhiều ngày rất quan trọng cho phát hiện tự động và cải tiến đệ quy, nhưng mô hình mã nguồn mở còn yếu vì:

Thiếu dữ liệu huấn luyện dài hạn đủ lớn và đáng tin: bộ agentic hiện có thường là bài ngắn/trung hạn, trong khi benchmark dài hạn chỉ có vài chục/vài trăm ví dụ do chuyên gia viết.
Nhiệm vụ dài, phức tạp khó tổng hợp và xác minh nếu tạo bằng LLM theo kiểu tách rời prompt, input và verifier.
Reward quá thưa: chỉ có pass/fail cuối cùng, khiến GRPO bỏ qua các group không rollout nào thành công — tức mất phần lớn tín hiệu đúng lúc policy còn yếu.

II. Main Idea:

Bài báo đề xuất latent-world-first synthesis: thay vì sinh task rồi tìm đáp án, pipeline xây trước một latent world hoàn chỉnh và đúng — đặc tả ẩn toàn bộ domain, workflow, trạng thái đúng sau mỗi bước — rồi render ngược thành môi trường agent-facing.

Latent world là “đáp án gốc” gồm dữ liệu đúng, workflow DAG, plan lỗi có thể nghịch đảo.
Từ world này, hệ thống tạo file sạch, rồi áp corruption có kiểm soát để tạo input hỏng; verifier, prompt, tiêu chí pass/fail và progress đều được suy ra từ cùng một world nên tránh artifact drift.
Mỗi task có progress potential Φ ∈ [0,1]: chấm workspace sau từng lượt dựa trên các trạng thái trung gian đúng của latent world, thay vì chỉ chấm khi nộp bài.
PPRS biến tiến độ thành reward dày: mỗi bước nhận thay đổi Φ, cộng thêm terminal pass/fail; nhờ đó cả nhóm rollout đều thất bại vẫn có advantage khác nhau theo mức tiến bộ.

Ví dụ đời thường: giống thầy giáo chấm bài tập lớn không chỉ nhìn kết quả cuối, mà có sẵn đáp án từng bước và chấm từng dòng đang đúng/sai, nên học sinh làm dở vẫn biết mình đang tiến tới đâu thay vì chỉ nhận một con số 0.

III. Main Results:

TEV-GYM: 1,170 môi trường verified trên 7 domain; task dài hơn mạnh so với các corpus trước — median khoảng 12.4 phút/rollout, pass rate thấp hơn, và có progressive reward.
TEV-9B: trên ALE-CM, S@1 tăng từ 0.25 lên 0.29, P@5 tăng từ 0.06 lên 0.11 so với Qwen3.5-9B.
TEV-27B: ALE-CM P@5 tăng từ 0.17 lên 0.28, ngang GPT-6 Astra và Claude Opus 5; P@1 trên TB 4.0-CM tăng 2.5×, TB 3.0-CM tăng +56%, vượt GLM 5.2 và Gemini 3.7 Flash.
TB 2.1: TEV-27B đạt Pass@1 0.794, tương đương mức Claude Opus 4.8, dù không train trực tiếp trên benchmark này.
TEV-320B từ GLM-5.3-Flash: P@1 TB 3.0 tăng 0.20→0.27, TB 4.0 tăng 0.29→0.37; trên TB 4.0 chỉ sau Claude Opus 5, Claude Fable 5 và GPT-5.6 (sol).
Ablation cho thấy cả latent-world-first data lẫn PPRS đều cần thiết: verifier thiếu hidden truth hoặc prompt-first LLM không vượt base; terminal-only reward kém hơn rõ và ở scale 27B gần như tạo các group zero-advantage.

IV. Conclusion & Future Works:

TEV chứng minh rằng nếu xây dữ liệu agent từ một latent world đúng trước, ta có thể đồng thời có môi trường dài hạn, khó, xác minh chính xác và reward tiến độ dày cho RL. PPRS giúp các bài toán từng bị reward thưa làm “chết gradient” trở nên train được. Hạn chế: mới tập trung vào môi trường terminal tổng hợp; khoảng cách với frontier agents vẫn còn ở benchmark khó nhất; mỗi workflow mới cần generator/validator riêng. Hướng tương lai: giảm chi phí tạo môi trường mới, mở rộng domain, kết hợp với base model mạnh hơn để thu hẹp khoảng cách với các agent frontier.

V. Brainstorming Space:

1. Publish Papers:

Latent-world-first synthesis cho môi trường đa phương thức: render không chỉ file/text mà cả dashboard, hình ảnh, tài liệu tài chính và trạng thái vật lý từ cùng một world ẩn để agent học các workflow chuyên nghiệp đa dạng hơn.
PPRS cho RL agent dài hạn có kiểm soát rủi ro: mở rộng progress potential sang môi trường có hậu quả không thể hoàn tác, với reward vừa khuyến khích tiến bộ vừa phạt regression nguy hiểm.
Tự động mở rộng TEV-GYM bằng coding-agent generator: cho agent viết và kiểm chứng generator mới theo coverage axes, seed và difficulty tiers nhằm tạo hàng chục nghìn môi trường dài hạn đã verified.

2. Patent:

Nền tảng tạo bài thực hành IT tự động trên điện thoại/máy tính: hệ thống xây trước một “thế giới đúng” ẩn của hệ thống, sau đó làm hỏng có kiểm soát dữ liệu, log, cấu hình và chấm điểm từng bước người học đã sửa đúng bao nhiêu.
Hệ thống đào tạo trợ lý vận hành cloud cho doanh nghiệp: ẩn một trạng thái hạ tầng chuẩn, sinh các sự cố như lệch schema, duplicate record, stale cache, rồi dùng điểm tiến độ dày để huấn luyện agent sửa lỗi nhiều giai đoạn.
Công cụ chấm coding interview dài hạn: thay vì chỉ pass/fail cuối bài, hệ thống so workspace ứng viên với trạng thái đúng từng giai đoạn để phát hiện ai làm gần đúng nhưng thiếu bước cuối.
Giải pháp chống reward hacking trong huấn luyện agent doanh nghiệp: progress scorer, verifier và solver tham chiếu phải tách biệt code closure, đồng thời dùng metamorphic transforms và counterfactual wrong states để kiểm tra agent không chỉ ‘ăn gian’ định dạng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18868
ArXiv Abstract	https://arxiv.org/abs/2610.18868
PDF Download	https://arxiv.org/pdf/2610.18868.pdf
Github Repository	N/A

6. Harness^2: Recursive Agent Harnessing for an Open World (87 votes)

Tác giả: Ruiyao Xu, Yanfei Chen, Zhongying CuiZhu, Bhavana Dalvi Mishra, Yifei Ming, et al.

Xuất bản lúc: 2026-10-09

Tag: LLM Agents, Recursive Self-Improvement, Agent Harness, Test-Time Adaptation, Tool Use, Self-Refinement, Open-World Benchmarks

I. Main Problem:

Hiệu năng của một LLM agent không chỉ nằm ở model, mà còn ở harness xung quanh: prompt, guardrails, memory, skills, tool guidance, scripts, subagents và middleware. Khi tác vụ mới liên tục xuất hiện ở open world, hai khó khăn làm Recursive Self-Improvement khó triển khai:

Thiếu ground-truth verifier: tác vụ test-time thường mới lạ, không có nhãn đúng/sai hoặc bài test tin cậy để biết chỉnh harness có thật sự tốt hơn không.
Chỉnh theo từng tác vụ khó chuyển sang tác vụ sau: sửa đúng một job có thể làm nhiễu job kế tiếp khi yêu cầu đổi; kế thừa nguyên harness cũ không đồng nghĩa học được cách cải tiến tốt hơn.

II. Main Idea:

Harness^2 tách hai lớp cải tiến và cho chúng cùng tiến hóa trên model đóng băng:

Task-level recursion: với tác vụ hiện tại, chạy một bước Propose–Probe–Compose. Propose sinh hai hướng sửa: invariant cho lỗi agentic hay gặp như planning, tool use, context management, delegation; domain-specific cho kiến thức, quy trình, ràng buộc của lĩnh vực. Probe chạy các candidate dưới điều kiện matched rồi so behavioral contrast với reference execution thay vì giả định đáp án đúng. Compose chỉ giữ thay đổi có bằng chứng hành vi ủng hộ, có thể merge, revise, adopt hoặc giữ nguyên harness.
Parallel recursion mở rộng bằng nhiều candidate và nhiều phiên compose; sequential recursion chuỗi các bước contrastive để bước sau sửa bước trước.
Harnessing-level recursion: sau mỗi tác vụ, hệ thống reflect lại toàn bộ improvement record, rồi cập nhật continual improvement harness. Thay vì mang theo execution harness cũ, nó lưu harness được adopt kèm EXPERIENCE.md ghi khi nào áp dụng, vì sao hiệu quả và bằng chứng nào hỗ trợ; tác vụ kế tiếp có thể tái dùng có chọn lọc.

Cơ chế giống thợ sửa máy không chỉ vá xong máy hôm nay, mà chạy thử hai kiểu chỉnh trên cùng một triệu chứng, chỉ giữ kiểu làm máy chạy khác theo hướng tốt hơn, rồi ghi vào sổ tay xưởng rằng “với triệu chứng này nên vặn ốc này, bằng chứng là tiếng kêu giảm và sản phẩm đều hơn”, để lần sửa sau bắt đầu thông minh hơn.

III. Main Results:

Một contrastive step đã cải thiện cả Gemini 3.5 Flash và GLM-5 trên cả OpenCode lẫn Codex; lợi ích lên tới +11.5 điểm WorkBuddy-Bench, +4.5 điểm JobBench, +11.8 percentage points LAB Partial.
Parallel recursion k=5 thêm khoảng +2.9 tới +3.9 điểm WorkBuddy-Bench, +3.0 tới +4.2 JobBench, +2.6 tới +6.7 điểm phần trăm LAB Partial so với một bước.
Model yếu hơn hưởng lợi rõ ở WorkBuddy-Bench và LAB: GLM-5 sau cải thiện vượt base Gemini trên một số cấu hình, cho thấy harness tốt có thể bù model mạnh hơn nhưng harness gốc kém.
Khi tăng budget k từ 1 tới 5, Harness^2 tăng khá đều; ở k=2, cả parallel lẫn sequential đã vượt mọi baseline đạt tới k=5 trên WB-code và WB-office. ReasoningBank và Harness Scaling nhỏ hơn hoặc không ổn định.
Cả hai cấu hình Harness^2 nằm trên Pareto frontier khi đối chiếu hiệu năng với tổng token trước khi nộp deliverable.
Ablation tại k=1 cho thấy cả ba phần đều cần: bỏ improvement library giảm 3.1/1.8 điểm trên WorkBuddy/JobBench, bỏ scoped candidate giảm 2.9/3.7, bỏ composition giảm 1.6/1.9.
Cập nhật improvement harness có giá trị thật: refine base harness mà không có reference executions, candidate probes hay library làm Code rớt 73.4 → 63.2 và Web 69.9 → 65.0; library lớn hơn giúp các lần harness edit sau mạnh hơn, và library chuyển từ JobBench cũng cải thiện WorkBuddy-Bench.

IV. Conclusion & Future Works:

Điểm mấu chốt là quá trình cải tiến harness cũng phải trở thành nguồn học: execution harness là đối tượng được sửa, còn improvement harness là cơ chế biết cách sửa tốt hơn theo thời gian. Bằng cách thay “tin điểm số giả định” bằng behavioral contrast và lưu experience có bằng chứng, hệ thống cải thiện được cả tác vụ hiện tại lẫn khả năng thích nghi tác vụ tương lai. Hướng phát triển tự nhiên gồm: làm evidence chắc hơn dưới execution stochasticity, cải thiện index/retrieval của harness improvement library khi quy mô lớn, giảm token và latency trong khi giữ vị trí Pareto, kiểm chứng chuyển giao rộng hơn giữa domain khác nhau, và gia cố an toàn cho các thay đổi tự động khi không có verifier bên ngoài.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng recursive agent harnessing sang môi trường liên tục thay đổi, với cơ chế chống “thành công giả” khi execution stochasticity hoặc bias chung của model làm sai lệch behavioral contrast.
Nghiên cứu thư viện cải tiến có cấu trúc: học cách retrieve và tái dùng harness components theo tình huống, ràng buộc, domain và mức rủi ro thay vì chỉ lưu file cũ.
Đánh giá bảo mật và an toàn của agent tự chỉnh scaffold: khi nào nên giữ nguyên harness, khi nào cần sandbox cho candidate probes, và làm sao ngăn lesson sai được ghi vào memory dài hạn.
Kết hợp recursive harness refinement với kiểm chứng bên ngoài yếu: hợp đồng, log công cụ, rubric nghề nghiệp hoặc phản hồi người dùng để tăng độ tin cậy khi không có ground truth.
Tối ưu song song hóa Propose–Probe–Compose cho latency thực tế: cân bằng giữa số candidate, số bước sequential, chi phí token và chất lượng bằng chứng thu được.

2. Patent:

Trợ lý AI trên điện thoại tự tinh chỉnh quy trình làm việc: sau mỗi tác vụ như soạn email, tạo bảng hoặc đặt lịch, hệ thống tạo hai phiên bản hướng dẫn/skill khác nhau, chạy thử trong điều kiện giống nhau, giữ thay đổi làm kết quả ổn định hơn và ghi chú “áp dụng khi nào” để lần sau dùng lại đúng ngữ cảnh.
Ứng dụng văn phòng di động có chế độ self-repair: khi người dùng phàn nàn kết quả, app không chỉ sửa output hiện tại mà so sánh hành vi trước/sau khi đổi prompt, tool guidance, memory hoặc subagent, rồi cập nhật cấu hình assistant theo bằng chứng hành vi thay vì đoán.
Trợ lý pháp lý trên máy tính bảng/điện thoại cho luật sư: sau khi rà soát hợp đồng, hệ thống lưu lại checklist lĩnh vực, dạng điều khoản rủi ro và bài học từ lần chỉnh scaffold; sang vụ mới khác lĩnh vực, nó vẫn tái dùng phần quy trình chung và chỉ điều chỉnh phần chuyên môn có kiểm chứng.
Module tinh chỉnh kỹ năng cho trợ lý lập trình trên thiết bị di động: khi user yêu cầu sửa bug hoặc tạo script ngắn, agent thử nhiều cách tổ chức tool call, giữ cách giảm số bước dư hoặc lỗi gọi công cụ, đồng thời đồng bộ “kinh nghiệm sửa” lên cloud để các phiên khác cùng hưởng lợi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14224
ArXiv Abstract	https://arxiv.org/abs/2610.14224
PDF Download	https://arxiv.org/pdf/2610.14224.pdf
Github Repository	https://github.com/google-research/harness2

7. GreenWAM: A World Foundation Model for Robotics (82 votes)

Tác giả: Gennady Sidorov, Valerii Kornilov, Denis Grankin, Polina Fedotova, Aleksey Postnikov

Xuất bản lúc: 2026-10-13

Tag: World Models, Robotics, Foundation Models, Vision-Language-Action, Cross-Embodiment, Humanoid

I. Main Problem:

Mỗi robot thường cần hai mô hình riêng: một world model dự đoán cảnh thay đổi thế nào khi robot hành động, và một policy chọn hành động. Các mô hình hiện nay chỉ được xây dựng và đánh giá cho một trong hai vai trò, và dữ liệu robot bị phân mảnh nghiêm trọng: mỗi robot ghi lại hành động theo format riêng (thứ tự khớp, đơn vị, quy ước dấu khác nhau), khiến cùng một chiều tensor có thể biểu thị chuyển động khác nhau trên các robot khác nhau. Hệ quả: khó có một mô hình duy nhất vừa dự đoán thế giới vừa điều khiển được nhiều loại cơ thể robot.

II. Main Idea:

GreenWAM là world foundation model cho robotics, được xây dựng bằng ba bước:

Shared anatomical action space: 79 slot chung mô tả cơ thể 20 họ robot (từ cánh tay hai tay đến humanoid bàn tay khéo léo) trong tọa độ khớp dùng chung — chân (12), thân (23), cánh tay (18), bàn tay (26). Codec riêng cho từng layout ánh xạ khớp native vào slot chung, nên "khuỷu tay trái" luôn ở cùng một slot trên mọi robot.
Joint training trên 7 mode: text-to-video, image-to-video, forward dynamics, inverse dynamics, world–action (WAM)... — cùng một bộ trọng số generator trả lời nhiều câu hỏi khác nhau về cùng một clip.
Action expert: tách nhánh chuyên xử lý hành động ra khỏi generator để làm policy, khi cần điều khiển robot.

Ví dụ đời thường: giống như dạy một người học nghề bằng cách quy ước trước tên gọi chung cho các bộ phận cơ thể (vai, khuỷu, cổ tay giống nhau dù người cao thấp khác nhau), rồi cho xem video nhiều người làm việc để vừa đoán được họ sẽ làm gì tiếp (dự đoán) vừa tự làm được việc đó (điều khiển).

III. Main Results:

World model: đạt kết quả top-tier về trajectory, depth và 3D accuracy trên WorldArena 1.0, vượt mọi world–action model và video generator so sánh (Motubrain, FlowWAM-FiveAges, UNIS).
Policy: nằm trong nhóm đầu bảng xếp hạng RoboTwin 2.0; zero-shot LIBERO-plus 86.8% (cao nhất trong các phương pháp so sánh); cạnh tranh trên CALVIN và LIBERO với các VLA chuyên dụng.
Robot thật: trên humanoid thật, hoàn thành 95.6% lệnh in-distribution, so với 88.9% (policy adapt từ parent Cosmos 3) và 84.4% (π0.5); policy distill một-bước phản hồi nhanh hơn 12.3 lần.
Phát hiện từ ablation: (1) chuyên môn hóa robot cải thiện đồng thời dự đoán thế giới và điều khiển (+3.0 điểm trajectory accuracy, policy +5.4–8.4% thành công); (2) tách action expert ngay đầu adaptation +3.3% thành công; (3) giữ world-model modes trong policy adaptation +8.0% thành công trong cảnh ngẫu nhiên.
Dữ liệu: 20 họ robot, ~1.675 giờ, 74% dữ liệu thật, 1.43 triệu clip subtask.

IV. Conclusion & Future Works:

GreenWAM chứng minh một mô hình nền tảng duy nhất có thể đóng cả hai vai trò — world model và policy — trên nhiều cơ thể robot khác nhau, nhờ shared anatomical action space và joint training đa mode. Thiết kế slot chung chặt chẽ hơn projection riêng theo embodiment (Cosmos 3) hay action maps vào ảnh camera (GE-Sim 2.0), và không cần hiệu chuẩn camera chính xác từng khung. Hướng tương lai (suy luận từ hạn chế đã nêu): mở rộng sang robot không phải hai tay, tối ưu distillation cho real-time control trên nhiều nền tảng, và khai thác mô hình làm simulator dài hạn cho huấn luyện policy.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng không gian hành động giải phẫu chung cho robot một tay, drone và nền tảng di động, vượt qua giới hạn hai tay của 79 slot hiện tại.
Nghiên cứu cách chọn vị trí và số lượng anchor lịch sử tối ưu cho rollout tự hồi quy dài, giảm drift tích lũy khi mô phỏng quá 20 giây.
Phương pháp distill multi-step world–action model thành policy một-bước mà không mất độ chính xác dự đoán, cho điều khiển robot thật tần số cao.
Kết hợp action expert được tách với học tăng cường trên rollout mô phỏng do chính mô hình sinh ra, để tự cải thiện policy mà không cần dữ liệu người mới.

2. Patent:

Hệ thống điều khiển robot đa nền tảng cho nhà máy: một mô hình đám mây duy nhất nhận lệnh bằng giọng nói qua điện thoại, tự dịch sang tọa độ khớp chuẩn hóa của từng robot (cánh tay, humanoid) mà không cần lập trình lại cho từng máy.
Ứng dụng điện thoại mô phỏng robot trước khi vận hành: người dùng nhập lệnh, ứng dụng dùng world model dự đoán video quá trình robot thực hiện để người dùng xem trước hậu quả, rồi mới gửi lệnh thật xuống robot.
Module chuyển đổi dữ liệu robot cũ sang robot mới: thiết bị gateway ánh xạ khớp của robot đời cũ vào không gian giải phẫu chung, cho phép huấn luyện lại policy trên robot mới chỉ với vài giờ dữ liệu thay vì thu thập lại từ đầu.
Hệ thống huấn luyện humanoid thời gian thực: policy một-bước đã distill chạy trực tiếp trên bộ điều khiển robot, phản hồi trong tích tắc, cho các tác vụ cần phản xạ nhanh như bắt đồ vật rơi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18774
ArXiv Abstract	https://arxiv.org/abs/2610.18774
PDF Download	https://arxiv.org/pdf/2610.18774.pdf
Github Repository	https://github.com/greenvla/GreenWAM

Tác giả: Xin Gao, Yifan Yang, Xin Li, Pan Wang, Yan Li, et al.

Xuất bản lúc: 2026-10-13

Tag: Code Generation, Vision-Language Models, Reinforcement Learning, Visual Design, Cross-Modal Learning, RLHF, Infographics

I. Main Problem:

Sinh các sản phẩm trực quan giàu thông tin (slides, posters, dashboards) dưới dạng code là rất hấp dẫn vì kết quả có cấu trúc, có thể chỉnh sửa và kiểm chứng được, nhưng hai hướng hiện có đều có điểm yếu căn bản:

Code model không 'nhìn thấy' canvas: layout, phân cấp, màu sắc được khai báo từng dòng nên nội dung đúng nhưng trông lỗi thời, thiếu thẩm mỹ.
Image generator giỏi thiết kế trực quan nhưng thường render sai chữ, số liệu, quan hệ logic; đầu ra là ảnh raster không sửa được, không kiểm chứng được.
Các phương pháp image-to-code hiện có coi ảnh đầu vào là ground truth tuyệt đối để tái tạo pixel — điều này vô nghĩa khi ảnh là ảnh tự sinh có nội dung bị 'ảo' (hallucinated), vì nó phạt những thiết kế hợp lệ và thưởng cho việc sao chép lỗi.

Bài toán cốt lõi: nội dung phải tuân thủ chặt prompt, còn layout/style được rút ra linh hoạt từ một ảnh tham chiếu nhiễu.

II. Main Idea:

AesCode huấn luyện code model dùng ảnh do image generator tạo ra (cùng prompt) làm guía thẩm mỹ, không phải bản sao để nhân bản. Cơ chế chính:

Design Graph làm mục tiêu giám sát: mỗi artifact được biểu diễn thành đồ thị với node là các phần tử (text block, bảng, biểu đồ, container), thuộc tính tách rời giữa nội dung (chuỗi, dữ liệu) và thuộc tính trực quan (bounding box, màu), cạnh mô tả quan hệ (chứa, căn hàng, thứ tự). Nhờ đó từng thuộc tính có thể quy trách nhiệm (attributable) để chấm điểm riêng.
Cross-modal rewards tách rời (decoupled): 6 verifier tất định chấm các thuộc tính đọc được từ code/DOM/render (execution, text, boundary, table/chart, semantic layout, whitespace); phần còn lại do VLM judge chấm qua Visual Graph Rubric (VGR) — danh sách câu hỏi yes/no gắn với từng node/quan hệ của đồ thị, thay vì một điểm tổng quát dễ dao động.
GDPO (Group reward-Decoupled Normalization Policy Optimization): chuẩn hóa từng kênh reward riêng trước khi gộp, tránh tín hiệu verifier dày đặc (dễ bão hòa) lấn át feedback thẩm mỹ thưa thớt.
Pipeline: SFT cold-start từ teacher demonstration → RL với GDPO trên ảnh tham chiếu tổng hợp.

Ví dụ đời thường: giống người học nấu ăn xem ảnh món ăn trong sách để học cách bày trí và phối màu, chứ không sao chép nguyên liệu sai trong ảnh — công thức (nội dung prompt) vẫn phải theo đúng giáo trình, còn cách trình bày thì học hỏi linh hoạt từ ảnh mẫu.

III. Main Results:

AesCode-8B và 32B (dựa trên Qwen3-VL) vượt backbone cùng cỡ lần lượt +31.1 và +22.4 điểm Visual, Overall tăng từ 51.93→82.94 (8B) và 61.10→85.89 (32B).
Đạt chất lượng trực quan ngang các mô hình frontier GPT-5.5 và Claude Opus 4.8, trong khi độ chính xác nội dung cao hơn (Rule 94.33%, Text 95.34%, Table/Chart 90.37% ở 32B).
Ảnh tham chiếu giúp mọi mô hình được test cải thiện Visual; khi bỏ ảnh lúc inference, AesCode-8B chỉ mất 1.0 điểm (backbone mất ~19.6) — nghĩa là model đã internalize được khả năng thiết kế.
Ablation: RL mang lại phần lớn lợi ích; GDPO hơn GRPO +5.1 điểm Visual; VGR hơn CLIP reward (+5.3) và holistic VLM score (+6.9); viết rubric trực tiếp không qua design graph kém hơn 3.2 điểm.
Transfer sang 3 benchmark ngoài (Design2Code, SlidesBench, GDB/lica): cải thiện trên tất cả 14 chỉ số so với backbone, lớn nhất ở các độ đo nhạy thiết kế (layout, màu sắc, color harmony).
Đánh giá con người: checklist Visual khớp 93.3% phán đoán người; VGR khớp 89.3%; AesCode-32B tương đương GPT-5.5 về thẩm mỹ nhưng thỏa mãn nội dung cao hơn (86.5% vs 83.5%).
Lỗi còn lại: tràn canvas hiếm gặp, mất cấu trúc quan hệ, icon ngữ nghĩa suy thoái thành hình tròn đơn giản; Style vẫn là nút cổ chai chung (<60%).

IV. Conclusion & Future Works:

AesCode chứng minh image generator có thể đóng vai giáo viên thẩm mỹ có thể mở rộng cho các model sinh cấu trúc, chứ không chỉ là công cụ sinh nội dung. Design graph + rewards tách rời + GDPO giúp code model đạt chất lượng trực quan ngang mô hình frontier đồng thời vượt trội về tính kiểm chứng được, và giữ được phần lớn năng lực này khi không còn ảnh tham chiếu lúc inference. Hướng tương lai: refinement lặp dựa trên trực quan (để xử lý hình học pixel-level mà code khó tiên đoán), phản hồi cấu trúc chính xác hơn ở cấp quan hệ, và cải thiện các phần tử trực quan mang tính ngữ nghĩa (icon SVG).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng design graph thành dạng có thể cập nhật lặp: model sinh code, render, tự phát hiện lỗi hình học pixel-level (tràn canvas, chồng lấp) rồi hiệu chỉnh đồ thị và sinh lại — tạo vòng lặp 'sinh-render-sửa' có grounding trực quan.
Phát triển reward định vị lỗi ở cấp cạnh/quan hệ của đồ thị (thay vì chỉ cấp node) để khắc phục mất cấu trúc quan hệ — chế độ lỗi lớn thứ hai hiện nay do reward quan hệ còn thưa.
Nghiên cứu cơ chế sinh phần tử ngữ nghĩa (icon, hình minh họa SVG) grounded theo nghĩa nội dung, thay vì suy thoái thành ký hiệu đơn giản, có thể kết hợp retrieval hoặc diffusion riêng cho icon.
Áp dụng paradigm 'ảnh tham chiếu làm aesthetic prior' cho các miền cấu trúc khác: sinh giao diện ứng dụng mobile, bố cục báo cáo tài liệu, hoặc video infographic, nơi kiểm chứng được và thẩm mỹ đều quan trọng.

2. Patent:

Công cụ thiết kế slide/poster trên điện thoại: người dùng nhập nội dung, hệ thống tự sinh một ảnh tham chiếu đẹp bằng image generator, rồi một code model được huấn luyện kiểu AesCode xuất bản HTML/PowerPoint có thể chỉnh sửa — kết hợp chấm điểm tự động (VGR) để gợi ý sửa layout trước khi xuất file.
Trợ lý tạo dashboard kinh doanh trong ứng dụng văn phòng: nhân viên nhập yêu cầu bằng giọng nói, hệ thống sinh dashboard dạng code (biểu đồ ECharts, bảng HTML) với kiểm chứng tự động đảm bảo số liệu khớp dữ liệu thật và bố cục đạt chuẩn thẩm mỹ doanh nghiệp.
Hệ thống kiểm thẩm mỹ tự động cho website thương mại điện tử: quét các trang HTML/CSS của gian hàng, dùng VLM judge với checklist yes/no để phát hiện chồng lấp chữ, mất căn hàng, phân bố khoảng trắng kém — cảnh báo trước khi lên sóng.
Plugin thiết kế tự động cho ứng dụng trình chiếu: khi người dùng dán nội dung văn bản thô, plugin tạo nhiều phương án bố cục dựa trên ảnh mẫu tham chiếu và học từ phản hồi chọn lựa của người dùng để cá nhân hóa gu thẩm mỹ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18860
ArXiv Abstract	https://arxiv.org/abs/2610.18860
PDF Download	https://arxiv.org/pdf/2610.18860.pdf
Github Repository	https://github.com/microsoft/AesCode

9. WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution (74 votes)

Tác giả: Hang He, Linting Wang, Guanming Liu, Bo Mao, Jinxiu Liu, et al.

Xuất bản lúc: 2026-10-13

Tag: LLMs, Reinforcement Learning, Agent Training, GRPO, Environment Synthesis, Long-Horizon Agents, Credit Assignment

I. Main Problem:

Đào tạo agent đồng hành làm việc (cowork agent) bằng reinforcement learning đòi hỏi môi trường huấn luyện có thể thực thi và phản hồi đáng tin. Các pipeline tổng hợp môi trường hiện có mấy khó khăn chính:

Thành phần lệch pha nhau: work context (file, ứng dụng, công cụ), task, và verifier được xây dựng riêng lẻ nên dễ mâu thuẫn — thiếu đầu vào, task mơ hồ, hoặc chấm điểm không căn cứ vào kết quả thật.
Sửa lỗi này hỏng lỗi khác: sửa một component (ví dụ task) có thể đòi hỏi cập nhật các component phụ thuộc (verifier, harness), và có thể gây regression sang task khác dùng chung tài nguyên.
Phản hồi thưa và trễ: phần thưởng chỉ có ở cuối trajectory, nên các bước tìm thông tin hữu ích ở đầu không được ghi nhận, trong khi bước thừa trong trajectory thành công lại được thưởng.

II. Main Idea:

WorkRover là framework đào tạo agent đồng hành tầm xa qua tiến hóa môi trường đệ quy, gồm ba trụ cột:

Harness-driven synthesis: một Harness điều phối các construction agent xây dựng đồng thời và kiểm chứng work context, task và verifier, theo dõi dependency giữa chúng thay vì chạy theo quy trình cố định. Task khả thi được xác nhận bằng demo chạy từ trạng thái sạch; verifier được hiệu chuẩn để chấp nhận cả các lời giải đúng khác, không chỉ một đường đi.
Factorial Compatibility Replay (FCR): khi rollout lộ ra lỗi môi trường, freeze một đề xuất sửa cho mỗi component (ΔC, ΔT, ΔH, ΔV), thử mọi tổ hợp (tối đa 2⁴ = 16) dưới cùng seed và ngân sách; mỗi tổ hợp được mở rộng theo dependency-closure rồi replay. Chọn bản sửa nhỏ nhất vượt kiểm chứng, giữ nguyên ý định gốc của task và evaluation contract, rồi xác nhận bằng rollout seed mới.
Verifier-to-Turn Credit Assignment (VTCA): bổ sung tín hiệu mức turn cho GRPO bằng các check xác địng đóng băng đo tiến bộ/lùi của workspace sau mỗi turn; credit dương được chia phần lớn cho turn tạo ra tiến bộ, phần còn lại cho các turn tiền nhiệm có dependency về tool-output/artifact, còn regression thì giữ nguyên tại turn gây ra. Không cần judge ở giữa trajectory.

Ví dụ đời thường: giống thợ sửa máy pha cà phê bị kẹt — thay vì vứt máy mua máy mới (regeneration), anh ta đề xuất vài bộ phận sửa riêng (ống nước, van, cảm biến), thử từng cách kết hợp nhỏ nhất cho đến khi máy chạy đúng như cũ, rồi dạy học viên từng thao tác đúng thay vì chỉ chấm điểm cả buổi.

III. Main Results:

WorkRover-35B-A3B (post-train từ Qwen3.5-35B-A3B) vượt backbone trên cả 5 benchmark ngoài: JobBench +26.27 điểm % (10.62→36.89), OfficeQA Pro +29.32 điểm (19.55→48.87), AutomationBench +22.67 điểm, WorkBuddy Bench +13.63 điểm, GDPval v2 +413.25 Elo (804.75→1218.00).
Số 1 trong nhóm mô hình open-weight 27–35B trên cả 5 benchmark; vượt cả một số mô hình lớn hơn (GLM-5.2, MiniMax-M3, Kimi K3 ở WorkBuddy).
FCR hiệu quả hơn regeneration: tỷ lệ sửa an toàn tăng từ 60.7% → 70.3%, thay đổi ý định task giảm từ 14.3% → 1.3%, chi phí token thấp hơn (1.00 vs 1.34 lần). Pass rate tổng hợp task tăng 49.8% → 68.8% (regen) → 74.8% (FCR).
48–74% ca sửa cần chỉnh sửa kết hợp nhiều component — chứng minh sửa từng phần độc lập là không đủ.
VTCA vượt episode-only GRPO trên cả 5 benchmark dưới cùng rollout budget (lớn nhất: +5.7 điểm AutomationBench, +5.4 điểm OfficeQA Pro, +43 Elo GDPval).
Ablation pipeline: bỏ relation-aware expansion hoặc validation-guided rewriting làm task yield sụt từ 74.8% xuống ~50% — dependency và viết lại theo phản hồi là then chốt.

IV. Conclusion & Future Works:

WorkRover cho thấy phản hồi thực thi có thể cải thiện đồng thời cả agent và môi trường huấn luyện: Harness giữ các component luôn đồng bộ, FCR sửa môi trường bằng bản vá tối thiểu có kiểm chứng, VTCA đưa tín hiệu học xuống từng turn dựa trên tiến bộ workspace đã xác minh. Hướng tương lai (ngầm định): mở rộng quy mô thư viện skill/môi trường, cải thiện độ phủ checker và chất lượng dependency record (vì tín hiệu VTCA phụ thuộc vào chúng), và thu hẹp khoảng cách với mô hình lớn ở occupational work (JobBench, GDPval).

V. Brainstorming Space:

1. Publish Papers:

Ứng dụng FCR cho bảo trì benchmark agent ngoài phạm vi huấn luyện: tự phát hiện và vá lỗi môi trường đánh giá thương mại (ví dụ benchmark văn phòng) bằng replay có kiểm chứng, giảm chi phí tái tạo toàn bộ test suite.
Kết hợp VTCA với phản hồi từ người dùng thật trong sản phẩm: gán credit mức bước cho agent trợ lý trên điện thoại dựa trên thay đổi trạng thái thật (file, lịch, email) thay vì chỉ kết quả cuối phiên.
Nghiên cứu tiến hóa môi trường đa thế hệ: cho FCR chạy nhiều vòng trên cùng kho task để đo giới hạn bão hòa chất lượng môi trường và tương quan với hiệu suất agent qua thời gian.

2. Patent:

Hệ thống tự sửa kịch bản kiểm thử phần mềm doanh nghiệp: khi ca kiểm thử tự động báo lỗi, hệ thống đề xuất vá tối thiểu cho từng phần (dữ liệu test, kịch bản, bộ chấm điểm), thử mọi tổ hợp dưới cùng điều kiện chạy và chọn bản vá nhỏ nhất không phá test liên quan.
Trợ lý văn phòng trên điện thoại có chấm điểm từng bước: sau mỗi lượt tác động (sửa tài liệu, gửi email, cập nhật bảng tính), ứng dụng đo tiến bộ thực tế của workspace và ghi nhận công cho các bước chuẩn bị trước đó, giúp agent học cách làm việc dài hạn hiệu quả hơn.
Nền tảng tạo và bảo trì môi trường huấn luyện agent nội bộ: doanh nghiệp nhập kho file và ứng dụng của mình, hệ thống tự lắp ráp workspace, sinh task kèm bộ chấm điểm có bằng chứng, và tự vá lỗi khi agent chạy thử phát hiện bất hợp lý.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18067
ArXiv Abstract	https://arxiv.org/abs/2610.18067
PDF Download	https://arxiv.org/pdf/2610.18067.pdf
Github Repository	https://github.com/workrover/WorkRover

10. TPPO: Tracking-Value PPO For Language Model Reasoning (74 votes)

Tác giả: Futing Wang, Chenxi Li, Jianhao Yan, Yun Luo, Zhi Wang, et al.

Xuất bản lúc: 2026-10-12

Tag: Reinforcement Learning, LLMs, PPO, RLVR, Chain-of-Thought, Credit Assignment, Reasoning

I. Main Problem:

Trong Reinforcement Learning with Verifiable Rewards (RLVR) cho LLM reasoning, PPO dùng critic để ước lượng giá trị từng prefix và tính advantage cho từng token. Tuy nhiên:

Critic chuẩn dự đoán độc lập giá trị từng trạng thái, không mô hình hóa sự thay đổi giá trị giữa hai prefix liên tiếp (ΔV = V(st+1) − V(st)) — vốn quyết định credit tương đối giữa các token.
Với reward nhị phân thưa thớt ở cuối câu, lỗi này hệ thống: độ chính xác về dấu của ΔV dự đoán chỉ quanh mức ngẫu nhiên, thậm chí giảm từ 50.3% xuống 45.9% trong quá trình train, làm đảo ngược thứ tự advantage giữa các bước đúng/sai trong cùng một câu trả lời.

II. Main Idea:

Bài báo chỉ ra rằng với reward nhị phân, mỗi prefix value chính là xác suất câu trả lời thành công, và theo quy tắc Bayes, cập nhật giá trị giữa hai prefix liên tiếp trở thành phép cộng trong không gian log-odds (logit chênh lệch bằng log-likelihood ratio của token).

Từ đó, TPPO thiết kế lại critic theo dạng tích lũy: thay vì dự đoán trực tiếp giá trị từng vị trí, critic xuất một số vô hướng cho mỗi token, cộng dồn chúng thành logit rồi qua sigmoid để tái tạo giá trị prefix (V̂_t = σ(Σᵢ₌₁ᵗ f(sᵢ))). Các increment này được học thông qua binary cross-entropy với kết quả cuối cùng (đúng/sai) — không cần thêm rollout, không cần nhãn process-level.

Điểm khác biệt chính so với PPO:

Critic chuẩn: mỗi vị trí là một dự đoán độc lập.
TPPO: giá trị mỗi bước được xây từ tổng các thay đổi đã học, nên critic bắt buộc phải mô hình hóa quỹ đạo tiến hóa của giá trị dọc reasoning trace.

Ví dụ đời thường: giống như thay vì ghi tổng số dư tài khoản vào cuối mỗi ngày một cách độc lập (dễ ghi sai), bạn ghi lại thu nhập/chi tiêu của từng ngày rồi cộng dồn — số dư lúc nào cũng là tổng các biến động, nên luôn tự nhất quán và biết chính xác khoảng khắc nào tiền bị 'rò'.

III. Main Results:

Toán học (n=8): TPPO vượt PPO +7.0 điểm (Qwen3-4B-Base) và +8.4 điểm (Qwen3-8B-Base) trung bình in-domain; cải thiện cả OOD (ARC-C, AGI-Eval, BBH). Sớm dẫn trước và giữ vững qua training (validation acc, Pass@4), gradient norm nhỏ hơn, entropy giảm chậm hơn → ổn định hơn.
Toán học (n=1): +7.5 điểm (Qwen3-8B-Base), +10.1 điểm (Qwen3-4B).
Countdown (Qwen2.5-Math-1.5B): +4.6 điểm train, +3.2 điểm OOD (5 số).
Coding khoa học (Qwen3.5-9B): +7.0 điểm trung bình, riêng LiveCodeBench Code Gen v6 +15.5 điểm.
Theo dõi value evolution: độ chính xác dấu ΔV cao hơn PPO 3.9–7.4 điểm phần trăm qua các checkpoint (cùng loss BCE, chỉ khác parameterization).
Credit assignment: cosine similarity và sign accuracy của GAE advantage so với tham chiếu Monte Carlo cao hơn 15.3–19.9 điểm.
Ablation: lợi ích đến chủ yếu từ cumulative parameterization, BCE bổ sung thêm; TPPO+MSE hỏng sớm, PPO+BCE cải thiện nhưng vẫn thua TPPO; TPPO thắng PPO ở mọi hệ số GAE λ.

IV. Conclusion & Future Works:

Mô hình hóa cách giá trị tiến hóa dọc reasoning trace (thay vì dự đoán từng giá trị độc lập) cải thiện đáng kể credit assignment trong RLVR cho reasoning, mà không cần rollout bổ sung hay nhãn process-level. Phân tích Bayesian trong không gian log-odds cung cấp nền tảng lý thuyết cho parameterization tích lũy, và kết quả nhất quán trên nhiều mô hình (Qwen3-4B/8B, Qwen2.5-Math-1.5B, Qwen3.5-9B) và nhiều tác vụ (toán, countdown, coding) cho thấy hướng tiếp cận có tính tổng quát. Bài báo không đề xuất hướng tương lai cụ thể, nhưng gợi mở việc kết hợp với các kỹ thuật ước lượng giá trị khác (distributional, categorical) và áp dụng cho các dạng reward phức tạp hơn reward nhị phân.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng parameterization tích lũy cho critic khi reward không nhị phân (graded/continuous rewards), nơi cấu trúc cộng log-odts cần được tổng quát hóa qua các biến phân phối lợi nhuận.
Kết hợp TPPO với Monte Carlo tree search hoặc nhiều rollout để vừa học value evolution rẻ (terminal-only) vừa hiệu chỉnh critic bằng ước lượng MC chính xác hơn ở giai đoạn đầu training.
Áp dụng tư tưởng cumulative logit cho advantage trực tiếp thay vì qua critic, kiểm tra xem việc định nghĩa advantage như tổng các log-likelihood ratio học được có ổn định hơn GAE-TD trong bối cảnh sequence dài không.
Khảo sát TPPO cho RLVR đa bước / multi-turn với công cụ (tool-use), nơi value evolution xảy ra theo từng lượt hội thoại thay vì từng token.

2. Patent:

Hệ thống huấn luyện trợ lý giải toán trên điện thoại: mỗi token trong chuỗi suy luận được gán một điểm 'đóng góp' cộng dồn; ứng dụng chỉ cần biết kết quả đúng/sai cuối cùng để tự học và sửa cách gợi ý từng bước giải, giúp câu trả lời chính xác hơn mà không cần người chấm từng bước.
Công cụ gia sư lập trình tích hợp trong IDE: đánh giá mã chạy được/chạy lỗi ở cuối để tự tính mức độ hữu ích của từng dòng gợi ý, cộng dồn thành điểm tin cậy cho từng vị trí trong gợi ý, ưu tiên hiển thị các đoạn có xác suất đúng cao.
Dịch vụ cải thiện chatbot trả lời khách hàng qua phản hồi đúng/sai của người dùng: hệ thống học cách mỗi câu trong câu trả lời làm tăng hoặc giảm khả năng hài lòng, từ đó tự tinh chỉnh phong cách trả lời theo thời gian thực mà không cần duyệt thủ công từng câu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16794
ArXiv Abstract	https://arxiv.org/abs/2610.16794
PDF Download	https://arxiv.org/pdf/2610.16794.pdf
Github Repository	https://github.com/LINs-lab/TPPO

11. Vela: User Behavior as Supervision Sparks LLM Intelligence (69 votes)

Tác giả: Yang Xiao, Yusong Sun, Haoyi Wu, Wenyang Hui, Weiqiang Hang, et al.

Xuất bản lúc: 2026-10-10

Tag: LLMs, User Behavior, Personalization, Recommendation, Supervised Fine-Tuning, Reinforcement Learning, Benchmarks

I. Main Problem:

LLM ngày càng được dùng trong trợ lý cá nhân, gợi ý nội dung và quảng cáo, nơi cần hiểu một người cụ thể từ lịch sử hành vi dài hàng tuần đến hàng năm: họ thích gì, định làm gì, sẽ mua/xem/tìm kiếm tiếp theo nào.

Vấn đề là LLM hiện tại chủ yếu học từ văn bản tĩnh hoặc dữ liệu tổng hợp, không nắm được cách sở thích và hành vi của từng người thay đổi theo thời gian. Khi đó mô hình dễ:

trôi về hồ sơ người dùng trung bình
mất độ chính xác khi lịch sử dài
cá nhân hóa kém dù có đủ dữ liệu hành vi

Paper đặt câu hỏi: làm sao biến hành vi thật của người dùng thành tín hiệu huấn luyện có giám sát, và liệu nó có cải thiện cả năng lực user-related lẫn trí tuệ tổng quát của LLM.

II. Main Idea:

User behavior as supervision: thay vì chỉ dùng văn bản công khai, paper dùng hành vi thật sau này của người dùng làm đáp án để dạy LLM suy luận về người dùng.

Framework Vela gồm ba bước chính:

Dữ liệu thật đã ẩn danh: 100,000 người dùng, lịch sử gồm xem, tìm kiếm, mua, đăng bài, theo dõi, ẩn/không thích. Thông tin định danh bị loại bỏ.
Chia quá khứ/tương lai: mỗi lịch sử được cắt thành phần visible history và hidden future. Câu hỏi Predictive có đáp án lấy từ hành vi tương lai thật; câu hỏi Rubric được chấm theo tiêu chí cụ thể.
Tạo nhiệm vụ và lọc độ khó: 91 template tạo 100,000 tác vụ; giữ tác vụ có điểm trung bình khoảng 0.2–0.8, sau đó chỉ nhận trajectory tốt hơn mức trung bình lúc lọc, còn khoảng 75,000 mẫu cho Vela-Instruct. Một phần nhỏ gồm 9,375 mẫu tự sinh bởi chính Qwen3.6-35B-A3B tạo Vela-RFT.

Fine-tuning Qwen3.6-35B-A3B trên các trajectory này tạo Vela-35B-A3B và Vela-35B-A3B-RFT.

Ví dụ đời thường: như thay vì đọc sách giáo khoa về “người tiêu dùng nói chung”, hệ thống xem nhật ký hành vi của một người rồi che phần sau đi và đoán xem người đó thật sự làm gì tiếp; chính lần “mở đáp án” đó làm tín hiệu dạy mô hình.

III. Main Results:

VelaBench: Vela-35B-A3B đạt 63.0, cao hơn base Qwen3.6-35B-A3B +11.5 điểm; vượt cả DeepSeek-V4-Flash và Qwen3.8-2.4T-A95B dù nhỏ hơn nhiều.
User-related OOD: cải thiện trung bình +6.2 điểm trên bốn benchmark ngoài miền; mạnh nhất là AdRecommendation +11.2, ProfileSummary +10.1, PersonaBench +3.2, PurchaseIntent +0.2.
General OOD: cải thiện trung bình +4.0 điểm, gồm IFBench +6.7, CL-bench Life +5.6, GPQA-Diamond +4.6; cho thấy lợi ích không giới hạn ở tác vụ người dùng.
Scaling dữ liệu: từ 4.7K lên 75K mẫu, VelaBench tăng từ 59.2 lên 63.0; user-related OOD tăng từ 43.5 lên 47.5; general OOD tăng từ 55.8 lên 58.2.
Reinforcement learning: khởi tạo RL từ Vela-35B-A3B tốt hơn khởi tạo từ base model +7.7 điểm trên cả VelaBench và ProfileSummary.
Difficulty filtering: giữ tác vụ độ khó trung bình giúp user-related OOD tăng trung bình +1.1 điểm ở quy mô 37.5K, trong khi VelaBench giữ nguyên 62.4.

IV. Conclusion & Future Works:

Kết luận chính: hành vi thật của người dùng là nguồn supervision có thể mở rộng cho LLM, không chỉ cải thiện cá nhân hóa mà còn nâng cả năng lực tổng quát. Cơ chế quan trọng là dùng tương lai quan sát được làm đáp án cho bài toán suy luận từ quá khứ, đồng thời lọc dữ liệu độ khó hợp lý để tránh quá dễ hoặc quá khó.

Hướng đi tiềm năng gồm:

mở rộng sang nhiều nền tảng và tác vụ thực tế hơn
kết hợp tốt hơn với reinforcement learning và dữ liệu tự cải thiện
nghiên cứu quyền riêng tư, ẩn danh hóa và huấn luyện on-device
kiểm tra giới hạn khi hành vi người dùng dài hơn, đa phương thức hoặc thay đổi nhanh

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng user behavior supervision sang dữ liệu đa nền tảng và đa phương thức, kiểm tra xem LLM có học được sở thích ổn định hay chỉ học theo từng nền tảng riêng lẻ.
Phân tích lý do huấn luyện trên hành vi người dùng lại cải thiện cả benchmark tổng quát như toán, khoa học và tuân thủ chỉ dẫn.
Phát triển phương pháp ẩn danh hóa mạnh hơn và đánh giá rủi ro suy luận thuộc tính nhạy cảm từ lịch sử hành vi.
Kết hợp supervised learning từ hành vi thật với reinforcement learning để cá nhân hóa động và giảm drift về người dùng trung bình.
Xây dựng benchmark dài hạn theo tuần/tháng/năm để đo khả năng duy trì hồ sơ người dùng khi sở thích thay đổi.

2. Patent:

Trợ lý trên điện thoại dự đoán nhu cầu tiếp theo bằng cách đọc lịch sử dùng máy đã lưu cục bộ: ứng dụng, tìm kiếm, mua sắm và nội dung đã xem; hệ thống đoán người dùng muốn mở app nào, nghe bài gì hoặc đặt món gì tiếp theo mà không gửi dữ liệu thô lên máy chủ.
Hệ quảng cáo trên điện thoại cá nhân hóa theo hành vi thật: thay vì phân loại người dùng theo nhóm tuổi hoặc giới tính, hệ thống học từ chuỗi hành vi gần đây để chọn quảng cáo sản phẩm người dùng có khả năng quan tâm cao hơn và giảm quảng cáo gây khó chịu.
Bộ lọc đề xuất nội dung có giải thích: khi hệ thống đề xuất video, bài viết hoặc sản phẩm, nó chỉ ra hành vi trước đây nào của người dùng khiến nó đưa ra lựa chọn đó, giúp người dùng hiểu và chỉnh sở thích.
Chế độ huấn luyện cá nhân hóa riêng tư trên điện thoại: thiết bị tạo bài tập từ chính lịch sử dùng máy, che phần hành vi tương lai làm đáp án, tinh chỉnh mô hình nhỏ chạy cục bộ rồi chỉ đồng bộ tham số đã mã hóa.
Hệ thống chăm sóc khách hàng tự động có nhớ ngữ cảnh cá nhân: agent đọc lịch sử tương tác hợp lệ của khách hàng để đoán ý định hiện tại, ví dụ khách đang tìm đổi trả hay nâng cấp gói, thay vì hỏi lại từ đầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14709
ArXiv Abstract	https://arxiv.org/abs/2610.14709
PDF Download	https://arxiv.org/pdf/2610.14709.pdf
Github Repository	https://github.com/AllSpark-Research/Vela

12. DoSA: Dots Sparse Attention (67 votes)

Tác giả: Fanxu Meng, Taosong Fang

Xuất bản lúc: 2026-09-26

Tag: Sparse Attention, LLM Inference, Long Context, Top-K Selection, GPU Kernel, Conditional Computation

I. Main Problem:

Trong sparse attention kiểu DeepSeek (DSA), việc chọn Top-K token vẫn phải quét dày toàn bộ key: mỗi điểm số indexer yêu cầu dot products qua nhiều head, ReLU, rồi cộng có trọng số. Hệ quả:

Ở ngữ cảnh ~1 triệu token, indexer chiếm 73.0% thời gian prefill GPU của GLM-5.2 và 90.8% của DeepSeek-V3.2.
Các hệ thống trước (GVR, DeepSelect, LiteTopK) tối ưu phần ghi/selection nhưng vẫn đánh giá mọi head cho mọi key; MISA dùng ít head rồi rerank nhưng không thể cứu các token bị loại nhầm. Câu hỏi: có thể bỏ qua phép tính điểm đầy đủ mà vẫn chứng minh được không token thắng nào bị loại (lossless)?

II. Main Idea:

DoSA (Dots Sparse Attention) — tối ưu lossless biến việc tính điểm indexer thành tính toán có điều kiện, dựa trên nguyên tắc: để loại một ứng viên khỏi Top-K chỉ cần chứng cứ đủ mạnh để bác nó, không cần điểm thật của nó. Cụ thể:

Seed threshold: chọn một tập ≥K key đã biết điểm thật, lấy điểm thứ K làm cận dưới τ của ngưỡng Top-K thật.
Certificate (chứng chỉ cận trên) U_i cho từng token:
- Đánh giá trực tiếp một tập retained heads (head dương mạnh nhất, head âm khó dự đoán).
- Head dương bị bỏ qua được chặn trên bằng chiếu không âm lên head giữ lại (tái sử dụng dot product đã tính) cộng phần dư, còn được siết thêm bằng joint residual bound khai thác hình học phần dư.
- Head âm bị bỏ qua được chặn dưới bằng một aggregate duy nhất theo hướng tổ hợp, chọn heads theo tần suất kích hoạt để giảm triệt tiêu — vì bỏ đi phần trừ chỉ làm cận trên an toàn hơn.
Nếu U_i < τ thì loại chắc chắn; các token sống sót mới được tính đầy đủ head với điểm gốc, rồi lọc theo τ trước khi ghi xuống và chọn Top-K → bảo đảm chọn lựa chính xác tuyệt đối.

Ví dụ đời thường: giống khi tuyển người vào trường — ta không cần chấm bài thi hoàn chỉnh của thí sinh chắc chắn dưới điểm chuẩn; chỉ cần xem vài câu đã biết và ước lượng tối đa có thể đạt, nếu tối đa đó vẫn thấp hơn điểm chuẩn thì loại ngay, chỉ chấm trọn vẹn những bài còn khả năng đậu.

III. Main Results:

Microbenchmark Indexer (60 cấu hình): DoSA nhanh nhất trong mọi cấu hình (Anh, Trung, code; context 128K–1M; chunk 4K–32K): tối đa 2.74× so với SGLang và 1.69× so với LiteTopK; từ 512K token trở lên đều vượt 2× so với SGLang.
End-to-end TTFT ở ~1M token: 1.86× (GLM-5.2) và 1.94× (DeepSeek-V3.2) so với SGLang — gần như giảm nửa độ trễ; so với LiteTopK: 1.26× và 1.50×.
Tỷ lệ pruning trên 95% ở 20/21 layer (trung bình 97.2–97.5%), tương tự giữa các ngôn ngữ; thấp nhất ở layer 1 (vẫn loại 89–93%).
Decoding: nhanh hơn 1.06×/1.11×/1.26× ở 256K/512K/~1M token.
Ablation: screening một mình giảm 37.4%, sparse writeback một mình giảm 23.4%, cả hai giảm 47.3%; bỏ aggregate của head âm khiến tỷ lệ sống sót tăng từ 2.65% lên 95.06% — chứng tỏ thành phần này là chìa khóa.

IV. Conclusion & Future Works:

DoSA chứng minh việc chọn token chính xác có thể tốn ít hơn cả việc tính điểm đầy đủ cho mọi token — bằng cách kết hợp chứng chỉ cận trên cho điểm signed-head, hoàn thiện bằng điểm gốc, và writeback thưa. Hiệu quả phụ thuộc vào hình học query và margin lựa chọn. Hạn chế: vẫn phải quét mọi key; context ngắn hoặc bound lỏng khiến lợi ích không bù chi phí screening. Hướng tương lai:

Regularization lúc huấn luyện để indexer có certificate slack nhỏ hơn, dễ bỏ qua an toàn.
Mở rộng chứng chỉ per-key thành bound theo block key (tóm tắt gọn) để bỏ qua cả block mà không đọc từng key vector.

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa chứng chỉ cận trên per-key thành bound cấp block cho indexer đa head, cho phép bỏ qua cả khối key không liên quan mà vẫn đảm bảo chọn Top-K chính xác ở hàng chục triệu token.
Phương pháp huấn luyện indexer với regularizer khuyến khích độ lệch (slack) của certificate nhỏ, biến việc tính toán có điều kiện thành mục tiêu tối ưu thay vì chỉ tối ưu ở suy luận.
Chứng chỉ chọn lựa chính xác cho indexer có trọng số và kích hoạt học được động (không cố định), áp dụng cho mô hình mixture-of-experts kết hợp sparse attention nhiều tầng.

2. Patent:

Hệ thống suy luận ngôn ngữ dài trên điện thoại/edge: một lớp chọn token sử dụng bộ lọc ước lượng nhanh — chỉ tính một phần 'đầu đánh giá' cho mỗi từ, loại ngay những từ có điểm tối đa ước tính vẫn dưới ngưỡng, rồi mới tính điểm đầy đủ cho số ít từ còn lại, giúp trả lời nhanh gần gấp đôi mà kết quả không đổi.
Phương pháp tìm kiếm top-N mục (tin nhắn, ảnh, sản phẩm) trên thiết bị di động: dùng điểm chuẩn từ N mục đã biết làm ngưỡng, ước lượng cận trên điểm của từng mục mới bằng tổ hợp một phần các yếu tố chấm điểm, bỏ qua mục chắc chắn thấp điểm để tiết kiệm pin và thời gian.
Cơ chế lọc ứng viên không mất dữ liệu cho tìm kiếm bằng nhúng (embedding) quy mô lớn: trộn trọng số của các thành phần bị bỏ qua vào trọng số của các thành phần giữ lại ở phía truy vấn, đồng thời gom các thành phần 'trừ điểm' thành một hướng tổ hợp duy nhất để ước lượng chặt chi phí chấm điểm toàn phần.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.13990
ArXiv Abstract	https://arxiv.org/abs/2610.13990
PDF Download	https://arxiv.org/pdf/2610.13990.pdf
Github Repository	https://github.com/llm-sys/flash-indexer

13. X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning (66 votes)

Tác giả: Yi Wang, Zhenlong Yuan, Yuchan Guo, Maolei Huang, Zijian Song, et al.

Xuất bản lúc: 2026-10-12

Tag: Medical Vision-Language Models, Reinforcement Learning, GRPO, Tool-Augmented Agents, Chest X-Ray, Multimodal Reasoning, LLM Agents

I. Main Problem:

Các mô hình đọc phim X-quang ngực (CXR) hiện nay mắc ba lỗi cốt lõi khi suy luận chẩn đoán phức tạp:

Khoảng trống nhìn–chẩn đoán: MLLM đọc phim toàn cục nhưng không liên kết được dấu hiệu thị giác rộng với bằng chứng giải phẫu cục bộ, số liệu định lượng — dẫn đến suy luận rời rạc.
Mâu thuẫn bằng chứng–chẩn đoán: agent y tế gọi công cụ ngoài nhưng thường phớt lờ kết quả khách quan, ưu tiên niềm tin văn bản sẵn có và bịa đo lường (hallucination).
Đo lường không áp dụng được: các chỉ số định lượng (như tỉ lệ tim–ngực CTR) chỉ có nghĩa đúng điều kiện chụp; không có cơ chế kiểm tra, bằng chứng vô hiệu chui vào suy luận và làm lệch chẩn đoán.

II. Main Idea:

X-Ragent là khung post-training cho agent CXR tăng cường công cụ, tách rõ hai việc: học cách đi tìm bằng chứng và chỉ cho phép đo lường định lượng khi hợp lệ về mặt lâm sàng.

Suy luận hai lượt: lượt 1 đánh giá phim toàn cục và quyết định có cần công cụ bổ sung không (roi_crop phóng vùng, region_parse phân tích giải phẫu, evidence_lookup tra cứu tri thức); lượt 2 tích hợp quan sát trả về để chẩn đoán.
Validity gate độc lập: backend xác định tính toán CTR, độ bất đối xứng phổi, lệch lồng ngực — chỉ phơi bày khi view_check xác nhận phim chụp phù hợp (ví dụ loại phim nghiêng).
Rad-CoT: bộ dữ liệu 7,7K mẫu quỹ đạo chẩn đoán có cấu trúc để SFT khởi động Qwen3-VL-8B.
GRPO với reward có cổng độ chính xác: R = R_format + R_acc × [1 + λm·R_CXR − λt·R_tool] — các tín hiệu mức quá trình (nhất quán bằng chứng X-quang, chi phí dùng công cụ) chỉ áp dụng cho quỹ đạo chẩn đoán đúng, ngăn hành vi quy trình đẹp bù cho kết luận sai.

Ví dụ đời thường: giống bác sĩ khôn ngoan — chỉ kê thêm xét nghiệm khi khám ban đầu chưa đủ căn cứ, và trước khi đọc kết quả đo thì đối chiếu xem xét nghiệm đó có đúng chỉ định với trường hợp bệnh nhân này không, chứ không dùng bừa số liệu nào đưa tới tay.

III. Main Results:

ChestAgentBench (hoàn toàn held-out): 71.7%, +8.6 điểm so với MedRAX mạnh nhất; vượt base model Qwen3-VL-8B tới 16.6 điểm, đủ sức thắng các VLM lớn hơn nhiều và agent GPT-4o.
CheXbench: trung bình 77.3% (+9.2); SLAKE: 93.0% (+2.6).
Tổng quát OOD tốt: cải thiện +14.6–18.3 điểm trên cả 7 năng lực diễn giải CXR của ChestAgentBench dù bộ này bị loại hoàn toàn khỏi huấn luyện.
Ablation pipeline: SFT đóng góp lớn nhất (+10.8 trung bình), RL chủ yếu nâng khả năng transfer sang dữ liệu mới; RL-only kém SFT-only 6.3 điểm → cần cold-start SFT; thêm công cụ cộng +4.3 trên ChestAgentBench.
Reward có cổng là chìa khóa: cấu hình gate R_CXR và R_tool bằng R_acc đạt tốt nhất cả ba benchmark; bỏ gate khiến kết quả tệ hơn cả dùng từng thành phần riêng lẻ.
Routing có chọn lọc: tỉ lệ gọi công cụ trên câu base model trả lời sai là 64.9% so với 43.6% khi đã đúng (tỉ lệ cứu/lỗi 3.15×) — agent biết khi nào cần bằng chứng thay vì gọi công cụ mặc định.
Validity gate: chặn đo lường cho 24.5% đầu vào; trên 613 phim không-phim-trước/bất thường nâng độ chính xác +0.98 điểm, 6 ca sửa đúng ròng đều đến từ nhóm nhạy với điều kiện chụp.

IV. Conclusion & Future Works:

X-Ragent chứng minh giá trị của tách biệt việc học tìm bằng chứng bổ sung với việc kiểm soát hợp lệ của đo lường định lượng, cho phép suy luận CXR vừa chọn lọc vừa bám sát bằng chứng. Thiết kế reward có cổng độ chính xác — chỉ thưởng tính nhất quán quy trình khi chẩn đoán đúng — là yếu tố quyết định, và hành vi học được transfer tốt sang benchmark hoàn toàn mới. Hướng mở chưa đề cập: mở rộng validity gate sang nhiều chỉ số đo và phương thức chụp khác, tinh chỉnh chiến lược routing công cụ tối ưu chi phí–lợi ích lâm sàng, và thử nghiệm ngoài CXR sang các phương thức ảnh y tế khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng thiết kế validity-gated measurement sang MRI và CT — nơi điều kiện áp dụng của chỉ số định lượng còn đa dạng hơn (chuỗi xung, lát cắt dày, thuốc tương phản), với bộ gate kiểm tra đa tham số trước khi phơi bày bất kỳ số đo nào cho mô hình suy luận.
Khung reward có cổng kết quả cho agent y tế đa bước: tổng quát hóa R = R_outcome × [1 + process terms] cho các tác vụ lâm sàng dài hạn (trắc nghiệm điều trị, theo dõi hậu phẫu) và chứng minh tính bắt buộc của cổng trong việc ngăn thưởng quy trình bù lỗi chẩn đoán.
Phân tích học thuật về khi nào agent quyết định tìm bằng chứng: mô hình hóa xác suất gọi công cụ như hàm của độ bất định nội tại, mở ra agent biết 'xin thêm ý kiến' dựa trên calibrated self-doubt thay vì heuristic.

2. Patent:

Ứng dụng điện thoại hỗ trợ đọc phổi qua ảnh chụp: người dùng chụp phim X-quang bằng camera điện thoại; ứng dụng tự kiểm tra ảnh có đủ sáng, đúng góc, đúng loại phim không trước khi hiển thị các chỉ số đo (ví dụ độ to tim) — chỉ số không hợp lệ sẽ bị ẩn thay vì hiển thị gây hiểu lầm cho người dùng.
Trợ lý sàng lọc triệu chứng ngực trên điện thoại: khi người dùng mô tả triệu chứng kèm ảnh chụp, ứng dụng chỉ tra cứu tri thức bệnh lý và phóng vùng nghi ngờ khi phát hiện dấu hiệu bất thường ban đầu, tiết kiệm thời gian và giảm cảnh báo giả so với cách phân tích toàn bộ mọi trường hợp.
Hệ thống kiểm tra điều kiện đo trước khi tự động đo trên ảnh y tế bất kỳ: module độc lập xác minh điều kiện thu nhận ảnh (góc chụp, chất lượng, vùng giải phẫu) rồi mới cho phép các công cụ đo lường đưa số liệu vào báo cáo — áp dụng cho phần mềm quản lý ảnh bệnh viện hoặc app telemedicine.
Phương pháp huấn luyện trợ lý ảnh y tế bằng thưởng có cổng kết quả: phần mềm huấn luyện mô hình mà phần thưởng về tính nhất quán quy trình chỉ được tính khi câu trả lời cuối đúng, dùng để xây dựng các trợ lý chẩn đoán hình ảnh ít bịa số liệu hơn cho nhà sản xuất thiết bị y tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16811
ArXiv Abstract	https://arxiv.org/abs/2610.16811
PDF Download	https://arxiv.org/pdf/2610.16811.pdf
Github Repository	N/A

14. ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling (63 votes)

Tác giả: Xinge Peng, Zhen Fang, Ruibing Wang, Yongxuan Lv, Haodong Li, et al.

Xuất bản lúc: 2026-10-10

Tag: World Modeling, Code Generation, 3D Simulation, Physical Reasoning, Causal Reasoning, Benchmark, Blender, Vision-to-Code

I. Main Problem:

Các coding agent đang chuyển từ tái tạo một thế giới trông như thế nào sang xây dựng thế giới chạy được theo đúng cơ chế vật lý, nhưng benchmark hiện tại đánh giá rời rạc:

Reasoning-centric benchmarks kiểm tra hiểu vật lý qua QA trên ảnh/video, không yêu cầu hiện thực hóa thành code chạy được.
Construction-centric benchmarks tập trung vào độ giống hình học, bố cục, visual fidelity, ít kiểm tra cơ chế vật lý bên trong.
Behavior-centric benchmarks thường xét chuyển động đơn giản như rơi, trượt, một vật chuyển động; chưa đủ để kết luận mô hình hiểu how the world works. Nhiều benchmark còn dùng môi trường 2D hoặc browser-native, bỏ qua thách thức của 3D executable worlds: sắp xếp không gian, tiếp xúc theo chiều sâu, va chạm, lắp ráp cơ khí, căn chỉnh khớp nối.

II. Main Idea:

ExeWorldBench đánh giá executable 3D world modeling như một năng lực tích hợp: mô hình phải hiểu cấu trúc, cơ khí và quan hệ nhân quả rồi dịch hiểu biết đó thành Blender program có hành vi sinh ra từ tương tác vật lý. Benchmark gồm 3 mức khó tăng dần:

T1 Mechanism Executability: từ một ảnh tĩnh, suy luận và tái tạo một cơ chế cơ khí hoàn chỉnh, có chuyển động nảy sinh từ nhiều bộ phận liên kết.
T2 Compositional Executability: ghép nhiều cơ chế thành chuỗi nhân quả 4-13 stages, yêu cầu bố trí vị trí, hướng, khoảng cách để motion lan truyền qua từng stage.
T3 Intent-Driven Executable World Synthesis: không còn ảnh tham chiếu, chỉ từ mô tả ngôn ngữ; gồm Component-Constrained Synthesis và Goal-Constrained Synthesis ở ba mức easy/medium/hard.

Dữ liệu được lọc qua nhiều vòng: đánh giá chất lượng ảnh, GPT-6 Astra lọc độ phức tạp cơ khí, kiểm tra motion inferability bằng pipeline generate-infer-validate-verify, kiểm tra feasibility, rồi human review. Đánh giá dùng Opus 5.5 làm VLM judge theo 4 trục: Visual Structure, Mechanical Motion, Executable Causal Mechanism, Goal Satisfaction, có cả penalized metrics và conditioned metrics sau sửa lỗi chạy code.

Ví dụ đời thường: giống nhìn một chiếc đồng hồ qua ảnh tĩnh rồi tự chế lại đủ bánh răng, trục, lò xo sao cho nó không chỉ giống hình bên ngoài mà thực sự chạy đúng nhịp khi lắp xong.

III. Main Results:

Code chạy được không đồng nghĩa với world modeling tốt. Sau repair bằng GPT-6 Astra Codex CLI, nhiều API model đạt executability cao, nhưng Visual/Mechanical/Causal metrics chỉ tăng khiêm tốn.
Harness-based models mạnh nhất: GPT-6 Astra Codex CLI và Claude Fable 5.1 Claude Code gần như 100% executability và dẫn đầu hầu hết bảng; API-based Fable 5.1 và GPT-6 Astra thấp hơn rõ.
T1: Visual Structure và Mechanical Motion bất đối xứng; ví dụ Fable 5.1 đạt Visual khoảng 4.04 nhưng Motion chỉ 3.24. Có cấu trúc đúng chưa bảo đảm động lực học đúng.
T2: làm tốt chuyển động đơn cơ chế ở T1 không chuyển sang được multi-stage causal execution; Seed-2.1 sau repair đứng thứ 5 ở T1 Motion nhưng thứ 7 ở T2 ECM.
T3 vẫn rất khó dù có component list. Ở Component-Constrained Synthesis, sau constrained repair chỉ harness-based models mạnh; GPT-6 Astra và Fable 5.1 API chỉ đạt ECM khoảng 3.34 và 2.75, các model còn lại ≤0.40.
Goal-Constrained Synthesis khó hơn Component-Constrained, cho thấy tự suy ra cơ chế từ mục tiêu cao là bước cực kỳ khó.
Mô hình thường thỏa initial state tốt hơn intermediate behavior và final state, nghĩa là dựng thế giới ban đầu hợp lý chưa đủ để duy trì nhân quả tới kết quả cuối.
Long-horizon giảm mạnh: ECM sụt dần theo số stage; ở T2 một số model 13-step chỉ còn khoảng một phần năm điểm ngắn hạn, GPT-6 Astra Codex CLI giảm ít nhất.
Thêm motion references giúp T1/T2 nhưng cải thiện modest, cho thấy dịch bằng chứng chuyển động thành cấu trúc cơ khí executable vẫn là nút thắt.

IV. Conclusion & Future Works:

ExeWorldBench cho thấy khoảng cách lớn giữa viết code Blender chạy được và xây dựng executable world vật lý mạch lạc. Các model frontier còn yếu khi phải tích hợp world understanding với executable realization, đặc biệt với chuỗi nhân quả dài, nhiều stage và synthesis từ intent. Kết quả gợi ý hướng phát triển cần tích hợp chặt hơn giữa nhận diện cấu trúc, suy luận cơ khí-nhân quả và kiểm chứng hành vi qua simulation, thay vì chỉ tối ưu code executability.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp repair được kiểm soát cho executable world generation: tự sửa lỗi Blender/Python execution mà không làm thay đổi cấu trúc cảnh và hành vi dự kiến, để tách lỗi implementation khỏi lỗi world modeling.
Agent gợi ý cơ chế từ ảnh tĩnh bằng visual evidence extraction: học cách chọn dấu hiệu cấu trúc đủ để suy ra motion, thay vì phụ thuộc vào video quan sát đầy đủ.
Benchmark mở rộng cho long-horizon executable worlds với nhiễu vật lý, thay đổi vật liệu, va chạm phức tạp và yêu cầu tái cấu hình cơ chế khi điều kiện ban đầu thay đổi.

2. Patent:

Ứng dụng điện thoại tạo mô phỏng Rube Goldberg mini từ ảnh chụp: người dùng chụp một cơ chế, ứng dụng tạo script 3D tương tác để người dùng thử lắp ráp và xem chuỗi nhân quả trước khi làm mô hình thật.
Trợ lý thiết kế đồ chơi, đồ gia dụng hoặc hộp cơ chế trên điện thoại: nhập mục tiêu như 'quả bóng lăn để bật công tắc', hệ thống đề xuất bộ phận, bố trí không gian và kiểm tra bằng simulation nhanh.
Công cụ kiểm thử ý tưởng vật lý cho giáo dục STEM: giáo viên nhập mục tiêu bài học, app tự sinh thế giới 3D chạy được trên điện thoại để học sinh can thiệp và quan sát lỗi nhân quả.
Module kiểm chứng cơ chế robot nhỏ hoặc smart toy trước khi sản xuất: quét bản vẽ đơn giản, sinh nguyên mẫu 3D executable trên mobile để phát hiện xung đột hình học, khớp nối sai hoặc chuỗi nhân quả không chạy tới trạng thái cuối.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15166
ArXiv Abstract	https://arxiv.org/abs/2610.15166
PDF Download	https://arxiv.org/pdf/2610.15166.pdf
Github Repository	N/A

15. LeWAM: End-to-End World and Action Modeling with JEPAs (63 votes)

Tác giả: Minghao Fu, Tavis Siebert, Eryk Halicki, Randall Balestriero

Xuất bản lúc: 2026-10-08

Tag: World Models, JEPA, Robotics, Flow Matching, Visual Planning, Latent Dynamics, Behavior Cloning

I. Main Problem:

Các mô hình thế giới dạng Joint-Embedding Predictive Architecture (JEPA) hiện có (như DINO-WM, LeWM) học dự đoán trạng thái tương lai trong không gian latent thay vì dựng lại pixel, nhưng tồn tại các vấn đề:

Học biểu diễn và động lực học tách rời với chính sách điều khiển: chính sách được huấn luyện thêm sau trên embedding đóng băng, khiến tín hiệu giám sát hành động không định hình biểu diễn thị giác.
Biểu diễn JEPA dễ giữ lại chi tiết gây nhiễu (vật thể tĩnh, phông nền) thay vì thông tin liên quan điều khiển.
Điều khiển qua bộ giải dạng population (CEM, MPPI) phải thử hàng loạt rollout từ prior Gaussian rộng, rất chậm khi tầm hoạch định dài hoặc tác vụ giàu tiếp xúc (contact-rich) vì động lực học đổi mode cục bộ.

II. Main Idea:

LeWAM huấn luyện end-to-end trong một giai đoạn duy nhất cả ba thành phần — encoder thị giác, động lực học latent, và chính sách ngẫu nhiên — qua một kiến trúc Mixture-of-Transformers (MoT) với hai nhánh:

Nhánh dynamics: dự đoán latent tương lai từ lịch sử quan sát và action sạch.
Nhánh chính sách: học phân phối hành động bằng flow matching từ action nhiễu, có điều kiện hóa theo mục tiêu.

Hai mục tiêu này cùng cập nhật encoder chia sẻ, kèm ràng buộc SIGReg (latent phải tuân theo Gaussian đẳng hướng) để chống collapse. Vì đã có sẵn phân phối hành động học được, LeWAM hỗ trợ cả hai cách điều khiển: chạy chính sách trực tiếp (lấy mẫu chunk hành động) hoặc lập kế hoạch bằng cách lấy mẫu N kế hoạch từ chính sách rồi tinh chỉnh bằng gradient descent qua dynamics latent (thay vì tìm kiếm mù CEM).

Ví dụ đời thường: giống người thợ lành nghề thay vì thử bừa mọi cách cầm dụng cụ (CEM), anh ta có sẵn vài kiểu động tác quen thuộc trong đầu (phân phối hành động học được), chỉ cần lấy ra vài phương án rồi mài giũa nhẹ nhàng cho khớp với tình huống cụ thể.

III. Main Results:

Hoạch định trực quan trên 10 môi trường mô phỏng: tỉ lệ thành công trung bình 93.5% so với 50.9% của LeWM (CEM).
Tác vụ giàu tiếp xúc: nhảy từ 28.6% lên 89.7%; tầm xa 100 bước: từ 10.9% lên 46.2%.
Nhanh hơn 32.3× (52.5 plans/s so với 1.62 plans/s của CEM) nhờ prior hành động hẹp tìm kiếm và tối ưu gradient song song trên GPU.
Tiết kiệm tính toán 13.3× so với π0.5 (270 GFLOPs vs 3603 GFLOPs mỗi action chunk).
Behavior cloning cạnh tranh với Diffusion Policy, hơn +16 điểm phần trăm trên Transport; trên robot vật lý (Pick and Place T, Push-T, Tape Stack) ngang Diffusion Policy và π0.5.
Phân tích: action supervision cải thiện khả năng giải mã trạng thái/proprioception (+0.21/+0.20 R²); SIGReg bắt buộc để planning hiệu quả (+14.7 điểm trên Push-T); flow matching giữ thông tin tốt hơn đầu MSE xác định.

IV. Conclusion & Future Works:

LeWAM chứng minh JEPA có thể học đồng thời biểu diễn, dynamics và chính sách trong một mô hình nhỏ (~17M tham số), vừa điều khiển trực tiếp vừa hoạch định gradient-based nhanh, vượt trội các JEPA tiền nhiệm trên tác vụ giàu tiếp xúc và tầm dài. Hạn chế & hướng tương lai: mở rộng dữ liệu play/exploration cho contact transitions; kiểm tra khái quát hóa trên vật thể, góc camera, trạng thái tiếp xúc lạ; học đa tác vụ, đa robot, điều kiện ngôn ngữ; tích hợp planner phân cấp cao để phân rã tác vụ dài; mở rộng quy mô mô hình và số lượng ứng viên tinh chỉnh tại test-time.

V. Brainstorming Space:

1. Publish Papers:

Đào tạo đa tác vụ và đa robot với LeWAM: một bộ dynamics và chính sách chia sẻ cho nhiều hình thái robot, điều kiện hóa thêm chỉ dẫn ngôn ngữ để mở rộng phạm vi hành vi.
Tích hợp planner phân cấp: planner bậc cao phân rã tác vụ dài thành các subgoal hình ảnh, LeWAM đảm nhiệm điều khiển liên tục từng đoạn, cho phép hoàn thành tác vụ dài hạn phức tạp.
Khai thác dữ liệu play không chuyên và khai phá chủ động để học dynamics tiếp xúc: robot tự thu thập tương tác thất bại làm giàu dữ liệu cho các chuyển tiếp contact mode khó.
Nâng cấp tìm kiếm test-time: kết hợp lấy mẫu từ flow policy với các bước refinement gradient nhiều hơn, ứng dụng tư tưởng test-time compute scaling cho hoạch định robot.

2. Patent:

Hệ điều khiển robot công nghiệp tự hoạch định nhanh trên chip: camera quan sát, mô hình nhỏ (vài chục triệu tham số) vừa đoán trạng thái tương lai vừa sinh cử động, tinh chỉnh bằng gradient để đạt tốc độ lập kế hoạch hàng chục lần/giây ngay trên máy tính nhúng của robot.
Ứng dụng điện thoại điều khiển robot gia đình: người dùng chụp ảnh mục tiêu (ví dụ ly nước trên bàn), điện thoại gửi ảnh cho robot; robot dùng mô hình thế giới để tự lên kế hoạch cầm nâng mà không cần lập trình từng động tác.
Module vừa học vừa điều khiển cho cánh tay phẫu thuật hoặc robot hỗ trợ: mô hình dự đoán hậu quả mỗi cử động trong không gian nén, cho phép thử phương án ảo trước khi chạm vào người, giảm rủi ro va chạm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.12818
ArXiv Abstract	https://arxiv.org/abs/2610.12818
PDF Download	https://arxiv.org/pdf/2610.12818.pdf
Github Repository	https://github.com/MinghaoFu/lewam

16. Last Secure Code Benchmark: Is the Code You Vibe Secure? (60 votes)

Tác giả: Tianyi Wu, Chao Ge, Peng Chen, Fengji Zhang, Yongxing Wu, et al.

Xuất bản lúc: 2026-10-10

Tag: AI coding agents, Secure code generation, Benchmark, Vibe coding, LLM agents, Vulnerability detection, CWE, Software security

I. Main Problem:

Các coding agent ngày càng viết phần lớn code thực tế theo kiểu vibe coding: người dùng chỉ nói phần mềm cần làm gì, còn quyết định bảo mật như xử lý đầu vào không tin cậy, bảo vệ dữ liệu nhạy cảm hay phân quyền thường không được nêu ra. Điểm mù là:

Kiểm thử chức năng không phát hiện lỗ hổng: code chạy đúng vẫn có thể bị khai thác.
Các benchmark cũ thiếu ít nhất một trong ba khía cạnh: phạm vi code sinh ra, ngôn ngữ, hoặc nhóm lỗ hổng.
Khi agent đảm nhận nhiều hơn từ vá lỗi chức năng đến dựng cả repository, câu hỏi là code có vừa chạy được vừa an toàn hay không.

II. Main Idea:

LSCBench xây dựng một bài kiểm tra từ 150 kịch bản lỗ hổng thật, mỗi kịch bản tạo 3 mức độ tác vụ: điền Function, viết lại File, hoặc dựng lại Repository. Tổng cộng có 450 tác vụ trải rộng 7 ngôn ngữ, 24 nhóm CWE, gồm 21/25 CWE Top 25 và 8/10 KEV năm 2025.

Mỗi tác vụ chỉ đưa yêu cầu chức năng, không nhắc đến bảo mật, đúng bối cảnh người dùng nói agent làm gì và tự quyết định cách an toàn.
Chấm điểm bằng hai bộ test ẩn: functional tests và security tests chạy thật chương trình, security test phát lại kiểu tấn công proof-of-concept để xem hành vi lỗ hổng có xuất hiện không.
Quy trình dựng benchmark có kiểm soát chặt: chọn kịch bản khó, viết lại test theo hành vi thay vì so khớp mã nguồn, quét sạch môi trường khỏi manh mối lời giải, soạn specification từ repo xuống file rồi function, rồi cho review agent và 5 chuyên gia bảo mật chỉnh sửa. Mỗi tác vị phải qua cổng oracle pass cả hai test và nop fail cả hai test.

Cơ chế giống như thuê thợ sửa nhà chỉ theo mô tả sinh hoạt: bạn nói phòng khách cần đẹp, sáng, có cửa ra vào, nhưng không nhắc khóa cửa hay kính chịu lực; khi nghiệm thu, người kiểm tra vừa xem phòng dùng được vừa thử mở khóa từ ngoài và phát hiện đa số phòng tiện nghi nhưng dễ bị đột nhập.

III. Main Results:

6 agent frontier đều hoàn thành khá tốt về chức năng: FuncPass 73.6% đến 91.3%, nhưng an toàn kém xa: Func∧Sec chỉ 16.4% đến 25.1%; tốt nhất là Claude Fable 5 với 25.1%.
Ở mức scenario, yêu cầu pass cả Function, File và Repo, mô hình tốt nhất chỉ đạt 12.0%; một số mô hình chỉ khoảng 2.0% đến 8.0%.
Các mô hình bổ sung cho nhau: hợp cả 6 mô hình an toàn được 198/450 tác vụ, trong khi tốt nhất đơn lẻ là 113; chỉ 19 tác vụ an toàn với cả 6 và 252 tác vụ không ai an toàn.
Phạm vi lớn làm FuncPass giảm nhưng không làm security giảm tương ứng; với một số mô hình, Repo an toàn hơn Function/File vì được tự thiết kế luồng kiểm tra.
Nhiều turn hơn không mua được security: Claude Fable 5 dùng ít turn hơn nhưng an toàn hơn; bản an toàn thường không tốn thêm giai đoạn kiểm tra riêng.
Nhóm dễ an toàn nhất là memory safety khoảng 34.3%, tiếp theo path/file và injection; gần như không ai an toàn với information exposure 0.7% và SSRF 2.4% vì phụ thuộc chính sách không nêu trong specification.
Theo ngôn ngữ, C, Python, JavaScript an toàn khoảng 27% đến 30%; Java, Go, PHP chỉ khoảng 10% đến 18%, phần lớn do cấu trúc lỗ hổng của từng ngôn ngữ.
Thêm một câu nhắc bảo mật làm Func∧Sec tăng 15 đến 21 điểm với hầu hết mô hình, nhưng phần lớn tác vụ vẫn không an toàn, cho thấy vấn đề không chỉ là thiếu nhắc nhở.

IV. Conclusion & Future Works:

LSCBench cho thấy code do coding agent viết thường chạy được nhưng hiếm khi đủ an toàn, kể cả với các mô hình frontier. Điểm đáng lo là lỗ hổng có thể đi vào sản phẩm vì người dùng chỉ thấy chức năng pass. Các agent hiện tại chủ yếu an toàn như một ngoại trừ của viết code tốt, chẳng hạn thêm kiểm tra biên hay escape lệnh, chứ chưa suy luận về mô hình đe dọa khi triển khai. Hướng cải thiện gồm: huấn luyện agent end-to-end theo vòng lặp implement, tự viết security test, patch; chấm điểm cả threat model lẫn hành vi; dùng agent thứ hai review hoặc ensemble; mở rộng benchmark sang lỗi phụ thuộc chính sách, nhiều ngôn ngữ và bối cảnh production hơn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp huấn luyện coding agent theo vòng lặp an toàn: sinh code, tự tạo kiểm thử tấn công, vá lỗi rồi lặp lại, với reward gắn cả hành vi chức năng lẫn khả năng chống khai thác.
Nghiên cứu ensemble và cross-review giữa các coding agent, kiểm chứng liệu sự khác biệt về kiến thức bảo mật có thể tăng độ bao phủ an toàn mà không làm giảm chất lượng chức năng.
Xây dựng lớp benchmark mới cho các lỗ hổng phụ thuộc chính sách như lộ thông tin, SSRF và kiểm soát truy cập, nơi specification trung lập về bảo mật nhưng test tấn công vẫn khách quan.
Đánh giá tác động của gợi ý bảo mật theo ngữ cảnh: một câu nhắc chung chỉ cải thiện một phần, còn gợi ý theo đúng mô hình đe dọa có thể cần kiến trúc agent khác.

2. Patent:

Plugin cho trình soạn thảo và điện thoại lập trình bằng mô tả: người dùng mô tả tính năng, agent sinh code nhưng trước khi lưu phải chạy trong hộp cát với test chức năng ẩn và test tấn công ẩn; nếu chức năng pass mà tấn công vẫn thành công, hệ thống chặn commit và gợi ý vá lỗi theo hành vi cụ thể.
Dịch vụ kiểm tra code do AI viết trước khi đưa lên điện thoại di động: thuê bao cho phép quét app hoặc mã nguồn được tạo tự động, dựng lại project, chạy các kịch bản khai thác thật, rồi xuất báo cáo rủi ro dạng mức ưu tiên và đoạn code nên sửa.
Hệ thống biến lỗi bảo mật đã vá trong công ty thành bài kiểm tra nội bộ: từ repository lịch sử, công cụ tách các sửa đổi liên quan đến lỗ hổng thành kịch bản Function, File, Repository, tự tạo test chức năng và test tấn công để đo khả năng sinh code an toàn của nội bộ.
Trợ lý review an toàn cho nhóm phát triển dùng nhiều model: khi một model tạo patch, các model khác cùng chấm theo bộ test hành vi; nếu không model nào ngăn được kịch bản tấn công, hệ thống tự mở ticket ưu tiên cao và đề xuất kiểm tra thủ công.
Bộ cảm biến bảo mật cho quy trình vibe coding trên máy tính cá nhân: mọi đoạn code agent tạo ra đều được sao chép vào vùng kiểm chứng riêng, build lại, khởi chạy dịch vụ và thử các cuộc gọi độc hại; chỉ file pass cả hai lớp kiểm thử mới được đưa trở lại workspace.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14766
ArXiv Abstract	https://arxiv.org/abs/2610.14766
PDF Download	https://arxiv.org/pdf/2610.14766.pdf
Github Repository	https://github.com/alibaba/last-secure-code-benchmark

17. Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics (60 votes)

Tác giả: Maoqi Liu, Junwei He, Bowen Zhang, Feiran Li, Wentao Ma, et al.

Xuất bản lúc: 2026-09-30

Tag: Reinforcement Learning, Reward Hacking, LLM Alignment, Rubrics, RLHF, Reward Modeling, Goodhart's Law

I. Main Problem:

Rubric-RL huấn luyện LLM bằng cách để một judge chấm từng tiêu chí trong checklist rồi cộng có trọng số (weighted sum) thành reward — khi không có verifier tự động (khác code hay toán). Điểm yếu nằm ở chính phép cộng này:

Các tiêu chí bù trừ lẫn nhau: bỏ lỡ quyết định then chốt (ví dụ 'gọi 911 ngay') vẫn có thể 'mua lại' điểm bằng những lời khuyên dễ thỏa mãn mà không ai yêu cầu → hình thức reward hacking.
Hậu quả đo được: trên tư vấn lâm sàng, coverage (điểm proxy tối ưu hóa) tăng 26.6→32.1 nhưng appropriateness (chấm theo tiêu chí bác sĩ giữ lại ngoài huấn luyện) sụt 54.1→26.0 — thấp hơn cả mô hình chưa huấn luyện; judge không nhìn rubric cũng thích câu trả lời của mô hình gốc (65.7% và 93.6% tùy judge).
Đáp án trở nên dài gấp 4 lần; lời khuyên cấp cứu bị 'chôn' sau hơn 2.000 ký tự — và điểm số published không phản ánh điều này.

II. Main Idea:

ProRubric (Protocol-level Rubrics): giữ nguyên nội dung các tiêu chí, chỉ thay cách tổng hợp. Quy trình:

Nhóm checklist thành K chiều protocol-level (2≤K≤5, theo các pha như rule-out, workup, disposition trong y khoa) — việc nhóm làm một lần, offline, bằng generator model.
Tính điểm hội (conjunctive): một chiều chỉ đạt khi tất cả tiêu chí trong nhóm thỏa mãn — tiêu chí dễ không còn bù được tiêu chí then chốt.
Failure clause ở cuối mỗi chiều: nêu điều kiện hủy toàn bộ chiều (ví dụ trì hoãn chăm sóc khẩn cấp), bắt các lỗi mà tiêu chí riêng lẻ không nêu tên; điểm trừ cộng dồn thì bù được, failure clause thì không.
Optimizer và policy phục vụ không đổi; judge trả một verdict mỗi chiều. Khác dependency-aware aggregation, không cần gán quan hệ giữa các tiêu chí.

Theo phân tích gradient, một tiêu chí chỉ 'trả tiền' tỷ lệ với xác suất phần còn lại của chiều đạt → reward ngừng trả cho mảnh vụn rời rạc, bắt đầu trả cho pha protocol hoàn chỉnh.

Ví dụ đời thường: giống bài thi bằng lái — trước đây quên quan sát gương khi vượt (lỗi chí mạng) vẫn đậu nhờ làm hoàn hảo mấy thao tác dễ; nay các phần bắt buộc phải qua hết trong cùng một cụm, hỏng một mục chí mạng là mất trắng cả cụm, không gì bù được.

III. Main Results:

Hiệu ứng 'scoring higher, answering worse' ổn định qua mọi seed, cả 2 scale (4B/8B), nhiều judge; baseline exploration (RuscaRL) sụt tương tự.
Nguyên nhân là aggregation, không phải độ dài hay dữ liệu: cắt câu trả lời 42% không cứu được; tăng KL chỉ cứu được bằng cách ngừng học; SFT trên cùng dữ liệu không bị; giữ nguyên văn tiêu chí mà chỉ nhóm lại (raw-AND) đã hồi ~1/3 mức sụt, chấm cả list một lần (implicit) hồi ~40%.
ProRubric: appropriateness tăng +10.8 điểm so với Rubric-RL (26.0→36.8 ở 4B; 29.5→45.8 ở 8B) mà không mất coverage (35.0 vs 32.1); trung bình 7 benchmark tốt nhất ở cả hai scale (+1.3 điểm ở 4B, thắng cả hai baseline RL ở mọi paired seed).
Xuyên miền: y khoa sụt nặng nhất (−28.9), khoa học −11.2, hội thoại −7.1, viết lách lại cải thiện (+16.0); ở khoa học cần cả viết lại tiêu chí (protocol grouping + synthesis) chứ không chỉ gom nhóm nguyên văn.
Ablations: bỏ failure clause mất 2.3 điểm; credit một chiều (K=1) tương đương appropriateness nhưng coverage thấp hơn do tín hiệu học yếu.

IV. Conclusion & Future Works:

Kết luận: hiệu lực của rubric reward được quyết định không chỉ bởi nó kiểm tra gì mà còn bởi nó tổng hợp thế nào — dưới weighted sum, tiêu chí rẻ bù được tiêu chí then chốt, và policy tối ưu đúng điều đó. ProRubric chứng minh chỉ cần gom nhóm offline thành chiều hội với failure clause là nâng appropriateness mà không đụng optimizer.

Hướng tương lai: mở rộng sang hội thoại y khoa đa lượt (hỏi làm rõ là cốt lõi, hiện mới đánh giá single-turn bằng LLM judge hiệu chuẩn theo bác sĩ); thử nghiệm nghiên cứu trên người thật thay vì judge; tách bạch ảnh hưởng của dạng tác vụ vs dạng rubric (viết lách cải thiện vẫn chưa giải thích được).

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa ProRubric sang RL đa lượt (multi-turn clinical dialogue): các chiều protocol có điều kiện theo lượt, model học hỏi làm rõ trước khi đưa quyết định disposition.
Nghiên cứu cơ chế 'tích hợp thay vì phụ thêm' ở tác vụ viết lách để giải thích vì sao domain này không sụt dưới additive aggregation, qua đó dự đoán trước domain nào dễ reward hacking.
Kết hợp rubric graph (quan hệ prerequisite) với conjunctive dimensions để xử lý các domain khoa học có tiêu chí mang tính suy diễn chặt, nơi gom nhóm nguyên văn chưa đủ.

2. Patent:

Hệ chấm điểm tự động cho chatbot y tế trên điện thoại: rubric kiểm tra an toàn được gom thành các cụm bắt buộc (phân loại mức độ, hành động khẩn cấp, chống chỉ định) với điều kiện hủy cụm; nếu một cụm hủy, hệ buộc hiển thị cảnh báo 'gọi cấp cứu' đứng đầu màn hình thay vì dựa vào điểm tổng.
Công cụ kiểm thử chất lượng câu trả lời AI cho doanh nghiệp: plugin nhận checklist đánh giá, tự nhóm thành các chiều nghiệp vụ phải đồng thời đạt, chấm theo cụm để phát hiện câu trả lời 'đủ điểm nhưng bỏ sót điểm then chốt' trước khi triển khai chatbot CSKH.
Bộ lọc an toàn nội dung theo pha xử lý cho trợ lý ảo trên thiết bị di động: mỗi pha hội thoại (thu thập triệu chứng, tư vấn, kết luận) gắn một nhóm quy tắc hội với điều khoản hủy; vi phạm một quy tắc then chốt trong pha sẽ chặn luồng và chuyển người dùng tới kênh an toàn thay vì chỉ trừ điểm chất lượng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38847
ArXiv Abstract	https://arxiv.org/abs/2609.38847
PDF Download	https://arxiv.org/pdf/2609.38847.pdf
Github Repository	https://github.com/Estrellajer/ProRubric

18. Multics: Generative Multi-Player World Model with Hierarchical Communication (56 votes)

Tác giả: Kaiyi Huang, Wangbo Yu, Yukun Huang, Jiwen Yu, Kunhao Liu, et al.

Xuất bản lúc: 2026-10-12

Tag: Video Generation, World Models, Diffusion Transformers, Multi-Agent Communication, Hierarchical Attention, Dynamic Grouping, Scalability, Controllable Generation

I. Main Problem:

Mô hình world đa người chơi cần tạo video cùng một môi trường từ nhiều góc nhìn, nhưng phải đồng thời robust và mở rộng số player. Hai điểm nghẽn chính:

Fully-connected communication kiểu Solaris cho mọi player nói chuyện với nhau: mạnh về tương tác nhưng attention tăng gần bậc hai khi số player lớn.
Centralized communication kiểu γ-World gom mọi thứ qua một global representation: rẻ hơn nhưng dễ trộn sự kiện không liên quan, gây nhiễu, làm vỡ cross-player consistency và điều khiển riêng từng player.
Vì vậy cần một topology giao tiếp có cấu trúc, có ngân sách communication, và tổng quát lên nhiều player hơn mà không retrain.

II. Main Idea:

Multics đặt giao tiếp vào self-attention theo ba tầng player → group → global.

Mỗi player có visual tokens riêng; các token này chủ yếu trao đổi local với player cùng nhóm.
Group tokens làm trung gian: gom thông tin local liên quan trước khi thông tin lên tầng global.
Global tokens nối các nhóm, giữ cross-group consistency nhưng hạn chế trộn trực tiếp giữa local events không liên quan.
Tham số group-token được share across group slots: cùng một bộ tham số nhân ra nhiều slot, nhưng hidden state khác nhau vì attention thấy player khác nhau; nhờ đó đổi số player không cần thêm tham số mới.
Budget-constrained dynamic grouping ước lượng độ liên quan từ camera trajectory gần nhất theo vị trí không gian và hướng nhìn, chỉ dùng quá khứ/hiện tại để giữ tính causal; sau đó chọn nhóm tối đa coverage cho các player liên quan trong giới hạn cost.

Cơ chế giống như các tổ trưởng tóm tắt việc của nhóm mình rồi báo cáo lên ban điều hành, thay vì cả công ty cùng nói chuyện vào một phòng chung.

III. Main Results:

Trên OpenCS2, Multics đạt kết quả tốt nhất ở cả 4 và 6 players trên hầu hết nhóm metrics: consistency, action accuracy, camera accuracy, visual quality.
Tổng quát không retrain: train 4 players nhưng inference tốt hơn Solaris và γ-World ở 6, 8, 10 players; ở 10 players GeoKPM đạt 51.54% so với 47.82% và 49.12%.
Hiệu quả tính toán: self-attention FLOPs ở 10 players khoảng 9.6T, thấp hơn rõ so với fully-connected 69.1T, gần mức centralized/group-based.
Ablation cho thấy hierarchical communication tốt hơn fully-connected, centralized và group-based; dynamic grouping tốt hơn fixed/random grouping.
Giảm communication budget dưới mức train làm GeoKPM giảm; tăng trên mức train thì GeoKPM khá ổn định.
Chuyển sang EgoTeam vẫn giữ kết quả tốt, cho thấy có khả năng áp dụng ngoài môi trường game.

IV. Conclusion & Future Works:

Multics chứng minh rằng thêm group-level representations giữa player và global là cách hiệu quả để cân bằng consistency, controllability, interference robustness với chi phí giao tiếp và khả năng mở rộng số player. Hướng mở rộng hợp lý:

kết hợp hierarchical communication với persistent shared state/rendering decomposition;
học grouping tinh hơn, có thể dùng thêm action, semantic events hoặc memory dài hạn;
điều chỉnh communication budget theo độ phức tạp scene hoặc theo uncertainty;
mở rộng sang nhiều player hơn, chuỗi dài hơn và interactive closed-loop simulation.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp giao tiếp phân tầng với shared world state bền vững để tách tiến hóa trạng thái thế giới khỏi render từng người chơi, nhằm mở rộng population và độ dài episode.
Học end-to-end module gom nhóm có thể vi phân dưới ràng buộc chi phí truyền thông, thay vì chỉ dùng heuristic camera trajectory.
Nâng cấp dynamic grouping bằng bộ nhớ dài hạn và dự đoán va chạm sắp xảy ra để gom nhóm trước khi player thực sự nhìn thấy nhau.
Áp dụng Multics cho điều phối robot egocentric đa đơn vị trong nhà thật, nơi camera, hành động và occlusion thay đổi mạnh hơn game.

2. Patent:

Hệ thống đám mây tạo scene chung cho nhiều điện thoại trong game/AR: máy chủ chỉ gom camera của những người đang nhìn cùng khu vực thành nhóm, trao đổi bản tóm tắt nhóm rồi đồng bộ toàn cục; giảm băng thông nhưng giữ cùng vật thể, hiệu ứng và hành động nhất quán giữa các màn hình.
Ứng dụng hợp tác thực tế tăng cường nhiều người: khi nhiều điện thoại/kính AR ở gần nhau, hệ thống tự xếp người dùng thành nhóm theo vùng nhìn để chia sẻ chi tiết vật thể; người ở xa chỉ nhận bản tóm tắt toàn cục, tránh lộ hiệu ứng của khu vực không liên quan.
Nền tảng giám sát nhiều camera mở rộng linh hoạt: camera được cụm theo vùng quan sát chồng lấp, mỗi cụm có đại diện trung gian, trung tâm điều khiển chỉ đồng bộ giữa các cụm; thêm camera mới không cần huấn luyện lại mô hình tạo video tổng thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17201
ArXiv Abstract	https://arxiv.org/abs/2610.17201
PDF Download	https://arxiv.org/pdf/2610.17201.pdf
Github Repository	https://github.com/TencentARC/Multics

19. UltraBERT: Beyond the Limit of BERT Pre-Training (52 votes)

Tác giả: Jungwoo Park, Taewhoo Lee, Jaewoo Kang

Xuất bản lúc: 2026-10-10

Tag: Bidirectional Encoders, Masked Language Modeling, Information Retrieval, Knowledge Distillation, Model Pruning, Long Context, Compute Scaling

I. Main Problem:

Các encoder hai chiều hiện đại đã được hiện đại hóa theo LLM nhưng công thức pre-training, đặc biệt là mục tiêu masked language modeling, vẫn kế thừa quy ước từ quy mô nhỏ. Hệ quả là:

không có một encoder duy nhất cạnh tranh tốt đồng thời trên classification và retrieval
tỉ lệ che từ, ngân sách token và distillation bị rối với tốc độ hội tụ trong các nghiên cứu trước
thêm token sau điểm bão hòa dường như không nâng được trần hiệu suất downstream.

II. Main Idea:

UltraBERT kiểm tra lại pre-training encoder ở quy mô nghìn tỷ token và rút ra ba điểm: downstream bão hòa quanh 1–2 nghìn tỷ token, classification thích tỉ lệ che thấp còn retrieval thích tỉ lệ che cao, và pruning/distillation chỉ giúp classification ở tỉ lệ thấp nhưng có thể làm retrieval xấu đi ở tỉ lệ cao.

Từ đó, tác giả huấn luyện một encoder dùng chung nhưng mỗi batch trộn chuỗi che 5% và 50% theo tỉ lệ 4:1; mỗi tỉ lệ có một LM head riêng để tránh nhiễu gradient. Chuỗi 5% được distill từ teacher 1.3B sau pruning, còn chuỗi 50% học masked language modeling chuẩn. Mô hình 380M và 150M được cắt từ teacher 1.3B, train khoảng 2T token, context gốc 32K.

Ví dụ đời thường: giống một vận động viên tập chung một cơ thể nhưng có hai bảng chấm riêng: bài nhẹ thì được soi theo phong thái của huấn luyện viên, bài nặng thì chấm theo luật thi riêng, để hai cách chấm không đánh tráo lẫn nhau.

III. Main Results:

UltraBERT-380M đạt GLUE 91.0 và BEIR 47.7, đồng thời mạnh trên classification lẫn retrieval; đây là điểm khác biệt cốt lõi vì các baseline mạnh thường chỉ thắng một phía.
UltraBERT-150M đạt GLUE 89.5, SQuAD 2.0 89.2, BEIR 45.2; ngang RoBERTa-large về classification với 2.3× ít tham số hơn và vượt Ettin-encoder-400M về retrieval ở kích thước 2.6× nhỏ hơn.
Cả hai quy mô đều hỗ trợ sẵn context dài 32K, với điểm LongEmbed tốt nhất nhóm; bản 150M còn vượt các bản medium của họ mô hình khác.
Lợi thế lớn nhất xuất hiện ở retrieval code/math: vượt mô hình đứng thứ hai khoảng +7.3/+8.3 điểm ở base và +8.4/+7.7 điểm ở medium.
Thí nghiệm mixing cho thấy trộn 5% và 50% có tách LM head đạt gần mức tốt nhất của cả hai chế độ: GLUE 89.4 và BEIR 45.1 ở 150M; nếu dùng chung head thì classification không đạt mức đó.

IV. Conclusion & Future Works:

Bài báo kết luận rằng sự chuyên biệt của encoder không phải bản chất cố định, mà là hệ quả của công thức pre-training: sau bão hòa, tỉ lệ che từ quyết định mô hình nghiêng về classification hay retrieval. Tách LM head theo chế độ che và chỉ distill ở chế độ che thấp cho phép một encoder vượt trade-off này. Phần trích không nêu hướng tương lai cụ thể; hàm ý mở rộng là kiểm tra cách phân bổ compute sau bão hòa, thiết kế tỉ lệ che theo tác vụ, và chuyển giao tri thức cho encoder đa mục tiêu.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu điểm bão hòa downstream của encoder hai chiều như một ngưỡng phân bổ compute: sau ngưỡng này, cần đổi từ thêm token sang thiết kế mục tiêu, tỉ lệ che và distillation.
Phát triển framework multi-task pre-training cho encoder xem mỗi tỉ lệ che là một tác vụ, với cơ chế tách head/gradient để giảm xung đột giữa classification và retrieval.
Kiểm tra tương tác giữa pruning, distillation và tỉ lệ che ở quy mô lớn: khi nào teacher giúp, khi nào teacher truyền tín hiệu quá tầm thường làm retrieval giảm.
Mở rộng công thức UltraBERT sang code/math retrieval và context dài, vì đây là hai mặt có khoảng cách lớn nhất so với baseline trong bảng kết quả.
Thử nghiệm thay đổi tỉ lệ trộn 5%:50%, tần suất head riêng, và teacher size để tìm biên hiệu quả cho encoder nhỏ chạy trên thiết bị.

2. Patent:

Trợ lý tìm kiếm offline trên điện thoại: một mô hình mã hóa nhỏ gồm phần thân dùng chung và hai đầu ra riêng; đầu cho câu hỏi/ngữ cảnh ít bị che dùng để hiểu ý định, đầu cho đoạn văn bị che nhiều dùng để tìm tài liệu giống nhau, giúp trả lời và xếp hạng nhanh mà không cần gửi dữ liệu lên máy chủ.
Bộ lọc dữ liệu cho ứng dụng nhắn tin/email trên di động: mô hình nhỏ phân loại tin rác, ưu tiên thư quan trọng và trích xuất tên sự kiện bằng nhánh che thấp, đồng thời dùng nhánh che cao để gom các đoạn tin giống nhau thành chủ đề để giao diện gọn hơn.
Hệ đồng bộ ghi chú và tài liệu cá nhân: khi người dùng lưu ảnh chụp tài liệu, trang web hoặc ghi âm đã phiên âm, encoder hai chế độ tạo hai dạng biểu diễn cho cùng một nội dung; một dạng nhạy với phân loại, một dạng nhạy với tìm kiếm, giúp truy xuất đúng ghi chú ngay cả khi diễn đạt khác.
Tính năng gợi ý trả lời trong cuộc gọi/hội thoại: mô hình chạy cục bộ đánh giá mức độ hài lòng hoặc rủi ro của tin nhắn bằng nhánh học theo mẫu tốt, còn nhánh học theo mục tiêu tự giám sát tìm các tin tương tự đã xử lý để đề xuất câu trả lời phù hợp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15028
ArXiv Abstract	https://arxiv.org/abs/2610.15028
PDF Download	https://arxiv.org/pdf/2610.15028.pdf
Github Repository	N/A

20. SALD: Self-Referenced Advantage Learning for Diffusion Models (47 votes)

Tác giả: Aryan Das, Surjo Dey, Koushik Biswas, Swalpa Kumar Roy, Moloud Abdar, et al.

Xuất bản lúc: 2026-10-07

Tag: Diffusion Models, Flow Matching, Self-Distillation, Curriculum Learning, Spectral Analysis, Image Generation

I. Main Problem:

Huấn luyện mô hình diffusion hiện tại phân bổ gradient đồng đều cho mọi ảnh-chú thích, mọi mức nhiễu và mọi vùng không gian, dù độ khó thực tế biến thiên rất lớn:

Các phương pháp trọng số theo noise level (EDM, P2...) áp dụng cùng một quy tắc cho mọi mẫu tại một mức nhiễu, bỏ qua độ khó riêng của từng cặp ảnh-chú thích.
Mạng neural có spectral bias — học cấu trúc tần số thấp (hình khối thô) trước chi tiết tần số cao — nên huấn luyện đều tiếp tục nhấn vào tín hiệu đã học được, trong khi bỏ qua các chi tiết còn khó.
Các kỹ thuật self-distillation của mô hình ngôn ngữ (condition theo demonstration hoặc feedback) không chuyển trực tiếp sang diffusion, vì diffusion không có demonstration văn bản hay phân phối đầu ra condition theo feedback.

II. Main Idea:

SALD (Self-Referenced Advantage Learning) cho diffusion model tự tạo tín hiệu huấn luyện tham chiếu mà không cần teacher network, demonstration hay tham số bổ sung. Cơ chế gồm ba thành phần:

Hai đường nhiễu cho cùng một mẫu: mỗi cặp ảnh-chú thích được đánh giá ở hai mức nhiễu bằng cùng một model — đường nhiễu thấp (dễ, easy path) tính không gradient làm chuẩn tham chiếu, đường nhiễu cao (khó, hard path) là đường cập nhật tham số.
Advantage-Guided Diffusion (AGD): lấy hiệu lỗi giữa hai đường (ℓ_hard − sg(ℓ_easy)) làm "advantage" — mẫu nào lỗi tăng mạnh khi nhiễu tăng thì được trọng số lớn hơn qua sigmoid + chuẩn hóa trong batch. Quan trọng: chỉ chặn gradient ở đường easy, không phải distill prediction của easy vào hard.
Temporal Advantage Memory (TAM): lưu EMA độ khó cho từng mẫu; mẫu luôn khó thì khoảng cách nhiễu easy-hard được nới rộng dần, tạo curriculum thích ứng theo từng ví dụ.
Spectral Advantage Decomposition (SAD): so sánh phổ công suất (FFT) của residual hai đường, đưa qua sigmoid và biến đổi ngược (IFFT) thành trọng số theo tần số cho từng phần tử latent, tập trung gradient vào chi tiết tần số cao còn yếu — chống lại spectral bias.

Không đổi kiến trúc, không đổi quy trình inference, chỉ thêm một bộ nhớ N giá trị và phép FFT; có kèm chứng minh hội tụ cho mục tiêu khả vi.

Ví dụ đời thường: giống học sinh tự làm một bài kiểm tra dễ (không tính điểm) để đo "mình yếu chỗ nào", rồi tập trung ôn phần chênh lệch giữa bài dễ và bài khó — thay vì thuê gia sư chấm hộ.

III. Main Results:

Thử nghiệm trên 4 kiến trúc (SANA 0.6B/1.6B, PixArt-Σ, Flux.2 Klein 4B), 7 benchmark (COCO, MultiGen-20M, Flickr8k, CUB-200, Oxford Flowers ở 512×512; MAGICK, DALL·E 3 1M ở 1024×1024).
Vượt mọi baseline (SpeeD, Temporal Diff, SRA) về FID, CLIP, LPIPS ở đa số cài đặt; ví dụ SANA 1.6B trên COCO: FID giảm từ 26.49 → 22.76; Flux.2 Klein trên DALL·E 3: FID 14.11 → 10.85.
Hội tụ nhanh và mượt hơn baseline theo đồ thị FID theo số bước huấn luyện.
Ablation: AGD là thành phần đóng góp mạnh nhất khi dùng riêng; AGD+SAD là cặp tốt nhất; cả ba kết hợp mới đạt kết quả tối ưu (từng thành phần không thừa). Độ nhạy dạng chữ U theo nhiệt độ τ, EMA α và khoảng nhiễu tối đa Δmax — giá trị mặc định (τ=0.5, α=0.9, Δmax=250) là tốt nhất.
Thay advantage tương đối bằng loss tuyệt đối hoặc bỏ stop-gradient đều làm sụt kết quả gần về baseline, chứng tỏ tín hiệu tương đối là cốt lõi; SALD với 12 bước inference vẫn tốt hơn baseline 20 bước.

IV. Conclusion & Future Works:

SALD cho thấy diffusion model có thể tự xây dựng tín hiệu độ khó tương đối (theo mẫu, theo thời gian huấn luyện và theo tần số) từ chính hai phiên bản nhiễu của cùng một dữ liệu, mà không cần teacher, tham số phụ hay thay đổi inference. Framework đơn giản, agnostic với kiến trúc, cải thiện đồng thời độ trung thực, độ khớp văn bản và chất lượng cảm quan, có phân tích lý thuyết ủng hộ kết quả thực nghiệm.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp advantage tự tham chiếu với phản hồi từ người dùng (human feedback) hoặc reward model bên ngoài để điều chỉnh trọng số huấn luyện theo cả độ khó nội tại lẫn preference ngoại sinh.
Áp dụng nguyên lý easy-path/hard-path contrast cho video diffusion và 3D generation, nơi chi phí tính toán của hai lượt forward cần được tối ưu hơn nữa.
Mở rộng TAM thành cơ chế curriculum phân cấp theo cụm mẫu tương đồng thay vì lưu bộ nhớ per-sample, giảm chi phí bộ nhớ khi tập dữ liệu rất lớn.
Nghiên cứu SAD theo hướng giữ lại thông tin phase của FFT để tạo trọng số không chỉ theo tần số mà còn theo vị trí không gian cụ thể của lỗi.

2. Patent:

Ứng dụng chụp ảnh trên điện thoại: engine tạo ảnh AI tích hợp trong chip/chụp ảnh điện thoại dùng cơ chế so sánh hai mức nhiễu để tự nhận biết ảnh chân dung nào còn lỗi chi tiết (tóc, da, phụ kiện) và ưu tiên cải thiện đúng phần đó trong quá trình huấn luyện mô hình onboard, giúp ảnh chụp AI đẹp hơn mà không cần máy chủ gia sư riêng.
Module tinh chỉnh mô hình ảnh trên thiết bị di động: khi người dùng chỉnh sửa ảnh bằng AI (xóa phông, mở rộng ảnh), điện thoại chạy hai phiên bản nhiễu khác nhau của cùng ảnh để đo độ khó theo từng vùng ảnh rồi tập trung tài nguyên tính toán vào vùng còn lỗi, giảm thời gian và điện năng xử lý.
Dịch vụ đám mây huấn luyện ảnh tùy biết: hệ thống lưu bộ nhớ độ khó lâu dài cho từng khách hàng/từng phong cách ảnh để tự điều chỉnh lộ trình huấn luyện (mẫu khó được tăng độ chênh nhiễu dần), cho phép fine-tune mô hình cá nhân hóa nhanh hơn và ít dữ liệu hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01496
ArXiv Abstract	https://arxiv.org/abs/2610.01496
PDF Download	https://arxiv.org/pdf/2610.01496.pdf
Github Repository	N/A

21. EviScene: Beyond "Is It AI?" for Agentic Image Factuality Assessment (46 votes)

Tác giả: ZiAn Wang, Ruiqi Liu, Zhengbo Zhang, Yi Han, Jialiang Shen, et al.

Xuất bản lúc: 2026-10-10

Tag: Visual Fact-Checking, Multimodal Agents, ReAct, Self-Distillation, Evidence Retrieval, Benchmark

I. Main Problem:

Kiểm tra ảnh AI-generated chỉ trả lời được "ảnh này có do AI tạo không?", không trả lời được "tình huống trong ảnh có đúng thật không?" — ví dụ ảnh thật vẫn có thể mô tả sự kiện sai (tay cầm cúp Champions League nhưng ghi là vô địch World Cup 2022). Bài toán mới Image Factuality Assessment đặt ra hai thử thách:

Không có claim văn bản kèm theo như các benchmark cũ (A VerImaTeC): hệ thống phải tự đặt và tinh chỉnh câu hỏi kiểm chứng dựa trên nội dung hình ảnh và bằng chứng mới thu thập.
Bằng chứng thu về phải khớp đúng tình huống trong ảnh: tư liệu về cùng một người/địa điểm nhưng khác sự kiện, năm, giai đoạn thì không đủ để kết luận.

II. Main Idea:

EviScene là một agent đa phương thức theo kiến trúc ReAct nhận vào một ảnh + câu hỏi chung chung ("Is this real?") và điều tra tuần tự:

Ba nhóm công cụ luôn sẵn sàng: visual tools (zoom, đọc chữ, đếm vật, soi lại vùng ảnh), retrieval tools (tìm web, tìm ảnh theo text, tìm ảnh ngược), evidence tools (đọc trang nguồn, so sánh ảnh tham chiếu).
Mỗi lượt, policy suy luận về một câu hỏi kiểm chứng chưa giải quyết rồi chọn một tool action; quan sát mới được nối vào lịch sử và dùng để tinh chỉnh câu hỏi (ví dụ: tìm ra danh tính người ngoài ảnh → quay lại soi vùng ảnh liên quan), cho tới khi đủ bằng chứng để xuất verdict kèm trích dẫn.
Huấn luyện hai giai đoạn trên Qwen3.5-9B: SFT toàn bộ trajectory của teacher (Qwen3.5-397B) đã qua kiểm duyệt, rồi Privileged on-policy Self-Distillation (PSD): một mô hình can thiệp (chỉ dùng khi train) xác định điểm quyết định sai sớm nhất trong chính các cuộc điều tra của policy, chèn một gợi ý quy trình ngắn (không tiết lộ đáp án), để bản đóng băng của policy tự sửa tiếp; chỉ giữ những continuation sửa đúng và kết luận đúng để distill phân phối token cho student.

Ví dụ đời thường: giống một phóng viên kiểm chứng tin đồn — thay vì nhìn ảnh rồi phán ngay, người này tra cứu từng manh mối, manh mối mới lại gợi ra câu hỏi mới ("cúp này thuộc giải nào?"), quay lại soi lại chi tiết ảnh, cho tới khi bằng chứng đủ chắc mới kết luận và nêu rõ căn cứ.

III. Main Results:

Benchmark EviLens: 10.174 ảnh (3.114 supported / 7.060 refuted), 12 kiểu lỗi thực tế thuộc 3 nhóm (sự kiện-quan hệ, thuộc tính-chi tiết, ngữ cảnh), xây dựng kiểm soát + thu thập từ web, qua sàng lọc của 2 chuyên gia (chuyên gia thứ 3 phân xử bất đồng).
Test 1.527 ảnh: policy Qwen3.5-9B (SFT+PSD) đạt 79,05% BAcc và 52,26% SESR — cao hơn base agent cùng backbone +6,71 và +9,37 điểm phần trăm, và SESR cao nhất trong tất cả agent được đánh giá, vượt cả Qwen3.5-397B lớn hơn rất nhiều (+7,33 BAcc, +8,97 SESR).
Điều tra bằng agent cải thiện SESR trên cả 5 backbone so với nhìn ảnh phán trực tiếp (từ +27,11 tới +46,82 điểm phần trăm).
Ablation công cụ: bỏ web search -16,37 SESR; bỏ image retrieval -12,25; bỏ evidence inspection -6,22 — cả ba đều cần thiết.
Kết quả tốt trên cả ảnh dựng lẫn ảnh web, và khái quát hóa sang các generator chưa dùng khi train (GPT Image 2, Seedream 5.0 Lite).

IV. Conclusion & Future Works:

Kiểm chứng ảnh nên dựa vào bằng chứng về tình huống được mô tả chứ không phải độ giống thật của ảnh hay nguồn gốc ảnh. EviScene chứng minh một policy nhỏ (9B) huấn luyện bằng SFT + PSD có thể điều tra đa bước tốt hơn cả model lớn. Hướng tương lai (gợi mở từ cách làm): mở rộng taxonomy lỗi thực tế, cải thiện cân bằng giữa recall supported/refuted, và tăng độ tin cậy của quy trình tự sửa lỗi trong policy.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EviLens sang video: kiểm chứng tính thực tế của tình huống trong clip (sự kiện, thời điểm, bối cảnh) bằng agent tra cứu bằng chứng xuyên suốt các frame.
Áp dụng PSD (privileged on-policy self-distillation) cho các tác vụ agent đa phương thức khác — ví dụ kiểm chứng thông tin y tế hoặc pháp lý từ tài liệu — để tự sửa điểm quyết định sai mà không lộ đáp án cho student.
Xây dựng benchmark kiểm chứng ảnh đa ngôn ngữ/châu Á, vì bằng chứng web hiện nay thiên lệch nguồn tiếng Anh.

2. Patent:

Ứng dụng điện thoại kiểm chứng ảnh tin đồn: người dùng chụp/chia sẻ ảnh, ứng dụng tự tra cứu web và so sánh chi tiết trong ảnh (biển hiệu, cúp, áo, chữ trên poster) với hồ sơ thật rồi trả về kết luận "đúng/sai" kèm bằng chứng trích nguồn.
Tính năng cảnh báo ảnh sai sự kiện trong mạng xã hội: tự động phân tích ảnh được đăng lại nhiều, đối chiếu thời gian, địa điểm, nhân vật với dữ liệu chính thống và gắn nhãn nghi vấn trước khi lan truyền.
Công cụ hỗ trợ phóng viên/biên tập viên xác minh ảnh minh họa bài báo: nhấn một nút để agent điều tra đa bước (đọc chữ trong ảnh, tìm ảnh gốc, đọc trang nguồn) và xuất báo cáo kiểm chứng có trích dẫn.
Hệ thống chống lừa đảo bằng ảnh giả (giấy tờ, giấy chứng nhận, hóa đơn): camera quét ảnh, hệ thống so sánh với cơ sở dữ liệu chính thức và trả về điểm nghi vấn cụ thể (sai tên chương trình, sai ngày triển lãm, sai tiêu chuẩn).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14609
ArXiv Abstract	https://arxiv.org/abs/2610.14609
PDF Download	https://arxiv.org/pdf/2610.14609.pdf
Github Repository	N/A

22. AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers (46 votes)

Tác giả: Javad Rajabi, Koorosh Roohi, David B. Lindell, Babak Taati

Xuất bản lúc: 2026-10-12

Tag: Diffusion Models, Diffusion Transformers, High-Resolution Image Generation, Attention Mechanism, Training-Free Inference, RoPE, Discrete Wavelet Transform, Efficient Inference

I. Main Problem:

Sinh ảnh vượt quá độ phân giải huấn luyện của Diffusion Transformers vẫn rất khó vì:

số token tăng nhanh theo độ phân giải, khiến full attention có chi phí bậc hai;
mọi token đều nhìn toàn cục ở mọi bước denoise, đẩy mô hình ra khỏi phân phối đã học khi khoảng cách tương đối vượt ngưỡng huấn luyện;
kết quả dễ bị méo cấu trúc, nhân bản chủ thể, mất chi tiết;
các phương pháp cũ hoặc phụ thuộc ảnh độ phân giải thấp để dẫn hướng, hoặc sửa RoPE theo kiến trúc cụ thể nên khó khái quát.

II. Main Idea:

AReA là cơ chế attention không cần huấn luyện, thay đổi vùng nhìn của attention theo tiến trình coarse-to-fine của denoising. Quan sát cốt lõi: attention càng về cuối càng tập trung vào token lân cận, nên không cần nhìn toàn ảnh ở mọi bước.

Giai đoạn đầu - Cross-scale Coarse Attention: query giữ nguyên độ phân giải đích, nhưng key/value được gộp theo khối và đặt lên lưới thô gần độ phân giải huấn luyện, để mỗi token vẫn nắm bố cục toàn cục với chi phí thấp hơn; hệ số gộp giảm dần theo bước denoise.
Giai đoạn sau - Adaptive Windowed Fine Attention: attention chỉ trong các cửa sổ cục bộ thu nhỏ dần; vùng mượt theo bản đồ wavelet được chia nhỏ thêm, ranh giới cửa sổ dịch ngẫu nhiên, thêm quyền truy cập token lân cận và cầu nối token đặc trưng toàn cục để giảm vết nối và nhân bản đối tượng.
Không cần tham số mới, không cần huấn luyện lại, không cần ngoại suy RoPE.

Ví dụ đời thường: giống họa sĽ phác toàn bộ khung tranh khi bắt đầu, rồi sau đó liên tục zoom vào từng vùng nhỏ để chỉnh nét mắt, áo, chữ và vân tuyết, thay vì cả buổi nhìn chằm chằm cả tấm tranh khổng lồ.

III. Main Results:

Nhanh hơn rõ rệt: đạt khoảng 3.2× trên FLUX.1 và 2.9× trên Qwen-Image ở 6144×6144 so với full attention; lợi thế tăng theo độ phân giải.
Chất lượng tốt hơn: vượt các baseline training-free như UltraImage, DyPE, SigMa, SEGA trên hầu hết metric về ImageReward, Aesthetic, CLIP, PickScore, FID và FID patch-based ở nhiều tỷ lệ khung hình.
Ổn định ở độ phân giải rất cao: duy trì cấu trúc và chi tiết tốt ở 4096×4096, 5120×5120 và hình ảnh tới khoảng 67 triệu pixel.
Ablations: bỏ giai đoạn coarse làm các cửa sổ cục bộ lệch bố cục; bỏ giai đoạn fine khiến ảnh thiếu chi tiết; cửa sổ cố định gây fragmentation; thiếu cầu nối toàn cục làm tăng FID từ 148.5 lên 161.3 do nhân bản chủ thể.
Hiệu quả thực tế: ở 4096×4096, FLUX.1 giảm từ 314s xuống 151s; Qwen-Image giảm từ 902s xuống 487s.

IV. Conclusion & Future Works:

AReA cho thấy nguyên nhân chung của cả chậm và nhiễu ở độ phân giải cao là full attention đồng nhất: mỗi token luôn nhìn quá xa. Bằng cách khớp vùng nhìn attention với tiến trình denoise, phương pháp giữ mô hình gần chế độ huấn luyện, cải thiện bố cục toàn cục, chi tiết cục bộ và giảm chi phí tính toán. Hướng mở: khai thác thêm dư thừa thời gian giữa các bước denoise để tăng tốc xa hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cơ chế thay đổi vùng nhìn attention theo thời gian cho video diffusion và ảnh động độ phân giải cao, nơi dư thừa không gian và thời gian đều lớn.
Học hoặc tối ưu lịch chuyển từ nhìn toàn cục sang cục bộ theo từng mô hình, sampler và nội dung ảnh thay vì dùng ngưỡng chuyển cố định.
Xây dựng benchmark đánh giá chi tiết cho ảnh siêu cao độ phân giải, bao gồm bố cục, chữ trong ảnh, đếm đối tượng và metric gần với đánh giá con người hơn.
Kết hợp chia vùng theo nội dung ảnh với cache và tái sử dụng attention giữa các bước denoise để đạt tăng tốc nhiều hơn nữa.

2. Patent:

Ứng dụng điện thoại sinh ảnh nền, poster hoặc ảnh quảng cáo khổ lớn từ mô hình diffusion có sẵn: điện thoại hoặc server dùng phác thảo toàn cục ở bước đầu rồi tự động zoom vào từng vùng để sửa chi tiết, cho ảnh lớn mà không cần huấn luyện lại mô hình.
Chế độ mở rộng ảnh chụp trên điện thoại lên kích thước in hoặc wallpaper siêu nét: ứng dụng giữ bố cục tổng thể ở đầu, sau đó chỉnh mặt, chữ, viền và vật liệu theo từng vùng nhỏ để tránh méo hình.
Hệ thống lai trên điện thoại - đám mây cho ảnh độ phân giải rất cao: thiết bị xử lý hoặc xem trước các vùng cục bộ, đám mây tính các phần nặng theo lát nội dung thay đổi, giảm thời gian chờ và giữ chất lượng toàn ảnh.
Công cụ chỉnh ảnh AI trong điện thoại cho tác vụ upscale hoặc inpaint vùng lớn: xác định vùng trơn và vùng chi tiết, tập trung sức mạnh tính toán vào vùng phức tạp như mắt, chữ, logo và giảm xử lý ở nền mượt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17227
ArXiv Abstract	https://arxiv.org/abs/2610.17227
PDF Download	https://arxiv.org/pdf/2610.17227.pdf
Github Repository	https://github.com/KooroshRH/AReA

23. APEX: Asynchronous Prefix Denoising for Extreme Compression (42 votes)

Tác giả: David Dinkevich, Nisan Chiprut, Yoav HaCohen, Dani Lischinski

Xuất bản lúc: 2026-10-09

Tag: Diffusion Models, Latent Diffusion, Deep Compression Autoencoders, Extreme Spatial Compression, Hierarchical Latents, Image Generation, ImageNet

I. Main Problem:

Latent diffusion nén ảnh vào lưới không gian nhỏ để giảm chi phí attention của Transformer, nhưng gặp một dilemma tái tạo–sinh ảnh (reconstruction-generation dilemma):

Ở cùng mức nén, tăng số kênh latents giúp tái tạo tốt hơn (giữ chi tiết, texture) nhưng khiến diffusion sinh ảnh khó hơn vì mô hình phải tạo nhiều thông tin hơn.
Ngược lại, giảm kênh dễ sinh nhưng ảnh tái tạo mất chi tiết.
Ở mức nén cực hạn 128×, ảnh 512×512 chỉ còn 16 token, vấn đề càng nghiêm trọng — các phương pháp cũ (DC-AE, DC-AE 1.5, FreqWarm, Spectrum Matching) suy giảm gFID rất mạnh khi tăng kênh.

II. Main Idea:

APEX (Asynchronous Prefix denoising for EXtreme compression) giải quyết bằng cách đồng thiết kế cách tổ chức kênh và cách khử nhiễu:

Autoencoder phân cấp theo độ phân giải (resolution-aware): các kênh latents được chia thành các nhóm (prefix) xếp từ cấu trúc → chi tiết. Mỗi mức (level) chỉ bị giám sát ở độ phân giải tương ứng — mức đầu học layout/bố cục, mức sau bổ sung chi tiết cao tần. Điều này ngăn mức đầu tiên lãng phí dung lượng vào chi tiết rời rạc.
Khử nhiễu bất đồng bộ (staggered local times): một đồng hồ toàn cục điều phối; mỗi mức khởi động trễ hơn mức trước một khoảng g (equal-gap), nên mức sau được sinh từ ngữ cảnh cấu trúc đã sạch hơn của mức trước. Một Transformer dùng chung phục vụ mọi mức — không tăng số token.
Phân bổ huấn luyện: gán xác suất lớn (p_L0 ≈ 0.9) cho giai đoạn mức cấu trúc sinh từ đầu, vì đó là phần khó nhất.
Điểm mấu chốt: hệ thống phân cấp và khử nhiễu bất đồng bộ không tự kết hợp được — dùng từng cái riêng hoặc ghép ngây thơ đều khiến chất lượng tệ hơn; chỉ khi khớp "cái gì được biểu diễn – khi nào khử nhiễu – huấn luyện thế nào" thì mới hiệu quả.

Ví dụ đời thường: giống như vẽ tranh phác thảo trước, đổ màu sau — họa sĩ phác khung và hình khối xong, mới bắt đầu tô chi tiết; nét vẽ chi tiết luôn dựa trên nền đã rõ ràng chứ không tô đồng thời từ giấy trắng.

III. Main Results:

Trên ImageNet-512 ở mức nén 64× (64 token) và 128× (16 token), APEX vượt mọi phương pháp so sánh ở mọi số kênh đánh giá và suy giảm chậm hơn nhiều khi tăng kênh:
f64: gFID 2.85 (c128) → 3.15 (c256) → 4.90 (c512), trong khi DC-AE từ 3.22 vọt lên 26.10 ở c512.
f128c512: APEX đạt 8.98 gFID với chỉ 16 token, mọi baseline khác vẫn ở hai chữ số (DC-AE 1.5: 11.86; DC-AE: 14.44).
Model 64 token của APEX đạt gFID tương đương SD-VAE f8c4 (1024 token) chỉ với 15% FLOPs huấn luyện denoiser.
Cùng ngân sách compute huấn luyện, APEX (64 token) thắng model 256 token ít nén hơn ở mọi ngân sách inference, lợi thế càng lớn khi compute càng hạn chế (250 NFE: 2.74 vs 2.95).
Ablation: thêm phân cấp vào diffusion thường làm tệ hơn (gFID +12.25); chỉ khi đầy đủ APEX diffusion mới xuống 8.12; ghép ngây thơ với cấu trúc DC-AE 1.5 thất bại nặng (52.89). Khoảng trễ tối ưu g ≈ 0.25; cả 3 mức đều đóng góp vào chất lượng cuối.

IV. Conclusion & Future Works:

APEX dịch chuyển rõ rệt giới hạn reconstruction–generation, biến nén không gian cực hạn từ "giảm chi phí mỗi bước" thành lợi thế chất lượng–compute thực sự, mà không đặt thêm nút cổ chai thông tin nào lên latents. Hạn chế & hướng tương lai: hiện vẫn phải chọn thủ công ranh giới kênh, độ phân giải mục tiêu từng mức, khoảng trễ g và phân phối đồng hồ; học đồng thời các siêu tham số này cùng autoencoder và denoiser là hướng hứa hẹn.

V. Brainstorming Space:

1. Publish Papers:

Học đồng thời cấu trúc phân cấp kênh, lịch khử nhiễu bất đồng bộ và phân phối huấn luyện theo đồng hồ toàn cục — thay vì chỉnh tay từng siêu tham số như APEX hiện tại.
Mở rộng APEX từ ảnh tĩnh sang video diffusion: kết hợp phân cấp cấu trúc–chi tiết theo kênh với phân cấp theo thời gian để nén cả không gian lẫn thời gian.
Áp dụng khử nhiễu bất đồng bộ trên nhóm kênh cho các bài toán có điều kiện bổ sung (text-to-image, inpainting), trong đó mức cấu trúc được điều kiện hóa bởi ngôn ngữ còn mức chi tiết tinh chỉnh texture theo prompt.

2. Patent:

Ứng dụng tạo/chỉnh ảnh ngay trên điện thoại: ảnh được nén cực mạnh (vài chục token) nên chạy được diffusion trực tiếp trên chip di động — vẽ phác cấu trúc trước rồi thêm chi tiết sau theo từng nhóm kênh, tiết kiệm pin và thời gian so với tạo ảnh độ phân giải đầy đủ.
Bộ nén ảnh có thể sinh lại (generative codec) cho dịch vụ lưu trữ/mạng xã hội: ảnh lưu dưới dạng latents phân cấp nhỏ gọn; khi hiển thị, hệ thống sinh lại theo ngân sách — mức cấu trúc cho ảnh thu nhỏ xem trước tức thì, mức chi tiết tải thêm khi người dùng phóng to.
Hệ thống chỉnh sửa ảnh theo lớp trên thiết bị di động: giữ nguyên các nhóm kênh cấu trúc khi người dùng đổi phong cách/nền, chỉ khử nhiễu lại các nhóm kênh chi tiết — chỉnh sửa nhanh vì không phải tạo lại toàn bộ ảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.12843
ArXiv Abstract	https://arxiv.org/abs/2610.12843
PDF Download	https://arxiv.org/pdf/2610.12843.pdf
Github Repository	https://github.com/DavidDinkevich/APEX

24. Learning How to Remember: Memory Modality Selection for GUI Agents (41 votes)

Tác giả: Taeyun Roh, Suhyeong Park, Gijin Kim, Wonjune Jang, Jaewoo Kang

Xuất bản lúc: 2026-10-13

Tag: GUI Agents, Vision-Language Models, Memory Augmentation, Adaptive Routing, Multimodal Memory, Mobile Agents

I. Main Problem:

Các tác tử giao diện đồ họa có trí nhớ thường cố định một dạng biểu diễn kinh nghiệm: hoặc là văn bản mô tả, hoặc ảnh chụp màn hình, hoặc luôn đưa cả hai vào ngữ cảnh. Điều này bỏ qua một thực tế: mỗi bước tương tác có nhu cầu khác nhau.

Màn hình dày phần tử, bố cục tinh vi thường cần ảnh để giữ chi tiết không gian.
Khi thông tin đã đủ cô đọng, văn bản có thể giúp suy luận gọn và ổn định hơn.
Cung cấp cả hai dạng cùng lúc không những không chắc tốt hơn mà còn có thể làm nhiễu quyết định. Hệ quả là một dạng trí nhớ cố định luôn để lại khoảng hổng so với việc chọn đúng dạng trí nhớ ở từng bước.

II. Main Idea:

Bài báo đề xuất SwitchMem, một khung định tuyến chọn dạng trí nhớ theo từng bước thay vì theo cấu hình cố định. Quy trình chính:

Dùng cùng một ký ức được truy xuất, nhưng biểu diễn thành hai dạng: văn bản và ảnh.
Phân tích Directional Chain-of-Embedding bằng cách lấy hiệu các hidden states của actor khi chạy với ảnh và với văn bản; tín hiệu này mang thông tin về modality nào sẽ có ích hơn.
Từ tín hiệu đó, xây dựng mục tiêu sở thích mềm để huấn luyện một router nhẹ.
Khi suy diễn, router so sánh điểm của trạng thái hiện tại ghép với từng dạng trí nhớ; nếu điểm ảnh cao hơn văn bản đủ ngưỡng thì chọn ảnh, ngược lại chọn văn bản.
Actor chính vẫn đóng băng và chỉ nhận một dạng trí nhớ đã chọn ở bước hiện tại.

Ví dụ đời thường: giống như người dùng điện thoại có lúc chỉ cần đọc ghi chú “bấm nút Lưu ở góc dưới”, nhưng lúc màn hình phức tạp hoặc nút bị thay đổi vị trí lại phải nhìn ảnh chụp để biết chính xác phải chạm đâu; mỗi bước tự chọn loại gợi ý hợp nhất.

III. Main Results:

Trên AITW, LearnGUI, MobileMiniWoB++, SwitchMem đạt lần lượt 51.420, 38.131, 63.043, cao hơn mọi baseline bộ nhớ cố định và các phương pháp truy xuất trí nhớ khác.
So với dùng cố định ảnh: +2.12 điểm trên AITW, +0.69 điểm trên LearnGUI, +5.43 điểm trên MobileMiniWoB++.
Oracle chọn modality theo từng bước vượt rõ chiến lược cố định mạnh nhất: trên AITW khoảng 55.9 so với 49.3; trên LearnGUI khoảng 43.4 so với 37.4, cho thấy khoảng hổng thật của cách dùng một modality cố định.
SwitchMem thường dùng cả hai dạng trong cùng một hành trình: tỷ lệ hành trình có chuyển giữa hai modality là 83.8% trên AITW, 90.8% trên LearnGUI và 57.8% trên MobileMiniWoB; router không khóa cứng theo tác vụ.
Ảnh có lợi hơn khi màn hình dày phần tử, khi hành động liên quan chức năng hơn là vị trí không gian, và khi giao diện đã thay đổi sau bước đầu.
Router học được xu hướng này: nó chọn ảnh nhiều hơn đúng trong các trạng thái có lợi cho ảnh, không chỉ theo tỷ lệ chung.
SwitchMem vượt cả routing ngẫu nhiên được căn theo tỷ lệ dùng ảnh, chứng tỏ lợi ích đến từ gán đúng modality cho đúng bước, không phải chỉ thay đổi tỷ lệ ảnh/văn bản.
Chi phí thêm khá nhẹ vì chỉ xử lý một dạng trí nhớ và không thêm một vòng sinh quyết định tự hồi quy nào.
Khi chuyển sang actor chuyên biệt UI-TARS-7B-SFT, SwitchMem vẫn tốt nhất trên cả ba benchmark: 33.680, 41.055, 36.957.

IV. Conclusion & Future Works:

Kết luận chính là dạng trí nhớ tối ưu là quyết định phụ thuộc từng bước, không phải một lựa chọn thiết kế cố định. SwitchMem cho thấy tín hiệu sở thích modality có thể đọc được từ biểu diễn nội bộ của actor, và tín hiệu đó đủ mạnh để huấn luyện router chọn giữa văn bản và ảnh.

Hướng mở rộng còn lại:

Kiểm chứng trên thiết bị thật, giao diện iOS và các phiên bản Android mới hơn thay vì môi trường giả lập.
Mở rộng cho model chỉ truy cập qua API không lộ hidden states.
Kết hợp chọn dạng trí nhớ với cải thiện chất lượng truy xuất, thay vì chỉ cải thiện cách trình bày ký ức đã truy xuất.
Nghiên cứu routing trực tuyến khi giao diện thay đổi liên tục hoặc khi có lỗi từ các bước trước lan sang bước sau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu khi nào ký ức dạng ảnh vượt ký ức dạng chữ trong tác tử điện thoại, dựa trên mật độ giao diện, loại thao tác và mức độ thay đổi màn hình theo thời gian.
Phát triển router nhẹ chạy trên thiết bị có thể chọn giữa mô tả văn bản và ảnh chụp màn hình mà không cần truy cập trực tiếp vào trạng thái nội bộ của model lớn.
Kết hợp định tuyến dạng trí nhớ với cơ chế truy xuất tối ưu, để cùng lúc quyết định nên nhớ điều gì và nên trình bày ký ức đó bằng văn bản hay hình ảnh.

2. Patent:

Trợ lý điện thoại tự chọn gợi ý theo bước: khi màn hình đơn giản, hệ thống đưa câu hướng dẫn ngắn; khi màn hình dày biểu tượng hoặc bố cục mới, hệ thống đổi sang ảnh chụp màn hình có đánh dấu vùng cần bấm, giúp giảm lỗi thao tác và tiết kiệm băng thông.
Hệ thống kiểm thử tự động cho ứng dụng di động: trong các bước cần xác minh vị trí nút, màu sắc, trạng thái hiển thị, hệ thống ưu tiên ảnh giao diện; trong các bước chỉnh cài đặt hoặc lệnh hệ thống, hệ thống dùng mô tả văn bản ngắn để kiểm tra nhanh và ghi log dễ đọc.
Tính năng hỗ trợ người dùng khiếm thị hoặc người lớn tuổi: ứng dụng tự nhận biết màn hình quá phức tạp hoặc vừa thay đổi phiên bản, sau đó chuyển từ hướng dẫn bằng chữ sang ảnh chụp màn hình kèm chú thích lớn, rõ vị trí thao tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17928
ArXiv Abstract	https://arxiv.org/abs/2610.17928
PDF Download	https://arxiv.org/pdf/2610.17928.pdf
Github Repository	https://github.com/dmis-lab/SwitchMem

25. VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval (37 votes)

Tác giả: Shahaf Wagner, Gabriele Serussi, Dan Ben Ami, Tomer Galanti, Chaim Baskin

Xuất bản lúc: 2026-10-12

Tag: Video-Text Retrieval, Cross-Modal Retrieval, Cached Reranker, Joint Encoder, Dual Encoder, Feature Compression, Efficient Inference

I. Main Problem:

Tìm kiếm video quy mô lớn thường chạy theo hai tầng: tầng 1 (dual encoder) lấy ứng viên nhanh nhưng chỉ so khớp bằng tích vô hướng — không có tương tác chéo giữa token của query và video, nên không phân biệt được các video giống cảnh nhưng khác hành động/sự kiện. Các reranker chéo (joint reranker) khắc phục được điều này, nhưng với video thì:

Chi phí tính toán tăng theo số frame được sample, và encode lại video ở query-time gây độ trễ nghiêm trọng.
Các reranker dùng multimodal LLM (MLLM) đặt decoder hàng tỷ tham số ngay trên đường chạy query, rất tốn kém khi vận hành.

Vấn đề cốt lõi: làm sao có joint matching chi tiết mà không phải encode video lại mỗi khi có query mới.

II. Main Idea:

VEDJE (Video-Efficient Discriminative Joint Encoder) biến bài toán reranking thành bài toán thiết kế cache video tái sử dụng:

Offline (một lần): encoder thị giác đóng băng encode mỗi video một lần; một compressor (transformer decoder 2 lớp với M learned queries) nén đặc trưng từng frame riêng lẻ thành M token, ghép theo thứ tự thời gian thành cache Z(v). Cache nhỏ (48 KiB, thậm chí 12 KiB/video) nhưng vẫn giữ bằng chứng tách biệt theo từng thời điểm.
Chỉ khi train — feature-change supervision: một head phụ học dự đoán độ thay đổi đặc trưng giữa các frame tương lai (future-delta prediction) từ cache token nén; sau training head này bị bỏ, không tốn thêm tính toán lúc truy vấn. Tín hiệu phụ này ép cache giữ lại thông tin về thay đổi/trạng thái, rất quan trọng khi ngân sách token chật.
Online: reranker joint encoder nhỏ gọn (~33M tham số, MiniLM-L12) đọc cache video cùng query text, cộng thêm residual prior từ điểm tầng 1 (embed điểm số vô hướng vào không gian biểu diễn) rồi qua score head phi tuyến.
Train đồng thời 4 loss: matching, contrastive, masked-language, và delta.

Ví dụ đời thường: giống việc chụp album ảnh nén gọn của một hiện trường rồi dán nhãn theo thứ tự thời gian — sau này khách hỏi bất cứ câu nào, nhân viên chỉ cần lật album (không phải quay lại hiện trường) và đối chiếu với câu hỏi; việc tập luyện nhớ "điểm gì đã đổi giữa hai tấm ảnh" giúp album nén vẫn giữ được manh mối quan trọng.

III. Main Results:

MSR-VTT: với first stage VideoCLIP-XL fine-tuned, T2V R@1 tăng 56.2 → 59.8 và V2T 55.1 → 58.8, tổng ~157M tham số online — vượt nhiều hệ thống lớn hơn hàng tỷ tham số trên đồ thị hiệu suất/tham số.
Bốn benchmark (MSR-VTT, MSVD, DiDeMo, ActivityNet): cải thiện R@1 cả hai chiều so với first stage tương ứng, kể cả với các first stage đã fine-tuned (ví dụ VideoPrism +4.5/+4.8, PE-Core-B +6.3/+6.6, VideoCLIP-XL zero-shot +6.4/+7.2).
Cache cực nhỏ: giảm 4 lần xuống 12 KiB/video (1 token/frame) chỉ sụt T2V R@1 0.2 điểm nhờ feature-change supervision; ở ngân sách này delta loss mang lại +1.9 điểm T2V.
Ablation cấu trúc cache: giữ frame groups riêng tốt hơn pooling (mean/attention) cùng ngân sách lưu trữ ~2 điểm; joint encoder + prior (54.6) thắng rõ MaxSim được train tương đương (51.9).
Độ trễ toàn truy vấn: 5.79 ms với 20 ứng viên trên một L40S (tầng 1 riêng ~4.3 ms); cache 16 token giảm đáng kể độ trễ khi số ứng viên lớn (7.83 → 6.33 ms ở 100 ứng viên) và giảm dung lượng đọc cache 4 lần.
Kiến trúc CLIP ViT-B/16 chung: VEDJE (frozen backbone) đạt T2V/V2T 49.8/49.6, so sánh được EERCF (49.9/47.8) dù không fine-tune backbone.

IV. Conclusion & Future Works:

VEDJE chứng minh tìm kiếm video chính xác có thể chạy trên bằng chứng rất nhỏ, được encode một lần và tái sử dụng cho mọi query sau đó — mở ra lối triển khai joint video search thực tế mà không cần encoder thị giác hay MLLM khổng lồ trên đường query. Hạn chế & hướng tương lai:

Cache là query-blind — việc đọc/mở rộng cache có chọn lọc theo query là hướng mở rộng tự nhiên.
Cache gắn với backbone thị giác cố định — đổi backbone/compressor phải re-index toàn corpus.
Hai tầng chưa được train chung; khép vòng lặp này là một hướng đi.
Chỉ đánh giá trên caption tiếng Anh, video web — chưa kiểm chứng retrieval đa ngôn ngữ.

V. Brainstorming Space:

1. Publish Papers:

Cache video có chọn lọc theo query: mở rộng VEDJE bằng cơ chế đọc/expand cache động tại query-time thay vì cache cố định query-blind, nhằm vừa giữ nhỏ ngân sách lưu trữ vừa tăng độ chi tiết cho các truy vấn khó.
Huấn luyện end-to-end giữa tầng retrieval và reranker dùng cache: khép vòng phản hồi hai chiều giữa first stage và joint reranker để tối ưu chung chất lượng ứng viên và thứ hạng cuối.
Tổng quát hóa cache nén video cho retrieval đa ngôn ngữ và đa phương thức (audio, phụ đề), mở rộng đánh giá ngoài các benchmark tiếng Anh hiện có.

2. Patent:

Hệ thống tìm kiếm video trên điện thoại bằng cache nén tái sử dụng: mỗi video trong thư viện được nén một lần thành vài token siêu nhỏ lưu ngay trên máy; khi người dùng gõ mô tả, ứng dụng chỉ đọc các token nén này để xếp hạng lại ứng viên mà không cần chạy lại mô hình nhận diện video — tiết kiệm pin và chạy được ngoại tuyến.
Dịch vụ tìm kiếm video theo mô tả ngôn ngữ tự nhiên quy mô lớn: máy chủ encode toàn bộ video một lần thành cache vài chục KB/video, lưu cùng chỉ mục; mỗi truy vấn mới chỉ cần encoder văn bản nhỏ và bộ chấm điểm chéo ~30 triệu tham số, cho độ trễ vài mili giây mỗi query với chi phí hạ tầng thấp.
Công cụ quản lý kho video doanh nghiệp có gợi ý thông minh: khi nhân viên tải video lên, hệ thống tự nén kèm 'manh mối thay đổi cảnh' giữa các khoảnh khắc; sau đó tìm theo mô tả kiểu 'người mở cửa xe lúc chiều' vẫn chính xác dù video rất dài, và việc nâng cấp bộ xếp hạng không cần nén lại toàn bộ kho.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.11850
ArXiv Abstract	https://arxiv.org/abs/2610.11850
PDF Download	https://arxiv.org/pdf/2610.11850.pdf
Github Repository	https://github.com/GabrieleSerussi/vedje

26. FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching (30 votes)

Tác giả: Ruchang Yao, Shi Guo, Junhao Zhuang, Mingde Yao, Xin Cai, et al.

Xuất bản lúc: 2026-10-13

Tag: Video Super-Resolution, Diffusion Distillation, Distribution Matching, Hybrid Attention, Black-box Reward, OCR, Text-to-Image, 4K Inference

I. Main Problem:

Các mô hình VSR sinh học một bước hiện nay vẫn bị kẹp bởi hai điểm nghẽn:

Hiệu quả ở độ phân giải cao: attention không gian-thời gian trong DiT rất đắt, nên suy luận 2K/4K thường phải chia tile, mất ngữ cảnh toàn cục và dễ sinh artifact ở biên.
Distill nhưng chưa hợp sở thích người: DMD chuẩn chỉ khớp phân phối teacher, không ưu tiên đầu ra đẹp hơn theo cảm nhận con người; các reward kiểu black-box như OCR không cho gradient để tối ưu trực tiếp.

II. Main Idea:

FlashVSR+ tấn công cả kiến trúc lẫn chiến lược huấn luyện:

Hybrid attention: tác giả quan sát thấy attention của VSR pretrained rất cục bộ — khoảng 1% key blocks gần nhận tới 20% attention mass — nhưng mức độ cục bộ thay đổi theo lớp. Vì vậy họ thay phần lớn block full-attention bằng local spatiotemporal attention, chỉ giữ lại một số ít global blocks rải rác; cấu hình chọn là (3,1,25): mỗi 5 DiT block giữ 1 global block. Sau huấn luyện thích ứng, các global block còn lại học tương tác xa tốt hơn.
Ry-DMD: thay vì backprop qua reward, họ re-noise ảnh student, chạy nhiều teacher rollouts ngẫu nhiên, chấm điểm từng rollout bằng reward vô hướng, rồi nghiêng phân phối teacher về phía rollout có điểm cao hơn. Hiệu của trung bình có trọng số reward và trung bình gốc trở thành reward correction, được cộng vào teacher term của DMD.

Ví dụ đời thường: giống thợ phục chế ảnh làm thử vài bản từ cùng một ảnh gốc, nhờ người chấm điểm xem bản nào chữ rõ hơn, rồi chỉ đẩy tay nghề chính đi theo hướng những bản được chấm cao — mà không cần mở hộp đen của người chấm điểm.

III. Main Results:

Tốc độ và bộ nhớ: hybrid attention đạt tới 2× DiT speedup, giảm gần 45% peak memory; cấu hình chọn giảm khoảng 54% latency và 43% memory với suy giảm DOVER rất nhỏ. FlashVSR+ chạy 4K VSR không tile trên một RTX 4090 24GB.
So với SeedVR2 trên video 89 frame: trên H200-equivalent, Ours-Turbo cần khoảng 6.6/12.3/30.6s ở 1080p/2K/4K, trong khi SeedVR2 tới 51.5/157.8/410.5s và phải tile ở 2K/4K; trên RTX 4090, Ours-Turbo khoảng 16/32/90s, nhanh hơn SeedVR2 tiled 5.5–7.9×.
Chất lượng và preference: Ours-Base được ưa thích hơn rõ so với RealViFormer, DOVE, SeedVR2, PS-SR, FlashVSR; Ours-Turbo chỉ thua nhẹ dù nhanh hơn nhiều.
OCR-guided VSR: OCR tăng từ 0.624 → 0.776, PSNR 23.94 → 24.86, LPIPS giữ tốt; DMDR dùng surrogate differentiable lại rớt OCR xuống 0.527.
Tổng quát sang T2I: với one-step SDXL, OCR tăng 0.087 → 0.241, vượt cả teacher 50-step, đồng thời PickScore/HPSv2/ImageReward cải thiện; với SD3.5-M 4-step, OCR tăng 0.501 → 0.824.
Scaling DMD: kéo dài DMD không đơn điệu tốt hơn — chất lượng lên nhanh rồi đạt đỉnh sớm và suy; khởi tạo student và capacity teacher quan trọng hơn budget DMD dài.

IV. Conclusion & Future Works:

Điểm mấu chốt là VSR một bước có thể vừa rẻ hơn nhờ khai thác tính cục bộ của attention, vừa đúng gu người dùng hơn nhờ nghiêng mục tiêu teacher bằng reward vô hướng mà không cần gradient reward. Ry-DMD không chỉ giúp chữ trong video rõ hơn mà còn chuyển sang cải thiện chữ trong ảnh T2I. Hướng tương lai hợp lý: thử reward đa dạng hơn OCR, làm estimator rollout ổn định và ít mẫu hơn, kết hợp reward correction với khởi tạo student/teacher mạnh hơn, và mở rộng sang nâng cấp video thời gian thực trên thiết bị người dùng.

V. Brainstorming Space:

1. Publish Papers:

Phát triển biến thể reward-tilted distribution matching cho mô hình một bước, dùng ít teacher rollout hơn nhưng vẫn ổn định trên reward có nhiễu hoặc dễ bị hack.
Nghiên cứu thiết kế hybrid attention tự động: học cách rải global blocks theo độ phức tạp nội dung thay vì cố định mỗi 5 block.
Kết hợp khởi tạo student, capacity teacher và reward correction trong một framework chung để tránh hiện tượng DMD càng train càng xấu sau đỉnh sớm.
Mở rộng từ phục chữ sang reward đa phương thức cho video: độ rõ chữ, độ tự nhiên khuôn mặt, độ ổn định thời gian và ít artifact theo vùng biên tile.

2. Patent:

Ứng dụng điện thoại nâng cấp video 4K: video được nâng cấp theo từng đoạn ngắn bằng mô hình một bước; hệ thống ưu tiên tính toán cục bộ quanh vùng chi tiết và chỉ dùng vài block toàn cục để giữ độ mượt, giúp chạy mượt trên chip điện thoại.
Bộ lọc livestream hoặc video mạng xã hội trên mobile: tăng độ nét video trước khi gửi hoặc sau khi tải, tự động làm rõ chữ trong biển hiệu, menu, phụ đề mà không cần phần cứng máy chủ đắt tiền.
Công cụ phục chế video quay từ camera giám sát hoặc camera xe: tăng chất lượng biển số, chữ trên bao bì và chi tiết khuôn mặt trong điều kiện thiếu sáng, giảm nhu cầu lưu trữ video gốc độ phân giải rất cao.
Trình chỉnh sửa ảnh có phản hồi điểm số: người dùng chọn mục tiêu như chữ rõ hơn, da tự nhiên hơn hoặc bố cục sạch hơn; ứng dụng sinh vài phiên bản, tự chấm điểm bằng mô hình đánh giá rồi đẩy kết quả về phiên bản được ưa thích.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17552
ArXiv Abstract	https://arxiv.org/abs/2610.17552
PDF Download	https://arxiv.org/pdf/2610.17552.pdf
Github Repository	https://github.com/OpenImagingLab/FlashVSR_Plus

27. Self-Distillation with Verbal Regularization (27 votes)

Tác giả: Jiazheng Li, Yawei Li, Junru Lu, Zhenyi Shen, Di Yin, et al.

Xuất bản lúc: 2026-10-12

Tag: LLMs, Knowledge Distillation, Self-Distillation, On-Policy Learning, Prompting, Entropy Regularization, Reasoning

I. Main Problem:

Trong on-policy self-distillation (OPSD), mô hình tự làm giáo viên cho chính mình: giáo viên được cung cấp privileged information (PI) — ví đáp án đã kiểm chứng — còn học sinh thì không. Vấn đề là PI tạo ra shortcut bias:

PI làm dịch chuyển log-probability theo hướng ủng hộ token chốt đáp án ngay lập tức (ví dụ "42"), đồng thời đè bẹp các token rà soát/suy nghĩ lại ("Wait", "However").
Phân phối giáo viên trở nên quá tập trung (entropy sụt mạnh), và học sinh học theo đúng sự tập trung đó → mất khả năng khám phá các đường suy luận thay thế, dễ bám đáp án tắt.

II. Main Idea:

VRSD (Self-Distillation with Verbal Regularization) không đổi kiến trúc, không đổi hàm mất mát, cũng không đổi PI — mà chỉ thêm một system prompt chỉ dành cho giáo viên trong lúc huấn luyện, ví dụ: "trước khi chốt đáp án, hãy rà lại từng bước, kiểm tra giả định, xét phương án khác". Prompt này:

điều tiết cách giáo viên dùng PI, làm suy yếu (attenuate) các dịch chuyển log-probability do PI gây ra — được mô hình hóa thành phép co affine: u'_t = γ·u_t + κ với γ < 1 (đo thực nghiệm γ ≈ 0.65–0.95).
lý thuyết: dưới mô hình affine, Theorem 4.1 cho entropy thay đổi theo tích phân covariance, và Corollary 4.2 chỉ ra điều kiện đủ để entropy giáo viên tăng khi PMI và log-probability tương quan dương — được xác nhận đo thực tế tại 79–91% các vị trí có PMI lớn.
hai biến thể: VRSD (single) — một prompt tổng hợp; VRSD (multi) — chia các rollout cho K prompt chuyên biệt (mỗi prompt ép một khía cạnh suy luận), cho kết quả tốt hơn cả.

Ví dụ đời thường: giống thầy giáo chấm bài — thay vì đưa học sinh ngay đáp án "42" rồi bắt chép, thầy được dặn "hãy kiểm tra từng bước, nghi ngờ và xét lại trước khi kết luận", nên lời giải thầy truyền lại vẫn đúng đáp án nhưng giữ được cách tư duy dò lỗi thay vì đoán mò.

III. Main Results:

Pass@1 cải thiện trên OPSD ở 11/12 cặp model–task, trung bình +3.9 điểm phần trăm; VRSD (multi) tăng average Pass@1 trên cả 3 model (Qwen3-4B +7.2, OLMo-3-7B +2.8, Qwen3-8B +1.6) và cải thiện Worst@16 trên mọi model.
Cứu được trường hợp OPSD làm mô hình tệ hơn ban đầu: Qwen3-4B SQL OPSD 69.8% (thấp hơn pretrained 71.3%), VRSD (multi) đạt 81.0%.
Entropy học sinh cao hơn OPSD ở 19/24 so sánh — ví dụ Qwen3-4B SQL H(p) từ 0.03 (OPSD) lên 0.54 (multi), kèm Pass@1 tăng — chứng tỏ tránh được over-concentration.
Ablation: multi-prompt thắng cả từng prompt riêng lẫn nối chuỗi (concat) prompt trên cả 4 task; concat thậm chí thua OPSD ở 3 task.
Học sinh thật sự học được hành vi: tần suất các pattern suy luận được khuyến khích (check rubric, trích dẫn bằng chứng, bàn luận mọi phương án, nêu bảng schema...) tăng ở hầu hết so sánh.
Faithfulness qua can thiệp nhân quả (cắt dần chuỗi suy luận, tái sinh đáp án): reasoning gain trung bình 5.8 (single) và 5.0 (multi) so với 3.7 của OPSD; misleading-reasoning rate thấp hơn ở 7/8 so sánh — đáp án phụ thuộc thật vào suy luận.

IV. Conclusion & Future Works:

VRSD cho thấy teacher conditioning là công cụ thực dụng để điều tiết supervision có đặc quyền: giữ lợi ích của PI nhưng bảo toàn khả năng rà soát và khám phá, nhờ khai thác sẵn khả năng tuân lệnh của chính mô hình — không thêm module hay loss mới.

Hạn chế & hướng tương lai:

prompt hiện thiết kế thủ công theo từng task, có thể lỗi thời khi học sinh tiến bộ trong quá trình train → tự động hóa chọn và thích ứng prompt theo bài toán và giai đoạn huấn luyện.
lời nói điều tiểu attenuation gián tiếp → cần phương pháp ước lượng và chỉnh trực tiếp PI-induced log-probability shifts, dùng phân tích entropy của bài báo để điều khiển mạnh/yếu tại đúng vị trí.

V. Brainstorming Space:

1. Publish Papers:

Khung tự động chọn và thích ứng teacher prompt trong OPSD: dùng tiến trình huấn luyện của học sinh (entropy, Pass@1 validation) làm tín hiệu phản hồi để chọn/gộp prompt theo từng bài toán và từng giai đoạn train.
Phương pháp điều tiểu trực tiếp dịch chuyển log-probability do PI gây ra: ước lượng PMI shift từng token rồi áp attenuation có chọn lọc, dùng điều kiện covariance của Theorem 4.1 để quyết định vị trí và cường độ can thiệp.
Mở rộng verbal regularization cho multi-teacher on-policy distillation: điều phối nhiều giáo viên self-teacher với prompt bổ sung khác nhau để hợp nhất năng lực bổ sung mà không tạo shortcut bias tích lũy.

2. Patent:

Hệ thống gia sư học tập trên điện thoại: khi học sinh làm bài, ứng dụng tự tạo một "bản sao giáo viên" của cùng mô hình AI được cung cấp đáp án đúng kèm lời nhắc "rà soát từng bước trước khi chốt", rồi dùng phản hồi mềm này để chỉnh cách mô hình trả lời học sinh — cải thiện độ chính xác mà không cần đổi kiến trúc hay huấn luyện riêng.
Trợ lý lập trình/lập báo cáo doanh nghiệp trên mobile: tự cải thiện bằng cách cho mô hình "tự chấm" kết quả của chính nó với dữ liệu đặc quyền (test case đã pass, số liệu đã kiểm chứng) thông qua prompt ép kiểm tra lại, giúp câu trả lời cuối đáng tin hơn mà không lộ dữ liệu mật cho người dùng.
Module tinh chỉnh mô hình AI nhúng trên thiết bị (on-device): pipeline tự-distill định kỳ trong đó giáo viên được prompt bằng nhiều hướng dẫn suy luận luân phiên (multi-prompt) để cập nhật mô hình mà tránh hiện tượng mô hình "bám đáp án" và mất khả năng cân nhắc các phương án khác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16354
ArXiv Abstract	https://arxiv.org/abs/2610.16354
PDF Download	https://arxiv.org/pdf/2610.16354.pdf
Github Repository	https://github.com/lijiazheng99/VRSD

28. DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter (27 votes)

Tác giả: Xuyan Ye, Xiyan Fu, Shengda Fan, Jiawei Cui, Yankai Lin, et al.

Xuất bản lúc: 2026-10-13

Tag: Reinforcement Learning, RLVR, Multi-Turn Agents, Credit Assignment, Process Supervision, Token-to-Go, GRPO, Tool Use

I. Main Problem:

RLVR cho multi-turn agents chỉ nhận reward terminal thưa và trễ, nên không cho biết bước nào thật sự giúp hay hại. Các cách so sánh bước trong cùng nhóm rollout phụ thuộc state matching đáng tin và kết quả sampled đủ đa dạng; cách chấm step trực tiếp thường cần LLM judge đắt đỏ, human annotation, rollout bổ sung hoặc heuristic riêng từng task. Một value model học thuần cũng dễ bị gắn với actor và bị value flattening khi nhiều state chia cùng return cuối.

II. Main Idea:

DeltaTTG đo tiến độ bằng Token-to-Go (TTG): số token assistant còn phải sinh ra trước khi task hoàn thành, xem như proxy quan sát được cho lượng công việc còn lại. Quy trình:

Thu recorded trajectories từ nhiều policy khác nhau, tách prefix và suffix để lấy nhãn completion cùng TTG mà không cần rule tiến độ riêng từng task.
Huấn luyện shared progress meter bằng SFT rồi tinh chỉnh bằng GRPO để dự đoán cả khả năng hoàn thành lẫn lượng token còn lại.
Khi train actor, đóng băng meter; meter chấm cost cho từng state, và delta cost giữa hai state liên tiếp cho biết bước đó làm giảm hay tăng việc còn lại.
DeltaTTG dùng delta này để redistribute outcome-derived advantage về từng bước, giữ nguyên dấu advantage của trajectory và scale token-average; hỗn hợp thêm phần chia đều để giảm nhiễu, cap multiplier để trững lặng.

Ví dụ đời thường: giống biển báo quãng đường còn lại trên cao tốc: đi đúng lối rẽ làm số km còn lại giảm, đi nhầm làm nó tăng; DeltaTTG dùng độ lên xuống của số đó để quyết định bước nào đáng được khen hay phạt.

III. Main Results:

Với Qwen3-4B, DeltaTTG đạt average 72.86, cao hơn GRPO +5.7 và vượt DAPO/GiGPO/HGPO; với Llama-3.1-8B-Instruct, đạt 66.49, cao hơn GRPO +7.2.
Gains lớn rõ ở BFCLv3: Multi-Turn +4.8 với Qwen3-4B so với RL baseline mạnh nhất; với Llama, Non-Live +7.6 và Live +9.0.
Sample efficiency: trên ALFWorld Seen, đạt khoảng 80% success tại bước 75 trong khi GiGPO cần khoảng 125 bước, tức gần 40% ít optimization steps.
Chi phí: actor-training GPU-hours gần GRPO; DAPO cùng success nhưng tốn khoảng 2.7× GPU-hours của GRPO do dynamic sampling.
Out-of-domain: tốt nhất trên BrowseComp-Plus, τ2-bench, Terminal-Bench 2.0 ở các checkpoint tương ứng.
Meter hữu ích: step-quality accuracy 56.91% so với 50.83% cho direct prompting và 50% random; test-time guidance cải thiện success/giảm số bước trên Qwen3-1.7B/4B/8B/14B; meter train trên ALFWorld vẫn giúp PaperSearchQA vượt GRPO.

IV. Conclusion & Future Works:

DeltaTTG cho thấy có thể học một progress signal tái sử dụng từ trajectory bình thường, rồi phân bổ lại credit từ reward cuối mà không thêm reward mới hay phụ thuộc state matching. Hạn chế: mới kiểm chứng trên hai họ actor và một số domain; độ nhạy với hằng số cost cho failure-state chưa được chứng minh chắc; standard deviation chỉ phản ánh lặp lại evaluation của một checkpoint, chưa đo training variability. Hướng tương lai: mở rộng transfer sang nhiều mô hình/domain và cơ chế thích nghi nhẹ, phân tích robustness của failure cost, và lượng hóa biến thiên huấn luyện.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp ước lượng token còn lại với ngân sách lượt gọi công cụ và chi phí API, để tối ưu agent trong môi trường multi-turn có giá theo lượt dùng.
Nghiên cứu transfer của một progress meter qua nhiều domain, xác định khi nào cần adaptation nhẹ để giữ tín hiệu tiến độ đáng tin.
Đồng hồ tiến độ có độ không chắc chắn: cho agent biết khi nào nên dừng, hỏi lại người dùng, hoặc gọi thêm công cụ thay vì tiếp tục sinh hành động rủi ro.
Tái sử dụng trajectory từ nhiều mô hình thế hệ cũ để huấn luyện process supervision cho mô hình mới, giảm nhu cầu human step annotation.

2. Patent:

Trợ lý trên điện thoại có đồng hồ tiến độ: khi đặt vé, đặt lịch hoặc sửa lỗi thiết bị, ứng dụng ước lượng còn bao nhiêu bước và nội dung cần tạo, cảnh báo khi đang đi lạc và gợi ý hành động làm giảm rõ lượng việc còn lại.
Nền tảng huấn luyện chatbot doanh nghiệp: thu thập hội thoại từ nhiều mô hình khác nhau để học mức công việc còn lại, sau đó phân bổ điểm thưởng cuối về từng câu trả lời mà không cần người chấm từng bước.
Hệ gợi ý hành động cho kỹ thuật viên hoặc robot gia đình: thử một vài hành động trong môi trường giả lập, chọn hành động làm giảm nhiều nhất lượng việc còn lại, rồi mới thực hiện trên thiết bị thật.
Bảng điều khiển chất lượng agent trong contact center: đánh dấu các lượt hội thoại có bước làm tăng công việc còn lại, giúp quản lý thấy đâu là câu trả lời lan man hoặc gọi sai công cụ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17666
ArXiv Abstract	https://arxiv.org/abs/2610.17666
PDF Download	https://arxiv.org/pdf/2610.17666.pdf
Github Repository	https://github.com/Xuyan923r/DeltaTTG

Tác giả: Songze Li, Haoming Gu, Ziyang Gong, Zhitong Wang, Gengze Zhou, et al.

Xuất bản lúc: 2026-10-11

Tag: Vision-Language Navigation, Recursive Self-Improvement, Data Synthesis, Bootstrapping, Embodied AI, Spatial Understanding, LLMs

I. Main Problem:

Huấn luyện robot điều hướng theo ngôn ngữ tự nhiên (VLN) cần lượng lớn cặp dữ liệu (chỉ dẫn → quỹ đạo), nhưng ghi nhãn thủ công cực tốn kém. Các phương pháp tự tổng hợp dữ liệu hiện nay còn hạn chế:

Hầu hết dùng hai mô hình riêng cho điều hướng và sinh chỉ dẫn; các phương pháp dual-learning kiến trúc lại phụ thuộc vào thành phần task-specific.
Dữ liệu tổng hợp thường được tạo bởi một mô hình cố định cho toàn bộ quỹ đạo trước khi cập nhật → khi chính sách tiến bộ, nhãn sinh ra ngày càng lệch (policy-data gap) với mô hình đang được huấn luyện.

II. Main Idea:

RSI-Nav là khung tự cải thiện đệ quy, lấy dữ liệu làm trung tâm: một mô hình Qwen3.5-9B duy nhất làm cả 3 việc — điều hướng theo chỉ dẫn (language→action), sinh chỉ dẫn từ quỹ đạo (action→language) và hiểu không gian — chỉ khác nhau bằng prompt.

Quy trình sau khi SFT khởi tạo năng lực cơ bản:

Chia kho quỹ đạo chưa nhãn thành các shard nhỏ (16.384 quỹ đạo/lần).
Với mỗi shard: mô hình hiện tại tự sinh chỉ dẫn cho quỹ đạo, tự đi theo chỉ dẫn đó từ điểm xuất phát, rồi lọc — giữ lại chỉ những quỹ đạo về đúng đích (<3m) và hiệu quả (SPL ≥ ngưỡng).
Cập nhật mô hình ngay lập tức với các cặp đã lọc cộng thêm dữ liệu spatial replay, rồi mới xử lý shard kế tiếp.

Nhờ cập nhật theo shard, nhãn luôn do chính sách mới nhất sinh ra (policy-synchronized), tránh lệch pha dữ liệu. Ngoài ra, dữ liệu hiểu không gian (VSI-590K, LLaVA-3D, MindCube) được trộn chung để củng cố suy luận không gian — nền tảng cho điều hướng.

Ví dụ đời thường: giống người tự học bằng cách ghi lại lời chỉ đường của chính mình rồi chạy thử theo nó — đoạn nào chỉ sai nên đi lạc thì vứt, đoạn nào đi đúng thì giữ lại làm bài học; học xong một mẩu liền áp dụng ngay cho mẩu kế tiếp thay vì chờ thu thập hết.

III. Main Results:

Điều hướng: R2R-CE đạt 68.6% SR / 58.6% SPL (NE 3.70, OSR 78.0), vượt các baseline mạnh như AwareVLN (65.4% SR); RxR-CE đạt 72.4% SR / 70.6 nDTW, cao nhất so với các phương pháp so sánh. Cả hai đều tăng mạnh so với cold-start (52.9 → 68.6; 54.7 → 72.4).
Không gian: sau tiến hóa vẫn giữ và cải thiện nhẹ — VSI-Bench 64.9, ScanQA 96.4, SQA3D 65.4, MindCube 93.5, vượt hầu hết mô hình spatial chuyên biệt.
Chất lượng chỉ dẫn sinh ra: dù thua về NLP metrics, chỉ dẫn của RSI-Nav cho downstream navigation tốt hơn rõ rệt khi dùng làm dữ liệu huấn luyện (SR 41.3% vs 36.8% của SRDF).
Ablation: granularity 256 quỹ đạo/GPU là tối ưu; dual learning (VA2L) tăng SR 44.7 → 48.8; kèm action conditioning tăng thêm; spatial supervision cải thiện mọi metric điều hướng.
Thực tế: chạy closed-loop trên robot DEEP Robotics M20 (RTX 4090), xử lý tốt né vật cản, lối đi hẹp, landmark mở, điều hướng dài hạn trong nhà và ngoài trời.
Tạo ra khoảng 2.5M mẫu điều hướng + 1.1M mẫu sinh chỉ dẫn đã kiểm chứng bằng thực thi.

IV. Conclusion & Future Works:

RSI-Nav chứng minh quỹ đạo chưa nhãn ở quy mô lớn có thể biến thành giám sát tự sinh và tự lọc, tạo hướng mở rộng khả năng mở rộng cho điều hướng embodied tự cải thiện; cập nhật theo shard giúp dữ liệu luôn đồng bộ với chính sách, còn học kép hai chiều ngôn ngữ–hành động và hiểu không gian bổ trợ lẫn nhau. Hạn chế: phụ thuộc môi trường mô phỏng và kho quỹ đạo offline; chi phí tính toán của bước lọc bằng thực thi lớn; chưa kiểm chứng hệ thống độ bền trên môi trường thực đa dạng, domain unseen và điều hướng chân trời rất dài.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chiến lược lọc thực thi tiết kiệm chi phí (ví dụ lọc bằng mô hình thế giới ảo hoặc lọc có chọn lọc) để giảm tải tính toán của vòng lặp recursive self-improvement trên quỹ đạo liên tục.
Mở rộng RSI-Nav sang dữ liệu thực tế streaming, để robot tự thu thập quỹ đạo ngoài đời rồi tự sinh–tự lọc–tự học mà không cần mô phỏng.
Kết hợp tự cải thiện đệ quy với on-policy exploration, trong đó chính sách tạo quỹ đạo mới và tự đánh giá thành công theo vòng lặp khép kín.

2. Patent:

Hệ thống huấn luyện robot dọn dẹp/vận chuyển tự cải thiện: robot ghi lại đường đi của mình, mô hình trên đám mây sinh lời chỉ dẫn, robot chạy thử theo lời chỉ dẫn; chỉ giữ các đường đi về đúng nơi và ngắn nhất để cập nhật mô hình định kỳ.
Ứng dụng điện thoại hướng dẫn trong nhà: người dùng đi một lần qua các phòng, điện thoại tự tạo mô tả tuyến đường bằng ngôn ngữ, rồi dùng mô tả đó dẫn người khác (hoặc robot) đi lại; các mô tả dẫn đi đúng được giữ làm bản đồ chỉ dẫn cá nhân.
Phần mềm tạo dữ liệu huấn luyện cho xe/robot giao hàng: hệ thống chia tuyến đường chưa nhãn thành từng đoạn nhỏ, tự sinh chỉ dẫn lái, mô phỏng chạy thử, chỉ lưu các chỉ dẫn giúp hoàn thành tuyến an toàn và tắt, rồi cập nhật trợ lý lái sau mỗi đoạn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15782
ArXiv Abstract	https://arxiv.org/abs/2610.15782
PDF Download	https://arxiv.org/pdf/2610.15782.pdf
Github Repository	https://github.com/OpenGVLab/RSI-Nav

30. A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution (25 votes)

Tác giả: Alan Wu, Wei Tao, Yiwen Guo

Xuất bản lúc: 2026-10-11

Tag: LLM Agents, Desktop Agents, Interface Design, Benchmark, Tool Use, GUI Agents, MCP

I. Main Problem:

Các tác nhân LLM ngày càng vận hành ứng dụng desktop, nhưng giao diện hiện có được thiết kế cho người dùng con người (GUI) hoặc lập trình viên (SDK), không phải cho agent. Hệ quả:

Agent phải liên tục đọc và suy luận các nút điều khiển trực quan, hoặc tự khám phá và ghép các lệnh SDK cấp thấp dài dòng.
Một lệnh sai tham số có thể làm hỏng toàn bộ chuỗi thao tác; giao diện kém sẽ trở thành yếu điểm chí mạng (Achilles' heel) dù model rất mạnh.
CLI tuy cấp cao nhưng hầu như không có sẵn cho ứng dụng desktop, hoặc chỉ phủ một phần nhỏ chức năng.
Chưa rõ giao diện như thế nào là tốt cho agent — vì thiếu một cách đo lường có kiểm soát.

II. Main Idea:

Bài báo coi lịch sử phát triển phần mềm như một thí nghiệm tự nhiên về biến thiên giao diện: giữ nguyên tác vụ, agent và bộ chấm điểm, chỉ thay đổi phiên bản phần mềm (QGIS 3.10 → 3.44, v.v.). Từ đó xây dựng:

DeskIF-Bench: 255 tác vụ (mở rộng 368) có verifier kiểm tra sản phẩm đầu ra, trên 6-8 ứng dụng desktop.
Ba thuộc tính giao diện thân thiện với agent: Discoverability (agent tìm thấy lệnh và hiểu ngay cách dùng), Granularity (lệnh khớp mục tiêu người dùng, giảm ghép lệnh cấp thấp), Observability (đọc lại được trạng thái đã sửa để tự kiểm chứng kết quả).
ANIS (Agent-Native Interface Synthesizer): tự tổng hợp giao diện riêng cho agent từ chính ứng dụng đã cài — thu thập năng lực từ runtime (không dùng tài liệu), tạo atomic commands đã được ứng dụng xác thực, ghép cặp lệnh ghi với lệnh đọc, rồi học thêm goal-level commands từ các chuỗi thao tác lặp lại nhiều lần trong thực tế (chỉ phát hành khi replay tái tạo được kết quả).

Ví dụ đời thường: giống thay vì bắt nhân viên mới tự mò từng nút máy phức tạp (GUI) hoặc đọc sơ đồ mạch thô (SDK), ta viết cho họ một cuốn sổ tay ghi 'mỗi thao tác = một tờ giấy' có tên, ví dụ mẫu và cách kiểm tra lại kết quả; sau mỗi tuần, còn rút gọn các việc hay làm lặp thành một lệnh gộp đã thử chạy đúng.

III. Main Results:

Phiên bản mới nhất luôn thắng phiên bản cũ trong cả 12 chuỗi model–ứng dụng: QGIS tăng từ 33% → 65% (Haiku), Impress +19 điểm.
Phân tích trajectory xác nhận: phiên bản mới giảm lượt thăm dò SDK và độ dài chuỗi lệnh (QGIS: 30.4 → 21.2 ops; một tác vụ Inkscape giảm từ 101 lượt/1.8M token xuống 30 lượt/119k token).
Observability vẫn yếu ở mọi phiên bản: 581 trường hợp agent tưởng thành công nhưng artifact không qua verifier; nhiều property có lệnh ghi nhưng không có lệnh đọc tương ứng.
Trên 8 ứng dụng (DeepSeek V4 Flash): native SDK đạt 68.5%, ANIS atomic đạt 72.3%, ANIS + goal-level đạt 74.5%; token dùng giảm ~73-75% (84.4K → 21.2K/task). Với Claude Haiku 4.5: +3.5 điểm và 67.4%.
So với CLI-Anything (17.4%), ANIS vượt +57.1 điểm nhờ bao phủ hơn 20× số lệnh.
Ablations: cấm lệnh quan sát làm sụt từ 72.3% → 60.3% (giảm 12 điểm), chứng tỏ tầm quan trọng của khả năng đọc lại trạng thái.

IV. Conclusion & Future Works:

Tiến hóa phần mềm vì con người tình cờ cải thiện hiệu suất agent, nhưng chậm và không đồng đều, và không bao giờ khắc phục được khoảng trống observability. ANIS chứng minh có thể tổng hợp giao diện thân-thiện-với-agent cho mọi ứng dụng đã cài mà không cần chờ phần mềm tiến hóa, vượt cả SDK gốc lẫn giải pháp CLI tự động hóa, đồng thời tiết kiệm token mạnh.

Hạn chế còn lại: một số năng lực của FreeCAD và Blender (phụ thuộc ngầm vào sketch, chế độ chỉnh sửa, quan hệ đối tượng) bị validation từ chối nên chưa được bao phủ — thua SDK gốc trên hai ứng dụng này.

Hướng tương lai: cải thiện tổng hợp lệnh có điều kiện tiền ngầm, và phát hành các goal-level commands (hiện transport-agnostic, có thể xuất qua CLI hoặc MCP).

V. Brainstorming Space:

1. Publish Papers:

Phương pháp tổng hợp giao diện agent-native cho các ứng dụng phụ thuộc ngầm vào trạng thái nội bộ (kiểu FreeCAD/Blender), bằng cách suy luận điều kiện tiền từ chính cấu trúc đối tượng runtime thay vì thử-sai.
Kết hợp ANIS với giao thức MCP chuẩn hóa: đóng gói atomic commands và goal-level commands thành server MCP để mọi agent (Claude, OpenAI, DeepSeek) cắm vào dùng chung một giao diện đã xác thực.
Nghiên cứu chiến lược thu thập và nâng cấp goal-level commands liên tục trong môi trường thật (online learning), bao gồm cơ chế hết hạn/vô hiệu hóa lệnh khi ứng dụng cập nhật phiên bản.

2. Patent:

Trợ lý AI tự động điều khiển ứng dụng văn phòng trên điện thoại/PC: hệ thống quét ứng dụng đã cài, tự tạo bộ lệnh một-cú-phát cho từng tác vụ (ví dụ 'tạo bản đồ phân lớp GDP') kèm lệnh kiểm tra kết quả, agent thực thi mà không cần bấm giao diện đồ họa.
Plugin giao tiếp giữa trợ lý AI và phần mềm đồ họa thiết kế (trình chiếu, vẽ vector, CAD): người dùng nói mục tiêu bằng ngôn ngữ tự nhiên, plugin tự gọi chuỗi thao tác đã được kiểm chứng và đọc lại file kết quả để xác nhận trước khi báo hoàn thành.
Hệ thống ghi nhớ thao tác lặp lại của người dùng trong ứng dụng desktop để tạo lệnh gộp tùy biến: khi phát hiện một chuỗi thao tác xuất hiện từ ba lần trở lên, hệ thống tự đóng gói thành một lệnh gọi nhanh có tên riêng, chỉ kích hoạt sau khi chạy thử lại thành công trên dữ liệu sạch.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15765
ArXiv Abstract	https://arxiv.org/abs/2610.15765
PDF Download	https://arxiv.org/pdf/2610.15765.pdf
Github Repository	https://github.com/co-evolve-lab/ANIS

31. Cepheid: Decoupling Scale from Structure for Cross-Family Motion Completion (24 votes)

Tác giả: Chih-Hai Su, Tsung-Wei Ke, Yu-Lun Liu

Xuất bản lúc: 2026-10-13

Tag: Motion Completion, Graph Neural Networks, Flow Matching, Mesh Deformation, Zero-Shot Transfer, 3D Reconstruction

I. Main Problem:

Bài toán sparse-to-dense motion completion: từ chuyển vị của rất ít đỉnh trên mesh (chỉ 0.1–0.5% số đỉnh, 6–10 điểm), hồi phục chuyển động dày đặc cho toàn bộ đỉnh, không có skeleton, không đăng ký (registration), không tương ứng xuyên mesh. Các vấn đề cốt lõi:

Priors học theo từng loại hình học thất bại khi chuyển giao: 7/12 trường hợp chuyển giao xuyên loại còn tệ hơn phương pháp không học tham số nào (harmonic extension) — ví dụ prior của AMASS trên vải kém hơn 25.5%.
Rào cản tỉ lệ (scaling barrier) khi huấn luyện chung: biên độ residual chênh nhau 18–39 lần giữa các loại hình học và sụt hơn 10 lần khi quan sát dày lên, nên không thể chuẩn hóa bằng một hằng số chung.
Biên độ residual phụ thuộc vào chuyển động mục tiêu vốn không có tại inference, nên không đo trực tiếp được.

II. Main Idea:

CEPHEID tách cấu trúc residual khỏi tỉ lệ vật lý thay vì học chúng cùng nhau:

Nền tảng phân tích (harmonic extension): giải bài toán Dirichlet trên graph Laplacian của mesh với các đỉnh quan sát làm điều kiện biên — một sparse linear solve cho trường nền H, đồng thời đóng vai khuôn mẫu không học tham số để phán xét các mô hình học.
Ước lượng biên độ không cần target: tính độ phân tán của quan sát (gauge σ_obs) nhân với một hiệu chỉnh không thứ nguyên học bằng ridge regression trên 11 đặc trưng mô tả mật độ quan sát, kết nối graph và tính chất trường nền — thu gọn khoảng chênh tỉ lệ từ 37.5× xuống 3.2×.
Prior residual không thứ nguyên: học phần chuyển động còn lại (F − H) đã chuẩn hóa bằng flow matching trên backbone MGN-T (Transformer attention giữa hai message-passing block), điều kiện hóa trên hình học và H. Tại inference lấy trung bình 8 mẫu rồi nhân lại biên độ: F̂ = H + ŝ·R̄.

Ví dụ đời thường: giống như may quần áo từ mẫu cắt sẵn (harmonic extension cho form cơ bản), còn phần vải thừa co giãn bất ngờ (residual) thì thợ may học hình dáng co giãn một lần duy nhất, còn cỡ thực tế (biên độ) đo lường trực tiếp trên khách đang mặc thay vì đoán trước.

III. Main Results:

Vượt harmonic extension trên cả 5 loại hình học, gồm 2 loại hoàn toàn unseen (vải, robot chân): giảm lỗi 15.6% trên vải và 10.1% trên robot chân so với baseline không học tham số, trong khi các prior chuyên biệt từng loại phần lớn thua baseline.
Ước lượng biên độ gần oracle: trên vải, lỗi hoàn thành chỉ chênh 1.4–8.1% so với oracle biết ground-truth tại mọi mật độ quan sát (0.5%–50%).
Trên DT4D, thắng NSDP (tệ hơn cả baseline ở mọi mật độ) và DOMA ở cả 5 mật độ, lỗi thấp hơn baseline 44–81%.
Ablation: bỏ harmonic extension hoặc bỏ amplitude recovery đều biến học thành negative transfer (lỗi tăng 2.4×); conditioning, flow matching và đa mẫu chỉ ảnh hưởng độ lớn lợi ích, không đổi dấu.
Ứng dụng zero-shot cùng một checkpoint: làm đặc (densify) output của point tracker CoTracker3 trên video DAVIS (hoàn thành 120 điểm ở mặt sau vật thể, khu vực camera không thấy) và hoàn thành chuyển động của vật mềm được cánh tay Franka nâng lên chỉ từ 8 điểm proprioception, 0 điểm trên vật.

IV. Conclusion & Future Works:

CEPHEID cho thấy một prior học duy nhất có thể hoàn thành chuyển động dày đặc xuyên nhiều loại hình học khác topology, không cần skeleton hay tương ứng xuyên mesh, nhờ tách bạch cấu trúc không thứ nguyên (học một lần) và tỉ lệ vật lý (ước lượng tại inference). Hạn chế và hướng tương lai:

Đánh giá định lượng giả định quan sát chính xác, không nhiễu — chưa thử nghiệm với nhiễu cảm biến, mất track, méo độ sâu hay geometry quét.
Huấn luyện chỉ với mask ngẫu nhiên; bố cục marker cố định (như 3 marker trên gripper) cần fine-tuning để cải thiện mạnh.
Một số dữ liệu là mô phỏng/animation (DT4D, Franka, vải, robot chân), chỉ AMASS là dữ liệu thật.
Hướng tới: validation trên input nhiễu và huấn luyện xuyên các họ bố cục quan sát.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng prior residual không thứ nguyên cho chuyển động có nhiễu: ước lượng biên độ robust trước nhiễu cảm biến, mất track và geometry quét không hoàn hảo từ camera điện thoại.
Học xuyên các họ bố cục quan sát (mask families) thay vì mask ngẫu nhiên, để prior khái quát trực tiếp cho cấu hình marker cố định trong y sinh và thể thao mà không cần fine-tuning.
Kết hợp CEPHEID với reconstruct-từ-một-ảnh (như TripoSR) thành pipeline 4D hoàn chỉnh: từ một ảnh điện thoại chụp vật mềm, tự động dựng mesh và hoàn thiện chuyển động dày đặc cho toàn bộ bề mặt theo thời gian.
Áp dụng ý tưởng tách tỉ lệ–cấu trúc cho trường vật lý khác (nhiệt, lực căng, áp suất) trên graph đa vật liệu để một mô hình duy nhất mô phỏng nhiều vật liệu unseen.

2. Patent:

Ứng dụng thể thao trên điện thoại: người dùng quay video một vận động viên hoặc bản thân với vài điểm track được từ camera; ứng dụng dựng mesh cơ thể từ một khung hình rồi hoàn thiện chuyển động mọi điểm trên bề mặt cơ thể — kể cả vùng bị che — để phân tích tư thế, đếm bước chạy hoặc phát hiện sai lệch động tác so với chuẩn.
Hệ giám sát robot công nghiệp cầm vật mềm (túi, bao bì, thực phẩm): chỉ dùng vài cảm biến vị trí trên cánh tay robot, hệ thống suy ra chuyển động đầy đủ của cả vật đang cầm — không cần camera hay marker dán lên vật — để phát hiện trượt, rơi hoặc biến dạng bất thường theo thời gian thực.
Tính năng thử đồ ảo trên điện thoại: chụp một ảnh người mặc quần áo, người dùng kéo vài điểm trên vải bằng tay; ứng dụng dự đoán cách toàn bộ mảnh vải chuyển động, co giãn, nhăn — giúp xem trước độ vừa vặn khi vận động mà không cần quay video 3D.
Phục hồi chuyển động mặt/tay cho video hội nghị: từ vài điểm theo dõi được trên khuôn mặt trong video call chất lượng thấp, khôi phục chuyển động biểu cảm dày đặc để truyền avatar 3D mượt mà với băng thông thấp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18871
ArXiv Abstract	https://arxiv.org/abs/2610.18871
PDF Download	https://arxiv.org/pdf/2610.18871.pdf
Github Repository	N/A

32. WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction (24 votes)

Tác giả: Haomin Wang, Anqiong Ji, Ke Wang, Zhongshan Liu, Ru Ying, et al.

Xuất bản lúc: 2026-10-13

Tag: Vision-Language-Action, World Action Models, Latent World Model, Robot Manipulation, Future Prediction, Counterfactual Ranking, Flow Matching, LIBERO, RoboTwin

I. Main Problem:

Các chính sách robot Vision-Language-Action mạnh trong điều khiển bằng ngôn ngữ nhưng chỉ học ánh xạ từ quan sát/chỉ dẫn sang hành động, không mô hình hóa hậu quả của hành động lên môi trường. Các mô hình thế giới dựa trên video generation thì tốn kém vì phải dựng lại chi tiết pixel không liên quan tới chọn hành động. Các phương án latent hiện có thường chỉ dùng future prediction làm mục tiêu phụ trợ, hoặc học latent action gián tiếp từ chuyển tiếp hình ảnh qua pretraining video cực lớn, khiến hành động suy ra có thể mô tả quá khứ thay vì hành động khả thi trước khi chuyển tiếp xảy ra. Bài báo đặt câu hỏi: nếu demonstration đã có ground-truth robot actions, tại sao không huấn luyện world model trực tiếp từ chúng thay vì pretraining gián tiếp quy mô lớn?

II. Main Idea:

WAVE-0 nối khả năng hiểu ngôn ngữ/hình ảnh của VLA với dự đoán hậu quả của WAM bằng một latent world model 257M nhẹ, không dựng ảnh tương lai và không cần pretraining video lớn.

Stage 1 — học động lực học gắn với hành động: dùng trực tiếp ground-truth action sequence để dự đoán future representation trong không gian embedding thị giác cố định. Mất mát gồm future cosine loss, residual SmoothL1, và counterfactual ranking: giữ quan sát hiện tại, thay action đúng bằng action lệch để buộc mô hình phân biệt hậu quả của action khác nhau.
Stage 2 — đưa hậu quả dự đoán vào quyết định: đóng băng world model, cắm vào pi0.5, huấn luyện VLM planner sinh latent action plan sao cho khớp action encoder đã học. World model biến plan thành predicted future, resampler nén thành future tokens, rồi action expert nhìn cả ngữ cảnh VLM gốc lẫn “tương lai được tiên liệu” để sinh action.

Điểm then chốt là predicted future không chỉ là loss phụ trong training, mà trực tiếp condition action generation cả lúc train lẫn inference. Giống như người lái xe chưa đánh lái đã tưởng tượng quỹ đạo xe sẽ vẽ ra nếu rẽ trái hay phanh gấp, rồi chọn động tác an toàn hơn.

III. Main Results:

LIBERO: trung bình 98.7%, hơn pi0.5 +1.8; suite Long tăng mạnh từ 92.4% lên 97.6%, Object đạt 100.0%, cho thấy lợi ích lớn trên tác vụ nhiều bước phụ thuộc nhau.
RoboTwin 2.0: trung bình 91.47%, hơn pi0.5 +11.09; clean tăng 81.12% → 91.46%, randomized tăng 79.64% → 91.48%. Các tác vụ dài hạn hưởng lợi rõ, ví dụ Stack Blocks Three +23.0, Stack Bowls Three +33.0.
Khái quát hóa ngoài phân phối: LIBERO-Plus 88.0% cao nhất so với các baseline; LIBERO-Pro 61.4%, hơn pi0.5 +8.4; LIBERO-Para 75.0%, hơn pi0.5 +3.6 dưới paraphrase chỉ dẫn.
Thực tế: trung bình 73.3% trên Book Organization/USB Storage/Keyboard Pushback, gần gấp đôi pi0.5 từ 38.3%; từng tác vụ: Book 85.0%, USB 65.0%, Keyboard 70.0%.
Hiệu quả huấn luyện: không cần large-scale video pretraining. Trên RoboTwin 2.0 cần khoảng 670 H100 GPU hours / 76.8M examples, trong khi LaWAM chỉ riêng benchmark-specific đã khoảng 1280 H100 hours / 102.4M examples cộng thêm shared pretraining; ba tác vụ thực tế WAVE-0 dùng 33.28M examples so với 345.60M, amortized 11.09M/task so với 115.20M/task.
Ablation: auxiliary world-model supervision giúp pi0.5 tăng 80.38% → 89.51%, nhưng explicit future conditioning của WAVE-0 đạt 91.47%, cao hơn cách chỉ dùng future làm mục tiêu phụ. Counterfactual ranking làm tăng action sensitivity gap lên 0.1648 và margin satisfaction lên 89.5%, cải thiện LIBERO-Plus/Pro thêm khoảng +2.6/+3.0.

IV. Conclusion & Future Works:

Kết luận chính là future prediction nên được grounded trong executable actions thay vì suy ngược từ video thụ động: một latent world model nhỏ, học trực tiếp từ ground-truth actions với counterfactual ranking, đủ để cải thiện mạnh cả hiệu suất lẫn robustness mà không trả giá video generation. Bài báo không nêu future work rõ; hướng tự nhiên gồm mở rộng sang nhiều hình thái robot và tác vụ dài hơn, giảm thêm chi phí Stage 1, chọn mẫu counterfactual thông minh hơn, và kiểm chứng kỹ độ an toàn khi predicted future bị lệch trong môi trường thật.

V. Brainstorming Space:

1. Publish Papers:

Học latent dynamics từ hành động thật cho robot đa hình thái: thay vì suy action từ video, dùng action đã thực thi làm nhãn để huấn luyện world model chung, rồi chuyển sang cánh tay, bàn tay hoặc robot hai tay khác nhau.
Chọn mẫu phản ví dụ cho robot bằng active counterfactual learning: thay vì lấy action lệch ngẫu nhiên, chọn các action gần ranh giới quyết định để world model học nhanh điểm nào một sai lầm nhỏ gây hậu quả lớn.
Latent future conditioning cho tác vụ dài hạn có rủi ro: kiểm tra xem dự đoán hậu quả trước mỗi subgoal có giúp tránh lỗi tích lũy trong dọn dẹp, lắp ráp, hoặc thao tác vật dễ vỡ hay không.
World model siêu nhẹ cho robot cạnh tranh: nén predicted future xuống rất ít token nhưng vẫn giữ tín hiệu quan trọng, nhắm tới triển khai trên phần cứng có ngân sách tính toán thấp.

2. Patent:

Module an toàn cho robot gia đình trước khi gắp đồ: trước mỗi lần di chuyển, hệ thống mô phỏng nhanh trong không gian trừu tượng xem vật có bị đẩy rơi, đổ hoặc kẹt không; nếu rủi ro cao thì chọn cầm kiểu khác hoặc dừng hỏi người dùng trên điện thoại.
Ứng dụng điện thoại hướng dẫn robot bằng video từ camera của chính điện thoại: người dùng đặt điện thoại quan sát khu vực làm việc; robot thực hiện một cử động thử ngắn, gửi video lên đám mây để ước lượng hậu quả và tự điều chỉnh lựa chọn hành động theo góc nhìn đó.
Hệ thống kiểm tra lỗi lắp ráp công nghiệp bằng phản hồi hậu quả: sau mỗi chuyển động, robot so sánh trạng thái quan sát được với trạng thái dự kiến; nếu lệch vượt ngưỡng, nó giảm tốc, lùi lại an toàn và ghi nhật ký lỗi cho bảo trì dự đoán.
Robot phục vụ đồ ăn dự đoán rủi ro đổ tràn: trước khi nghiêng cốc hoặc thìa, mô hình ước lượng quỹ đạo chất lỏng theo latent state; nếu xác suất tràn cao, robot đổi tư thế tay hoặc nhắc người dùng đổi vị trí đặt cốc.
Kho tự động chọn cách gắp hộp dựa trên hậu quả tiềm ẩn: camera kho quan sát kệ, robot thử vài điểm tiếp cận trong mô phỏng nhanh, chọn điểm gây ít rung lắc nhất cho hàng xung quanh, rồi mới thực hiện trên robot thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18568
ArXiv Abstract	https://arxiv.org/abs/2610.18568
PDF Download	https://arxiv.org/pdf/2610.18568.pdf
Github Repository	https://github.com/AutoLab-SAI-SJTU/WAVE-0

33. VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It (23 votes)

Tác giả: Binxiao Xu, Ruichuan An, Bocheng Zou, Weihua Du, Xinyu Wei, et al.

Xuất bản lúc: 2026-10-11

Tag: Multimodal Agents, Prompt Optimization, Skill Evolution, Visual Reasoning, Evidence Selection, Frozen Executor

I. Main Problem:

Tác tử đa phương thức cần đúng bằng chứng và đúng quy trình đọc bằng chứng đó, nhưng tối ưu kỹ năng hiện thường chỉ sửa văn bản hoặc tách riêng phần chọn ảnh/khung hình với phần suy luận. Hệ quả là:

khung hình bị bỏ sót, cắt mất trường cần đọc, hoặc ảnh gửi vào đủ nhưng khó đối chiếu
reader viết cho ảnh gốc có thể bỏ qua timestamp, lưới đếm, thứ tự panel do giao diện mới tạo ra
một đề xuất chung bị từ chối có thể vứt luôn phần chỉnh hình ảnh hữu ích nếu thử lại với reader cũ.

II. Main Idea:

ViewCraft đóng băng executor và tiến hóa cặp khả năng có thể lưu lại gồm interface bằng chứng và reading procedure:

interface chọn, biến đổi, sắp xếp quan sát thành view: crop, chọn khung đầu/cuối, gắn timestamp, ghép lưới, gán nhãn nguồn
reader nói rõ cách dùng view: thứ tự đọc, cách so sánh, bảng verdict, quy tắc đếm/đối chiếu
failure traces chỉ ra thiếu bằng chứng hay đọc sai; mỗi ứng viên được chạy lại, replay lọc thay đổi hình ảnh không làm view đổi
cổng chấp nhận theo cặp: điểm nhiệm vụ tăng, hoặc bằng điểm nhưng hỗ trợ bằng chứng tốt hơn
nếu đề xuất chung thất bại, interface projection thử lại phần visual với reader hiện tử để giữ sửa đổi hình ảnh đáng giá

Cốt lõi là coi “trình bày bằng chứng” và “cách đọc” là hai nửa của cùng một kỹ năng, phải tiến hóa cùng nhau.

Ví dụ đời thường: giống người chuẩn bị hồ sơ kèm lời dẫn cho người mới: không chỉ cắt đúng tờ giấy, xếp đúng thứ tự, mà còn viết cách đọc từng mục; mỗi lần người đọc sai, ta sửa cả cách sắp tài liệu lẫn câu hướng dẫn cho đến khi khớp nhau.

III. Main Results:

Tăng trung bình +6.1 điểm so với gọi trực tiếp trên 8 benchmark; cả 8 benchmark đều cải thiện, riêng lẻ từ +3.0 đến +12.4 điểm.
Vẫn +5.2 điểm khi khớp ngân sách input-token, nghĩa lợi ích không chỉ do nhét thêm token.
Trên 5 tác vụ đa nguồn, skill học được dùng ít hơn 8–15% input token so với initial skill.
Tìm kiếm chung vượt các kiểu tách/staged/alternating; chênh với alternating khoảng +1.3 điểm, với baseline cùng không gian mạnh nhất khoảng +2.6 điểm.
Thành phần học được cộng hưởng: tương tác terminal dương trung bình khoảng +1.8 điểm; bỏ replay, projection hoặc tiebreak mỗi cái mất khoảng 0.7–0.9 điểm.
Skill chuyển sang executor khác vẫn thắng direct baseline trong mọi phép chuyển, nhiều trường hợp vượt cả skill tiến hóa trên executor đích.

IV. Conclusion & Future Works:

Bài học chính: với executor đóng băng, chất lượng multimodal reasoning có thể được nâng bằng cách lưu và tiến hóa cách dựng bằng chứng cùng cách đọc như một khối. Cơ chế quan trọng không chỉ là đề xuất tốt hơn, mà là replay, đánh giá theo cặp, giữ lại thay đổi có ích, và cứu lại sửa đổi visual khi đề xuất chung thất bại. Hướng mở: giảm chi phí rollout, tự động phân tích failure traces sâu hơn, mở rộng cho dữ liệu video dài/tài liệu hỗn hợp, và chuẩn hóa cách truyền skill giữa các mô hình executor.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyển giao skill đa phương thức giữa các mô hình executor khác nhau, xác định phần nào của interface/reader là đặc thù tác vụ và phần nào là đặc thù mô hình.
Kết hợp tiến hóa bằng chứng với kiểm chứng tự động chặt hơn, dùng verifier và ngân sách token làm ràng buộc cứng trong vòng lặp tối ưu.
Mở rộng ViewCraft cho video dài và tài liệu nhiều trang, nơi việc chọn bằng chứng cần cân bằng chi phí lưu trữ, truy xuất và độ trễ suy luận.

2. Patent:

Ứng dụng điện thoại đọc biểu mẫu và hóa đơn: người dùng chụp nhiều trang, hệ thống tự crop đúng ô, đánh số thứ tự, ghép lưới và hiển thị hướng dẫn đọc ngắn để trợ lý ảnh trả lời đúng trường cần tìm.
Trợ lý họp trên điện thoại: với slide, bảng trắng và ảnh chụp nhiều góc, ứng dụng tự chọn khung rõ nhất, gắn nhãn nguồn, sắp theo dòng thời gian và sinh quy tắc đối chiếu giúp trả lời câu hỏi như “điều gì đã đổi giữa hai phiên bản”.
Camera di động cho kiểm kê kho: nhân viên quay ngắn qua kệ, ứng dụng chọn các vùng có hàng, kẻ vùng đếm, tạo nhãn vị trí và đưa ra cách đọm đếm từng ô để giảm sót lặp khi đổi người dùng hoặc đổi điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.15915
ArXiv Abstract	https://arxiv.org/abs/2610.15915
PDF Download	https://arxiv.org/pdf/2610.15915.pdf
Github Repository	https://github.com/Little-Fridge/ViewCraft

34. CineRecon: Benchmarking Frontier Models for Agentic Cinematic Reconstruction (21 votes)

Tác giả: Jialei Wang, Zehan Wang, XiaoYang Wu, Ziang Zhang, Siyu Chen, et al.

Xuất bản lúc: 2026-10-12

Tag: Benchmark, 3D Reconstruction, Agentic AI, Blender, Video Generation, Vision-Language Models, Coding Agents, Evaluation

I. Main Problem:

Việc dựng lại video tham chiếu thành cảnh 3D động có thể chỉnh sửa là nền tảng cho video generation có kiểm soát trong làm phim, nhưng chưa có benchmark nào đánh giá khả năng này một cách đồng thời. Bài toán khó ở chỗ agent phải phối hợp tái tạo đồng thời:

Nội dung cảnh và hình học không có asset hay camera parameters cho trước
Hành động, tương tác giữa các chủ thể với thời điểm chính xác
Chuyển động camera và chuyển cảnh (shot transitions)

Các benchmark trước chỉ xét từng mảng riêng lẻ: BVB (video indoor tĩnh), 4DCodeBench (hiện tượng vật lý với camera ít chuyển động), chưa ai đo khả năng tái tạo đồng thời các yếu tố điện ảnh này.

II. Main Idea:

CineRecon cung cấp 50 video tham chiếu (phim, footage thực tế, gameplay) và 360 clip đánh giá có chú thích. Agent nhận toàn bộ video, tự viết Python code qua Blender MCP để dựng cảnh, gán animation, render, so khung hình render với tham chiếu rồi sửa code lặp lại cho đến khi khớp.

Ba điểm thiết kế cốt lõi:

Ba mức biểu diễn (Proxy → Simplified → Detailed): yêu cầu hình học/ngoại hình tăng dần (khối primitive → cấu trúc nhận ra được → chi tiết giống hệt tham chiếu), trong khi quan hệ không gian, camera và động tác giữ nguyên — cho phép tách riêng ảnh hưởng của độ chi tiết ngoại hình
Checklist gắn với entity và timestamp: mỗi clip có danh sách kiểm tra thuộc 11 hạng mục, chia 3 chiều: Camera Consistency (translation, rotation, zoom, position, target, cuts), Static Consistency (presence, appearance, spatial relations), Dynamic Consistency (motion, action events)
VLM judge (GPT-5.6 Sol) so khung hình đã căn timestamp, chấm 0/0.5/1 từng mục; tương quan với đánh giá người rất cao (Spearman 0.951)

Ví dụ đời thường: giống một người thợ mộc nhìn video quay chiếc tủ rồi tự xắt gỗ, lắp thử, đặt lên bàn so với hình trong video, thấy chỗ nào lệch thì tháo ra làm lại — quan trọng là tủ phải chuyển động đúng lúc và camera quay đúng kiểu, chứ không chỉ trông giống.

III. Main Results:

12 model coding đa phương thức được đánh giá qua agent harness riêng (Codex, Claude Code, Antigravity): Opus 5.5 dẫn đầu (Overall 76.6), tiếp theo GPT-6 Astra (63.8), Kimi K3 (52.4); Gemini 3.1 Pro thấp nhất (20.1)
Điểm yếu chung của mọi model: quan hệ không gian, sự kiện hành động cụ thể, và chuyển đổi camera — điểm action events cao nhất chỉ ~48/100 dù ở mức Proxy
Giảm yêu cầu ngoại hình giúp ích: 12/13 cấu hình tăng điểm camera (+7.4 trung bình) và 10/13 tăng điểm dynamic (+4.1) khi từ Detailed xuống Proxy, nhưng lỗi timing, quan hệ tiếp xúc và chuyển động phối hợp vẫn tồn tại
Lặp và suy luận mạnh có giá trị: Opus 5.5 bản đầy đủ (76.6) hơn No Refine (66.4) 10.2 điểm và hơn Low Effort (49.5) 27.1 điểm; khoảng cách lớn nhất ở dynamic consistency
Khoảng cách giữa model đỉnh: Opus 5.5 vượt GPT-6 Astra mạnh nhất ở motion (+25.8) và camera rotation (+32.9), nhưng thua ở một số quan hệ tiếp xúc cục bộ

IV. Conclusion & Future Works:

CineRecon chỉ ra rằng tái tạo đồng thời hình học, hành động và hành vi camera là bài toán ưu tiên còn bỏ ngỏ cho graphics agents — các model hiện tại dù mạnh vẫn sai lệch ở thời điểm hành động, tiếp xúc và vận động phối hợp, ngay cả khi không đòi hỏi ngoại hình chi tiết. Benchmark cung cấp thước đo tiến bộ hướng tới visual proxies có thể chỉnh sửa cho video generation có kiểm soát. Hướng tiếp theo: đánh giá ảnh hưởng của các cảnh tái tạo này lên downstream video generation.

V. Brainstorming Space:

1. Publish Papers:

Phát triển agent chuyên biệt cho cinematic reconstruction với cơ chế lập kế hoạch tách biệt: giai đoạn phân tích video trước (shot segmentation, action timing) rồi mới dựng cảnh, thay vì dựng trực tiếp một lần.
Nghiên cứu cải thiện khả năng tái tạo tương tác vật lý và quan hệ tiếp xúc trong code-based 3D generation, vốn là điểm yếu nhất ở mọi mức biểu diễn.
Mở rộng CineRecon sang đánh giá chuỗi công việc đầy đủ: tái tạo cảnh 3D rồi dùng render làm guidance cho video generation, đo chất lượng video sinh ra có kiểm soát camera/hành động.

2. Patent:

Ứng dụng điện thoại biến video quay tay thành cảnh 3D chỉnh sửa được: người dùng tải video lên, hệ thống tự dựng mô hình 3D trên đám mây với timeline animation, cho phép kéo thay đổi vị trí vật thể, đổi góc camera rồi xuất video mới mà không cần biết dựng phim.
Công cụ previsualization cho đoàn phim nhỏ: quay thử một cảnh bằng điện thoại, AI tái tạo thành cảnh 3D editable để đạo diễn thử nghiệm các phương án góc máy và diễn xuất trước khi quay thật, tiết kiệm chi phí dựng set.
Trình chỉnh sửa video bằng timeline 3D trên thiết bị di động: video đầu vào được chuyển thành cảnh 3D có các đối tượng riêng lẻ, người dùng chạm để di chuyển nhân vật, đổi thứ tự hành động, rồi render lại thành video với camera tùy chọn.
Hệ thống kiểm thử tự động cho nội dung video tạo sinh: dựng lại video AI thành cảnh 3D và so sánh với mô tả prompt để phát hiện lỗi nhân vật, vật thể hoặc sự kiện bị sai thời điểm trước khi phát hành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16577
ArXiv Abstract	https://arxiv.org/abs/2610.16577
PDF Download	https://arxiv.org/pdf/2610.16577.pdf
Github Repository	https://github.com/Unc1eW4ng/CineRecon

35. ClawLoop: Self-Improving Agents via Harness-Native Training Loop (21 votes)

Tác giả: Hansi Yang, Linji Hao, Hongyan Hao, An Wang, Han Wu, et al.

Xuất bản lúc: 2026-10-09

Tag: LLM Agents, Self-Improving, Task Synthesis, Reinforcement Learning, GRPO, SFT, Agent Training, Harness Environments

I. Main Problem:

Các pipeline post-training cho harness-based agents (agent chạy trong sandbox với shell, file system thật) hiện có hai giới hạn lớn:

Phụ thuộc teacher bên ngoài: cần một model mạnh hơn (ví dụ MiniMax-M2.5, GLM-5.1) để tổng hợp task và thu thập trajectory → tạo trần năng lực bằng chính năng lực của teacher.
Một lần duy nhất (one-shot): task được tổng hợp một lần dựa trên prior của con người, model được train một lần, kết quả đánh giá chỉ để con người đọc chứ không được feed ngược lại vào vòng lặp cải thiện.

II. Main Idea:

ClawLoop là vòng lặp tự cải thiện không cần teacher ngoài, gồm 3 phase lặp lại trong cùng môi trường harness:

Task Synthesis: hai hướng bổ sung cho nhau — capability-driven (bắt đầu từ năng lực mục tiêu như reconciliation, multi-document merge, rồi đổi domain bề mặt để tránh học vẹt) và domain-grounded (bắt đầu từ domain chuyên môn, phân tách tool thành skill qua đồ thị AST + LLM, rồi sinh task theo task graph có cấu trúc khó). Task sau đó được tăng độ khó (multi-hop: index → chi tiết → bảng tham chiếu; dirtiness: thêm nhiễu, thiếu field) và kiểm chứng 2 tầng — agent-free (oracle phải tự pass verifier, audit rò rỉ đáp án) và agent-based (chỉ giữ task có số lần pass trong khoảng [1,5]/8, loại task quá dễ/quá khó).
Training: SFT tự chưng cất trên trajectory thành công của chính agent (mask loss trên observation tokens), rồi GRPO để vượt trần SFT.
Diagnosis & Feedback: agent tự phân tích các trajectory thất bại trên tập held-out, tóm tắt điểm lỗi + nguyên nhân gốc + năng lực còn thiếu, gom cụm thành pattern lặp lại (ví dụ "sửa file nhưng quên cập nhật import") để điều hướng vòng tổng hợp task kế tiếp.

Ví dụ đời thường: giống học sinh tự làm đề thi thử, tự chấm bài, rồi viết nhật ký lỗi của mình ("hay sai dấu ở bước rút gọn") để tuần sau tự soạn một bộ đề riêng tập trung đúng chỗ yếu đó — không cần thầy giáo nào.

III. Main Results:

Qwen3.6-27B với K=3 vòng lặp, mỗi vòng sinh 1.024 task, vượt cả baseline lẫn ClawGym trên cả 3 benchmark:
SkillsBench: 46.3 → 57.2 (ClawGym: 52.6)
Claw-Eval-Live: 69.3 → 76.9 (ClawGym: 74.6)
ClawGym-Bench: 67.6 → 68.4 (ClawGym: 61.9)
Chuyển giao dữ liệu: task của ClawLoop train Qwen3.5-4B/9B (không có teacher) còn tốt hơn dữ liệu ClawGym dùng teacher MiniMax-M2.5 + GLM-5.1, ví dụ 9B trên Claw-Eval-Live: 58.3 → 71.7.
Ablation: bỏ capability-driven tổn thương Claw-Eval-Live nhất; bỏ domain-grounded tổn thương SkillsBench/ClawGym-Bench nhất — hai hướng bổ sung đúng thiết kế.
Hiệu năng bão hòa quanh K=3 trên Claw-Eval-Live và ClawGym-Bench, SkillsBench vẫn tăng nhờ coverage rộng.
Chi phí: ~2.375 GPU-giờ/vòng (32×H800), trong đó rollout validation chiếm ~41% — đắt hơn cả SFT + GRPO cộng lại.

IV. Conclusion & Future Works:

ClawLoop chứng minh harness environment đã có đủ nguyên liệu để khép kín vòng tự tổng hợp task → tự train → tự chẩn đoán lỗi, không cần teacher bên ngoài hay can thiệp con người; dữ liệu sinh ra có chất lượng tương đương hoặc vượt pipeline phụ thuộc teacher, và khái quát tốt sang model nhỏ hơn. Hướng tương lai: kéo dài chu trình train với tiêu chí dừng thích ứng (adaptive stopping) thay vì K cố định.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ClawLoop cho các harness đa dạng ngoài OpenClaw (môi trường cloud, IDE tích hợp) với giao thức chẩn đoán chung, để một agent có thể tự cải thiện xuyên suốt nhiều môi trường làm việc khác nhau.
Nghiên cứu chiến lược tăng độ khó thích ứng: thay lịch cố định (tối đa 1 mức/iteration) bằng bộ điều khiển tự động cân bằng giữa độ khó task và tỉ lệ thành công để duy trì tín hiệu huấn luyện tối ưu.
Kết hợp phản hồi chẩn đoán dạng non-parametric (ví dụ playbook ngữ cảnh) với cập nhật trọng số, để agent vừa học kỹ năng mới vừa ghi nhớ pattern lỗi dài hạn qua nhiều vòng lặp.

2. Patent:

Trợ lý AI tự luyện tập trên điện thoại: ứng dụng ghi lại các tác vụ người dùng hay gặp lỗi (đặt lịch, quản lý file), tự sinh bài tập thử tương tự trong sandbox, tự chấm điểm và cập nhật mô hình cục bộ để lần sau thực hiện chính xác hơn mà không gửi dữ liệu lên máy chủ.
Hệ thống đào tạo nhân viên ảo cho doanh nghiệp: agent tự dựng các tình huống công việc giả lập (kế toán đối chiếu số liệu, soạn báo cáo từ nhiều nguồn) với đáp án kiểm chứng được bằng chương trình, tự phân tích lỗi sau mỗi lượt và tự soạn đề khó dần theo tiến độ học.
Module tự vá lỗi cho chatbot kỹ thuật: mỗi đêm hệ thống rà soát log hội thoại thất bại, tóm tắt nguyên nhân lỗi, tự tạo bộ câu hỏi luyện tập nhắm đúng lỗi đó và fine-tune model trước khi người dùng bắt đầu ngày làm việc mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14118
ArXiv Abstract	https://arxiv.org/abs/2610.14118
PDF Download	https://arxiv.org/pdf/2610.14118.pdf
Github Repository	N/A

36. ReTerm: Recovery Training for Self-Improving Terminal Agents (20 votes)

Tác giả: Wei Xie, Kaituo Feng, Shiming Fu, Yong Liu, Xiangyu Yue, et al.

Xuất bản lúc: 2026-10-13

Tag: LLM Agents, Terminal Agents, Reinforcement Learning, Self-Correction, GRPO, SFT, Code Agents, SWE-bench

I. Main Problem:

Các terminal agent (kiểu Claude Code, Codex) làm rất tốt các tác vụ coding dài hạn, nhưng yếu ở khả năng tự phục hồi khi gặp lỗi: gõ sai lệnh, triển khai sai, chẩn đoán sai nguyên nhân — rồi tiếp tục đi sai hướng cho đến khi task hỏng hoàn toàn. Hạn chế của hướng tiếp cận trước (TermiGen):

tiêm lỗi giả tạo bằng tay → phân phối lỗi không khớp với lỗi thực tế agent tự mắc
chỉ dùng SFT, bỏ qua tiềm năng của RL để nâng khả năng phục hồi.

II. Main Idea:

Cốt lõi là ReTerm — agent tự cải thiện bằng cách học cách sửa các lỗi do chính nó tạo ra. Gồm hai giai đoạn:

ReTerm-10K (dữ liệu SFT): pipeline 3 bước — (1) cho base model chạy task trong máy ảo, chụp snapshot trạng thái của các attempt thất bại; (2) một teacher model mạnh hơn (DeepSeek-V4-Pro) khôi phục từ đúng trạng thái lỗi đó, chỉ dựa vào lịch sử tương tác, không có feedback từ test ẩn; (3) lọc 4 tầng (verifier, format, tuân thủ, hiệu quả) giữ lại ~10K recovery trajectory chất lượng cao làm SFT cold start.
ReTerm-GRPO (RL online): từ mỗi rollout thất bại của policy đang tiến hóa, fork thành nhiều attempt tự phục hồi độc lập từ cùng trạng thái lỗi, dùng verifier reward theo nhóm để tối ưu hành vi phục hồi. Có recovery task queue (ưu tiên task mới, loại task cũ) để luôn đủ lỗi để học mà không cần rollout thêm. Nhờ đó khả năng tự sửa lỗi đồng tiến hóa cùng khả năng giải task.

Ví dụ đời thường: giống người thợ mới làm hỏng một chi tiết máy, chụp ảnh lại trạng thái hỏng, rồi cho anh thợ lành nghề sửa trên đúng máy đó — sau nhiều lần như vậy người thợ trẻ tự rút ra kinh nghiệm sửa chữa cho chính những lỗi mình hay gây ra.

III. Main Results:

Terminal-Bench 2.0: 34.8% Pass@1 (+14.6 so với Qwen3.5-9B base), vượt TMax-9B và cả TermiGen-32B.
OpenThoughts-TBLite: 60.6% (+16.4); SWE-bench Verified: 58.4% (+13.2), vượt cả OpenThinkerAgent-32B.
Tổng quát hóa tốt: +20.0 điểm AIME 2025, +11.0 SpreadsheetBench Verified, cải thiện đều đặn trên 4 harness agent khác nhau (Terminus-2, mini-SWE-agent, OpenHands).
Ablation: Base 20.2 → SFT 25.8 → GRPO 28.0 → ReTerm-GRPO 34.8 — mỗi giai đoạn đều đóng góp, recovery-oriented RL vượt GRPO chuẩn rõ rệt.
Phân tích lỗi: recovery rate cao hơn GRPO ở cả 5 loại lỗi (planning, tool use, implementation, verification, resource management), nhưng vẫn ≤32% ở hầu hết loại — dư địa còn lớn.

IV. Conclusion & Future Works:

ReTerm chứng minh rằng biến thất bại tự sinh thành tín hiệu học tập (SFT từ recovery trajectory + RL fork từ failure state) giúp terminal agent vừa mạnh hơn vừa robust hơn, và kỹ năng này chuyển giao được sang cả harness lẫn domain khác. Hướng tương lai: nâng recovery rate còn thấp (<32% ở nhiều loại lỗi), mở rộng pipeline recovery cho các môi trường tương tác dài hạn khác ngoài terminal.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp recovery task queue với thuật toán RL tự chọn failure state thông tin nhất thay vì lấy ngẫu nhiên, để tối ưu hiệu quả rollout trong recovery training.
Nghiên cứu co-training giữa self-recovery và task-solving với nhiều loại môi trường tương tác khác nhau (GUI, web, database) để kiểm tra tính phổ quát của cơ chế fork-from-failure.
Phát triển mô hình chẩn đoán lỗi chuyên biệt (error diagnosis module) hỗ trợ agent xác định nguyên nhân gốc trước khi phục hồi, nhắm vào nhóm lỗi có recovery rate thấp như planning và verification.

2. Patent:

Trợ lý coding tự sửa lỗi trên điện thoại: khi agent gõ lệnh sai hoặc code hỏng trong quá trình làm việc, hệ thống tự động lưu lại trạng thái môi trường tại thời điểm lỗi, tạo nhiều phiên thử sửa độc lập song song, rồi chọn hướng sửa thành công để cập nhật lại hành vi của trợ lý.
Hệ thống đào tạo agent tự cải thiện cho doanh nghiệp: máy chủ thu thập các phiên thất bại thật của nhân viên dùng agent nội bộ, sinh lời giải phục hồi bằng mô hình mạnh hơn, lọc chất lượng nhiều tầng và dùng làm dữ liệu tinh chỉnh định kỳ — agent càng dùng càng ít mắc lại lỗi cũ.
Chế độ 'học từ sự cố' cho trợ lý tự động trên thiết bị di động: khi thao tác người dùng gây lỗi (file hỏng, lệnh sai), ứng dụng tạo snapshot trạng thái, cho mô hình thử nhiều cách khắc phục trong môi trường ảo cách ly, chỉ áp dụng cách thành công lên dữ liệu thật của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18484
ArXiv Abstract	https://arxiv.org/abs/2610.18484
PDF Download	https://arxiv.org/pdf/2610.18484.pdf
Github Repository	https://github.com/twothsnd/ReTerm

37. JevGPT: Thinking Fast and Slow in Autonomous Research (20 votes)

Tác giả: Yasheng Sun, Yanning Dai, Yimeng Chen, Nanbo Li, Firas Laakom, et al.

Xuất bản lúc: 2026-10-13

Tag: Autonomous Research Agents, Agentic Search, Dual-System Reasoning, RAG, Question Answering, Document Ranking, Hybrid BM25, Jev, GPT-5.5, Evidence Localization

I. Main Problem:

Các agent nghiên cứu tự chủ thường truy xuất được nhiều nguồn hơn mức chúng thực sự dùng: tài liệu liên quan có thể nằm trong danh sách ứng viên nhưng không được mở, đọc kỹ, hoặc đưa vào suy luận. Điểm nghẽn là ngân sách thời gian/API hữu hạn; nếu cứ để mô hình lớn đọc và cân nhắc từng nguồn, agent sẽ ít tìm được manh mối hơn. Thách thức là phải phân bổ phán đoán cục bộ nhanh đúng với nhu cầu bằng chứng luôn thay đổi, rồi phản hồi kết quả ngược lại vào quyết định nghiên cứu tiếp theo.

II. Main Idea:

JevGPT tách nghiên cứu tự chủ thành hai hệ:

System Two: mô hình GPT lập kế hoạch, đặt evidence objectives, quyết định truy vấn/đọc/tích hợp, rồi trả lời hoặc xếp hạng.
System One: mô hình Jev chạy phán đoán nhanh trên từng nguồn, tìm đoạn chứa bằng chứng, chấm mức liên quan, chọn đọc thêm ngữ cảnh và khám phá bổ sung ứng viên còn lại.

Cơ chế then chốt là System Two không tự đọc mọi thứ; nó gửi yêu cầu bằng chứng rất cụ thể, System One xử lý song song nhiều nguồn rồi trả về đoạn văn gốc kèm tọa độ nguồn, để System Two điều chỉnh bước tiếp theo. Cho QA, nó đặt câu hỏi bằng chứng cục bộ và địa phương hóa câu trả lời; cho ranking, nó chấm mức hữu ích của từng tài liệu. Ví dụ đời thường: giống một trưởng nhóm nghiên cứu giao cho nhiều trợ lý nhanh tay lật từng hồ sơ, đánh dấu đúng đoạn cần xem; trưởng nhóm chỉ đọc các đoạn đã được chọn lọc và quyết định bước điều tra kế tiếp.

III. Main Results:

Trên BrowseComp-Plus, JevGPT đạt 90.48% accuracy, cao hơn các baseline như Pi-Serini 82.05%, Agentica 84.46%, RISE 89.88%, Reason-ColBERT 90.00%; đồng thời chỉ cần 2.68 searches, 91.7s, và tổng chi phí thấp hơn các phương pháp có độ chính xác tương đương.
Trên NeuCLIRBench, JevGPT đạt nDCG@20 = 0.5390 và F1@20 = 36.10, vượt Pi-Serini 0.5240/35.02, trong khi dùng ít token hơn và hoàn thành nhanh hơn.
Phân tích bằng chứng cho thấy JevGPT không chỉ truy xuất tốt mà còn kiểm tra và bàn giao nhiều tài liệu vàng hơn vào vòng lặp nghiên cứu.
Ablation cộng dồn trên BrowseComp-Plus: Pi-Serini 72.05% → thêm Hybrid BM25 79.52% → thêm Evidence Localization 81.20% → thêm Evidence Discovery 86.51%; Hybrid BM25 và Evidence Discovery mang lại lợi ích lớn nhất, localization giúp giảm số lượt search nhưng tăng chi phí System One.

IV. Conclusion & Future Works:

Bài học chính: hiệu quả của agent nghiên cứu không chỉ nằm ở retrieval, mà ở khả năng biến nguồn đã truy xuất thành bằng chứng gốc được dùng cho suy luận tiếp theo. JevGPT cho thấy việc căn chỉnh phán đoán nhanh theo mục tiêu bằng chứng hiện tại giúp tăng hiệu năng, giảm thời gian và chi phí. Hướng đi tiếp theo: huấn luyện chung một mô hình biết khi nào nên phán đoán nhanh, khi nào nên suy luận chậm; mở rộng sang nghiên cứu web mở và tổng hợp văn bản dài.

V. Brainstorming Space:

1. Publish Papers:

Một mô hình thống nhất cho phép cân bằng tự động giữa phán đoán cục bộ nhanh và lập kế hoạch nghiên cứu chậm thông qua học tăng cường hoặc học có giám sát theo nhu cầu bằng chứng.
Mở rộng kiến trúc dual-system cho nghiên cứu web mở, nơi corpus không cố định và nguồn có độ tin cậy biến động.
Nghiên cứu giao diện bằng chứng cho long-form synthesis, tự động chọn đoạn gốc, trích nguồn và tổng hợp nhiều tài liệu thành báo cáo.

2. Patent:

Trợ lý nghiên cứu trên điện thoại: khi người dùng hỏi một câu phức tạp, một mô hình nhẹ chạy trên máy sàng lọc nhanh các tệp/tin đã tải, đánh dấu đoạn có khả năng chứa câu trả lời; một mô hình lớn trên đám mây chỉ nhận các đoạn đã chọn để lập truy vấn tiếp theo và tổng hợp câu trả lời kèm nguồn.
Ứng dụng kiểm chứng tài liệu cho nhân viên di động: chụp hoặc tải nhiều tài liệu liên quan, hệ thống tự đọc song song, gắn nhãn từng đoạn theo mức liên quan, rồi đưa ra danh sách tài liệu nên đọc trước cùng trích dẫn gốc.
Hệ thống hỏi đáp nội bộ cho doanh nghiệp: agent tìm kiếm tự động trong kho tài liệu cố định, dùng mô hình nhỏ để mở rộng các manh mối chưa rõ và mô hình lớn để xác minh, giảm số lượt tìm kiếm và chi phí API mỗi phiên làm việc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18272
ArXiv Abstract	https://arxiv.org/abs/2610.18272
PDF Download	https://arxiv.org/pdf/2610.18272.pdf
Github Repository	https://github.com/sunyasheng/JevGPT

38. EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ (20 votes)

Tác giả: Yunsong Zhou, Xuekun Jiang, Haiqi Shen, Hangxu Liu, Chaojian Shi, et al.

Xuất bản lúc: 2026-10-13

Tag: Egocentric Learning, Humanoid Loco-Manipulation, Motion Capture, Tactile Sensing, Dataset, Embodied AI

I. Main Problem:

Để robot humanoid học loco-manipulation từ người, cần dữ liệu ghi lại cùng lúc di chuyển toàn thân, tư thế, cử chỉ ngón tay và tiếp xúc vật lý trong nhiều môi trường thật. Các hệ hiện có thường chỉ nhìn một phần:

Egocentric video có bối cảnh đa dạng nhưng che khuất tay, chân và không đo được lực chạm.
Wearable body tracking ghi được chuyển động cơ thể nhưng thiếu chi tiết ngón tay và cảm giác chạm.
Hand-focused dataset có ngón tay/touch nhưng bỏ qua vận động toàn thân khi di chuyển.
Hệ studio multi-camera chính xác nhưng đắt, cố định và khó mở rộng ra nhiều không gian làm việc.

Thiếu phối hợp này làm mất đi cách con người vừa đi, vừa chỉnh tư thế, vừa thao tác vật như một chuỗi liên tục.

II. Main Idea:

EgoExplorer là bộ dữ liệu 100 giờ ghi egocentric video + whole-body motion + finger articulation + touch bằng hệ wearable nhẹ gồm camera đầu, 5 tracker và găng tay cảm biến. Điểm kỹ thuật chính là pipeline C3 - Calibrate-Complete-Constrain để khôi phục chuyển động toàn thân từ các điểm đo thưa thớt:

Calibrate: người tham gia thực hiện bài động tác chuẩn; hệ khớp pha động tác với motion reference để tách hình dáng cơ thể, tỉ lệ và vị trí gắn sensor khỏi chuyển động thật. Hồ sơ này tái sử dụng được nếu không tháo sensor.
Complete: motion prior mở rộng từ head/hand sang 5 anchor, sinh motion proposal cho các khớp không quan sát trực tiếp.
Constrain: tinh chỉnh proposal bằng ba lớp ràng buộc: khớp xương khớp với tracker, bề mặt cơ thể không tự xuyên nhau, cơ thể không chìm xuống sàn.

Kết quả là các episode liên tục có nhãn step-level được chuyên gia kiểm tra, phù hợp để huấn luyện mô hình đa phương thức và retarget sang robot.

Ví dụ đời thường: giống như may đồ bằng ít điểm đo trên cơ thể: đo vài điểm quan trọng, chụp ảnh dáng người, rồi dùng thước dây, quy tắc không chồng vải và mặt sàn để dựng lại bộ đồ vừa khít thay vì đo từng centimet.

III. Main Results:

Dataset: 2,715 recording / 100 giờ, 10 task templates, 5 môi trường, nhấn mạnh hoạt động chuyên nghiệp như lab, factory, food-prep, study và living room.
Whole-body reconstruction: lỗi body-point 18.0 mm, non-tracked points 20.3 mm, tốt hơn mạnh baseline được đánh giá; giảm 71.9% body-point error so với baseline mạnh nhất.
Hand capture: glove đạt holding RMS 0.4 mm, 100% kinematic target recovery, vượt xa phương pháp suy luận từ ảnh video.
Contact estimation: IoU 0.915, F1 0.956, cho thấy đo touch trực tiếp hiệu quả hơn suy luận từ RGB hay hand pose.
Văn bản step: model generation còn lỗi fact 11.09%, missed-step 8.16%, nên cần expert review trước khi release.
Preliminary study: joint generation video/action/touch tốt hơn separate generation; condition bằng video và video+touch làm action MSE giảm từ 0.0478 xuống 0.0277 và 0.0264. Motion retarget sang Unitree G1 trong simulation bằng whole-body control.

IV. Conclusion & Future Works:

EgoExplorer chứng minh có thể thu vision-motion-touch liên tục cho loco-manipulation bằng hệ portable, miễn là tách rõ sensor mounting calibration khỏi motion inference và ràng buộc chuyển động bằng geometry/temporal/contact. Dữ liệu phù hợp cho embodied learning cần quan sát dài, đa môi trường và có tiếp xúc. Hướng tương lai: mở rộng quy mô môi trường và nhiệm vụ, cải thiện annotation bán tự động, huấn luyện policy mạnh hơn trên video-body-hand-touch đồng bộ, và kiểm chứng chuyển sang robot thật ngoài simulation.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EgoExplorer sang nhiều môi trường chuyên nghiệp hơn và thêm đối tượng người dùng đa dạng để nâng khả năng khái quát cho humanoid loco-manipulation.
Phát triển mô hình generation đồng thời video, whole-body action và touch với điều kiện hóa chéo, kiểm chứng lợi ích của touch trong dự đoán hành động tương lai.
Nghiên cứu retarget từ dữ liệu người sang robot humanoid có cảm biến lực/tiếp xúc, đo chất lượng policy trong thế giới thật thay vì chỉ simulation.

2. Patent:

Kính hoặc mũ điện thoại gắn camera cùng vài cảm biến nhỏ ở cổ tay và mắt cá chân để ghi lại cách người vận hành máy móc; phần mềm tự hiệu chuẩn vị trí cảm biến rồi dựng lại chuyển động cơ thể để đào tạo robot công nghiệp.
Găng tay thông minh cho điện thoại có cảm biến uốn ngón và lực chạm, kết hợp camera trước mặt người dùng, để ghi dữ liệu sửa chữa thiết bị hoặc nấu ăn rồi chuyển thành hướng dẫn vận hành từng bước trên màn hình.
Hệ thu thập minh chứng kỹ năng nghề bằng điện thoại: người học đeo vài marker nhẹ, thực hiện chuỗi động tác chuẩn trước camera; ứng dụng tự căn cơ thể, nhận bước làm việc và đánh giá sai lệch động tác so với chuyên gia.
Bộ cảm biến wearable cho nhân viên kho hoặc y tế ghi lại tư thế khi mang vác, cúi xuống và chạm thiết bị, cảnh báo nguy cơ va chạm hoặc tư thế sai đồng thời tạo dữ liệu huấn luyện robot hỗ trợ nâng hạ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18872
ArXiv Abstract	https://arxiv.org/abs/2610.18872
PDF Download	https://arxiv.org/pdf/2610.18872.pdf
Github Repository	https://github.com/InternRobotics/EgoExplorer

39. Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence (18 votes)

Tác giả: Jiahao Meng, Zhongyuan Bao, Yue Tan, Haiquan Wen, Renrui Zhang, et al.

Xuất bản lúc: 2026-10-13

Tag: Video Reasoning, Multimodal LLMs, Temporal Grounding, Spatial Grounding, Agentic Tool Use, Reinforcement Learning, Chain-of-Thought

I. Main Problem:

Lý luận video đáng tin cậy đòi hỏi không chỉ trả lời đúng mà còn chỉ ra bằng chứng hình ảnh ở đúng thời điểm và đúng vật thể. Các mô hình hiện tại còn hạn chế:

Quan sát cố định: lấy mẫu khung hình ban đầu thưa, dễ bỏ sót chi tiết ngắn hoặc vật nhỏ.
Giám sát rời rạc: dữ liệu hỏi-đáp thiếu bằng chứng, dữ liệu grounding chỉ phản ánh một phần, hiếm có dữ liệu đa lượt gắn clue thời gian, vật thể và lý luận.
Lý luận và grounding lệch nhau: timestamp, hộp vật thể và giải thích có thể từng phần hợp lý nhưng không hỗ trợ lẫn nhau.
Dùng công cụ thiếu kiểm chứng: truy xuất thêm đoạn video chưa đồng nghĩa biết moment/vật nào trong đoạn đó chứng minh bước suy luận nào.

II. Main Idea:

Open-o3-Video-v2 đưa lý luận video thành vòng lặp tìm kiếm - gắn bằng chứng - lý luận. Thay vì chỉ nhìn khung hình ban đầu, mô hình:

phát hiện thông tin còn thiếu trong câu hỏi và lý luận
gọi công cụ crop_video để lấy đoạn video mới với mật độ sampling thay đổi
chèn bằng chứng vào chuỗi suy nghĩ dưới dạng timestamp, tên vật thể và bounding box
dùng bằng chứng vừa thu được làm giả định cho lượt sau, rồi quyết định tìm tiếp hay trả lời

Để huấn luyện hành vi này, tác giả xây STGR-v2-CoT-135K, gồm 52K quỹ đạo đa lượt có tool call, grounding vật thể và trả lời cuối; loại các câu quá dễ, kiểm chứng clue có hỗ trợ đáp án, dùng SAM3 tạo box và lọc timestamp/object/box không khớp. Tập STGR-v2-RL-13K giữ các câu có cả rollout đúng và sai để tạo tín hiệu RL.

Thuật toán Clue-Seek GRPO theo dõi evidence state: độ phủ clue tích lũy qua từng lượt gọi công cụ. Nó thưởng độ phủ cuối và mức tăng clue rõ rệt, đồng thời phạt gọi quá nhiều, lặp gần như cùng đoạn, quét từng mảnh liền kề, hoặc làm loãng bằng chứng đã tìm được.

Ví dụ đời thường: giống người xem camera dài để trả lời 'có bao nhiêu trận bóng' — thay vì đoán từ vài khung đầu, người đó tua tới đoạn nghi có bàn thắng, dừng lại xem tỷ số và nhân vật, ghi nhớ 'đây là trận một', rồi tua tiếp đoạn kết thúc trận và bắt đầu trận mới trước khi kết luận.

III. Main Results:

Trên V-STaR, bản 4B đạt 40.4% mAM và 56.3% mLGM, cao hơn backbone Qwen3-VL-4B lần lượt 8.5% và 12.6%.
Cải thiện đều trên các bộ benchmark hiểu video tổng quát, lý luận video dài và temporal grounding; tiêu biểu gồm +10.7% trên Video-Holmes và +7.2% trên LVBench.
Bản 8B đạt 56.5% mLGM trên V-STaR, 63.0% accuracy trên VideoMMMU và 51.1% mIoU trên Charades-TimeLens.
Kết quả cho thấy chủ động thu thập bằng chứng và grounding cấp vật thể có thể kiểm chứng bổ trợ lẫn nhau: tìm đúng đoạn giúp biết nhìn đâu, grounding giúp chứng minh từng bước suy luận.

IV. Conclusion & Future Works:

Bài báo chứng minh lý luận video đáng tin cậy cần kết hợp agentic evidence acquisition với object-level grounding trong cùng quỹ đạo suy luận. Điểm mấu chốt không chỉ là cắt video thời gian hay sinh box, mà là biến quan sát mới thành bằng chứng rõ ràng, có timestamp và vật thể, rồi tái sử dụng nó cho các bước sau. Code và mô hình được công bố. Hướng mở tự nhiên là mở rộng sang dữ liệu đa lượt lớn hơn, công cụ quan sát phong phú hơn và các tác vụ video thực tế yêu cầu bằng chứng kiểm chứng được.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng seek-ground-reason sang bằng chứng đa phương thức: kết hợp video với âm thanh, phụ đề và metadata để mô hình không chỉ tìm đoạn hình mà còn kiểm chứng sự kiện qua nhiều kênh cảm quan.
Học chính sách thu thập bằng chứng theo uncertainty: ước lượng thông tin nào còn thiếu, chọn lượt quan sát tiếp theo có khả năng giảm uncertainty nhất, đồng thời tối ưu ngân sách số lần gọi công cụ.
Tự cải thiện từ phản hồi người dùng về chất lượng bằng chứng: người dùng đánh giá timestamp, khung vật thể và lập luận có khớp nhau không, từ đó huấn luyện reward hoặc preference model cho lý luận video có kiểm chứng.
Áp dụng lý luận video có bằng chứng cho điều tra an ninh, y tế và giáo dục: xây dữ liệu và đánh giá chuyên biệt cho các tác vụ cần truy vết thời gian - vật thể và giải thích có thể kiểm chứng.

2. Patent:

Ứng dụng điện thoại hỏi-đáp video có bằng chứng: người dùng hỏi về một video dài, ứng dụng tự tìm đoạn liên quan, bôi sáng vật thể và mốc thời gian, cho phép chạm vào từng bằng chứng để nhảy tới cảnh tương ứng.
Trợ lý điều tra camera an ninh trên điện thoại: nhân viên mô tả sự việc, hệ thống rà soát footage dài, chọn các đoạn có người hoặc vật liên quan và xuất báo cáo có ảnh chụp, khung vật thể, thời điểm và suy luận từng bước.
Trợ lý trọng tài thể thao bằng điện thoại: quay trận đấu, tự tìm khoảnh khắc gây tranh cãi, phóng to vị trí bóng hoặc cầu thủ và giải thích quyết định dựa trên bằng chứng thời gian - không gian có thể xem lại.
Hỗ trợ người khiếm thị bằng camera điện thoại: khi người dùng hỏi 'cái gì đang diễn ra', ứng dụng tìm kiếm trong luồng video, xác định vật thể hoặc hành động quan trọng và đọc mô tả kèm vị trí thời gian để người dùng kiểm tra lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17656
ArXiv Abstract	https://arxiv.org/abs/2610.17656
PDF Download	https://arxiv.org/pdf/2610.17656.pdf
Github Repository	https://github.com/Multimedia-Semantic-Analytics-Lab/Open-o3-Video-v2

40. Fish Audio Drama 3 Technical Report (18 votes)

Tác giả: Dawei Han, Shidong Li, Shijia Liao, Jiahua Liu, Songting Liu, et al.

Xuất bản lúc: 2026-10-13

Tag: Text-to-Speech, Speech Generation, Voice Cloning, Directed Performance, Mixture-of-Experts, Linear Attention, Multi-Token Prediction, Reinforcement Learning from Human Preference, Audio Editing, Streaming Speech

I. Main Problem:

Các mô hình text-to-speech hiện đại đã đọc khá tốt, nhưng audiobook, lồng tiếng phim/game và nhân vật tương tác cần một màn trình diễn có đạo diễn: đổi cách đọc bằng ngôn ngữ tự nhiên, chỉnh lại take theo ghi chú, phân vai nhiều nhân vật, sửa cục bộ một từ sai, và đọc dài hoặc streaming. Fish Audio S2 còn bốn hạn chế:

kiến trúc full-attention không phù hợp phiên làm việc dài với hàng nghìn token âm thanh
điều khiển chỉ một lần, chưa sửa lại take đã sinh
tạo âm thanh kiểu tất cả hoặc không, sửa một từ phải tạo lại cả đoạn
hậu huấn luyện dùng phần thưởng quy tắc như độ chính xác phiên âm và độ giống giọng, trong khi cười, ngừng lâu hay thì thầm vốn làm các chỉ số này thay đổi.

II. Main Idea:

Drama 3 giữ audio tokenizer của S2 nhưng xây lại mô hình, cách đặt bài toán và mục tiêu hậu huấn luyện xung quanh directed performance.

Backbone: khởi tạo từ Qwen3.5-35B-A3B, dùng hybrid linear-attention với Gated DeltaNet và full-attention thưa, kết hợp mixture-of-experts 35B tham số nhưng chỉ kích hoạt khoảng 3B tham số mỗi token.
Partial Codebook Fusion: chỉ đưa lại backbone hai codebook đầu — semantic code và acoustic code đầu — để giảm exposure bias, trong khi các codebook tinh hơn đi thẳng vào decoder.
Codebook-MTP Decoder: thay Fast AR của S2 bằng decoder có 4 shared layers và 9 layer riêng cho từng acoustic codebook; mỗi layer attend nhân quả trên toàn chuỗi nên nghe được chi tiết âm sắc của reference và các frame trước thay vì chỉ qua một vector tóm tắt.
Một mô hình cho nhiều tác vụ: cloning, direction, multi-turn revision, scene dubbing, infilling editing, long-form và streaming đều được viết như hội thoại trên cùng token stream; loss chỉ áp trên lượt assistant.
Huấn luyện: ba giai đoạn pre-training, instruction SFT, rồi GRPO với một reward model duy nhất học từ sở thích con người, bỏ mọi reward quy tắc; reward được chuẩn hóa, clip và đổi thành tỉ lệ thắng trong nhóm take để giảm reward hacking.
Inference engine: decoder chạy một lần mỗi frame, expert lưu block-scaled FP8, giảm kernel launch, tối ưu kernel theo shape serving thật và tách prefill khỏi decode để request mới không chặn stream đang chạy.

Ví dụ đời thường: giống một diễn viên lồng tiếng trong phòng thu nghe đạo diễn chỉ cách đọc, xem lại các take cũ, diễn lại khi bị góp ý, và nếu chỉ sai một từ thì chỉ thu lại đúng chỗ đó thay vì làm lại cả cảnh.

III. Main Results:

Đạo diễn và chỉnh sửa nhiều lượt: trên Step-Audio-Edit, mỗi vòng revision cải thiện độ chính xác cảm xúc và phong cách.
Voice cloning đa ngôn ngữ: trên MiniMax Multilingual Testset, Drama 3 có word error rate thấp nhất trong các hệ thống so sánh ở Chinese, Dutch, English, German và Turkish.
Editing bằng infilling: trên Ming-Freeform-Audio-Edit, lỗi thấp hơn Cartesia Sonic-3 infill API ở English và Chinese; ở Chinese, speaker similarity cao hơn cả các mô hình editing chuyên biệt trên insertion và substitution.
Hiệu năng serving: một H200 decode 271 frames/giây cho một stream, so với 177 của S2 dù Drama 3 hơn 7 lần tham số; trên B200/B300 đạt 295 frames/giây. Mỗi frame đọc khoảng 6.0 GB weights so với khoảng 15.6 GB của S2; FP8 experts nâng per-stream decode rate ở concurrency 32 thêm 36% trên H200.
Mở: trọng số công bố trên GitHub và Hugging Face, inference qua SGLang-Omni; đây được tác giả gọi là mô hình open-weight chuyên speech generation lớn nhất tính theo tổng tham số.

IV. Conclusion & Future Works:

Bài báo cho thấy hướng quan trọng là chuyển text-to-speech từ đọc đúng sang diễn có đạo diễn: kiến trúc phải giữ ngữ cảnh dài, decoder phải thấy chi tiết acoustic của reference, tác vụ phải đóng gói như hội thoại, và tối ưu phải dùng sở thích người thay vì proxy cứng nhắc. Hệ quả là một mô hình vừa clone giọng, vừa nhận ghi chú nhiều lượt, vừa sửa cục bộ và streaming.

Phần trích không đưa roadmap tương lai chi tiết; các hướng mở tự nhiên từ thiết kế là mở rộng độ ổn định của multi-turn direction, cải thiện reward model cho nhóm biểu cảm hiếm, tăng ngôn ngữ/giọng nói mở rộng, và tối ưu thêm serving cho nhiều stream dài đồng thời.

V. Brainstorming Space:

1. Publish Papers:

Một nghiên cứu chuyên sâu về multi-turn direction cho speech generation: định dạng hội thoại đạo diễn — take, ghi chú, take sửa — và đo xem bao nhiêu lượt chỉnh là đủ để cải thiện cảm xúc mà không làm mất độ giống giọng.
Một phân tích hệ thống về single learned preference reward cho expressive TTS: so sánh reward model thuần sở thích người với reward theo chuyển văn bản, chất lượng cảm nhận và độ giống giọng, kèm cách phát hiện reward hacking.
Một bài về inference engine cho hybrid mixture-of-experts speech model: cách giảm kernel launch, dùng FP8 cho expert, tách prefill/decode và đo trade-off giữa chất lượng âm thanh, độ trễ streaming và số stream đồng thời trên GPU.

2. Patent:

Ứng dụng điện thoại cho phép người dùng đạo diễn giọng đọc bằng ngôn ngữ tự nhiên: chọn một hoặc vài đoạn giọng mẫu, gõ câu cần đọc, sau đó ra lệnh kiểu “đọc mềm hơn, buồn hơn, nhanh hơn” và nghe ngay bản đọc lại mà không thu âm mới.
Trình tạo hội thoại nhiều nhân vật trên điện thoại: người dùng gửi ảnh chụp trang truyện hoặc kịch bản ngắn, ứng dụng tự gán từng vai một giọng mẫu khác nhau rồi đọc cả cảnh thoại có ngừng nghỉ, cười, thì thầm theo đúng nhân vật.
Công cụ sửa âm thanh giống sửa văn bản: trên điện thoại, người chọn một từ sai trong đoạn ghi âm, gõ từ thay thế, hệ thống chỉ thay âm thanh đúng chỗ đó và giữ nguyên giọng, nhịp, cảm xúc của phần trước và sau.
Hệ thống lồng tiếng phim hoặc video ngắn trên điện thoại: người dùng tải video, mô tả tính cách nhân vật và cung cấp vài đoạn giọng mẫu; ứng dụng tạo bản lồng tiếng đa nhân vật, cho phép yêu cầu diễn lại từng câu theo ghi chú đạo diễn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18010
ArXiv Abstract	https://arxiv.org/abs/2610.18010
PDF Download	https://arxiv.org/pdf/2610.18010.pdf
Github Repository	N/A

41. GeoFix: Geometry Fixing for 4D Consistent Generation (18 votes)

Tác giả: Yeobin Hong, Hyojun Go, Dohun Lee, Jeongjae Lee, Sunghwan Hong, et al.

Xuất bản lúc: 2026-10-09

Tag: Video Diffusion, 4D Generation, Geometric Consistency, Reward Alignment, 4D Gaussian Splatting, Depth Reprojection, World Models, Computer Vision

I. Main Problem:

Các video diffusion model tạo ảnh động đẹp nhưng thường mất nhất quán hình học: nền bị méo, trôi, nhấp nháy khi camera di chuyển, nên khó dùng làm prior cho 4D scene generation. Các reward hình học trước đây thường có hai hướng:

Gián tiếp qua mô hình preference/VLM: dễ lẫn lỗi hình học với chất lượng render hay texture.
Trực tiếp qua RGB reconstruction, epipolar, depth agreement: tăng consistency nhưng dễ làm mờ chi tiết, bão hòa màu, hoặc khiến video gần như đứng yên. Vì vậy nhiều phương pháp cần auxiliary rewards hoặc lọc preference data, làm alignment phức tạp và khó cân bằng.

II. Main Idea:

GeoFix dùng một reward hình học duy nhất, tên FOCAL, để vừa tăng geometric consistency vừa cải thiện visual quality cả lúc training và inference. Cơ chế chính:

Không so RGB: reward đo cross-view depth consistency, tức chiếu depth từ khung này sang khung khác và so sánh độ lệch cấu trúc 3D, để tránh ép màu sắc hay texture khớp nhau.
Chỉ chấm vùng tĩnh: dùng motion segmentation để loại vùng vật thể chuyển động hợp lệ, tránh phạt chuyển động đúng là lỗi hình học.
Hiệu chỉnh theo độ chồng góc nhìn: tác giả quan sát thấy cả video thật cũng có depth agreement cao hơn khi camera ít di chuyển; FOCAL ước lượng xu hướng này từ video thật/dataset 4D rồi trừ phần điểm lợi thế do FOV overlap lớn, giúp reward phản ánh đúng chất lượng hình học.
Reward tính trực tiếp trên video latents qua stitched 4D reconstructor, bỏ qua VAE decoder và lớp reconstruction đầu, đồng thời xuất depth, camera pose, intrinsics và 4D Gaussian.
Áp dụng linh hoạt cho DiffusionNFT post-training, Best-of-N, và DPS-style gradient guidance.

Ví dụ đời thường: giống chấm bài vẽ phối cảnh nơi thí sinh đứng yên chụp góc trùng nhau thì ảnh dễ khớp hơn; trọng tài phải trừ điểm lợi thế “ít di chuyển máy” trước khi chấm thật sai lệch kiến trúc.

III. Main Results:

Training-time alignment: trên Wan2.2-TI2V-5B, GeoFix đạt WorldScore 3D consistency 61.60 so với base 44.39, tương ứng cải thiện khoảng +39%; photometric consistency tăng từ 33.55 lên 51.06. VBench Quality Score được báo cáo tăng khoảng +4%.
So với reward hình học trực tiếp khác: theo bảng so sánh, GeoFix cải thiện tương đối trên nhiều trục VBench lớn hơn VGGRPO, đặc biệt aesthetic quality +12.67%, imaging quality +8.25%, subject consistency +6.59%.
Không cần auxiliary reward: chất lượng video tăng theo vì lỗi hình học bị coi là khuyết tật thị giác; qualitative results cho thấy ít background drift, ít flicker, 4DGS render sạch hơn SFT, VIST3A, World-R1.
Inference-time steering: với Best-of-N, rotation error giảm từ 2.040 xuống 1.751, WorldScore 3D consistency tăng từ 75.43 lên 78.00; DPS cũng tăng lên 76.49, cho thấy reward cho gradient hữu ích qua stitched model.
Image-to-4D: GeoFix đạt consistency cao nhất trong so sánh với 4DNeX và MoGe4D; 4DNeX có dynamic degree cao nhưng chủ yếu do background drift/smear, MoGe4D gần như thiếu motion, còn GeoFix giữ nền ổn định và object motion mạch lạc hơn.
Ablation: khi bỏ FOV calibration, dynamic degree giảm vì model học cách “đứng yên” để lấy reward dễ; FOCAL giảm đều theo mức corruption hình học như warp, squeeze, depth-layer warp, pose drift.

IV. Conclusion & Future Works:

GeoFix chứng minh có thể dùng một reward hình học đúng mục tiêu để sửa lỗi cấu trúc mà không đánh đổi texture, chi tiết hay chuyển động hợp lệ. Điểm then chốt là hiệu chỉnh theo camera overlap, ngăn reward khuyến khích camera bớt di chuyển chỉ để đạt điểm dễ. Hướng mở rộng hợp lý: học hoặc cập nhật hệ số hiệu chỉnh theo từng miền dữ liệu, tăng độ bền của static/dynamic mask, và thử nghiệm rộng hơn trên nhiều loại video model, camera control và 4D reconstructor khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng FOCAL cho reward đa mục tiêu nhưng vẫn giữ nguyên tắc trừ bias theo overlap: kết hợp depth consistency với độ ổn định nền, độ chính xác camera và mức chuyển động hợp lệ trong một hàm chấm duy nhất.
Phát triển bộ hiệu chỉnh tự thích ứng cho từng tập prompt hoặc từng phong cách camera, thay vì cố định hệ số hiệu chỉnh từ video thật và dataset 4D tham chiếu.
Nghiên cứu reconstructor nối mạnh hơn giữa latent video diffusion và 4D Gaussian reconstruction để reward chính xác hơn khi video có vật thể nhanh, occlusion lớn hoặc camera trajectory phức tạp.

2. Patent:

Ứng dụng điện thoại quay video chân thực: người dùng quay một cảnh có chuyển động camera; ứng dụng đo độ khớp chiều sâu giữa các góc nhìn, tự giảm nền bị trôi và méo, rồi xuất video ổn định hoặc cảnh 3D/4D xem được nhiều phía.
Tính năng chụp ảnh chuyển thành video 3D trên điện thoại: từ một ảnh và quỹ đạo camera mong muốn, hệ thống sinh nhiều video ứng viên, chọn phiên bản có cấu trúc vật thể và nền khớp nhất khi chiếu giữa các góc nhìn.
Công cụ kiểm tra video AI cho nền tảng di động: gắn điểm tín nhiệm hình học vào video tạo bởi AI, cảnh báo khi nền bị bóp méo, vật thể tách rời không gian, hoặc camera ảo di chuyển không tự nhiên.
Hệ thống dựng lại cảnh nội thất bằng điện thoại: người dùng quay vòng quanh phòng; phần mềm dùng độ khớp chiều sâu đã hiệu chỉnh để ghép các khung thành mô hình 3D ổn định, giảm lỗi tường bị lặp và vật cố định bị biến dạng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14293
ArXiv Abstract	https://arxiv.org/abs/2610.14293
PDF Download	https://arxiv.org/pdf/2610.14293.pdf
Github Repository	N/A

42. LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity (15 votes)

Tác giả: Yibo Wang, Senjie Jin, Yansong Ning, Xinbing Liang, Haotian Luo, et al.

Xuất bản lúc: 2026-10-13

Tag: Deep Research Agents, Benchmark, LLM-as-a-Judge, Web Search, Rubric Evaluation, Chinese-English Benchmark, Productivity

I. Main Problem:

Các benchmark hiện có cho Deep Research (DR) agents chủ yếu xoay quanh học thuật hoặc tác vụ tổng hợp, trong khi khả năng của DR agents trong đời sống thật và công việc chuyên nghiệp còn ít được đo lường. Hệ quả:

thiếu dữ liệu từ truy vấn người dùng thật ở bối cảnh sống, làm việc hằng ngày
rubric nhiều nơi thiếu neo số cụ thể như giá trị, đơn vị, ngày, URL, ngưỡng chấp nhận
khó biết báo cáo của DR agent có đủ đúng, đủ, dùng được như một deliverable thực tế hay không.

II. Main Idea:

LifeSearch là benchmark hai ngôn ngữ Trung-Anh gồm 203 tác vụ từ truy vấn người dùng thật, trải trên 7 lĩnh vực đời sống/năng suất: công ty và đối thủ, học thuật/nghề nghiệp, tài chính, chính sách/chính phủ, tin ngành/xu hướng, công cụ kỹ thuật, sự kiện đời thường. Điểm khác biệt:

xây hơn 4,500 giờ chú thích người để tạo 4,014 rubric chuyên gia, trung bình gần 20 rubric/tác vụ
mỗi rubric có Pass/Fail, loại objective/subjective, explicit/implicit, must-have/nice-to-have và trọng số 0–1
chấm bằng LLM-as-a-Judge có chọn cấu hình cẩn thận: so 11 cấu hình trên 402 nhãn người, chọn Gemini 3.1 Pro, low reasoning, temperature 0

Cơ chế giống như checklist kiểm thực tế của biên tập viên tạp chí tiêu dùng: không hỏi chung chung “bài có hay không”, mà cầm phiếu chấm ghi rõ phải có đúng mức giá, đúng ngày giao hàng, đúng nguồn và đủ tiêu chí mới cho điểm.

III. Main Results:

Khoảng trống rất lớn: tác tử mạnh nhất là GPT-5.6 Sol chỉ đạt 63.4%, tất cả 12 hệ thống đều dưới 70% mọi lĩnh vực; Claude Opus 5 đạt 56.1%.
Dài hơn không đồng nghĩa tốt hơn: Opus 5 và GLM-5.3 sinh lượng token gần giống nhau nhưng chênh 6.9 điểm phần trăm; Hy4 Preview gần điểm GLM-5.3 với ít token hơn nhiều.
Thu thập bằng chứng quan trọng: số vòng lặp tương quan thuận với điểm (Spearman ρ ≈ 0.76); GPT-5.6 Sol trung bình 86.2 lần tương tác.
Tổng hợp vẫn là nút cổ chai: độ dài báo cáo cuối tương quan điểm (ρ ≈ 0.60), nhưng báo cáo dài vẫn thiếu dữ kiện bắt buộc.
Lỗi lặp lại: hỏi làm rõ quá sớm rồi dừng, dùng dữ liệu ngoài khoảng thời gian yêu cầu, bỏ sót chi tiết cụ thể như con số, ngày, nguồn, trường hợp biên.
Đánh giá khớp người: xếp hạng rubric tương quan mạnh với xếp hạng người, Spearman ρ = 0.89, Kendall τ = 0.81.

IV. Conclusion & Future Works:

LifeSearch cho thấy các DR agent frontier hiện nay chưa đáng tin cho tác vụ đời sống và nghề nghiệp thật, dù đã mạnh ở benchmark học thuật. Điểm mấu chốt không nằm ở viết dài hay gọi công cụ nhiều, mà ở thu thập đúng bằng chứng theo phạm vi thời gian và tổng hợp đủ yêu cầu có kiểm chứng được. Hướng tiếp theo: cải thiện temporal grounding, giảm hỏi làm rõ không cần thiết trong môi trường autonomous, nâng khả năng tự kiểm chứng số liệu/ngày/nguồn trước khi xuất báo cáo.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LifeSearch sang tác vụ đa bước có tương tác người dùng, đánh giá khả năng DR agent biết khi nào nên hỏi làm rõ và khi nào nên tự suy luận tiếp trong môi trường thực.
Phát triển tác nhân tự kiểm chứng thời gian cho Deep Research: tách rõ dữ liệu hiện tại và dữ liệu tại mốc thời gian yêu cầu, rồi tự đánh dấu nguồn nào hợp lệ trước khi viết báo cáo.
Xây dựng rubric động cập nhật theo ngày cho các lĩnh vực nhạy thời gian như tài chính, chính sách và tin ngành, để benchmark không bị lỗi thời khi web thay đổi.

2. Patent:

Ứng dụng trợ lý nghiên cứu trên điện thoại cho việc so sánh mua sắm, du lịch, học nghề: người dùng nhập nhu cầu đời thường, hệ thống tự lập checklist gồm giá, ngày, địa điểm, điều kiện dịch vụ và nguồn, rồi chấm báo cáo trước khi đưa ra khuyến nghị.
Plugin Deep Research cho trình duyệt di động/phần mềm văn phòng: khi người dùng yêu cầu “tìm giúp tài liệu đến ngày X”, hệ thống chặn các trang có ngày sau mốc yêu cầu và hiển thị cảnh báo nếu báo cáo dùng dữ liệu ngoài khoảng thời gian.
Bộ kiểm định báo cáo tự động cho doanh nghiệp nhỏ: tải báo cáo nghiên cứu thị trường hoặc đối thủ lên điện thoại/máy tính, hệ thống đối chiếu số liệu, đơn vị, ngày, URL và mức độ hoàn thành yêu cầu để gắn nhãn “đủ tin cậy để ra quyết định” hay còn thiếu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18092
ArXiv Abstract	https://arxiv.org/abs/2610.18092
PDF Download	https://arxiv.org/pdf/2610.18092.pdf
Github Repository	N/A

43. PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos (14 votes)

Tác giả: Max Ku, Jiaojiao Fan, Zekun Hao, Francesco Ferroni, Heng Wang, et al.

Xuất bản lúc: 2026-09-29

Tag: Video Generation, Physical Consistency, Video Evaluation, Spatio-Temporal Encoder, Reward Model, Human Preference

I. Main Problem:

Đánh giá physical consistency (tính vật lý hợp lý) trong video sinh ra là một bài toán mở, vì video có thể trông nét và mượt nhưng vật thể lại xuyên qua nhau, bay ngược trọng lực, hoặc biến dạng bất thường. Các cách tiếp cận hiện tại đều có hạn chế:

VLM off-the-shelf (Gemini, GPT): điều kiện vào lý luận ngữ nghĩa nên mù với động lực học vật lý, cần prompt công phu tùy ngữ cảnh.
Evaluator fine-tuned trên nhãn con người (VideoPhy2-AutoEval, VideoScore2): học theo shortcut riêng của từng dataset, suy giảm mạnh khi dịch phân phối.
Nhãn con người bất ổn: người xem chỉ phát hiện lỗi rõ rệt, điểm tuyệt đối trôi theo chất lượng mô hình sinh tại thời điểm gán nhãn — nguồn supervision cung cấp hoặc thứ tự tương đối, hoặc điểm tuyệt đối, chứ không cả hai.
Vấn đề cốt lõi: cần một thang đo liên tục, có giá trị tuyệt đối neo ổn định để định lượng mức độ nghiêm trọng của vi phạm vật lý, không chỉ kết luận có/không.

II. Main Idea:

PhyProbe biến đánh giá physical consistency thành bài toán đo lường: đưa một video vào encoder spatio-temporal pretrained và đóng băng (Perception Encoder), gộp đặc trưng theo thời gian bằng statistics pooling (mean + std + max), rồi qua một scoring head MLP chỉ 1M tham số để ra điểm vi phạm s(v) trong [0,1]. Không dùng VLM hay lý luận ngôn ngữ nào.

Điểm then chốt là hợp nhất ba nguồn supervision dị biệt thành một objective duy nhất:

Ranking loss (Bradley-Terry): học thứ tự tương đối "video A vi phạm hơn video B" — chống nhiễu tốt hơn gán điểm tuyệt đối.
Regression loss (Huber) trên điểm con người noisy: neo thứ tự vào giá trị độ lớn tương đối.
Anchor loss: video thật → 0, video lỗi tổng hợp (ImpossibleVideos) → 1, giữ thang điểm tuyệt đối không trôi giữa các dataset.

Tập huấn luyện gồm ~371K cặp video từ 7 nguồn (PAI-Bench, VideoPhy2, VideoFeedback2, BrokenVideos, ImpossibleVideos, TRAVL, Kinetics-700), có và không có semantic correspondence, để model không dựa vào shortcut ngữ nghĩa.

Ví dụ đời thường: giống thợ đánh giá độ vênh của một công trình — không chỉ đứng nhìn phán "tốt/xấu", mà dùng thước chuẩn (anchor 0 và 1), đối chiếu vân tay các mốc vạch đã chuẩn hóa, rồi đọc ra con số lệch chính xác trên cùng một thước cho mọi công trình.

III. Main Results:

Pairwise accuracy vượt baseline trên 3/4 benchmark vật lý: 98.0–98.9% trên cặp real–generated, 66.1–75.2% trên cặp generated–generated — đặc biệt thắng rõ ở cài đặt no-correspondence và G–G, nơi evaluator fine-tuned suy giảm nghiêm trọng (hơn V-JEPA Surprisal 13.9–48.1 điểm).
Tương quan con người cân bằng: cao nhất trên VideoFeedback2 (ρ = 0.596), cạnh tranh trên VideoPhy2 (ρ = 0.293) — trong khi VideoPhy2-AutoEval chỉ mạnh trên VP2, VideoScore2 chỉ mạnh trên VF2; giá trị ρ và r gần nhau cho thấy điểm vừa đúng thứ tự vừa neo tuyến tính trên thang [0,1].
Tổng quát sang human preference dù không hề train cho nó: thắng cả các reward model chuyên dụng trên MonetBench (72.7% vs VisionReward 68.2%), dẫn đầu Rapidata-I2V (62.7%), cạnh tranh RewardBench — cho thấy vi phạm vật lý gắn liền với suy giảm chất lượng tổng thể.
Ablation: bỏ ranking mất khả năng sắp thứ tự; bỏ regression hoặc anchor thì thang điểm vỡ (range nở tới [-1.9, 3.5]); backbone Perception Encoder (weakly-supervised) tốt nhất, tốt hơn cả V-JEPA2 và Wan VAE; aggregation mean+std+max chỉ 2.8x tham số so với head mean đơn giản.
Hạn chế: yếu với vi phạm quá ngắn hoặc chỉ lộ trên chuỗi dài; chuyển động lạ nhưng hợp lệ bị chấm cao; chưa tách biệt hẳn khỏi chất lượng thị giác tổng thể.

IV. Conclusion & Future Works:

PhyProbe chứng minh rằng đánh giá physical consistency nên được xây như bài toán đo lường ở tầng biểu diễn spatio-temporal, không phải lý luận ngữ nghĩa qua VLM. Kết hợp ranking + regression + anchor trên dữ liệu đa nguồn cho ra điểm vi phạm liên tục, neo vững trên [0,1], khái quát qua nhiều benchmark — kể cả ngoài phạm vi vật lý thuần. Hướng tương lai: cải thiện biểu diễn cho vi phạm nhịp dài hạn và tức thời, xây benchmark kiểm soát tách rời physical consistency khỏi chất lượng hình ảnh, và phát triển metric vật lý đáng tin cậy hơn cho các hệ thống sinh video.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp PhyProbe vào vòng lặp huấn luyện video generation: dùng điểm vi phạm vật lý làm reward để tinh chỉnh diffusion/world model bằng RL hoặc DPO, giảm lỗi vật lý trực tiếp thay vì qua proxy ngôn ngữ.
Mở rộng scoring head đa tầng để định vị thời điểm và vùng không gian xảy ra vi phạm vật lý, biến evaluator thành công cụ chẩn đoán cho nhà phát triển mô hình video.
Huấn luyện encoder spatio-temporal chuyên biệt cho physical dynamics với mục tiêu tự giám sát mới, nhằm khắc phục yếu điểm với vi phạm cực ngắn và phụ thuộc nhân quả dài hạn.

2. Patent:

Ứng dụng điện thoại kiểm tra video quay tay: người dùng quay một đoạn video nghi ngờ bị AI tạo hoặc giả mạo, ứng dụng chạy model kiểu PhyProbe trên thiết bị/đám mây và trả về điểm vi phạm vật lý 0–1 kèm giải thích dạng 'vật thể xuyên qua nhau ở giây thứ 4'.
Công cụ lọc video quảng cáo tự động trong nền tảng social video: mọi video upload trước khi phát hành được chấm điểm vật lý; video có điểm vi phạm cao bị gắn cờ 'có dấu hiệu chỉnh sửa AI' hoặc giảm phân phối.
Hệ thống chấm điểm chất lượng sinh video tích hợp trong ứng dụng tạo video bằng AI trên điện thoại: mỗi video sinh ra được chấm ngay điểm vật lý, cho phép người dùng bấm 'tạo lại' các phiên bản có vật lý hợp lý hơn thay vì tự mắt so sánh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38377
ArXiv Abstract	https://arxiv.org/abs/2609.38377
PDF Download	https://arxiv.org/pdf/2609.38377.pdf
Github Repository	https://github.com/vinesmsuic/PhyProbe

44. Pristine Models (13 votes)

Tác giả: Anirudh Sundara Rajan, Krishna Kumar Singh, Richard Zhang, Yong Jae Lee

Xuất bản lúc: 2026-10-08

Tag: Text-to-Image, Diffusion Models, Machine Unlearning, AI Safety, Concept Suppression, Attention Mechanism

I. Main Problem:

Mô hình sinh ảnh theo văn bản được huấn luyện trên dữ liệu thô quy mô lớn có thể tái tạo các khái niệm bị cấm (bản quyền, người nổi tiếng, vũ khí, nội dung người lớn). Bài toán là một nghịch lý an toàn – chất lượng:

Loại dữ liệu unsafe khỏi training (Safe model): an toàn nhưng mất luôn kiến thức hữu ích đi kèm trong ảnh đó (ánh sáng, bố cục, vật liệu, góc camera, tương tác vật thể) → chất lượng sinh ảnh sụt giảm.
Giữ toàn bộ dữ liệu + lọc sau sinh (guardrail): mô hình vẫn sinh nội dung cấm, tốn chi phí sinh lại và đặt gánh nặng lên bộ lọc.
Unlearning sau huấn luyện (post-hoc): khi số khái niệm cần gỡ tăng lên, rủi ro catastrophic forgetting vì các neuron polysemantic đóng góp cho nhiều khái niệm không liên quan — sửa một cái làm hỏng cái khác.

II. Main Idea:

Thay vì gỡ khái niệm cấm sau khi mô hình đã học, Pristine Models ngăn chúng bị trộn lẫn ngay từ lúc pretraining, bằng Pristine Attention — cơ chế attention với ba nhánh tham số độc lập:

Shared branch: học kiến thức vô hại có thể kế thừa từ dữ liệu unsafe (ánh sáng, vật liệu, bối cảnh).
Safe branch / Unsafe branch: mỗi nhánh chuyên về danh tính an toàn hoặc khái niệm bị cấm.
Phân rã prompt (prompt decomposition): mỗi prompt được tách thành phần mode-specific (danh tính) và phần shared (thuộc tính chuyển giao được), ví dụ “A dark assault rifle resting on sand” → unsafe: “An assault rifle”, shared: “A dark object resting on sand”. Nhờ đó việc học thickness/ánh sáng từ ảnh súng vẫn dùng được cho khái niệm an toàn.

Lúc inference, tháo rời nhánh unsafe — an toàn theo thiết kế (removable by construction), không phụ thuộc lọc sau sinh. Hoạt động trên cả cross-attention (Stable Diffusion UNet) và self-attention (MM-JiT/MMDiT).

Ví dụ đời thường: giống xưởng chế biến thực phẩm chia hệ thống ống dẫn thành ba đường riêng — đường chung chuyên chở nguyên liệu lành, hai đường riêng chở gia vị thường và gia vị cấm; khi xuất hàng chỉ cần khóa van đường cấm, phần còn lại vẫn chạy nguyên vẹn.

III. Main Results:

ImageNet (Dog Setting): Pristine (w/ safe branch) đạt Balanced Accuracy cao nhất trên cả hai kiến trúc — UNet: 0.89 vs Safe 0.88 / Full 0.47; MM-JiT: 0.95 vs 0.88 / 0.58. Unsafe accuracy giảm về 0% (UNet) trong khi giữ chất lượng gần Full (FID 8.35 vs 7.92; Safe là 10.72).
Prompt ngầm (implicit): suppression vẫn giữ — unsafe accuracy chỉ 2.82% (UNet) so với 32.30% của Full.
Kích hoạt thử nhánh unsafe khôi phục sinh ảnh cấm nhưng làm hỏng sinh ảnh an toàn → chứng minh nhánh đã chuyên môn hóa đúng.
Prompt decomposition là then chốt: các biến thể không tách prompt (AttentionSwap, MLPSwap) kém hơn rõ rệt về Balanced Accuracy (0.61 / 0.91 vs 0.95).
Post-hoc vẫn khó: Pristine (Unlearn) — gắn Pristine Attention sau pretraining — thua Pristine học từ đầu (Balanced Acc 0.93 vs 0.95).
So với unlearning SOTA (UCE, ScaPre, SPEED, SAFREE): Pristine vượt trội cả ba chỉ số balanced (0.89/0.56/0.72) với VQAScore 0.63 trong khi UCE chỉ 0.31.
Sinh tổ hợp (compositional): chất liệu học từ dữ liệu unsafe chuyển sang khái niệm an toàn — TPIPS 0.7404, gần Full (0.7705), vượt Safe (0.6890).
CC12M quy mô mở: giảm tỷ lệ sinh khái niệm cấm từ 56.42% (Full) xuống 13.29%, đồng thời phục hồi gần hết chất lượng của Full (DPG-Bench 82.31 vs 84.21; Safe chỉ 79.30).

IV. Conclusion & Future Works:

Pristine Models thiết lập paradigm can thiệp tại pretraining cho việc triệt tiêu khái niệm trong sinh ảnh: kiến thức được phân tách sẵn thành phần giữ lại và phần tháo rời được, giải quyết nghịch lý an toàn–chất lượng mà post-hoc unlearning không làm được. Phương pháp nhất quán qua kiến trúc và mở rộng tốt sang dữ liệu open-world. Lưu ý quan trọng: đây là bổ sung, không thay thế unlearning sau huấn luyện và guardrail tại inference — các khái niệm bị cấm được xác định sau pretraining vẫn cần xử lý bằng phương pháp post-hoc.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp Pristine Attention với unlearning sau huấn luyện trong một framework thống nhất: phân tách khái niệm đã biết trước tại pretraining, gỡ các khái niệm phát sinh sau bằng post-hoc, với điều phối tự động giữa hai cơ chế.
Mở rộng prompt decomposition bằng LLM tinh chỉnh để kiểm soát chi tiết hơn thuộc tính nào của dữ liệu unsafe được kế thừa, thay vì chỉ phân chia danh tính/thuộc tính thô.
Áp dụng tư tưởng compartmentalization vào mô hình sinh video và sinh đa phương thức (ảnh + âm thanh), nơi khái niệm cấm có thể lộ qua nhiều kênh khác nhau.
Nghiên cứu cơ chế chống lại việc tái kích hoạt nhánh unsafe bằng prompt độc hại (jailbreak) để đảm bảo sự tách biệt không bị phá vỡ tại inference.

2. Patent:

Hệ thống sinh ảnh trên điện thoại có module an toàn tháo rời: mô hình diffusion tích hợp sẵn nhánh unsafe có thể tắt bằng phần mềm — ví dụ khi thiết bị chuyển sang chế độ trẻ em hoặc khu vực có quy định khác, ứng dụng chỉ cần vô hiệu hóa nhánh đó mà không cần tải lại mô hình.
Dịch vụ đám mây sinh ảnh phân tầng theo giấy phép: một mô hình pretraining duy nhất phục vụ nhiều khách hàng có chính sách nội dung khác nhau; mỗi khách hàng chỉ được gắn nhánh an toàn phù hợp, nhánh chứa nhân vật bản quyền bị tháo theo hợp đồng.
Trình tạo ảnh tự động kiểm tra trước khi xuất bản: ảnh được sinh qua nhánh an toàn mặc định; nếu người dùng yêu cầu khái niệm nhạy cảm, hệ thống ghi log và định tuyến xử lý riêng thay vì chặn sau khi ảnh đã tạo xong, giảm chi phí sinh lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14091
ArXiv Abstract	https://arxiv.org/abs/2610.14091
PDF Download	https://arxiv.org/pdf/2610.14091.pdf
Github Repository	N/A

45. Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding (13 votes)

Tác giả: Shuo Gao, Chenhao Zheng, Zhongzheng Ren

Xuất bản lúc: 2026-10-12

Tag: Long Video Understanding, Vision-Language Models, Token Compression, Frame Packing, Training-Free Inference, Video VQA

I. Main Problem:

Các mô hình VLM hiện đại mã hóa mỗi frame thành visual token, khiến chuỗi token tăng tuyến tính theo độ dài video (O(n)). Hệ quả:

Bộ nhớ và độ trễ tăng không giới hạn với video hàng giờ hoặc luồng streaming liên tục.
Các phương pháp hiện có (token reduction, keyframe selection) chỉ trì hoãn chứ không gỡ được nút thắt — số token còn lại vẫn tăng theo độ dài video.
Loại bỏ frame/token theo kiểu nhị phân (giữ/bỏ) là mất mát thông tin rời rạc, phá vỡ tính liên tục thời gian và xóa các hành động thoáng qua quan trọng cho suy luận dài hạn.

II. Main Idea:

FramePack-U — khung nén frame không cần huấn luyện (training-free), cắm trực tiếp vào VLM có sẵn lúc inference, biến video dài tùy ý thành biểu diễn kích thước cố định với chi phí bộ nhớ O(1). Gồm 2 bước:

Relevance- & diversity-aware sampling: tính độ tương đồng CLIP giữa mỗi frame và câu hỏi để có điểm relevance; bắt đầu từ frame liên quan nhất, sau đó chọn tham lam frame trực quan khác biệt nhất so với các frame đã chọn (cân bằng hệ số λ giữa relevance và diversity).
Hierarchical resolution packing: xếp hạng các frame đã chọn rồi gán độ phân giải không đồng nhất theo ngân sách token cố định — frame quan trọng giữ độ phân giải cao (d=1), frame ít quan trọng hơn downsample dần (d=2,4,8…). Ví dụ d1f16d2f448 = 16 frame full-res + 448 frame giảm 2×, tổng chi phí chỉ bằng 128 frame full-res.

Nhờ vậy mọi frame đều có thể được giữ lại ở mức nén khác nhau — bộ nhớ dồn vào các frame vừa liên quan đến câu hỏi vừa đa dạng trực quan, đồng thời vẫn phủ sóng toàn bộ dòng thời gian.

Ví dụ đời thường: giống như xếp vali du lịch cố định — đồ quan trọng (trang phục chính) xếp nguyên vẹn chiếm nhiều chỗ, đồ phụ (tất, đồ lót) nén nhỏ gọn nhét kín các khe còn lại, chứ không phải vứt bớt đồ đi.

III. Main Results:

Thử nghiệm trên LongVideoBench, MLVU, Video-MME với hai backbone Qwen3.6-27B (dense) và Qwen3.5-35B-A3B (MoE) ở ngân sách bộ nhớ 128/256/512 frame.
Trên Qwen3.5-35B-A3B, ngân sách 128 frame: +12.9% (LVB), +10.6% (MLVU), +9.7% (Video-MME) so với baseline chính thức của model.
Trên Qwen3.6-27B: +6.4%, +8.0%, +2.7% tương ứng; vượt rõ FastVID, VisionZip, FrameFusion (các baseline token reduction thậm chí làm giảm điểm so với vanilla).
Kết quả đỉnh cạnh tranh hoặc vượt các VLM proprietary lớn (GPT-5, Gemini, Claude) dù không huấn luyện lại.
Ablation: bỏ diversity gây sụt tới -6.5% trên Video-MME; bỏ relevance sụt tới -1.8% trên MLVU — cả hai thành phần đều cần thiết. Lợi ích tăng theo quy mô model (4B/9B thua 27B trong khai thác ngữ cảnh dài).
Robustness: nhiều cấu hình packing khác nhau (608–1664 frame trong cùng ngân sách 512) đều vượt baseline — hiệu quả không phụ thuộc một cấu hình tinh chỉnh duy nhất.

IV. Conclusion & Future Works:

FramePack-U chứng minh rằng phân bổ độ phân giải không đồng nhất theo mức độ quan trọng — thay vì bỏ frame — là cách tận dụng ngân sách bộ nhớ cố định hiệu quả hơn cho video dài, đạt độ phức tạp O(1) mà không fine-tuning hay đổi kiến trúc. Hướng mở: tối ưu lịch trình packing thích ứng theo từng tác vụ/model (không một cấu hình tối ưu phổ quát), và chế độ online streaming để giảm latency khi xử lý luồng video liên tục.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng FramePack-U cho cài đặt streaming thực tế: cập nhật thứ hạng frame và lịch trình độ phân giải theo thời gian thực khi frame mới liên tục đến, duy trì ngân sách token cố định mà không cần xử lý lại toàn bộ video.
Học tham số λ (cân bằng relevance–diversity) và lịch trình packing tự động theo đặc trưng của benchmark hoặc yêu cầu câu hỏi, thay vì dùng giá trị cố định thủ công.
Kết hợp packing phân cấp với cơ chế memory bank cho VLMs, cho phép lưu trữ dài hạn và truy xuất lại bằng chứng thị giác qua nhiều lượt hỏi–đáp trên cùng một video dài.

2. Patent:

Ứng dụng video dài trên điện thoại: người dùng quay hoặc tải video hàng giờ, ứng dụng tự chọn những khung hình liên quan nhất đến câu hỏi của người dùng, giữ ảnh nét cho khung quan trọng và giảm độ nét dần cho khung phụ — trả lời câu hỏi về video mà không tốn bộ nhớ, chạy được ngay cả khi video dài vô hạn.
Hệ thống giám sát camera liên tục (an ninh, cửa hàng, nhà máy): camera ghi liên tục 24/7, hệ thống nén luồng hình ảnh vào ngân sách bộ nhớ cố định, tự ưu tiên giữ nét các khoảnh khắc có người/sự kiện liên quan đến truy vấn tìm kiếm của người dùng.
Trợ lý học tập xem video bài giảng dài trên điện thoại: học sinh đặt câu hỏi, ứng dụng tự tìm và hiển thị đúng đoạn bài giảng chứa nội dung trả lời bằng cách phân loại mức quan trọng từng khung hình — không cần tải hay xử lý toàn bộ video về máy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16118
ArXiv Abstract	https://arxiv.org/abs/2610.16118
PDF Download	https://arxiv.org/pdf/2610.16118.pdf
Github Repository	https://github.com/ZelD0n/framepack-U

46. LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards (12 votes)

Tác giả: Qize Yu, Zijun Chen, Chen Wu, Yue Chen, Yiyao Yu, et al.

Xuất bản lúc: 2026-10-12

Tag: Long-Context Reasoning, Reinforcement Learning, Reward Design, Information Gain, Curriculum Learning, Chain-of-Thought, LLMs

I. Main Problem:

Các mô hình ngôn ngữ lớn đã mạnh ở suy luận ngắn, nhưng khi phải đọc tài liệu rất dài để trả lời câu hỏi — ví dụ hồ sơ nhiều file, log hệ thống, hội thoại dài, tài liệu pháp lý — chúng thường bỏ qua chi tiết quan trọng hoặc chỉ khớp cụm từ giống câu hỏi. Học tăng cường với phần thưởng chỉ xem đáp án cuối cùng là đúng/sai quá thưa thớt: mô hình không biết nên đọc đoạn nào trong hàng chục nghìn token. Các phương pháp trước cắt tài liệu thành đoạn cố định và bắt mô hình chọn mã đoạn, dễ phá vỡ ngữ cảnh, làm gián đoạn suy luận tự nhiên, và phụ thuộc cách xây dựng dữ liệu đặc thù.

II. Main Idea:

LongR huấn luyện mô hình theo kiểu vừa suy luận, vừa tra cứu tài liệu ngay trong chuỗi suy nghĩ tự nhiên, thay vì ép mô hình chọn từng khối văn bản cố định. Điểm cốt lõi là thêm một phần thưởng dày đặc từ mức tăng thông tin tương đối: khi mô hình trích dẫn một đoạn tài liệu làm bằng chứng, một trình kiểm chứng độc lập so sánh khả năng dự đoán đoạn đó có câu hỏi + tài liệu và không có chúng. Nếu đoạn trích thật sự chứa thông tin cần thiết, độ bất định giảm mạnh và phần thưởng cao; nếu chỉ là nội dung có sẵn hoặc liên quan mơ hồ, phần thưởng gần bằng 0. Tín hiệu này không cần gán nhãn bằng chứng thủ công. LongR kết hợp thêm học theo lộ trình: bắt đầu với tài liệu ngắn, rồi tăng dần độ dài để mô hình tự học khi nên đọc thêm mà không cần dữ liệu minh họa dài đặc biệt.

Think-and-Read: suy luận và trích xuất bằng chứng luân phiên, bảo toàn dòng chảy ngôn ngữ tự nhiên.
Dense utility reward: chấm điểm từng đoạn được trích dẫn bằng độ giảm bất định tương đối, chống lại phần thưởng quá thưa.
Frozen verifier: dùng mô hình kiểm chứng cố định để ước lượng xác suất, tránh vòng huấn luyện reward-policy đắt đỏ và kém ổn định.
Curriculum learning: tăng dần độ dài ngữ cảnh từ 16K lên 32K token.

Ví dụ đời thường: giống người đọc một cuốn hồ sơ dày không đọc trang nào cũng kỹ; khi thấy nghi vấn, họ lật lại đúng trang có tên, ngày, số liệu làm giảm bớt sự mơ hồ — đoạn nào giúp giải đáp rõ rệt thì được ghi nhớ là đoạn đáng đọc.

III. Main Results:

Trên LongBench v2, LongR với Qwen3-8B đạt 36.23%, cao hơn SFT +9.59 và cao hơn DAPO chỉ dùng reward kết quả +3.39. Với Qwen3-4B đạt 35.44%, cao hơn SFT +9.79 và DAPO +5.03.
Cải thiện rõ nhất ở phần khó: nhóm Hard tăng từ 25.64 lên 33.20 với 8B; nhóm tài liệu dài tăng từ 22.97 lên 39.12 với 8B.
Trên RULER, LongR vượt DAPO đáng kể: Qwen3-8B đạt 61.48 ở 128K và 71.98 ở 64K; Qwen3-4B đạt 60.71 và 69.43.
Trên InfiniteBench, LongR đạt trung bình 50.20 cho 8B và 47.61 cho 4B, cải thiện mạnh trả lời câu hỏi và multiple-choice.
Phần thưởng Relative Information Gain tốt hơn outcome-only khoảng 4%; dùng mật độ tuyệt đối dễ bị reward hacking, còn ngưỡng nhị phân không phân biệt bằng chứng mạnh/yếu.
Hiệu quả giữ được qua nhiều thuật toán RL như DAPO, GSPO, CISPO; trình kiểm chứng 4B là điểm cân bằng tốt giữa chất lượng và chi phí, tăng lên 32B chỉ cải thiện nhẹ.

IV. Conclusion & Future Works:

LongR cho thấy để cải thiện suy luận ngữ cảnh dài, chỉ thưởng khi đáp án cuối đúng là chưa đủ; cần một tín hiệu trung gian giúp mô hình biết đoạn tài liệu nào thật sự hữu ích. Cơ chế đọc-xen-kẽ-suy-luận giữ nguyên văn bản gốc, không cần cắt khối cứng nhắc, và có thể học từ dữ liệu phổ thông nhờ lộ trình tăng dần độ dài. Hạn chế: thí nghiệm mới huấn luyện ở ngữ cảnh tới 32K token do chi phí tính toán. Hướng tương lai: mở rộng lên ngữ cảnh dài hơn, thử chiến lược chọn tài liệu chủ động hơn, và kiểm tra độ bền với tài liệu nhiễu, định dạng lạ, hoặc nhiều nguồn mâu thuẫn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cơ chế đọc-xen-kẽ-suy-luận cho tác vụ nhiều tài liệu, nơi mô hình phải tự quyết định thời điểm chuyển giữa các file, đối chiếu thông tin mâu thuẫn và ghi nhật ký bằng chứng có kiểm chứng được.
Kết hợp tín hiệu tăng thông tin tương đối với chiến lược thu thập bằng chứng chủ động, để giảm số đoạn tài liệu cần đọc mà vẫn giữ chất lượng suy luận trên hồ sơ rất dài.
Nghiên cứu biến thể an toàn cho tài liệu nhạy cảm: dùng trình kiểm chứng cục bộ hoặc che giấu dữ liệu để chấm độ hữu ích của đoạn trích mà không gửi nội dung bí mật ra ngoài.
Đánh giá LongR trên tác vụ đa phương thức dài như video, âm thanh và bảng biểu lồng nhau, mở rộng ý tưởng mức tăng thông tin sang nhiều loại dữ liệu không chỉ văn bản.

2. Patent:

Trợ lý AI trên điện thoại đọc hợp đồng dài: người dùng hỏi một điều khoản, ứng dụng tự lật đến đoạn liên quan, đánh dấu câu làm bằng chứng và giải thích vì sao đoạn đó làm rõ câu trả lời.
Ứng dụng tóm tắt email hoặc nhóm chat dài: khi đưa ra kết luận, hệ thống chèn liên kết tới đúng tin nhắn gốc và chấm độ tin cậy dựa trên mức độ giảm mơ hồ của từng trích dẫn.
Bộ công cụ phân tích báo cáo tài chính trên di động: người dùng chụp hoặc tải file dài, ứng dụng trích xuất số liệu then chốt, chỉ đoạn nào thật sự thay đổi kết luận và cảnh báo khi dữ liệu chỉ mang tính phỏng đoán.
Plugin đọc tài liệu kỹ thuật cho kỹ sư hiện trường: tra cứu sổ tay bảo trì dài bằng câu hỏi tự nhiên, tự mở đúng mục có thông số an toàn và lịch sử sửa chữa liên quan.
Hệ thống kiểm tra hồ sơ pháp lý cá nhân: khi người dùng hỏi về hạn, phí, hoặc nghĩa vụ, phần mềm chỉ ra điều khoản quyết định và phân biệt rõ nội dung bắt buộc với ví dụ minh họa.
Trợ lý lập trình trên điện thoại đọc log lỗi dài: tự tìm dòng log làm thay đổi kết luận về nguyên nhân sự cố, thay vì chỉ liệt kê những dòng chứa từ khóa giống câu hỏi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05758
ArXiv Abstract	https://arxiv.org/abs/2602.05758
PDF Download	https://arxiv.org/pdf/2602.05758.pdf
Github Repository	N/A

47. Latent World Action Model for GUI Agents (11 votes)

Tác giả: Seungjun Yu, Hojun Choi, Seojeong Park, Jaeyo Shin, Hyunjung Shim

Xuất bản lúc: 2026-10-09

Tag: GUI Agents, World Models, Large Multimodal Models, Contrastive Learning, Latent Space, Mobile Automation

I. Main Problem:

Các world model cho GUI agent hiện tại dự đoán màn hình tương lai dưới dạng pixel (ảnh chụp hoặc HTML render được), rồi dùng mô hình khác đọc lại ảnh đó để chọn hành động (pipeline "Render-and-Re-Perceive"). Cách này gặp hai vấn đề lớn:

L1 – Chi phí tính toán cao: tổng hợp ảnh bằng diffusion hoặc autoregressive rất chậm, gây nghẽn cho tương tác GUI thời gian thực (chậm hơn base agent tới 18 lần).
L2 – Phải tái tạo chi tiết thừa thãi: chuyển tiếp GUI có biến đổi giao diện rất lớn và đa dạng, nhưng chọn hành động không cần vẽ lại toàn bộ màn hình — chỉ cần hiểu hậu quả của hành động.
Hệ quả nghiêm trọng: identity shortcut — mô hình dự đoán gần như giữ nguyên màn hình hiện tại thay vì mô hình hóa thay đổi do hành động gây ra, và xu hướng này càng tệ khi mức độ chuyển tiếp càng lớn (SR sụt tương ứng).

II. Main Idea:

Thay vì tái tạo màn hình tương lai, dịch chuyển mục tiêu dự đoán sang thông tin tương lai do hành động gây ra trong không gian latent:

Dùng LMM (Qwen3-VL) với LoRA để tạo biểu diễn latent dùng chung cho cả hai mục tiêu.
Action head: ánh xạ latent thành điểm số cho từng hành động ứng viên, học bằng cross-entropy với nhãn đúng.
Transition head: từ cùng latent đó, dự đoán embedding của màn hình tiếp theo — supervision dự đoán trực tiếp định hình biểu diễn dùng để chọn hành động.
Action-aware contrastive objective (InfoNCE): kéo dự đoán tương lai về phía embedding trạng thái kế tiếp (positive), đẩy ra khỏi trạng thái hiện tại (negative trực tiếp chống identity shortcut) và khỏi memory bank các tương lai của transition khác — buộc mô hình học hậu quả riêng của hành động đã chọn.
Khi suy luận, transition head bị loại bỏ — chỉ một forward pass duy nhất để chấm điểm hành động, qua mặt hoàn toàn pipeline render-rồi-đọc-lại.

Ví dụ đời thường: giống như thay vì dựng lại toàn bộ căn phòng trong đầu sau khi bật công tắc, bạn chỉ cần ghi nhớ "đèn đã sáng" — đủ để quyết định tiếp theo, nhanh hơn nhiều và không bị lừa bởi việc tưởng tượng phòng vẫn tối.

III. Main Results:

Offline (AndroidControl, AITZ): vượt base agent tới +4.8 điểm SR trên 7/8 cấu hình backbone–dataset; vượt world model pixel-space tới 31.9% tương đối. Trong khi đó Code2World và Diffusion2Image đều làm giảm SR so với base agent (tới -8.6 điểm).
Online (AndroidWorld): cao nhất trên cả 5 backbone, cải thiện base agent +4.5 tới +12.5 điểm SR (tới +47.0% tương đối với GUI-Owl-7B), vượt world model pixel-space tới 40.6% tương đối; lợi ích giữ vững cả trên tác vụ Hard (+5.6 tới +11.1 điểm).
Hiệu quả: giảm độ trễ suy luận world model tới 98.9% so với pixel-space (ví dụ 1.46s vs 135.2s trên GPT-5.6); thời gian gần ngang base agent, token tiêu tốn chỉ tăng nhẹ.
OOD (GUI-Odyssey): duy nhất cải thiện SR so với base agent trong khi cả hai baseline pixel-space đều giảm — latent supervision khái quát tốt hơn sang môi trường unseen.
Ablation: base 27.68 → +action head 36.36 → +transition head (point-wise) 38.18 → +contrastive 40.18; t-SNE cho thấy latent của mô hình tạo cụm theo loại hành động rõ rệt nhất, chứng tỏ nắm bắt được thay đổi do hành động gây ra.

IV. Conclusion & Future Works:

Thông điệp cốt lõi: dự đoán tương lai cho GUI agent không cần tái tạo màn hình tương lai trông như thế nào, mà chỉ cần nắm hậu quả liên quan đến quyết định của từng hành động — trong latent space, vừa nhanh vừa tránh được identity shortcut nhờ contrastive learning. Hướng tương lai hợp lý:

kết hợp latent world modeling với planning đa bước / tree search thay vì chỉ rescoring từng bước
học transition head có điều kiện theo từng hành động ứng viên thay vì chỉ trên hành động được chú thích
mở rộng sang GUI desktop/web và tác vụ có rủi ro cao (thanh toán, xóa tài khoản) nơi foresight giá trị nhất.

V. Brainstorming Space:

1. Publish Papers:

World model latent nhiều bước cho GUI agent: duy trì bộ nhớ ẩn tương lai qua nhiều bước tương tác để lập kế hoạch dài hạn mà không render màn hình trung gian nào.
Ứng dụng latent world-action model vào kiểm thử tự động ứng dụng di động: agent tự dự đoán rủi ro của từng thao tác (mua hàng, xác nhận xóa) trước khi thực thi trên thiết bị thật.
Học tự giám sát quy mô lớn trên log tương tác GUI thật: khai thác hàng triệu transition không nhãn bằng contrastive objective để huấn luyện world model không cần chú thích hành động.

2. Patent:

Trợ lý tự động hóa trên điện thoại: thay vì render ảnh màn hình kế tiếp, ứng dụng dùng mô hình đa phương thức nhẹ tính trực tiếp điểm "độ hữu ích" của từng thao tác ứng viên (chạm, cuộn, gõ) trong một lần chạy duy nhất, phản hồi gần như tức thì, tiết kiệm pin và dữ liệu mạng.
Tính năng chống thao tác nhầm cho người dùng lớn tuổi/khiếm thị: trước khi thực hiện hành động có rủi ro (thanh toán, gửi tin nhắn, xóa dữ liệu), hệ thống ước lượng ngầm trạng thái tiếp theo và cảnh báo hoặc yêu cầu xác nhận nếu kết quả lệch kỳ vọng.
Công cụ kiểm thử UI tự động cho nhà phát triển app: dự đoán latent hậu quả của chuỗi thao tác trên nhiều màn hình để phát hiện sớm lỗi luồng (ví dụ nút bấm dẫn sai trang) mà không cần chạy render toàn bộ giao diện, rút ngắn thời gian test regression.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14228
ArXiv Abstract	https://arxiv.org/abs/2610.14228
PDF Download	https://arxiv.org/pdf/2610.14228.pdf
Github Repository	https://github.com/sjyu001/latent2world

48. Simplifying and Improving On-Policy Distillation for Few-Step Diffusion (10 votes)

Tác giả: Jiawei Zhang, Ziyu Wan, Nanye Ma, Long Zhao, Dong Chen, et al.

Xuất bản lúc: 2026-10-13

Tag: Diffusion Models, Flow Matching, Knowledge Distillation, Few-Step Generation, On-Policy Learning, Video Generation, 3D Generation

I. Main Problem:

Mô hình diffusion/flow tạo ảnh, video, 3D chất lượng cao nhưng phải lặp lại quá trình khử nhiễu hàng chục đến hàng trăm bước (NFE), gây tốn kém khi triển khai thực tế. Các phương pháp few-step distillation hiện có còn nhiều hạn chế:

DMD và biến thể cần mô hình score phụ (fake model) để theo dõi gradient, dễ gặy mất đa dạng, training không ổn định, ảnh bão hòa màu
Các phương pháp theo quỹ đạo như π-Flow, PDD bỏ score estimation nhưng vẫn đòi hỏi kiến trúc chuyên biệt (policy học riêng, decoder song song)
Với dữ liệu phức tạp như video, vận tốc teacher biến thiên mạnh trong một bước tích phân thô, khiến học sinh phải bắt chước mục tiêu dao động → mâu thuẫn tối ưu, rung lắc trong huấn luyện.

II. Main Idea:

Simplified Matching Distillation (SMD) chứng minh rằng on-policy velocity matching đơn giản — khớp dự đoán vận tốc của học sinh với teacher tại cùng trạng thái, giữ vận tốc học sinh không đổi trong mỗi interval — đã là baseline rất mạnh cho sinh ảnh 4 bước. Trên nền đó, SMD thêm hai cải tiến:

Pivot proxy: mạng residual chỉ dùng khi training, mô hình hóa biến thiên vận tốc cục bộ của teacher trong từng interval qua một đường proxy — tách phép hiệu chỉnh cục bộ khỏi dự đoán trung bình của học sinh, giúp training ổn định mà không tốn chi phí inference
Repulsion: dùng các dự đoán yếu hơn từ chính teacher làm tham chiếu tiêu cực, đẩy học sinh tránh xa các mode xấu trong khi vẫn bắt chước trung thực mục tiêu tốt

SMD hoàn toàn dựa trên regression: không cần score estimation trực tuyến, không objective adversarial, không đổi kiến trúc hay pipeline của generator khi triển khai.

Ví dụ đời thường: giống người học lái xe bắt chước giáo viên — thay vì ép giữ một tốc độ cố định suốt đoạn đường trong khi giáo viên liên tục tăng giảm ga, một phụ tá ngồi cạnh (Pivot) chỉ ghi chú các điều chỉnh nhỏ trong lúc tập; đồng thời giáo viên chỉ ra những pha xử lý tệ để học viên chủ động tránh, không phải tự mắc rồi mới sửa.

III. Main Results:

Ảnh 4-NFE: học sinh SMD từ FLUX.1-dev và Qwen-Image vượt mọi baseline few-step mạnh trên GenEval và DPG-Bench; bản FLUX.1-dev vượt cả teacher 50-NFE của chính nó trên cả hai benchmark
Video: trên Wan2.1-T2V (1.3B và 14B), SMD cạnh tranh với các baseline 4-NFE mạnh; hỗ trợ cả causal video distillation
Đa phương thức: áp dụng được cho chỉnh sửa ảnh (Qwen-Image-Edit), sinh 3D (Hunyuan3D-2.1, TRELLIS.2 — cả hình dạng lẫn texture), sinh video và sinh đồng thời audio–video (MiniMax H3 ở 8-NFE)
Quy mô: mở rộng tới mô hình 33 tỷ tham số
Vượt self-distillation: hỗ trợ cross-model, multi-teacher — một học sinh 4-NFE duy nhất vượt mô hình gốc 28-NFE trên cả 6 metric báo cáo
Ablation: Pivot giải quyết được instability khi distill video; repulsion cải thiện chất lượng; prompt coverage ảnh hưởng đáng kể tới kết quả

IV. Conclusion & Future Works:

SMD cho thấy đơn giản hóa là đúng hướng: chỉ cần velocity matching on-policy thuần túy, cộng thêm Pivot proxy (training-only) để xử lý biến thiên cục bộ và repulsion để tránh mode xấu, là đủ để đạt chất lượng few-step vượt cả teacher nhiều bước — trên nhiều phương thức và quy mô. Framework hoàn toàn regression-based, giữ nguyên generator lúc triển khai, nên là công cụ post-training thực dụng cho các diffusion foundation model. Hướng mở: áp dụng SMD cho các cặp teacher–student chênh lệch kiến trúc lớn hơn và tối ưu hơn nữa cho dữ liệu đa phương thức cao chiều.

V. Brainstorming Space:

1. Publish Papers:

Phân tích lý thuyết về mối liên hệ giữa Pivot proxy và phương pháp tích phân bậc cao, chỉ ra khi nào mô hình hóa biến thiên vận tốc cục bộ là cần thiết so với dự đoán interval-mean thuần túy.
Mở rộng repulsion sang dạng multi-negative: chọn tập các dự đoán yếu của teacher theo mức độ 'tệ' để học sinh từ bỏ có thứ bậc, thay vì chỉ một tham chiếu tiêu cực.
Nghiên cứu chiến lược chọn teacher trong multi-teacher distillation — cách kết hợp nhiều expert bổ trợ nhau để một học sinh few-step hội tụ phẩm chất của cả nhóm.
Áp dụng SMD cho sinh ảnh/video siêu thời gian thực trên thiết bị biên, khai thác đặc điểm không đổi kiến trúc để nén mô hình học sinh 4-NFE.

2. Patent:

Ứng dụng camera điện thoại tạo ảnh nghệ thuật tức thì: nhúng mô hình ảnh đã được 'học lại' theo phương pháp matching đơn giản về chỉ 4 lần xử lý thay vì hàng chục lần, để người dùng chụp và nhận ảnh phong cách hóa ngay lập tức mà không tốn pin, không cần gửi ảnh lên máy chủ.
Trợ lý video ngắn trên điện thoại: mô hình sinh video được rút gọn còn vài bước xử lý nhờ kỹ thuật huấn luyện bắt chước vận tốc có thành phần hiệu chỉnh cục bộ (chỉ tồn tại lúc huấn luyện) cùng cơ chế đẩy tránh kết quả kém, cho phép tạo video từ câu chữ ngay trên thiết bị.
Hệ thống tạo nội dung quảng cáo đa phương tiện: dùng một mô hình nhỏ chạy nhanh được đào tạo từ nhiều mô hình lớn chuyên biệt khác nhau, để sinh đồng thời hình ảnh, video và âm thanh minh họa sản phẩm trong một lượt với chi phí tính toán thấp.
Công cụ chỉnh sửa ảnh thời gian thực trên điện thoại: thay đổi mùa, ánh sáng, chèn thay vật thể trong ảnh chỉ với vài bước xử lý, nhờ mô hình đã được tinh gọn mà không thay đổi cấu trúc khi chạy trên thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18472
ArXiv Abstract	https://arxiv.org/abs/2610.18472
PDF Download	https://arxiv.org/pdf/2610.18472.pdf
Github Repository	N/A

49. EMHO: EMbodied Agent Harness Optimization via Experience Traces (10 votes)

Tác giả: Hyun Jung Lee, Jungtaek Kim, Jongwon Jeong, Tae-Eui Kam, Donghyun Kim, et al.

Xuất bản lúc: 2026-10-06

Tag: Embodied AI, Agent Optimization, Self-Improving Agents, Vision-Language Models, Tool Use, Robotics

I. Main Problem:

Các tác tử embodied thường được cải thiện bằng cách huấn luyện lại mô hình vision-language, trong khi harness — phần logic quyết định cách agent lập kế hoạch, quản lý ngữ cảnh, chọn công cụ, trình bày quan sát và phục hồi lỗi — vẫn chủ yếu được thiết kế thủ công. Vấn đề:

phản hồi từ môi trường embodied thường thưa thớt và khó chẩn đoán: tác vụ thất bại nhưng không chỉ rõ bước nào gây ra lỗi
các cách tự cải thiện trước đây chỉ tối ưu skill, recovery prompt hoặc policy cụ thể, bỏ qua cơ chế tương tác rộng hơn
khi dùng một harness chung cho nhiều tác vụ, sửa đổi giúp tác vụ này có thể làm tác vụ khác tệ đi.

II. Main Idea:

EMHO giữ nguyên mô hình embodied và tự tiến hóa phần harness xung quanh nó từ experience traces — các quỹ đạo gồm quan sát, kế hoạch, công cụ vision, hành động, phản hồi môi trường và kết quả cuối cùng. Quy trình gồm hai vòng lặp:

Inner loop: agent chạy harness hiện tại, thu thập trace từ nhiều episode
Outer loop: harness optimizer phân tích trace cùng lịch sử các harness trước, tìm lỗi lặp lại, rồi đề xuất chỉnh sửa cụ thể về planning, memory, validation, tool orchestration, grounding hoặc recovery

Ở mỗi vòng, candidate harness chỉ thay parent nếu tỉ lệ thành công trên search set cao hơn. EMHO không chỉ thêm lời khuyên; nó có thể thay đổi cách lưu phản hồi lỗi, phát hiện vòng lặp, chọn depth/segmentation/zoom, theo dõi tiến độ và xác định mục tiêu trước khi hành động.

EMHO-Merge mở rộng cách này để tối ưu một harness dùng chung cho nhiều subtask. Nó so sánh candidate với parent để tìm các episode chuyển từ fail sang success (gains) và từ success sang fail (losses), rồi phân tích cặp trace đó nhằm xác định điều kiện khi nào hành vi mới có lợi, khi nào có hại, từ đó tinh chỉnh khi nào và cách áp dụng hành vi đó thay vì bỏ hoàn toàn.

Ví dụ đời thường: giống như một nhân viên mới không đổi con người của mình, mà mỗi ngày ghi chép lại chỗ nào làm sai, đối chiếu với nhật ký sửa đổi trước đây, rồi viết lại quy trình làm việc sao cho lần sau tránh đúng lỗi cũ và biết khi nào nên dùng quy tắc nào.

III. Main Results:

Trên EmbodiedBench, EMHO cải thiện đáng kể success rate cho cả Qwen 9B và 27B ở cả navigation và manipulation; mức tăng được báo cáo lên tới +23.3% navigation và +33.3% manipulation so với harness ban đầu.
Harness tiến hóa cũng tốt hơn harness ban đầu trên held-out split, cho thấy cải thiện không chỉ khớp search set.
So với one-shot revision từ Claude Opus-5 hoặc GPT-5.6 Sol, EMHO tốt hơn ở cả hai domain; one-shot thường đưa lời khuyên chung chung, còn EMHO chuyển pattern lặp lại thành điều kiện vận hành cụ thể.
So với tối ưu chỉ skill, tối ưu full harness tăng mạnh hơn, đặc biệt ở Base và Spatial manipulation, vì nó thay đổi cả cơ chế phát hiện, kích hoạt và duy trì hành vi.
EMHO-Merge đạt average success cao hơn EMHO với experience gộp chung, cho thấy phân tích gains/losses giúp giảm xung đột giữa các subtask.
Phân tích định tính cho thấy harness tiến hóa làm agent:
- phục hồi lỗi tốt hơn: không lặp hành động bị chặn, nhận biết khi kế hoạch cũ không còn hiệu quả
- giám sát tiến độ tốt hơn: theo dõi gripper/object state và xác định phase đang thực hiện
- dùng công cụ vision hợp lý hơn: ưu tiên depth cho khoảng cách/vật cản, segmentation khi cần xác định object, zoom khi cần chi tiết
- ground quan sát vào hành động chắc hơn: mô tả scene chi tiết hơn, chọn object chính xác hơn, giảm lỗi grasp tại tọa độ sai.

IV. Conclusion & Future Works:

EMHO cho thấy có thể cải thiện embodied agent mà không cập nhật mô hình nền, bằng cách biến trace tương tác thành chỉnh sửa harness cụ thể và có kiểm chứng. Điểm mạnh là tác động rộng hơn skill/recovery: nó thay đổi cách agent quan sát, lập kế hoạch, dùng công cụ và phục hồi sau lỗi. Hạn chế rõ nhất là overfitting theo vòng lặp: harness tốt nhất trên search split đôi khi không tốt nhất trên held-out. Hướng đi cần thiết là chọn harness theo tiêu chí khái quát hóa, không chỉ theo search success rate.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp chọn harness theo khả năng khái quát hóa, ví dụ kết hợp held-out proxy, đa dạng hóa trace hoặc regularization theo lịch sử chỉnh sửa để giảm overfitting trong tối ưu harness.
Mở rộng tối ưu harness cho tác tử embodied nhiều bước, nơi một hành động ảnh hưởng dài hạn tới trạng thái môi trường và cần credit assignment tốt hơn.
Nghiên cứu cách truyền harness đã tiến hóa giữa các mô hình vision-language khác nhau hoặc giữa các robot có cảm biến, động học và action space khác nhau.
Kết hợp tối ưu harness với cơ chế tự kiểm chứng trong mô phỏng trước khi triển khai trên robot thật, nhằm phát hiện sửa đổi làm tăng rủi ro an toàn.

2. Patent:

Ứng dụng điện thoại hỗ trợ thao tác thiết bị thông minh: ứng dụng ghi lại các lần người dùng ra lệnh, công cụ hình ảnh đã dùng, hành động đã thử và kết quả; sau đó tự viết lại quy trình điều khiển để lần sau tránh lặp lệnh sai và chọn đúng lúc dùng camera đo chiều sâu, tách vật thể hoặc phóng to chi tiết.
Robot hút bụi hoặc robot giao đồ tự điều chỉnh cách đi: thiết bị lưu lại từng lần bị kẹt, đi vòng vô ích hoặc nhận diện sai vị trí vật cản; mỗi đêm hệ thống phân tích lại toàn bộ lộ trình và cập nhật quy tắc điều hướng mà không cần nâng cấp model trên máy.
Trợ lý thực tế tăng cường trên điện thoại cho kho hàng hoặc siêu thị: khi nhân viên yêu cầu tìm hàng, hệ thống học từ các lần quét mã, nhận diện kệ và di chuyển trước đó để điều chỉnh cách chọn camera, xác định món hàng và tránh lặp lại tuyến đường sai.
Hệ thống tự vận hành cho cánh tay robot lắp ráp: robot ghi lại từng lần gắp hỏng, chạm vật cản hoặc lặp tọa độ gắp; phần mềm quản lý sẽ tự sửa quy trình kiểm tra trạng thái tay gắp, chọn công cụ đo khoảng cách và thay đổi điểm tiếp cận.
Phần mềm điều phối drone quay/phun thuốc/nhiếp ảnh: sau mỗi chuyến bay, hệ thống đối chiếu lộ trình, ảnh camera, tín hiệu va chạm và kết quả hoàn thành để tự tinh chỉnh quy tắc chọn công cụ nhìn, xác định mục tiêu và phục hồi khi mất định hướng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.08432
ArXiv Abstract	https://arxiv.org/abs/2610.08432
PDF Download	https://arxiv.org/pdf/2610.08432.pdf
Github Repository	N/A

50. WorldRecon: Generative Multi-View Mesh Reconstruction for Large-Scale 3D World (10 votes)

Tác giả: Mengchen Zhang, Yang Li, Chunshi Wang, Tong Wu, Chunchao Guo

Xuất bản lúc: 2026-10-13

Tag: 3D Reconstruction, Multi-View Generation, 3D Generation, Mesh Reconstruction, PBR Materials, Scene Generation, Diffusion Models, Computer Vision

I. Main Problem:

Dựng lại mô hình 3D mesh hoàn chỉnh, chất lượng cao của cảnh trong nhà quy mô lớn từ bộ ảnh RGB chụp từ nhiều góc không có thông tin camera (unposed) là bài toán cốt lõi cho VR/AR, embodied AI và sản xuất nội dung, nhưng các phương pháp hiện tại đều có hạn chế:

Phương pháp reconstruction (SfM, MVS, NeRF, 3D Gaussian Splatting): bỏ sót vùng bị che khuất, hình học nhiễu, khó chuyển thành mesh sạch.
Phương pháp generative ở cấp object (TRELLIS, ReconViaGen, UniRecGen): không mở rộng được lên quy mô cảnh vì vượt quá dung lượng của một biểu diễn generative đơn lẻ.
Phương pháp sinh cảnh lớn (scene generation): chỉ điều kiện hóa bằng text/layout, thiếu dẫn hướng trực quan và neo không gian 3D.
Phương pháp reconstruction generative cấp cảnh (SCube, GenRecon): phụ thuộc vào camera pose chính xác để chiếu feature ảnh vào volume 3D, nên chất lượng sụt mạnh khi pose bị lỗi.

II. Main Idea:

WorldRecon kết hợp prior reconstruction (cho khung toàn cục) với prior generation (cho độ hoàn chỉnh và chi tiết bề mặt), dựng cảnh theo từng khối (block) như xây nhà từ các viên gạch chồng lấp:

Khung xương toàn cục: dùng VGGT-Ω ước lượng camera pose thô và point cloud toàn cảnh (nhiễu, thiếu), rồi chia thành các khối lập phương chồng lấp nhau (overlap ℓ/4).
Reconstruction-based conditioning: fine-tune mô hình generative 3D TRELLIS.2 thành generator cấp khối, điều kiện hóa mỗi khối bằng crop point cloud cục bộ (DINOv3 image tokens + Plücker camera tokens fuse qua cross-attention) thay vì một ảnh đơn — chịu được pose và hình học thiếu chính xác. Ba stage cascade: Sparse Structure → Geometry → PBR Material.
Neighbour-aware latent inpainting: mỗi khối mới được sinh như bài toán inpainting 3D, với phần latent chồng lấp lấy từ hàng xóm đã sinh, để bề mặt và vật liệu nối mạch liền mạch.
Causal world generation: sinh khối theo thứ tự ưu tiên từ khối seed, kết hợp trajectory clamping (giữ phần overlap của bước trước) và feather blending (pha trộn latent theo khoảng cách tới ranh giới) để khâu các khối thành một mesh cảnh thống nhất.

Ví dụ đời thường: giống thợ xây dựng nhà lớn bằng cách xây từng phòng một — mỗi phòng mới để sẵn một đoạn tường chồng lên phòng cũ để đúng vị trí và liền mạch, rồi trát mịn chỗ nối, thay vì đòi bản vẽ tuyệt đối chính xác từ đầu.

III. Main Results:

Tổng quan tốt nhất trên cả hai tập đánh giá (30 scene 3D-FRONT tổng hợp, 30 scene ScanNet++ thực tế), mỗi scene chỉ từ 32 ảnh unposed RGB.
Trên 3D-FRONT: giảm Chamfer Distance 14.9% và tăng F-score 17.3% so với baseline mạnh nhất.
Trên ScanNet++ (real-world, chỉ train trên dữ liệu tổng hợp): giảm CD 43.1%, tăng F-score 12.0% — chứng tỏ sim-to-real generalization mạnh.
Vượt trội cả về metric 2D (RMSE, AbsRel depth, angular normal error, LPIPS, CLIP) lẫn 3D (CD, F-score, normal consistency, completeness).
Ablation: từng thành phần (reconstruction-based SS, Geo&Mat, Inpainting, Stitch) đều góp phần; bản đầy đủ đạt tốt nhất mọi metric, loại bỏ hoàn toàn vết nối khối.
Khái quát hóa tốt trên nhiều nguồn input: ảnh chụp thật, ảnh tổng hợp, và cả frame trích từ video do AI tạo.

IV. Conclusion & Future Works:

WorldRecon chứng minh có thể dùng hình học và pose camera thô, nhiễu làm neo toàn cục, để prior generative 3D tự động hoàn thiện bề mặt chi tiết với vật liệu PBR ở quy mô cảnh — mở đường dựng asset 3D có thể chỉnh sửa từ video quay tùy tiện hoặc video AI-generated, phục vụ mô phỏng, embodied AI và sản xuất nội dung. Hạn chế & hướng tương lai: chỉ áp dụng cho cảnh trong nhà (chưa khái quát ngoài trời); biểu diễn chỉ một tầng khối cao 4m nên chưa hỗ trợ nhà nhiều tầng; cần mở rộng dữ liệu train đa dạng hơn và sinh khối theo phương dọc.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng WorldRecon sang cảnh ngoài trời quy mô lớn (thành phố, địa hình tự nhiên) bằng cách mở rộng phân phối dữ liệu huấn luyện và cơ chế chia khối thích ứng với mật độ hình học không đều.
Nâng cấp biểu diễn khối nhiều tầng: sinh dọc theo trục Z bằng cơ chế inpainting hàng xóm ba chiều thực sự, cho phép dựng toà nhà nhiều tầng từ ảnh drone hoặc ảnh chụp mặt đất.
Tái sử dụng pipeline reconstruction-generative để dựng asset 3D có thể chỉnh sửa trực tiếp từ video do mô hình video tạo ra, làm cầu nối giữa video generation và world modeling cho game/simulation.
Kết hợp WorldRecon với tác tử (agentic) khám phá cảnh: robot tự chọn góc chụp bổ sung để giảm vùng không quan sát được, cải thiện độ hoàn chỉnh thay vì chỉ dựa vào prior generative.

2. Patent:

Ứng dụng điện thoại quét 3D cảnh phòng: người dùng quay video vòng quanh phòng bằng điện thoại; ứng dụng tự ước lượng vị trí camera thô, chia cảnh thành các khối chồng lấp, sinh từng khối với vật liệu PBR và khâu liền mạch thành mô hình 3D xuất được sang game engine.
Hệ thống dựng lại không gian nội thất cho thương mại điện tử và VR shopping: chụp vài chục ảnh cửa hàng/căn hộ mẫu, tự động tái tạo thành mô hình 3D có thể thay đổi vật liệu, đèn và bố cục để khách hàng tương tác trên trình duyệt hoặc kính AR.
Công cụ biến video do AI tạo thành asset 3D: nhập video sinh từ mô hình tạo video, trích frame, dựng lại cảnh 3D mesh hoàn chỉnh có vật liệu để dùng lại trong sản xuất phim/game, khắc phục tình trạng video chỉ xem được một chiều.
Giải pháp khôi phục cảnh 3D cho robot/embodied AI: robot mang camera di chuyển trong nhà kho, hệ thống online dựng mesh cảnh liên tục theo từng khối không gian, bù đắp vùng khuất bằng prior generative để robot lập kế hoạch đường đi và thao tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18846
ArXiv Abstract	https://arxiv.org/abs/2610.18846
PDF Download	https://arxiv.org/pdf/2610.18846.pdf
Github Repository	https://github.com/kszpxxzmc/WorldRecon

📰 Summary of Papers
1. Jeva: System One Models from First Principles (268 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. VideoJev: System One Model for Video Understanding and Interaction (198 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Agent-Reflex: Teaching Language Agents to Act Reflectively (195 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes (111 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards (96 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Harness^2: Recursive Agent Harnessing for an Open World (87 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. GreenWAM: A World Foundation Model for Robotics (82 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards (80 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution (74 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. TPPO: Tracking-Value PPO For Language Model Reasoning (74 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Vela: User Behavior as Supervision Sparks LLM Intelligence (69 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. DoSA: Dots Sparse Attention (67 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning (66 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling (63 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. LeWAM: End-to-End World and Action Modeling with JEPAs (63 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. Last Secure Code Benchmark: Is the Code You Vibe Secure? (60 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics (60 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. Multics: Generative Multi-Player World Model with Hierarchical Communication (56 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. UltraBERT: Beyond the Limit of BERT Pre-Training (52 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. SALD: Self-Referenced Advantage Learning for Diffusion Models (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. EviScene: Beyond "Is It AI?" for Agentic Image Factuality Assessment (46 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers (46 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. APEX: Asynchronous Prefix Denoising for Extreme Compression (42 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Learning How to Remember: Memory Modality Selection for GUI Agents (41 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval (37 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. Self-Distillation with Verbal Regularization (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. Cepheid: Decoupling Scale from Structure for Cross-Family Motion Completion (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
34. CineRecon: Benchmarking Frontier Models for Agentic Cinematic Reconstruction (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
35. ClawLoop: Self-Improving Agents via Harness-Native Training Loop (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
36. ReTerm: Recovery Training for Self-Improving Terminal Agents (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
37. JevGPT: Thinking Fast and Slow in Autonomous Research (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
38. EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
39. Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
40. Fish Audio Drama 3 Technical Report (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
41. GeoFix: Geometry Fixing for 4D Consistent Generation (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
42. LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
43. PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
44. Pristine Models (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
45. Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
46. LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
47. Latent World Action Model for GUI Agents (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
48. Simplifying and Improving On-Policy Distillation for Few-Step Diffusion (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
49. EMHO: EMbodied Agent Harness Optimization via Experience Traces (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
50. WorldRecon: Generative Multi-View Mesh Reconstruction for Large-Scale 3D World (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. Jeva: System One Models from First Principles (268 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. VideoJev: System One Model for Video Understanding and Interaction (198 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Agent-Reflex: Teaching Language Agents to Act Reflectively (195 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes (111 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards (96 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Harness^2: Recursive Agent Harnessing for an Open World (87 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. GreenWAM: A World Foundation Model for Robotics (82 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards (80 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution (74 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Jeva: System One Models from First Principles (268 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. VideoJev: System One Model for Video Understanding and Interaction (198 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Agent-Reflex: Teaching Language Agents to Act Reflectively (195 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes (111 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards (96 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Harness^2: Recursive Agent Harnessing for an Open World (87 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. GreenWAM: A World Foundation Model for Robotics (82 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards (80 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution (74 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: