🤗 Daily Hugging Face Paper Digest - 2026-10-20

Báo cáo được tạo tự động vào lúc 2026-10-21 10:46:46 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Scaling Parameter-Efficient Fine-Tuning for Brain Encoding (234 votes)

Tác giả: Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, et al.

Xuất bản lúc: 2026-10-19

Tag: PEFT, LoRA, Brain Encoding, fMRI, Multimodal Models, Fine-Tuning, Ensemble Learning, NeuroAI

I. Main Problem:

Các mô hình brain encoding (dự đoán phản ứng não từ kích thích) hiện nay chủ yếu dùng backbone pretrained bị đóng băng + train riêng readout, bỏ phí khả năng thích ứng của mô hình lớn. Cách khác — train từ đầu hoặc full fine-tuning bằng dữ liệu neural — thất bại vì:

dữ liệu neural đắt đỏ và khan hiếm so với quy mô mô hình hiện đại
full fine-tuning thậm chí không bằng đóng băng backbone ở quy mô dữ liệu này
chi phí trích xuất đặc trưng bằng sliding window (hàng nghìn forward pass mỗi clip) khiến việc fine-tune backbone lớn gần như bất khả thi về mặt tính toán.

II. Main Idea:

Tác giả chứng minh parameter-efficient fine-tuning (PEFT) — cụ thể là LoRA — là chế độ mạnh mẽ nhưng bị bỏ qua cho brain encoding. Ba hướng scale bổ sung nhau:

Scale up: dùng backbone multimodal pretrained lớn nhất có thể (lên tới 104B tham số)
Scale down: chỉ cập nhật vài chục triệu tham số adapter, giữ nguyên prior của backbone
Scale out: train hàng trăm adapter nhẹ khác nhau trên một backbone chia sẻ rồi ensemble

Hai đổi mới kỹ thuật chính:

Single-pass extraction: lợi dụng cấu trúc causal masking sẵn có của backbone, một forward pass duy nhất cho toàn cửa sổ 149s thay vì ~2.800 pass trùng lặp của sliding window → giảm 350× chi phí trích xuất (700 → 2 GPU-hours)
Multi-LoRA kernel: fuse update của N adapter vào một phép gather-matmul batch duy nhất → train 32 adapter cùng lúc chỉ tốn 1.08× chi phí một adapter, nhanh gấp ~30× so với train tuần tự

Ví dụ đời thường: giống việc thuê một chuyên gia đã giàu kinh nghiệm (backbone pretrained) — thay vì đào tạo lại từ đầu, chỉ cần gắn thêm vài "mảnh ghép điều chỉnh nhỏ" (adapter) cho từng nhiệm vụ; nhiều mảnh ghép khác nhau có thể lắp cùng lúc trên cùng một nền người đó.

III. Main Results:

LoRA cải thiện mọi backbone: +0.032 đến +0.066 trên cả 9 backbone multimodal từ 4.7B–104B tham số, lớn nhất từng được adapt cho brain encoding
BrainLoRA đạt SoTA mới trên Algonauts 2025: chỉ ~5% số tham số trainable so với SoTA trước (MIRAGE, 1.1B readout) mà vượt cả ID (0.327 vs 0.310) lẫn OOD (0.228 vs 0.217); với cross-attention readout chỉ 61.4M tham số
Full fine-tuning (20.3B tham số trainable) không vượt LoRA, đúng với dữ liệu neural quy mô nhỏ
Ensemble 261 model đạt 0.343 ID / 0.248 OOD, hạng 1 leaderboard công khai Algonauts post-challenge; hiệu suất ensemble tuân theo luật ~1/n và được giải thích 97% bởi chất lượng + đa dạng thành viên
Diễn giải được: Shapley attribution khôi phục đúng topography giác quan chuẩn (vỏ não thị giác ← video, vỏ não thính giác ← audio); adaptation làm đóng góp audio tăng 39%, text giảm 17%, và cross-modal mixing tăng gần gấp đôi (8.9% → 15.3%)
Khái quát hóa tốt: adapter chuyển sang subject mới giữ 97% cải thiện; zero-shot transfer sang dataset NNDb khác máy quét với +11.1 điểm phần trăm noise ceiling

IV. Conclusion & Future Works:

PEFT biến một backbone pretrained duy nhất thành cả gia đình mô hình encoding chuyên biệt mà không trả giá train từ đầu. Ba trục scale (up/down/out) là lộ trình hướng tới brain foundation model: một adapter chia sẻ train trên dữ liệu neural đa task, đa dataset, đa subject, thậm chí đa loài, có thể kết hợp cấu trúc phân cấp hoặc meta-learning. Hạn chế: chỉ thử nghiệm trên một benchmark với 4 subject xem phim narrative; transfer vẫn chưa ra khỏi miền phim tự nhiên — train liên hợp đa dataset, đa modality để lại tương lai.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng PEFT cho brain encoding sang dữ liệu neural đa dataset, đa phương thức kích thích (ngoài phim narrative) để hướng tới một adapter chia sẻ cho brain foundation model.
Thiết kế cấu trúc adapter phân cấp: một adapter cấp cao cho toàn bộ population và các adapter cấp thấp chuyên biệt theo từng subject, task hoặc vùng não (ROI) qua meta-learning.
Nghiên cứu cơ chế tại sao adaptation tăng đóng góp audio và cross-modal mixing: kiểm tra giả thuyết rằng vỏ não temporal lateral cần tích hợp âm thanh sớm hơn các biểu diễn ngôn ngữ thô.
Áp dụng multi-LoRA batched kernel cho các mô hình neural encoder khác (EEG, MEG, spike) để xây dựng thư viện adapter chuyên biệt theo loại ghi hình trên cùng một backbone.

2. Patent:

Ứng dụng trên điện thoại phân tích phản ứng não: dùng adapter nhẹ gắn vào mô hình đa phương thức có sẵn trên điện thoại để dự đoán phản ứng não người dùng khi xem nội dung (video, quảng cáo), từ đó cá nhân hóa nội dung mà không cần huấn luyện lại toàn bộ mô hình tốn pin và bộ nhớ.
Hệ thống hỗ trợ chẩn đoán thần kinh: adapter riêng cho từng bệnh nhân được fine-tune từ ít phút dữ liệu fMRI trên một backbone lớn chia sẻ ở bệnh viện, cho phép theo dõi tiến triển cá nhân hóa mà chi phí tính toán như một mô hình nhỏ.
Công cụ đánh giá nội dung đa phương tiện: dự đoán mức độ kích thích vùng não thị giác/thính giác của người xem từ video, audio, phụ đề trước khi phát hành, giúp nhà sản xuất tối ưu cấu trúc âm thanh và hình ảnh cho trải nghiệm gây cảm xúc mong muốn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26802
ArXiv Abstract	https://arxiv.org/abs/2610.26802
PDF Download	https://arxiv.org/pdf/2610.26802.pdf
Github Repository	N/A

2. OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners (201 votes)

Tác giả: Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, et al.

Xuất bản lúc: 2026-10-16

Tag: LLM Agents, Operations Research, Benchmark, Mathematical Optimization, Agent Evaluation, Information Acquisition

I. Main Problem:

Các benchmark OR hiện có cho LLM không phản ánh thực tế tư vấn OR chuyên nghiệp, vì ba khoảng trống lớn:

Độ phức tạp thực tế: các tác vụ chủ yếu là học thuật/synthetic, đã được chuẩn bị sẵn — khác hẳn yêu cầu thô, mơ hồ từ khách hàng thật
Khâu hỏi-lấy thông tin: bộ đánh giá thường cung cấp đủ ngữ cảnh ngay đầu, bỏ qua việc chuyên gia phải dò hỏi khách hàng để lấy dữ kiện bị thiếu xuyên suốt quá trình làm
Thiếu mốc chuẩn chuyên môn: nghiệm tham chiếu thường do người xây benchmark tự tạo, không gắn với bản giao hàng đã được khách hàng thật chấp nhận

Hậu quả: không ai biết LLM agents có đủ sức thay chuyên gia OR thực thụ trong các dự án trả phí hay không.

II. Main Idea:

Bài báo giới thiệu OR-License, benchmark end-to-end xây từ 31 dự án OR thật, trả phí, tổng giá trị 3,68 triệu USD thuộc 10 ngành công nghiệp, chỉ ẩn danh dữ liệu mà giữ nguyên yêu cầu thô, format giao hàng và ranh giới thông tin như lúc tiếp nhận. Kèm theo là hai công cụ:

ORSim: máy khách hàng giả lập có kiểm soát — agent có thể hỏi dò dữ kiện kinh doanh trong suốt quá trình (mỗi lần hỏi tối đa 3 dữ kiện), nhưng bị chặn khỏi chuyên môn OR; một controller tất định bảo đảm không rò rỉ thông tin vượt ranh giới
DAQ (Deployment-Adjusted Quality): chấm tính khả thi tuyệt đối (mọi test case phải pass verifier ẩn), so chất lượng mục tiêu với nghiệm chuyên gia được khách chấp nhận; bài toán infeasible bị 0 điểm, nghiệm chuyên gia = 1

Ví dụ đời thường: giống thi sát hạch tân kỹ sư tư vấn bằng chính hồ sơ khách hàng thật — ứng viên không được nói sẵn đề mà phải tự lật hỏi khách để khám phá ràng buộc ẩn, rồi nộp phương án được chấm đối chiếu với bản hợp đồng mà đội chuyên gia đã ký thành công trước đó.

III. Main Results:

11 mô hình frontier được đánh giá qua Claude Code harness, 5 lượt/tác vụ:
- Feasibility chênh nhau rất lớn: 45,16% (Hy3) → 88,39% (Grok 4.6); GPT-5.6 Sol đạt 84,52%
- Về chất lượng có điều kiện, vài mô hình vượt nghiệm chuyên gia (đến ~101%), nhưng không mô hình nào chạm DAQ = 1: tốt nhất Grok 4.6 đạt DAQ 0,87, thiếu 13,45 điểm — trong đó ~86% thâm hụt đến từ các bài giao infeasible (không phải chất lượng trên bài feasible)
- Xếp hạng ổn định trên toàn profile phạt DAQ_α (α từ 1→3), khoảng cách với chuyên gia không đóng được
Hỏi khách hàng bị dồn mạnh về đầu: 86,7–98,3% câu hỏi nằm ở giai đoạn trước khi viết solver (S1); dù vậy hỏi ở giai đoạn sau (S4/S5) lại có tỉ lệ giải quyết vấn đề được xác nhận cao hơn hẳn (đến ~71%)
Chuỗi nghiên cứu HCAEU (giả thuyết → giải thích → thí nghiệm → bằng chứng → cập nhật): tỉ lệ hoàn chỉnh chỉ 24–45%; GPT-5.6 Sol không tạo giả thuyết kiểm chứng được ở 41% cơ hội — cho thấy reasoning có bằng chứng thỉnh thoảng xuất hiện nhưng không bền trong tác vụ dài hạn
Lỗi tập trung ở khâu định hình bài toán: sai ràng buộc tĩnh (CON, 42,7% cho Opus 5), sai chuyển trạng thái động (DYN), sai mục tiêu/ưu tiên + cấu trúc bất định (chiếm ~70% lỗi của Grok 4.6 và Muse Spark); lỗi thuần cài đặt (IMP) chỉ lớn nhất ở 2/11 mô hình — tức vấn đề là hiểu sai yêu cầu kinh doanh, không phải code chạy sai

IV. Conclusion & Future Works:

LLM agents có thể đôi khi vượt chuyên gia về chất lượng mục tiêu trên bài khả thi, nhưng còn cách xa trình độ triển khai thực thụ vì: (1) giao không ổn định về tính khả thi, (2) lấy thông tin khách hàng một lần ở đầu dự án thay vì liên tục theo phản hồi, (3) chuỗi tự điều chỉnh dựa trên bằng chứng không hoàn chỉnh, (4) lỗi chủ yếu ở cầu nối từ ngữ nghĩa kinh doanh sang mô hình toán.

Hướng cải tiến được đề xuất: agent cần cơ chế tự nhận diện khoảng trống thông tin và hỏi lại xuyên suốt vòng đời dự án, định hình bài toán trung thực với yêu cầu gốc, và tự cải thiện dựa trên bằng chứng để đạt độ tin cậy trong tác vụ dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển agent OR biết hỏi lại chủ động: mô hình tự phát hiện khi nào kết quả trung gian hoặc phản hồi solver cho thấy giả định nghiệp vụ sai, rồi đặt câu hỏi nhắm đích tới ORSim thay vì chỉ hỏi ở khởi động.
Tự động chẩn đoán lỗi định hình bài toán: phân loại và sửa lỗi dạng ràng buộc tĩnh, chuyển trạng thái động và mục tiêu/ưu tiên bằng vòng lặp kiểm chứng chéo giữa ngữ nghĩa brief kinh doanh và mã solver.
Chuẩn hóa chuỗi nghiên cứu HCAEU trong agent dài hạn: huấn luyện/thiết kế prompt buộc agent hoàn tất vòng giả thuyết → thí nghiệm → cập nhật bằng chứng, đo bằng tỉ lệ chuỗi hoàn chỉnh trên toàn bộ cơ hội nghiên cứu.
Mở rộng OR-License sang bài toán tối ưu đa mục tiêu và dự án có dữ liệu bất định/lệch phân phối, kiểm tra độ bền của agent khi brief khách hàng thay đổi giữa dự án.

2. Patent:

Nền tảng tư vấn tối ưu hóa tự động cho doanh nghiệp nhỏ trên điện thoại: doanh nghiệp tải hồ sơ kinh doanh thô; chatbot tự hỏi dò các dữ kiện còn thiếu từng bước, xây mô hình tối ưu và trả về kế hoạch sản xuất/điều phối kèm báo cáo mức độ đạt ràng buộc.
Trợ lý lập kế hoạch lịch sản xuất và giao hàng cho nhà máy: nhân viên vận hành nhập yêu cầu bằng ngôn ngữ tự nhiên; hệ thống hỏi lại về giới hạn máy móc, ca kíp, tồn kho rồi xuất lịch trình có kiểm chứng ràng buộc tự động trước khi gửi.
Hệ thống kiểm thầm chất lượng nghiệm tối ưu: module chạy ẩn đối chiếu phương án do AI đề xuất với ràng buộc vận hành gốc và nghiệm chuẩn nội bộ, chấm điểm khả thi tuyệt đối và chất lượng tương đối trước khi phương án được đưa ra quyết định.
Phòng thử nghiệm khách hàng ảo cho huấn luyện agent tư vấn: môi trường mô phỏng trả lời câu hỏi theo danh mục dữ kiện được phê duyệt sẵn, dùng để huấn luyện và đánh giá các trợ lý AI trong ngành logistics, sản xuất, tài chính.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24087
ArXiv Abstract	https://arxiv.org/abs/2610.24087
PDF Download	https://arxiv.org/pdf/2610.24087.pdf
Github Repository	https://github.com/NineAbyss/OR-License

3. EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience (130 votes)

Tác giả: Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, et al.

Xuất bản lúc: 2026-10-19

Tag: Egocentric Vision, 3D Reconstruction, SLAM, Hand-Object Interaction, Metric Depth, World Modeling, Transformers, Datasets

I. Main Problem:

Video góc nhìn thứ nhất giúp khôi phục cách con người nhìn và tác động lên thế giới, nhưng bài toán khó nằm ở tính liên kết không gian: chuyển động camera, hình học cảnh, bàn tay và vật thể bị che khuất, rung, mờ do chuyển động đầu xảy ra đồng thời. Các phương pháp trước thường chỉ dựng lại một phần như camera, độ sâu, tay hoặc vật, rồi phải ghép nhiều kết quả với tỉ lệ và hệ tọa độ khác nhau. Dữ liệu hiện có cũng thiếu nhãn chung cho cả bốn thành phần, hoặc phụ thuộc hệ thống camera hiệu chuẩn / motion capture lớn nên khó mở rộng ra môi trường thật đa dạng.

II. Main Idea:

EgoXperience là paradigm full-stack gồm ba lớp: EgoX-Engine, EgoX-Data-6M và mô hình EgoX.

EgoX-Engine tự động tạo nhãn bằng cách dùng độ sâu stereo để có hình học theo tỉ lệ mét, dùng SLAM để đặt camera, cảnh, tay và vật vào một hệ tọa độ phiên quay chung; vật thể được quét trước thành lưới 3D, theo dõi qua video rồi kiểm chứng bằng cách so khớp với độ sâu quan sát được.
EgoX-Data-6M gồm 50 giờ, khoảng 5.4M khung hình, 270 tác vụ, 101 vật, phủ thao tác trong phòng, đi qua nhiều phòng và ngoài trời, kèm mô tả tác vụ theo từng giây; EgoX-Bench là 1 giờ giữ lại để đánh giá đồng thời.
EgoX nhận video egocentric một camera và mask vật ở khung đầu, rồi trong một lần forward dự đoán camera nội/ngoại, độ sâu metric, trạng thái hai bàn tay dạng MANO, gốc và hướng vật, cùng hệ số tỉ lệ dương. Điểm khóa là biểu diễn chung cho cảnh và thực thể từ DINOv3, với token camera, tay, vật, bộ nhớ và tỉ lệ; các dự đoán được đưa về cùng hệ tọa độ thế giới thông qua camera ước lượng, rồi loss không chỉ phạt từng đầu ra mà còn phạt hình học tay-vật sau khi chiếu qua camera, buộc camera, tay và vật phải khớp nhau.

Ví dụ đời thường: giống người quay phim đeo kính không chỉ nhớ từng cử chỉ, mà còn tự dựng trong đầu một bản đồ phòng: mình đang đứng đâu, bàn ở đâu, tay với tới đâu, hộp bị bỏ xuống chỗ nào; mọi chi tiết đều phải nằm đúng trên cùng một bản đồ.

III. Main Results:

EgoX là phương pháp end-to-end duy nhất trong bảng so sánh khôi phục đồng thời camera, độ sâu, hai bàn tay và vị trí-hướng vật trong cùng một hệ tọa độ thế giới.
Tay trong không gian thế giới tốt nhất trên cả bốn benchmark: trên HOT3D, W-MPJPE giảm từ 56.30 mm của HaWoR xuống 38.89 mm; trên EgoX-Bench, W-MPJPE giảm từ 328.81 mm của WiLoR + SLAM xuống 113.24 mm.
Vật thể đạt ADD, ADD-S và AUC-S50 tốt nhất trên HOT3D, EgoX-Bench, HOI4D và H2O; ví dụ AUC-S50 trên EgoX-Bench là 76.59 so với 59.80 của GigaPose + MegaPose.
So với baseline mạnh nhất được đánh giá, EgoX giảm lỗi camera 68.9%, lỗi tay theo W-MPJPE 65.6%, lỗi độ sâu AbsRel 42.9%, và tăng AUC-S50 cho vật 28.0%.
Độ sâu metric trên EgoX-Bench đạt AbsRel 0.0460, δ1.25 97.37; trên HOI4D đạt AbsRel 0.0312, δ1.25 99.98, cho thấy dữ liệu nhãn liên kết giúp mô hình học tỉ lệ thật tốt hơn.

IV. Conclusion & Future Works:

Thông điệp chính là không thể chỉ cải thiện từng module riêng lẻ: cần pipeline thu nhận, nhãn tự động, mô hình và benchmark cùng chia sẻ một hệ tọa độ metric. Khi nhãn camera, cảnh, tay và vật được liên kết, một mô hình feed-forward có thể dựng lại hoạt động egocentric mạch lạc hơn rõ rệt. Hướng mở rộng hợp lý: xử lý vật biến dạng hoặc nhiều vật tương tác phức tạp hơn; chạy thời gian thực trên thiết bị đeo hoặc điện thoại; bổ sung ước lượng độ tin cậy khi theo dõi vật thất bại; kết hợp mô tả ngôn ngữ tác vụ để đánh giá không chỉ hình học mà cả ý định thao tác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EgoX lên vật mềm, vật biến dạng và cảnh có nhiều đối tượng cùng di chuyển, đồng thời giữ nguyên yêu cầu dựng lại trong cùng một hệ tọa độ thế giới.
Nén EgoX để chạy trên kính thông minh hoặc điện thoại theo thời gian thực, với mục tiêu giữ độ chính xác metric khi tài nguyên tính toán và năng lượng bị giới hạn.
Kết hợp nhãn hành động theo giây của EgoX-Data-6M với ngôn ngữ tự nhiên để đánh giá mô hình không chỉ bằng lỗi hình học mà còn bằng mức độ khôi phục đúng mục tiêu tác vụ.
Xây dựng cơ chế phát hiện và sửa lỗi tự động cho pipeline nhãn hóa, ví dụ khi vật bị che khuất dài, track bị trượt sang vật khác hoặc độ sâu stereo mất ổn định.
Dùng EgoX làm nguồn giám sát không gian cho mô hình sinh video hoặc mô hình hành động, kiểm tra xem biểu diễn world-grounded có giúp tăng độ nhất quán không gian-thời gian hay không.

2. Patent:

Ứng dụng điện thoại hướng dẫn sửa chữa tại nhà: người dùng quay video góc nhìn thứ nhất khi tháo lắp thiết bị; hệ thống dựng vị trí-hướng camera, hình dạng căn phòng, chuyển động bàn tay và vật theo kích thước thật, rồi chỉ ra bước sai bằng lớp chỉ dẫn đè lên video.
Kính thông minh cho kho hàng: ghi lại quá trình nhân viên cầm, di chuyển và đặt hàng hóa; hệ thống đo quỹ đạo tay, vị trí đặt vật và lộ trình di chuyển để đào tạo lại, kiểm tra sai sót hoặc cảnh báo thao tác nguy hiểm.
Điện thoại phân tích kỹ thuật thể thao hoặc phục hồi chức năng: từ một video quay người tập với dụng cụ, hệ thống tính góc cổ tay, quỹ đạo tay, vị trí dụng cụ trong phòng và khoảng cách tới mục tiêu để chấm điểm độ chuẩn xác.
Trợ lý robot gia đình dùng camera trên điện thoại đặt tùy ý: trước khi thực hiện lệnh, hệ thống phân tích ngắn để hiểu vị trí camera, bố cục phòng và vật cần thao tác, sau đó lên kế hoạch di chuyển tay an toàn theo cùng một bản đồ không gian.
Chức năng kiểm chứng lắp ráp bằng camera di động: sau khi người dùng lắp linh kiện, hệ thống so sánh vị trí-hướng vật thật với mô hình lắp ráp chuẩn để phát hiện linh kiện bị ngược, thiếu ốc hoặc đặt sai vị trí.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26625
ArXiv Abstract	https://arxiv.org/abs/2610.26625
PDF Download	https://arxiv.org/pdf/2610.26625.pdf
Github Repository	https://github.com/Ropedia/EgoXperience

4. Holi-World: Building Holistic World Intelligence from Human-Ego Experience (116 votes)

Tác giả: Hao Li, Xiyuan Zheng, Yuanyuan Gao, Yalun Dai, Xinhao Ji, et al.

Xuất bản lúc: 2026-10-19

Tag: Egocentric Vision, 3D Scene Reconstruction, 4D Tracking, Vision-Language Models, Spatial Reasoning, World Models, Data Construction

I. Main Problem:

Các hệ thống AI hiện tại khó học cách thế giới vật lý được tổ chức và thay đổi qua tương tác từ dữ liệu ghi lại trải nghiệm cá nhân (egocentric). Cụ thể:

Dữ liệu egocentric quy mô lớn (Aria, EPIC...) tồn tại nhưng việc gán nhãn thủ công tốn kém, khiến mở rộng dữ liệu mới bị bế tắc.
Công cụ hiện có chỉ xử lý từng phần riêng lẻ: tái hiện cảnh tĩnh (không giữ trạng thái động của vật thể) hoặc tracking egocentric (không gắn với cấu trúc cảnh).
Thiếu một hệ sinh thái kết nối ghi hình - tái hiện - gán nhãn tự động - huấn luyện - đánh giá quanh cùng một biểu diễn thế giới thống nhất.

II. Main Idea:

HOLI-WORLD là hệ sinh thái tích hợp biến video quay từ góc nhìn người (đeo thiết bị stereo RGB + IMU tự chế) thành dữ liệu học có giám sát tự động, gồm các khối:

HOLI-WORLD-Foundry: pipeline tự động tái hiện cảnh — dùng VI-SLAM + Depth Anything 3 + 3D Gaussian Splatting để khôi phục hình học và pose camera; sau đó tách hai nhánh bổ trợ nhau: vật thể tĩnh (kết hợp detection trên ảnh Boxer và trên point-cloud TR3D, merge theo hình học, rồi VLM kiểm chứng/sửa nhãn) và vật thể động (dùng VLM mô tả tương tác để nhận diện lại cùng một vật qua các đoạn bị gián đoạn, SAM theo mask, chiếu ngược depth lấy quỹ đạo 3D/4D).
HOLI-WORLD-Data: từ ~100 cảnh, 444 video sinh ra ~80K cặp QA gắn với bằng chứng quan sát (quan hệ không gian, lý luận thời gian, tương tác), dùng huấn luyện HOLI-WORLD-VL-4B; HOLI-WORLD-Bench là bộ chấm do người gán nhãn độc lập.

Ví dụ đời thường: giống người quay phim tự sự cả ngày rồi có một trợ lý tự động xem lại toàn bộ footage, vẽ sơ đồ căn phòng, dán nhãn đồ vật, vẽ lại đường đi của chiếc cốc bị mang đi khắp nhà, rồi biến tất cả thành bộ câu hỏi trắc nghiệm để dạy một học sinh mới — không cần ai ngồi gõ nhãn tay cả.

III. Main Results:

Nhận thức tĩnh: AP25 đạt 0.68 trên ScanNet (baseline mạnh nhất 0.40) và vượt mọi phương pháp trên ScanNet++, HOLI-Bench.
Tracking động: HOTA 54.31% trên Aria Digital Twin so với 36.00% của IT3DEgo (dù baseline được khởi tạo bằng ground truth); trên HOLI-Bench đạt 43.14% vs 15.13%.
Suy luận downstream: huấn luyện Qwen3.5-4B trên HOLI-Data nâng Token F1 từ 16.35% lên 78.02% trên HOLI-Bench và từ 18.29% lên 66.39% trên EgoDynamic4B — vượt cả Qwen3.8-27B zero-shot (43.67%/42.93%).
Ablation: hai nhánh detection ảnh + point-cloud bổ trợ nhau (nhỏ/lớn); nhận diện identity xuyên đoạn giảm phân mảnh quỹ đạo; SAM propagation cho mask nhất quán hơn detection từng frame.

IV. Conclusion & Future Works:

HOLI-WORLD chứng minh trải nghiệm egocentric có thể trở thành nguồn dữ liệu tự mở rộng cho trí tuệ thế giới: pipeline tự động thay thế gán nhãn thủ công, và giám sát sinh ra đủ chất lượng để cải thiện mạnh mẽ khả năng suy luận không gian-thời gian của VLM. Giới hạn hiện tại: giả định tối đa một vật chuyển động tại mỗi thời điểm. Hướng phát triển tự nhiên là nới giới hạn đó, mở rộng quy mô cảnh/vật liệu đa dạng hơn và tích hợp bộ nhớ không gian dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Nới pipeline dynamic perception để xử lý nhiều vật thể chuyển động đồng thời, kết hợp bộ nhớ không gian kiểu LMK để theo dõi vật khi biến mất khỏi tầm nhìn rồi xuất hiện lại.
Mở rộng HOLI-Data sang đa người dùng, đa môi trường (ngoài trời, văn phòng lớn) để kiểm tra khả năng khái quát hóa của HOLI-VL theo phong cách benchmark cộng đồng.
Kết hợp world records 4D với mô hình dự đoán video để học động lực học tương tác (vật rơi, va chạm, thay đổi trạng thái) thay vì chỉ mô tả quỹ đạo đã quan sát.

2. Patent:

Kính/điện thoại thông minh tự xây dựng bản đồ 3D nhà của người dùng: quay video đi dạo quanh phòng, ứng dụng tự dán nhãn đồ vật (tủ, ly, chìa khóa) và trả lời bằng giọng nói kiểu 'chìa khóa của tôi để ở đâu lúc nãy?' — không cần người gán nhãn.
Trợ lý gia đình robot/ camera theo dõi đồ vật quan trọng: nhận diện lại cùng một vật qua nhiều lần bị che khuất (lấy ly ra khỏi tủ, đặt lên bàn), lưu vết di chuyển 3D và cảnh báo khi vật rời vị trí thường lệ — hữu ích cho người hay quên đồ hoặc trông trẻ.
Hệ thống tự tạo dữ liệu huấn luyện cho mô hình AI trên thiết bị cá nhân: người dùng đeo camera cả ngày, dữ liệu được pipeline tự động chuyển thành câu hỏi-đáp không gian-thời gian có kèm bằng chứng hình ảnh, dùng để cá nhân hóa trợ lý AI mà không gửi video thô lên máy chủ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26549
ArXiv Abstract	https://arxiv.org/abs/2610.26549
PDF Download	https://arxiv.org/pdf/2610.26549.pdf
Github Repository	https://github.com/Ropedia/holi-world

5. MemT-1.0: Towards Memory-Native Evolution (109 votes)

Tác giả: Zhiyu Li, Zeyu Zhang, Linyun Liu, Yiwei Bu, Chenyang Xi, et al.

Xuất bản lúc: 2026-10-19

Tag: Memory Foundation Models, Gated DeltaNet, Mixture-of-Experts, Long-Context, Agentic AI, Continual Learning

I. Main Problem:

Các mô hình ngôn ngữ hiện đại phụ thuộc vào external memory — phải giữ nguyên toàn bộ lịch sử hội thoại trong context window (lãng phí tính toán) hoặc dùng RAG bên ngoài (khó tích hợp, lỗi thiên lệch, phụ thuộc hệ thống bên ngoài). Hậu quả:

chi phí suy luận tăng tuyến tính với độ dài lịch sử (ở 128K-1M token, latency và KV cache storage trở thành nút thắt)
không học hỏi tích lũy qua các lượt tương tác — kiến thức chỉ nằm trong trọng số parametric, không cập nhật theo trải nghiệm
các tác vụ agent dài hạn (coding, công cụ) bị giới hạn vì mô hình không thể "nhớ kinh nghiệm" từ các phiên trước.

II. Main Idea:

MemT-1.0 biến memory thành khả năng nội tại của mô hình thay vì module ngoài. Kiến trúc:

dựa trên kiến trúc tiền nhiệm Metis: mỗi Transformer block được tăng cường Native Memory Block gồm dynamic local memory (lưu thông tin online theo từng lượt tương tác) và trainable hyper memory (tham số được học)
thay cơ chế chọn token bằng Gated DeltaNet-2 (GDN-2) với cơ chế cập nhật ổn định theo từng token — có cổng ghi (write), xóa (erase), quên (log-decay) giống cơ chế delta rule của bộ nhớ hiệu chỉnh sai lệch
Mixture-of-Storage (MoS): nhân bản memory block thành nhiều memory experts với routing dày đặc riêng cho lưu trữ và truy xuất, dùng địa chỉ expert dùng chung — mở rộng dung lượng bộ nhớ mà không tăng độ phức tạp tính toán quá nhiều
pipeline huấn luyện 2 giai đoạn: continued pre-training (34B tokens) để có năng lực ngôn ngữ với memory nội tại, rồi post-training trên tác vụ memory
hệ quả trọng số cố định trong khi memory state động tiến hóa qua từng lượt — trạng thái lưu trữ có kích thước cố định bất kể lịch sử dài bao nhiêu.

Ví dụ đời thường: giống như người lấy ghi chú ngắn gọn đúng trọng tâm sau mỗi cuộc trò chuyện thay vì lôi cả hộp hồ sơ cũ ra đọc lại — tờ ghi chú nhỏ (memory state cố định ~40MB) luôn nằm trong túi, và nội dung tờ ghi chú tự cập nhật đúng chỗ cần sửa thay vì chép lại toàn bộ.

III. Main Results:

Phát hành 2 mô hình: MemT-1.0-Nano (36B tổng, 3B kích hoạt, 10M dynamic memory) và MemT-1.0-Flash (288B tổng, 17B kích hoạt, 336M dynamic memory)
Trên 11 memory benchmarks (LoCoMo, MemBench, MemoryAgentBench, PerMemSafe, ImplicitMemBench, PersonaMem...), vượt các baseline parametric memory về trung bình và cạnh tranh với RAG — trong khi không cần truy cập context gốc khi suy luận
Hiệu quả suy luận ở lịch sử 128K token: nhanh ~1.86× so với full-context KV cache; ở 256K token latency giảm từ 700.8s (Temp-LoRA) còn ~16.2s
Lưu trữ giảm ~66×: 40MB cố định thay vì 5.06GiB KV cache ở 256K (và 1M token vẫn chỉ 40MB)
Largely bảo toàn năng lực chung (coding, instruction-following, agentic benchmarks) sau post-training
Ứng dụng vào agentic coding: internalize trải nghiệm truy xuất được để hướng dẫn hành động; cải thiện tỷ lệ thành công và tính nhất quán trên SWE-bench Verified và Multilingual, ngang với dùng textual experience hiển thị.

IV. Conclusion & Future Works:

MemT-1.0 chứng minh memory có thể trở thành khả năng nội tại của foundation model: memory tiến hóa theo từng lượt tương tác với chi phí lưu trữ cố định, tốc độ suy luận gần như không phụ thuộc độ dài lịch sử, và mở rộng được dung lượng qua Mixture-of-Storage. Các nghiên cứu scaling cho thấy memory capacity là một chiều scaling mới bên cạnh data và tham số. Hướng tương lai: mở rộng dung lượng và độ dài memory hiệu quả hơn, cải thiện khả năng lưu giữ thông tin qua rất nhiều lượt, và đẩy mạnh vai trò của native memory từ ghi nhớ thông tin sang hướng dẫn thủ tục trong các tác vụ agent đa bước.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu scaling sâu hơn cho memory foundation models: làm rõ quan hệ giữa memory capacity, lượng dữ liệu huấn luyện và độ dài lịch sử cần ghi nhớ, xây dựng luật scaling riêng cho chiều memory.
Phát triển cơ chế cập nhật memory tự chọn thông tin quan trọng (importance-aware gating) thay vị cập nhật đều tất cả token, giúp nhớ lâu hơn ở lịch sử hàng triệu token.
Mở rộng internalize procedural experience cho agent đa năng: cho mô hình tự tích lũy và tái sử dụng kinh nghiệm vận hành công cụ (tool-use) qua nhiều phiên làm việc, không cần prompt dài.
Kết hợp native memory với cơ chế kiểm chứng (verification) để mô hình tự phát hiện và sửa memory bị lỗi thời hoặc mâu thuẫn qua thời gian.

2. Patent:

Trợ lý AI trên điện thoại có bộ nhớ cá nhân cố định, tiết kiệm pin: thay vì gửi toàn bộ lịch sử chat lên máy chủ mỗi lần hỏi, điện thoại chỉ lưu một trạng thái bộ nhớ nhỏ (vài chục MB) được cập nhật cục bộ sau mỗi cuộc trò chuyện — phản hồi nhanh hơn, bảo mật hơn vì dữ liệu thô không rời máy.
Hệ thống hỗ trợ khách hàng ghi nhớ theo từng phiên: khi khách quay lại sau tuần sau, hệ thống nạp lại trạng thái bộ nhớ của riêng khách đó thay vì quét lại toàn bộ log — giảm chi phí máy chủ đáng kể và câu trả lời liền mạch như nhân viên quen khách.
Trợ lý lập trình học kinh nghiệm theo dự án: sau mỗi lần sửa lỗi thành công, trải nghiệm sửa lỗi được nén vào bộ nhớ nội tại; các lần gặp lỗi tương tự sau đó hệ thống tự đề xuất cách sửa mà không cần tra lại tài liệu hay prompt hướng dẫn dài.
Ứng dụng ghi chú thông minh cho thiết bị đeo: mô hình nhỏ chạy ngay trên thiết bị liên tục cập nhật bộ nhớ ngắn gọn về thói quen, sở thích người dùng — đồng bộ chỉ vài chục MB giữa các thiết bị thay vì đồng bộ toàn bộ lịch sử.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26825
ArXiv Abstract	https://arxiv.org/abs/2610.26825
PDF Download	https://arxiv.org/pdf/2610.26825.pdf
Github Repository	https://github.com/MemTensor/MemT-1.0

6. Learning from Fleet Experience: A Collective Learning Paradigm for Robots (109 votes)

Tác giả: Chao Yu, Shu'ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, et al.

Xuất bản lúc: 2026-10-19

Tag: Robot Learning, Fleet Learning, Vision-Language-Action, Imitation Learning, Distributed Systems, Robot Manipulation, Self-Improvement

I. Main Problem:

Robot học từ thực thi thật (learning from execution) giúp cải thiện độ tin cậy chính sách, nhưng các phương pháp hiện có phụ thuộc vào hành động hiệu chỉnh của chuyên gia (teleoperator can thiệp khi chính sách thất bại). Khi quy mô đội robot (fleet) tăng lên:

nhu cầu người giám sát can thiệp không thể mở rộng cùng tốc độ với số robot
nhãn thành công/thất bại của episode cung cấp quá ít tín hiệu: không chỉ ra động tác nào đúng để học
robot trong fleet chạy không đồng bộ, hay bị gián đoạn (reset môi trường, bảo trì), khiến việc phối hợp thu thập – huấn luyện – phân phối chính sách trở nên khó khăn.

II. Main Idea:

Collective Experience Learning (CEL): robot trong fleet chia sẻ kinh nghiệm thực thi để cải thiện một chính sách chung, theo vòng lặp khép kín — chính sách cập nhật lại điều khiển fleet tạo ra kinh nghiệm mới. Thuật toán cụ thể là FERT, gồm 4 bước:

Thu thập bất đồng bộ: các robot tự chạy, episode thành công được lưu vào collective experience buffer, episode thất bại chỉ dùng làm truy vấn tạm thời (không bắt chước hành động sai)
Mã hóa kinh nghiệm: kết hợp đặc trưng thị giác (vision tower đông cứng của mô hình π0) với trạng thái khớp nối chuẩn hóa, tạo biểu diễn chung cho cả cảnh vật và tư thế robot
Truy xuất theo hướng thất bại: lấy đoạn quan sát ngay trước khi episode thất bại làm query, dùng S-DTW (dynamic time warping với ràng buộc độ dốc) để tìm đoạn tương ứng trong các trajectory thành công của robot khác trong fleet
Fine-tuning ưu tiên: các đoạn truy xuất được được tăng sampling priority, và hành động đã ghi trong đó trở thành nhãn giám sát cho supervised fine-tuning — tức thất bại chỉ ra chỗ cần học, thành công cung cấp động tác để học

Hệ thống đi kèm FATS (Fault-tolerant Asynchronous Training System) gồm mặt phẳng dữ liệu SwarmLink và mặt phẳng điều khiển HotSwarm, tự khởi động lại worker hỏng mà không làm gián đoạn quá trình học. Con người chỉ gán nhãn kết quả episode và reset môi trường, không cần cung cấp động tác chuyên gia nào thêm.

Ví dụ đời thường: giống như một nhân viên mới mắc lỗi thì lật cuốn sổ tay chung của cả phòng — ghi đầy các ca xử lý thành công — tìm đúng trang mô tả tình huống giống lỗi của mình nhất, rồi bắt chước cách làm đó; càng nhiều đồng nghiệp góp ca hay, sổ tay càng đáng học.

III. Main Results:

Trên 5 tác vụ thao tác thực tế (vật biến dạng, căn chỉnh chính xác, dùng dụng cụ, đa giai đoạn), chính sách đạt tỷ lệ thành công 93.3–99.2%, đánh giá 120 lần chạy trên 2 robot hoàn toàn bị loại khỏi dữ liệu huấn luyện — chứng tỏ kinh nghiệm của fleet giúp ích cho robot mới.
Tác vụ đóng gói điện thoại đa giai đoạn với 96 robot: thành công tăng từ 79.2% lên 98.3% sau FERT.
Mở rộng theo quy mô fleet: giữ thời gian thu thập mỗi robot cố định, fleet càng lớn cung cấp càng nhiều kinh nghiệm và tỷ lệ thành công của FERT nhìn chung tăng theo mọi kích thước được thử.
Ablation (16 robot, cùng tác vụ): bỏ truy xuất theo hướng thất bại làm tỷ lệ thành công giảm từ 86.7% xuống 64.2% — chứng minh việc chọn lọc kinh nghiệm có mục tiêu (không chỉ gom thêm dữ liệu thành công) là yếu tố then chốt.
Đo lường hệ thống xác nhận FATS chứa được lỗi cục bộ, khôi phục worker và kiểm soát chi phí giao tiếp edge-cloud.

IV. Conclusion & Future Works:

CEL cho thấy kinh nghiệm sinh ra trong quá trình triển khai có thể là nền tảng thực tế để robot tự cải thiện độ tin cậy: bằng cách gộp chung kinh nghiệm từ nhiều robot để cập nhật chính sách chung, từng lần thực thi riêng lẻ đóng góp vào học tập toàn fleet mà không cần mở rộng tương ứng sự giám sát động tác của chuyên gia. Hướng đi mở: mở rộng sang nhiều tác vụ và nền tảng robot hơn, dùng mô hình reward học được thay người gán nhãn kết quả, và nghiên cứu cân bằng đóng góp kinh nghiệm giữa các robot dị biệt trong fleet lớn.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa chính sách phân tán có lọc nhiễu: chọn lọc kinh nghiệm fleet dựa trên chất lượng đóng góp từng robot để chống dữ liệu thiên lệch khi một số robot thất bại thường xuyên.
Gán nhãn kết quả episode hoàn toàn tự động bằng reward model học được, loại bỏ vai trò cuối cùng của con người trong vòng lặp CEL.
Chuyển giao chính sách CEL giữa các nền tảng robot khác hình thái: dùng biểu diễn truy xuất chung để kinh nghiệm của robot tay máy hỗ trợ robot di động.
Phân tích lý thuyết sâu hơn về giới hạn cải thiện của truy xuất theo hướng thất bại khi chu kỳ chính sách trở nên phân tán và dữ liệu nhiễu tăng theo thời gian.

2. Patent:

Nền tảng đám mây học tập tập thể cho đội robot nhà kho: mỗi robot đóng góp video và dữ liệu khớp nối khi làm việc; khi một robot thất bại, hệ thống tự tìm đoạn làm đúng từ robot khác để cập nhật mô hình điều khiển chung và đẩy về toàn đội qua ứng dụng quản lý trên điện thoại.
Ứng dụng điện thoại giám sát robot gia đình: người dùng chỉ xác nhận thành công/thất bại sau mỗi lần robot làm việc (một chạm trên màn hình); đám mây tự truy xuất cách làm đúng từ hàng nghìn robot cùng loại để robot tự cải thiện dần theo từng nhà.
Hệ thống tự phục hồi cho đội robot dịch vụ: khi một robot trong đội gặp sự cố phần mềm hoặc cần bảo trì, hệ thống điều phối tự cô lập robot đó, khởi động lại và tiếp tục thu thập dữ liệu từ các robot còn hoạt động mà không gián đoạn quá trình huấn luyện.
Module học tập chéo cho robot lắp ráp trong nhà máy: các cụm robot ở các dây chuyền khác nhau chia sẻ kinh nghiệm thành công qua bộ nhớ chung; khi đổi linh kiện hoặc thay đổi công đoạn, robot tự tìm đoạn thao tác tương tự từng thành công để tinh chỉnh chương trình điều khiển.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25736
ArXiv Abstract	https://arxiv.org/abs/2610.25736
PDF Download	https://arxiv.org/pdf/2610.25736.pdf
Github Repository	N/A

7. OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory (97 votes)

Tác giả: Yu Zhou, Cheng-Fu Yang, Rui Sun, Di Wu, Sibo Peng, et al.

Xuất bản lúc: 2026-10-19

Tag: MLLMs, Visual Reasoning, Agentic AI, Tool Use, Multimodal Memory, Benchmarking

I. Main Problem:

Nhiều bài toán thị giác thực tế không thể giải bằng suy luận nội tại từ ảnh đầu vào: cần định vị vật nhỏ trong cảnh dày, tra cứu tri thức ngoài về thực thể hiếm, hoặc đo lường số học từ các kết quả trung gian. Nghiên cứu cho thấy chỉ tăng ngân sách suy luận có lợi ích rất hạn chế: nâng effort từ rất cao lên mức cao nhất làm chi phí token tăng khoảng 2.7 lần nhưng điểm trung bình chỉ tăng 0.7. Hai rào cản lớn là:

Các công cụ ngoài khác nhau về cách gọi và định dạng đầu ra như mask, depth map, trang web.
Mô hình cần dùng lại artifacts đã thu được ở bước trước, không chỉ đọc mô tả ngắn về chúng.

II. Main Idea:

OpenVLHarness là một multimodal reasoning harness gồm hai thành phần bổ trợ nhau:

Capability layer cung cấp interface ở mức tác vụ, che khác biệt giữa các backend như SAM 3, Grounding DINO, PaddleOCR-VL, công cụ tìm kiếm; đồng thời evidence rendering biến đầu ra thô thành quan sát mô hình đọc được: ảnh overlay, mô tả ngắn, tọa độ, bảng dữ liệu compact.
Persistent multimodal memory lưu ảnh, dữ liệu có cấu trúc và tham chiếu web dưới các handle tái sử dụng trong suốt một query; sau mỗi lượt, Environment Update liệt kê artifacts đang có để orchestrator gọi tiếp.
Coding Agent nhận mục tiêu bằng ngôn ngữ tự nhiên, sinh chương trình Python chạy trực tiếp trên dữ liệu đã lưu để kết hợp nhiều tool, ví dụ đo depth trong từng vùng đã grounding.

Cơ chế cốt lõi là lấy bằng chứng đa phương thức, làm nó đọc được, rồi truy cập lại bằng tên thay vì nhồi toàn bộ dữ liệu vào context. Giống như thợ sửa chữa không chỉ nhìn ảnh chụp căn phòng, mà còn đánh dấu tủ/cửa sổ, lưu thước đo và ảnh cận cảnh vào hộp đồ nghề, rồi mở lại từng món để đo khoảng cách thật.

III. Main Results:

Đánh giá trên 22 benchmark thuộc perception có grounding, visual search/deep research, VQA tổng quát/hallucination và spatial reasoning, với 8 backbone mở và proprietary.
Tăng trung bình 9.7–12.6 điểm so với baseline không dùng tool; cụ thể +11.2 với Qwen3-VL-8B, +9.7 với Kimi K3, +9.9 với GPT-6 Astra.
GPT-6 Luna ở medium reasoning effort cùng harness vượt base model, Codex và Visual Sketchpad ở maximum effort 7.7–8.5 điểm, trong khi chi phí model-token chỉ tối đa 37%.
Scaling thêm reasoning effort vẫn có lợi, cho thấy thu thập evidence và inference-time scaling bổ trợ nhau, không thay thế nhau.
Ablation xác nhận cả hai phần đều quan trọng: đầu ra tool phải usable và artifacts phải được retain/reuse.
Ví dụ định tính: đo khoảng cách 3D giữa tủ và cửa sổ bằng camera pose + depth + grounding; xác minh giải thưởng sản phẩm qua OCR, image search và webpage; sửa đếm thuốc bằng cách hợp nhất mask từ hai grounding query.

IV. Conclusion & Future Works:

OpenVLHarness cho thấy bước tiến quan trọng không nằm ở việc suy nghĩ lâu hơn, mà ở việc truy cập đúng evidence đa phương thức, render nó thành quan sát hữu ích và giữ lại artifacts để tính toán sau. Điểm mạnh là kiến trúc module hóa: thay backend, thay renderer hoặc thêm tool mà không đổi vocabulary của orchestrator. Hướng mở rộng: tinh chỉnh harness cho domain riêng bằng harness search và tool generation không cập nhật trọng số mô hình; mở rộng bộ tool/backend; tối ưu chi phí-latency; kiểm tra robustness khi tool lỗi hoặc evidence mâu thuẫn.

V. Brainstorming Space:

1. Publish Papers:

Chuẩn hóa interface tác vụ cho visual tool-use: một ontology chung cho grounding, OCR, depth, search và webpage visit, cho phép thay backend mà không đổi hợp đồng gọi tool của agent.
Nghiên cứu biểu diễn và định danh lại artifacts đa phương thức trong memory: cách trade-off giữa context ngắn, descriptor đủ dùng và khả năng truy xuất dữ liệu thô để tính toán chính xác.
Phát triển quy trình tự động chuyên biệt hóa visual agent bằng chỉnh prompt, mô tả tool, template đầu ra và sinh tool mới từ các capability có sẵn.

2. Patent:

Trợ lý ảnh trên điện thoại chụp một hiện trường, tự đánh dấu vật thể/chữ viết, lưu ảnh cận cảnh, kết quả đo và đường link nguồn, rồi cho phép người dùng hỏi tiếp kiểu 'đo khoảng cách giữa hai vật này' hoặc 'tổng hợp giá và thông tin từ các trang đã mở'.
Ứng dụng mua sắm bằng camera: chụp sản phẩm, trích xuất tên thương hiệu từ ảnh, tìm ảnh tương tự, mở trang chính thức và lưu bằng chứng để đối chiếu giá, phụ kiện hoặc giải thưởng trước khi trả lời.
Công cụ kiểm kê nhanh trên điện thoại cho kho hàng/quầy thuốc: phát hiện vật nhỏ, lưu mask và hộp bounding box, cho phép người dùng chạy đoạn tính tự động để hợp nhất các lần đếm bị trùng hoặc sót.
Trợ năng thị giác di động: người dùng chụp biển báo/hóa đơn/thiết bị, hệ thống giữ lại ảnh gốc, vùng chữ đã phóng to, dữ liệu đã trích xuất và nguồn tra cứu để trả lời các câu hỏi tiếp theo mà không cần chụp lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26860
ArXiv Abstract	https://arxiv.org/abs/2610.26860
PDF Download	https://arxiv.org/pdf/2610.26860.pdf
Github Repository	https://github.com/uclanlp/OpenVLHarness

Tác giả: Yihui Yang, Yuanhong Yu, Jiawei Wang, Zhongrui Yu, Jia Shi, et al.

Xuất bản lúc: 2026-10-19

Tag: Vision-Language Action, Robot Navigation, World Model, Diffusion Transformer, Video Pretraining, Internet Egocentric Videos, Sim-to-Real, Language-Conditioned Navigation

I. Main Problem:

Trong điều hướng cục bộ theo ngôn ngữ, robot phải nhận mệnh lệnh như “đi tới chiếc ghế đen” dựa trên mục tiêu nhìn thấy trong ảnh ban đầu, di chuyển tới và dừng đúng vị trí. Nút thắt:

Dữ liệu robot thật đa dạng môi trường rất đắt để thu thập.
Dữ liệu mô phỏng có nhãn hành động nhưng để lại khoảng cách mô phỏng–thực tế.
Video egocentric trên Internet phong phú và thật, nhưng không có nhãn hành động robot.
Các cách trước thường trích xuất quỹ đạo, mục tiêu hình học hoặc latent action, nên sai lệch ước lượng có thể lan vào chính sách điều khiển.

II. Main Idea:

ScaleNav học điều hướng theo hai mặt của một mô hình thống nhất: dự đoán quan sát tương lai và dự đoán cụm hành động thực thi. Kiến trúc chính dùng Diffusion Transformer chung, lấy chỉ dẫn ngôn ngữ, ảnh hiện tại, khung hình đầu tiên làm mốc và lịch sử cửa sổ trượt gần đây để sinh đồng thời video tương lai tùy chọn và chuỗi bước đi.

Quy trình ba giai đoạn:

Video pretraining: tiếp tục huấn luyện một mô hình video lớn trên 18.2K đoạn video egocentric kèm chỉ dẫn điều hướng, để học cảnh quan thay đổi thế nào khi camera tiến tới mục tiêu được mô tả.
Action alignment: dùng 2.6K tập mô phỏng có nhãn hành động để học đầu ra hành động khả thi, trong khi giữ phần lớn kiến thức video đã học; video thật được phát lại để tránh quên.
Joint fine-tuning: mở khóa toàn bộ các thành phần chính để tinh chỉnh đồng thời dự đoán video và hành động.

Khi chạy, robot nhận ảnh mới sau từng cụm hành động rồi dự đoán cụm tiếp theo cho tới khi dừng tại mục tiêu. Cơ chế này tránh phải suy ra pseudo-action từ video thật. Giống như học lái bằng cách trước tiên xem nhiều video để hiểu đường biến đổi khi xe tiến, sau đó tập trên mô phỏng để nối cảnh đó với tay lái/ga/phanh rồi mới lái xe thật.

III. Main Results:

Short-Horizon OVON: ScaleNav đạt 86.5% SR, 71.3% SPL, cao hơn các baseline được so sánh.
HabitatGS-LN: đạt 94.9% SR, 86.1% SPL; thêm video Internet so với phiên bản không dùng video cải thiện +5.3 và +4.5 điểm phần trăm trên hai benchmark.
Triển khai Unitree Go2: 83.3% SR tổng thể sau 60 lượt thử; riêng Hall 85%, Lounge 85%, Office 80%.
Hiệu năng suy luận: khoảng 76 ms trên mỗi hành động thực thi trên RTX 4090.
Ablation quan trọng: bỏ video pretraining giảm SR trên HabitatGS-LN từ 94.9% xuống 90.4%; bỏ khung hình mốc ban đầu giảm còn 89.8%; dùng pseudo-action từ video thật chỉ đạt 73.9%, cho thấy cách học trực tiếp từ video an toàn hơn.

IV. Conclusion & Future Works:

ScaleNav cho thấy video egocentric trên Internet có thể là nguồn học điều hướng quy mô lớn nếu dùng đúng: học trước động lực học trực quan theo chỉ dẫn, sau đó căn chỉnh sang hành động bằng dữ liệu mô phỏng có nhãn. Điều này cải thiện cả tỉ lệ thành công và hiệu quả đường đi, đồng thời chuyển được sang robot thật. Giới hạn: đánh giá tập trung trong nhà tới vật thể nhìn thấy ngay từ đầu. Hướng tiếp theo: kiểm chứng ngoài trời và với mục tiêu cấp vùng/khu vực thay vì chỉ vật thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng từ vật thể sang mục tiêu vùng như góc phòng, lối đi, khu vực chức năng trong nhà.
Kết hợp mô hình cục bộ với planner dài hạn dựa trên ngôn ngữ lớn, trong đó mỗi chặng là mục tiêu nhìn thấy được.
Nghiên cứu học liên tục từ video mới trên Internet nhưng vẫn giữ an toàn, tránh nhiễu nhãn giả.

2. Patent:

Ứng dụng điện thoại điều hướng robot trong nhà: người dùng chụp ảnh và nói “lấy vật trên bàn gần cửa sổ”; điện thoại hoặc robot dùng mô hình dự đoán cảnh và hành động để đi tới đúng vị trí, nhận ảnh liên tục rồi điều chỉnh từng đoạn ngắn.
Kính hoặc điện thoại hỗ trợ người khiếm thị: thiết bị quay cảnh trước mặt, nhận lệnh “dẫn tôi tới ghế trống”, tạo chuỗi bước nhỏ và phản hồi khi tới nơi.
Robot giao hàng trong siêu thị hoặc kho: nhận mô tả như “kệ thứ hai bên trái”, dự đoán luồng cảnh tương lai để chọn đường, đồng thời sinh lệnh di chuyển từng đoạn và dừng khi đến vị trí mô tả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25690
ArXiv Abstract	https://arxiv.org/abs/2610.25690
PDF Download	https://arxiv.org/pdf/2610.25690.pdf
Github Repository	https://github.com/MachEmbodied/ScaleNav

9. SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum (80 votes)

Tác giả: Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, et al.

Xuất bản lúc: 2026-10-19

Tag: Representation Learning, Embedding Compression, Matryoshka Representation Learning, Sentence Embeddings, Contrastive Learning, Eigen Decomposition, Dimension Reduction, Retrieval Efficiency

I. Main Problem:

Matryoshka Representation Learning (MRL) cho phép embedding linh hoạt kích thước bằng cách lấy các prefix lồng nhau của vector đầy đủ — giống búp bê matryoshka, nhưng không có ràng buộc nào bảo đảm chiều nào quan trọng hơn chiều nào:

Phần đầu vector không được tổ chức để chứa thông tin quan trọng nhất, nên việc cắt prefix ở chiều thấp chất lượng kém.
Các cải tiến trước (ESE, MIPIC) chỉ thêm supervision giữa các chiều, giữ nguyên hệ tọa độ gốc vốn bất lợi cho truncation.
Thách thức kỹ thuật khi dùng eigen decomposition trực tiếp: chi phí tính toán cao và gradient của eigenvector mất ổn định khi các eigenvalue xấp xỉ nhau.

II. Main Idea:

Thay vì giữ prefix trong hệ tọa độ gốc, SpecMRL học một ma trận W_Proj (D×R, với R ≫ D) và lấy eigen decomposition của Gram matrix W_Proj·W_Projᵀ để thu được một cơ sở phổ (spectral basis) đã sắp xếp theo độ quan trọng (eigenvalue giảm dần). Prefix readout sau đó lấy các thành phần đầu trong không gian phổ này:

X(m)_Spec = X · U[:,1:m] thay cho X[:,:m] của MRL; phần còn lại của pipeline (contrastive loss Matryoshka) giữ nguyên.
Giải eigenvector bằng power iteration khởi động ấm: mỗi bước chỉ 1 phép nhân ma trận + QR orthogonalization, tránh gradient eigenvector mất ổn định.
Over-parameterization (R = 128D) cho phép mô hình similarity tinh hơn mà không phải chạy MRL ở chiều R.

Ví dụ đời thường: giống như thay vì đọc một cuốn sách từ trang đầu, bạn xếp lại các chương theo mức độ quan trọng — càng cần tóm tắt gọn, bạn chỉ giữ lại vài chương đầu tiên vẫn chứa đủ ý chính.

III. Main Results:

Vượt MRL ở mọi chiều giảm, càng nén mạnh càng lớn: lên tới +3.80 điểm MTEB ở tỷ lệ nén 16× (Qwen3-0.6B), +2.58 ở 8×, +1.88 ở 4×; nhất quán trên Qwen3-0.6B, Qwen2-0.5B, Llama3.2-1B.
Đẩy ranh giới hiệu năng: SpecMRL với một nửa chiều (τ=2) vượt cả MRL dùng chiều đầy đủ.
So với các biến thể MRL khác (ESE/L2C, MIPIC/SIA): SpecMRL tốt nhất ở mọi τ; ESE thậm chí sụt mạnh trên tác vụ classification.
Hiệu quả: overhead huấn luyện chỉ ~0.6% (power iteration vs 3-8% với SVD/Eigh), overhead encoding suy luận 0.36%, tăng tốc retrieval FAISS tới 1.86× khi giảm nửa chiều.
Khả năng mở rộng: lợi thế giữ nguyên trên Qwen3-4B (tới +3.31 ở 128 chiều) và trong huấn luyện kéo dài; tồn tại khi bỏ supervision một số chiều (tới +7.29 ở 64 chiều).
Ablation: chỉ Gram matrix (không eigen) kém xa; chỉ học orthogonal basis (không sắp xếp phổ) cũng kém — chính thứ tự phổ theo độ quan trọng mới là yếu tố then chốt; basis từ feature thay vì tham số (FeatMRL) luôn thua SpecMRL.

IV. Conclusion & Future Works:

SpecMRL chứng minh rằng tổ chức lại không gian biểu diễn trong một cơ sở phổ có thứ tự — thay vì thêm ràng buộc loss — là hướng hiệu quả hơn để hiện thực hóa ý tưởng gốc của MRL, với chi phí gần như bằng không và tương thích drop-in. Điểm còn hạn chế: các dải spectral cuối (eigenvalue nhỏ nhất) gây sụt hiệu năng bất ngờ, do phá vỡ tính đẳng hướng (isotropy) của embedding. Hướng tương lai: thiết kế nguyên tắc hơn cho việc huấn luyện embedding tránh hiện tượng này, và kiểm chứng khả năng scale với mô hình lớn hơn và ngân sách tính toán lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Phân tích lý thuyết về hiện tượng suy giảm ở các dải spectral có eigenvalue nhỏ nhất và đề xuất kỹ thuật regularization nhắm vào tính đẳng hướng của không gian embedding khi dùng spectral readout.
Mở rộng SpecMRL sang mô hình ngôn ngữ đa phương thức và embedding đa ngôn ngữ, kiểm chứng cơ sở phổ tham số có tổng quát hóa qua các phân bố ngôn ngữ và phương thức khác nhau hay không.
Kết hợp spectral basis học được với quantization và product quantization để đạt nén embedding cực mạnh (chiều thấp + bit thấp) cho hệ thống retrieval quy mô tỷ tài liệu.
Áp dụng thiết kế cơ sở phổ có thứ tự cho bài toán adapter/frozen-model MRL, nơi backbone cố định và chỉ các lớp nhẹ được huấn luyện.

2. Patent:

Dịch vụ tìm kiếm trên điện thoại với bộ nhớ tiết kiệm: máy chủ huấn luyện một ma trận chiếu phổ, sau đó điện thoại chỉ tải về và lưu nửa số chiều embedding; ứng dụng tìm kiếm ảnh/tin nhắn chạy nhanh gần gấp đôi mà độ chính xác không đổi, tiết kiệm dung lượng lưu trữ và pin.
Hệ thống gợi ý thay đổi kích thước embedding theo tình trạng mạng: khi mạng yếu, server tự động cắt về prefix phổ ngắn để gửi về thiết bị; khi mạng tốt, gửi đầy đủ — cùng một bản embedding phục vụ nhiều mức chất lượng dịch vụ mà không cần mô hình riêng.
Trợ lý AI trên thiết bị đeo: embedding văn bản được nén theo phổ học trước, cho phép tra cứu ngữ cảnh cá nhân cục bộ trên chip nhỏ với độ trễ thấp, mở rộng được bộ nhớ hội thoại lịch sử gấp nhiều lần trong cùng bộ nhớ.
Nền tảng SaaS truy xuất văn bản tính phí theo mức nén: khách hàng chọn mức chiều embedding (đầy đủ, một nửa, một phần tư) quyết định giá lưu trữ và tốc độ truy vấn, tất cả sinh từ một lần huấn luyện duy nhất nhờ basis phổ có thứ tự.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26824
ArXiv Abstract	https://arxiv.org/abs/2610.26824
PDF Download	https://arxiv.org/pdf/2610.26824.pdf
Github Repository	https://github.com/CentreChen/Spec-MRL

10. Self-Evolving Coding Agents via Harness-Policy Optimization (43 votes)

Tác giả: Zhepei Wei, Wenlin Yao, Baolin Peng, Danqing Wang, Qianhui Wu, et al.

Xuất bản lúc: 2026-10-16

Tag: LLM Agents, Coding Agents, Reinforcement Learning, Agent Harness, Self-Improvement, RLVR, Software Engineering

I. Main Problem:

Agent lập trình bằng LLM gồm hai thành phần: policy model (quyết định hành vi) và harness (khung ngoài điều khiển model nhìn thấy gì, thực thi hành động thế nào, nhận phản hồi ra sao, khi nào dừng). Hai thành phần này bổ trợ lẫn nhau, nên chỉ tối ưu một bên là thiếu sót:

Chỉ tối ưu harness (giữ policy cố định): không nâng cấp được năng lực cốt lõi của model.
Chỉ tối ưu policy (giữ harness cố định): model chỉ học từ những quỹ đạo mà harness hiện tại khai thác được — harness không còn khớp với failure modes mới của policy sau khi cập nhật.
Các phương pháp tối ưu đồng thời hiện có phụ thuộc proposer bên ngoài và gặp khó với mục tiêu tối ưu luôn thay đổi theo policy.

II. Main Idea:

Self-HPO là khung tự cải tiến đệ quy: luân phiên tối ưu harness (H-step) và policy (P-step), trong đó chính policy đang tiến hóa đóng vai trò harness proposer.

H-step (harness search): policy hiện tại đóng băng, tự phân tích các trajectory thất bại trên tập search set, rồi đề xuất K ứng viên harness cải tiến (sửa prompt hoặc logic runtime); chọn harness tốt nhất theo điểm trên search set.
P-step (policy training): đóng băng harness vừa chọn, cập nhật policy bằng reinforcement learning với phần thưởng nhị phân từ verifier có thể chạy được (kết hợp GRPO + Balanced Adaptive Rollout để giảm nhóm rollouts toàn-thất-bại).
Search set tiến hóa: các task không bao giờ được giải trong P-step trở thành search set của vòng H-step kế tiếp, giúp harness search luôn bám theo failure modes mới nhất của policy thay vì tập task cố định.
Vòng lặp lặp lại cho đến khi tập hard task ổn định; có thể dùng policy tự đề xuất (Self-HPO) hoặc model mạnh bên ngoài (Opus 4.8) làm proposer.

Ví dụ đời thường: giống một thợ sửa xe tự rà soát lỗi mình hay mắc, tự đóng thêm 'dụng cụ hỗ trợ' (harness) để tránh lỗi đó, rồi luyện tay nghề (policy) với dụng cụ mới; lần luyện sau lại nhận ra lỗi mới và làm dụng cụ tiếp — cứ thế tự nâng cấp cả tay nghề lẫn dụng cụ.

III. Main Results:

Với base là Qwen3.5-35B-A3B + mini-SWE-agent, đánh giá trên SWE-Bench Verified / Multilingual / Pro:

Self-HPO (tự cải tiến): resolve rate trung bình tăng 57.8% → 64.8%; SWE-Verified 61.0% → 69.5% (+2.0 so với RLVR policy-only, +4.3 so với Self-Harness harness-only). Gains khái quát tốt ra ngoài phân phối (SWE-Multi +5.5, SWE-Pro +6.9 so với Base).
Với Opus 4.8 làm proposer (HPO): SWE-Verified đạt 71.6%, vượt Meta-Harness (+2.5) — tối ưu harness từ model mạnh hiệu quả hơn SFT distillation (SFT còn thua cả Base ngoài phân phối).
Hai thành phần bổ trợ nhau: dùng riêng, harness tối ưu và policy tối ưu mỗi cái tăng ~3.5 và ~3.4 điểm; kết hợp tăng 8.5 điểm — vượt tổng lợi ích riêng lẻ (+1.6).
Tăng cả độ tin cậy lẫn giới hạn năng lực: pass@1 cải thiện mạnh trên task Medium/Easy (+17.2/+12.9) và Hard (+6.1); pass@8 tăng 80.0% → 84.8%. Tỉ lệ nhóm rollout toàn-thất-bại khi training giảm còn ~6.5% so với 11–17% của RLVR.
Ablation: RL trong P-step tốt hơn SFT (−4.4) và RFT (−1.1); search set tiến hóa tốt hơn search set cố định (+1.5); self-proposer chỉ thua proposer ngoài 2.1 điểm — không cần model bên ngoài.
Harness tiến hóa thực tế: thêm các cơ chế như cảnh báo sắp hết budget, chặn patch rỗng (yêu cầu git add -N), kiểm tra API/signature trước khi nộp, và fallback dùng git diff của sandbox khi patch không apply được.

IV. Conclusion & Future Works:

Self-HPO chứng minh harness và policy nên được tối ưu cùng nhau theo vòng lặp đệ quy, với policy tự làm proposer cho harness của chính nó và tập hard task tiến hóa giữ cho harness search luôn bám theo failure modes mới. Khung này vượt mọi baseline một thành phần, khái quát ra ngoài phân phối, đồng thời cải thiện cả pass@1 lẫn pass@k. Hướng mở: giảm khoảng cách với proposer ngoài mạnh hơn, mở rộng sang các loại agent khác ngoài coding, và nghiên cứu thêm tiêu chí dừng vòng lặp.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát sâu cơ chế bổ trợ giữa harness và policy: tại sao lợi ích kết hợp vượt tổng lợi ích riêng lẻ, và khi nào vòng lặp H-step/P-step bão hòa.
Áp dụng Self-HPO cho agent ngoài lĩnh vực coding (web navigation, computer use) với verifier tương ứng để kiểm chứng tính tổng quát của khung.
Nghiên cứu cách rút ngắn khoảng cách 2.1 điểm giữa self-proposer và proposer ngoài (ví dụ kết hợp bài học từ nhiều vòng self-improvement vào prompt đề xuất harness).
Phát triển tiêu chí dừng vòng lặp thay thế 'hard-task set ổn định', ví dụ dựa trên tiến bộ marginal của resolve rate qua các round.

2. Patent:

Hệ thống tự cải tiến cho trợ lý lập trình trên điện thoại: ứng dụng IDE di động tự ghi lại các lần sửa lỗi thất bại, tự đề xuất luồng làm việc mới (cách đặt câu hỏi, cách chạy kiểm thử) rồi tinh chỉnh mô hình gợi ý code trên thiết bị hoặc đám mây theo luồng đó.
Trợ lý debug tự học trên máy lập trình viên: mỗi khi không sửa được lỗi, trợ lý tự phân tích nguyên nhân và thêm 'luật canh chừng' mới (ví dụ nhắc chạy test trước khi nộp patch, tự thêm file mới vào git) rồi tự huấn luyện lại từ các lần thành công.
Nền tảng CI/CD tự tối ưu: hệ thống tự đánh giá bot sửa lỗi của mình trên tập issue khó nhất chưa từng giải được, tự viết lại kịch bản tiếp cận issue (harness) và cập nhật model sửa lỗi (policy) theo vòng lặp định kỳ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.22791
ArXiv Abstract	https://arxiv.org/abs/2610.22791
PDF Download	https://arxiv.org/pdf/2610.22791.pdf
Github Repository	https://github.com/MSR-Orchard/Self-HPO

11. CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents (39 votes)

Tác giả: Zhongwei Xie, Yiming Du, Jiaxin Bai, Baixuan Xu, Chunyang Li, et al.

Xuất bản lúc: 2026-10-18

Tag: AI Agents, Agent Training, Synthetic Environments, Supervised Fine-Tuning, Reinforcement Learning, Tool Use, Long-Horizon Tasks

I. Main Problem:

Huấn luyện AI coworkers (trợ lý AI làm việc thực thi tác vụ nghề nghiệp) đòi hỏi dữ liệu huấn luyện phải phản ánh các phụ thuộc phức tạp của công việc thật:

Thông tin để hoàn thành một workflow phân tán giữa tài liệu, hồ sơ dịch vụ (CRM, helpdesk, email, tài chính) và trạng thái môi trường thay đổi liên tục.
Yêu cầu của người dùng, dữ liệu nền và các công cụ được phép dùng phải khớp nhau một cách mạch lạc — ví dụ hồ sơ cùng một khách hàng phải nhất quán xuyên suốt các dịch vụ.
Chỉ có câu trả lời cuối hợp lý thì chưa đủ: phải kiểm chứng được bản cập nhật đúng đã xảy ra và hành động bị cấm đã được tránh.
Thiếu pipeline tổng hợp có thể thực thi được (executable) và được kiểm chứng tự động cho các tác vụ coworker dài hạn.

II. Main Idea:

CoworkEnv là framework tổng hợp môi trường huấn luyện khả thi cho AI coworkers, dẫn hướng theo capability (năng lực mục tiêu do developer chọn). Quy trình chính:

Capability-guided synthesis: dịch năng lực mục tiêu thành kế hoạch phủ sóng (tổ hợp dịch vụ, độ khó, kịch bản nghiệp vụ); LLM sinh yêu cầu người dùng, hồ sơ dịch vụ ban đầu, các completion checks có cấu trúc và danh sách hành động bị cấm. Mỗi tác vụ là bộ T = (request, initial state, tool interfaces, grading checks).
Liên kết thông tin xuyên dịch vụ: dữ liệu liên quan được phân tán cố ý (ticket + CRM + knowledge base); có distractor (hồ sơ gây nhiễu trông gấp nhưng sai điều kiện).
Safety scenarios theo thiết kế Generator–Discriminator: Generator soạn nội dung, Discriminator (context riêng) định nghĩa checks và hành động cấm.
Validation & feedback repair: kiểm tra tự động (parse, trọng số chấm điểm, xung đột công cụ, rò rỉ đáp án trong request) + cổng kiểm tra tính nhất quán của grader; khi fail, gửi chẩn đoán lại cho generator sửa.
Hai đường dùng chung một môi trường: teacher execution (mô hình mạnh chạy qua adapter Claude Code trong Harbor) thu thập trajectory có điểm để làm SFT; student interaction tạo rollouts, grader tính reward online để làm RL (GRPO, Dr.GRPO, GDPO, GiGPO).

Ví dụ đời thường: giống một trường dạy nghề tự dựng các phòng mô phỏng — kịch bản, hồ sơ khách hàng, dụng cụ và bảng chấm điểm đều khớp nhau — để thợ giỏi diễn mẫu cho học viên bắt chước (SFT), còn học viên tự làm thử và được chấm điểm từng lần sai (RL).

III. Main Results:

SFT trên Claw-Eval (Qwen3-VL-8B-Instruct → PocketWorker-8B): Overall tăng từ 46.6 lên 64.1 (+17.5); riêng Multi-turn tăng +31.9 (45.9 → 77.8), tiệm cận khoảng điểm của các frontier model.
ClawMark (mở rộng chỉ với SFT): tăng từ 11.8 lên 19.4 (+7.6) — cho thấy framework áp dụng được cho benchmark coworker khác.
RL sau warm-up: GRPO +10.0, GDPO +10.6, GiGPO +14.1 Overall; lợi ích lớn nhất ở Multi-turn (GDPO +29.0). GiGPO tốt trên General, GRPO tốt hơn trên Multimodal — lợi ích RL phụ thuộc loại năng lực tác vụ.
Ablation quy mô dữ liệu: 20% → +4.2, 50% → +9.0, 100% → +17.5 Overall, xác nhận tăng dữ liệu supervision giúp ích.
Bản 4B: Overall tăng +8.3 (33.9 → 42.2), Multi-turn +9.9.
Training rewards tăng qua ~3 epochs với nhiều phương pháp RL — bằng chứng sơ bộ môi trường tổng hợp hỗ trợ policy optimization.

IV. Conclusion & Future Works:

CoworkEnv cho thấy việc căn chỉnh request, trạng thái dịch vụ, tool interfaces và grading checks trong một pipeline có kiểm chứng tự động tạo ra nền tảng dùng chung cho cả imitation (SFT) lẫn learning from interaction (RL) với mô hình nhỏ. Hướng tương lai (qua phần Lessons chia sẻ cho nhóm nghiên cứu ít tài nguyên):

hiểu cách khác biệt giữa các harness ảnh hưởng kết quả huấn luyện và lỗi training–inference mismatch
cải thiện credit assignment và tối ưu RL trên môi trường dài hạn
sẽ công khai datasets, pipeline xây dựng và các bài học kỹ thuật để cộng đồng tái sử dụng

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu quy trình sửa chữa phản hồi (feedback repair) tinh vi hơn cho đặc tả tác vụ tổng hợp, giảm số vòng regenerate và nâng tỷ lệ tác vụ qua cổng kiểm chứng grading consistency.
Phân tích hệ thống ảnh hưởng của agent harness và training–inference mismatch tới chất lượng SFT/RL, đề xuất chuẩn thống nhất cho pipeline huấn luyện coworker.
Khảo sát chiến lược credit assignment cho tác vụ long-horizon: phân bổ reward theo từng bước công cụ thay vì reward tổng cuối episode trên môi trường CoworkEnv.
Mở rộng tổng hợp môi trường sang tác vụ an toàn chủ động (proactive safety), nơi agent phải tự nhận diện và từ chối hành động rủi ro mà không cần rào chắn cứng.

2. Patent:

Nền tảng tạo môi trường mô phỏng đào tạo nhân viên AI cho doanh nghiệp trên điện thoại: quản lý chọn năng lực cần đào tạo (xử lý đơn hàng, chăm sóc khách hàng), hệ thống tự sinh kịch bản, hồ sơ khách hàng giả và bảng chấm điểm có thể chạy thật, giúp huấn luyện trợ lý AI nội bộ mà không cần dữ liệu khách hàng thật.
Cơ chế kiểm chứng tự động cho tác vụ có công cụ: trước khi đưa vào huấn luyện, hệ thống giả lập các cuộc gọi công cụ mẫu để chắc chắn bộ chấm điểm cho điểm tối đa khi làm đúng, điểm 0 khi bỏ trống và 0 điểm an toàn khi gọi hành động bị cấm — có thể triển khai như dịch vụ kiểm thử chất lượng dữ liệu huấn luyện agent.
Phương pháp dạng Generator–Discriminator an toàn trên điện thoại: một module soạn nội dung tác vụ còn module độc lập (với ngữ cảnh riêng) định nghĩa điều kiện hoàn thành và hành động cấm, dùng để huấn luyện trợ lý AI nhận diện gian lận (email lừa đảo chuyển tiền, yêu cầu giả mạo) trước khi cho ra mắt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24960
ArXiv Abstract	https://arxiv.org/abs/2610.24960
PDF Download	https://arxiv.org/pdf/2610.24960.pdf
Github Repository	https://github.com/HKUST-KnowComp/CoworkEnv

12. MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion (36 votes)

Tác giả: Houyuan Chen, Fanzhou Wang, Xiangyu Fan, Zesong Qiu, Yukun Wei, et al.

Xuất bản lúc: 2026-10-18

Tag: Multi-Turn Image Editing, Diffusion Distillation, Autoregressive Diffusion, Unified Multimodal Models, Distribution Matching Distillation, Flow Matching

I. Main Problem:

Chỉnh sửa ảnh nhiều lượt (multi-turn image editing) cho phép người dùng cải tiến ảnh qua một chuỗi chỉ dẫn, nhưng các mô hình hiện tại bị trôi (drift) sau chỉ vài lượt, thể hiện ở hai mặt:

Chất lượng hình ảnh không ổn định: artifact tích lũy dần, chi tiết và kết cấu cục bộ ngày càng xuống cấp.
Nội dung ảnh không nhất quán: vùng không được yêu cầu sửa bị thay đổi ngoài ý muốn, các chỉnh sửa ở lượt trước bị mất.

Nguyên nhân cốt lõi là exposure bias: huấn luyện thì mô hình điều kiện hóa trên lịch sử chuẩn, còn suy luận thì phải tự điều kiện hóa trên chính kết quả có lỗi của mình — sai lệch này lặp lại và bị khuếch đại qua từng lượt.

II. Main Idea:

MT Forcing là paradigm huấn luyện mới cho các unified multimodal models (UMMs) dựa trên autoregressive diffusion, gồm hai thành phần bổ trợ nhau:

Single-Turn DMD: thay vì để lỗi tích lũy qua nhiều lượt, ta gộp mọi chỉ dẫn từ đầu đến lượt i thành một bundled prompt duy nhất (ví dụ 'thêm bình hoa' + 'tôi màu xanh' → 'thêm bình hoa xanh'). Teacher dùng prompt gộp để thực hiện tất cả chỉnh sửa tích lũy trong một lượt từ ảnh gốc, tạo ra phân phối chất lượng cao không chứa lỗi qua lượt. Student tự chạy rollout đa lượt (điều kiện hóa trên lịch sử tự sinh, thông tin phong phú hơn), và loss Distribution Matching Distillation (DMD) căn chỉnh phân phối đầu ra của student với phân phối một-lượt của teacher ở mỗi lượt.
Teacher-Forcing Guidance: khớp phân phối biên (marginal) ở mỗi lượt không đảm bảo tính nhất quán nội dung qua lượt (vì prompt gộp không cố định chi tiết hình ảnh đã thiết lập ở lượt trước). Vì vậy tác giả thêm supervision bằng flow matching trên các reference trajectories nhất quán, theo 2 giai đoạn: warmup (fine-tune có giám sát trước khi distill) và regularization (giữ supervision với trọng số nhỏ λ trong quá trình distill để neo hành vi phụ thuộc lịch sử).

Ví dụ đời thường: giống việc dạy thợ sửa ảnh — thay vì để học viên tự sửa dần qua 8 bước rồi chấm điểm mơ hồ, thầy giáo làm luôn phiên bản 'hoàn chỉnh sau 8 yêu cầu' trong một lần làm mẫu để học viên so sánh từng bước của mình với bản mẫu đó, đồng thời luyện thêm trên các chuỗi sửa ảnh chuẩn để tay nghề giữ đúng chi tiết cũ không bị đổi sai.

III. Main Results:

Đánh giá trên MTEdit-Bench (100 phiên, mỗi phiên 8 lượt chỉnh sửa liên tiếp) với hai mô hình nền SenseNova-U1 và SenseNova-U1.5; metrics: Instruction Following (IF), Content Consistency (CC), Drift Robustness Score (DRS), và metric mới Pixel (đo độ lệch hình học giữa các ảnh liên tiếp bằng MatchAnything-RoMa).
MT Forcing vượt cả hai baseline ở cả 4 metrics từ lượt 4 trở đi, lợi thế càng rõ ở các lượt cuối. Tại lượt 8: IF/CC tăng +7.45/+6.82 (U1) và +4.65/+4.46 (U1.5).
Trên U1.5, DRS được giữ ổn định quanh 4.20–4.35 trong suốt phiên, trong khi baseline tụt từ 4.09 xuống 3.03; Pixel trung bình 8 lượt giảm 88.4% (6.34 → 0.74).
Ablation: từng thành phần riêng lẻ (chỉ DMD hoặc chỉ Guidance) đều cải thiện so với baseline, nhưng kết hợp đủ hai cái đạt tốt nhất (IF 9.66, CC 8.40, DRS 4.30, Pixel 0.74) — xác nhận vai trò bổ trợ: DMD lo chất lượng hình, Guidance lo nhất quán nội dung.
Trọng số regularization λ cần nhỏ (0.1–0.25); λ lớn gây nhòe chi tiết.

IV. Conclusion & Future Works:

MT Forcing cho thấy có thể kết hợp học trên lịch sử tự sinh (distribution matching) với supervision trên quỹ đạo chuẩn (teacher forcing) để chỉnh sửa ảnh nhiều lượt vừa ổn định về chất lượng vừa nhất quán về nội dung. Single-Turn DMD giải quyết trôi chất lượng mà không cần teacher hai chiều (vốn không tồn tại cho bài toán này), còn Teacher-Forcing Guidance bảo vệ sự phụ thuộc lịch sử–đầu ra mà mục tiêu khớp phân phối biên không phân biệt được. Kết quả cải thiện rõ nhất ở các lượt muộn, đúng nơi drift tồi tệ nhất. Phần kết luận không nêu hướng nghiên cứu tiếp theo cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng MT Forcing sang bài toán chỉnh sửa video nhiều lượt, nơi tính nhất quán tạm thời và không gian qua các lượt còn khắt khe hơn ảnh tĩnh.
Tự động học cách tổng hợp bundled prompt từ chuỗi chỉ dẫn tích lũy (bằng mô hình ngôn ngữ) thay vì dùng quy tắc reorganize thủ công, để teacher một lượt thực hiện đúng ý đồ sửa đổi dài hạn.
Kết hợp Single-Turn DMD với cơ chế bộ nhớ/KV-cache chọn lọc để duy trì nhất quán nội dung cho các phiên chỉnh sửa rất dài (hàng chục lượt).

2. Patent:

Ứng dụng chỉnh s ảnh nhiều bước trên điện thoại: người dùng gõ nhiều yêu cầu sửa ảnh liên tiếp ('đổi màu xe', 'thêm vũng nước'...); ứng dụng nội bộ gộp các yêu cầu thành một mô tả tổng, dùng mô hình tham chiếu tạo ảnh chuẩn một lần, rồi tinh chỉnh kết quả từng bước theo ảnh chuẩn để ảnh sau nhiều lần sửa vẫn nét và không bị đổi sai chi tiết cũ.
Trình sửa ảnh quảng cáo/thương mại điện tử: người dùng duyệt qua nhiều biến thể chỉnh sửa một sản phẩm (đổi màu, thêm phụ kiện, đổi nền); hệ thống giữ logo và đặc điểm nhận diện sản phẩm không đổi suốt mọi lượt bằng cơ chế giám sát theo quỹ đạo chuẩn.
Công cụ retouch chân dung nhiều lần: mỗi lượt người dùng yêu cầu một thay đổi nhỏ (làm mịn da, đổi màu tóc, thêm phụ kiện); máy chủ căn chỉnh từng bước với phiên bản hoàn chỉnh tổng hợp từ ảnh gốc để khuôn mặt, nét cá nhân không bị méo dần sau nhiều lần chỉnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25404
ArXiv Abstract	https://arxiv.org/abs/2610.25404
PDF Download	https://arxiv.org/pdf/2610.25404.pdf
Github Repository	https://github.com/houyuanchen111/MT-Forcing

13. Interlock: From Local Correctness to Task Completion in Long-Horizon Agents (33 votes)

Tác giả: Linji Hao, Yanji He, Zihan Wang, Hansi Yang, Jiayuan Zhang, et al.

Xuất bản lúc: 2026-10-14

Tag: LLM Agents, Long-Horizon Agents, Task Synthesis, Agent Training, Rejection Sampling Fine-Tuning, Agent-as-Judge

I. Main Problem:

Các agent LLM thực hiện tác vụ dài hạn (long-horizon) thường đúng ở từng bước nhưng thất bại ở kết quả cuối cùng — ví dụ đặt vé máy bay đúng nhưng quên cập nhật lịch trình và ngân sách. Nguyên nhân:

hoàn thành tác vụ phụ thuộc vào quan hệ giữa bằng chứng môi trường, quyết định và hiệu ứng hạ nguồn, chứ không chỉ từng yêu cầu riêng lẻ
một quyết định sớm có thể ràng buộc công việc hoàn thành nhiều bước sau đó; thay đổi một phân bổ đòi hỏi chỉnh sửa đồng loạt nhiều artifact
dữ liệu huấn luyện tổng hợp hiện có kiểm chứng tính đúng đắn cục bộ nhưng không đảm bảo tính hoàn chỉnh (completion) của toàn bộ nghĩa vụ có điều kiện.

II. Main Idea:

INTERLOCK biểu diễn mỗi tác vụ dài hạn thành một typed completion graph gồm ba quan hệ:

Grounding: nối bằng chứng/quy tắc công khai tới quyết định chúng hỗ trợ
Coupling: hyperedge ép các thành phần phải thỏa một ràng buộc chung (ví dụ nhiều phân bổ chung một ngân sách)
Realization: nối mỗi quyết định tới mọi hiệu ứng hạ nguồn bắt buộc phải phản ánh nó

Quy trình: ba agent chuyên trách biên dịch cùng một graph thành workspace resettable + yêu cầu công khai + rubric riêng, kèm bản đồ carrier trỏ vị trí từng yêu cầu trong từng artifact. Hai lớp review bổ sung nhau: source-coverage (yêu cầu gốc có sống sót qua quá trình sinh không) và public-input (tiêu chí chấm có được hỗ trợ bởi vật liệu solver thấy được không). Trajectory chỉ được giữ lại huấn luyện khi agent-as-judge (có quyền ghi/chạy script kiểm chứng) xác nhận mọi tiêu chí bắt buộc đều pass — rồi mỗi backbone (Qwen3.6-27B, 35B-A3B) fine-tune trên chính rollout được chấp nhận của nó (rejection-sampling FT).

Ví dụ đời thường: giống kiểm toán viên không chỉ xem từng hóa đơn có khớp sổ không, mà còn đối chiếu hóa đơn → quyết định chi → và rà soát mọi sổ sách phải ghi nhận khoản chi đó, đồng thời kiểm các khoản chi có tuân cùng một giới hạn ngân sách chung.

III. Main Results:

Interlock-RFT vượt cả checkpoint gốc lẫn ClawGym-SFT ở mọi benchmark, cả hai backbone:
Qwen3.6-27B: AutomationBench +4.00 điểm %, JobBench Main +4.35, JobBench Easy +6.64, Harvey LAB +3.89
Qwen3.6-35B-A3B: AutomationBench +4.50 điểm %, JobBench Main +3.20, Easy +4.31, Harvey LAB +4.16
Mở rộng số domain huấn luyện (16→128 domain, cố định 8.957 trajectory) cải thiện đều đặn cả 4 metric — tính đa dạng tác vụ giúp học hành vi completion khái quát
Agent-as-judge > LLM-as-judge văn bản khi cùng pool rollout: cải thiện cả 4 metric chỉ với ~11% token kiểm chứng thêm — cho phép mở file và chạy script tính lại kết quả
Tác vụ dài hạn thật sự: trajectory trung bình 84.293 token, 27.6 lượt assistant, 42.1 tool calls — gấp 5.6×, 2.3×, 2.9× so với ClawGym
Kết quả chuyển giao tốt sang 3 benchmark OOD độc lập (API execution, deliverable nghề nghiệp, pháp lý).

IV. Conclusion & Future Works:

INTERLOCK chứng minh rằng bằng cách làm quan hệ completion (grounding–coupling–realization) thành ràng buộc tổng hợp tác vụ tường minh và chỉ huấn luyện trên các execution hoàn chỉnh đã được kiểm chứng thực thi, kinh nghiệm tổng hợp có thể chuyển giao sang tác vụ do người khác soạn, vượt xa mô hình gốc và baseline SFT trên dữ liệu released. Đây là bằng chứng rằng chất lượng completion, không chỉ độ dài tương tác, là yếu tố mang lại giá trị huấn luyện cho agent dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng completion graph cho tác vụ nhiều agent: các agent phân vai chia sẻ cùng một graph nghĩa vụ, đảm bảo quyết định của agent này được realization đầy đủ trong artifact của agent kia.
Học tăng cường dựa trên rubric completion: thưởng phạt agent theo mức độ thỏa từng quan hệ grounding/coupling/realization thay vì reward nhị phân cuối episode.
Tự tiến hóa curriculum: dùng agent-as-judge để phát hiện kiểu completion failure thống kê và điều chỉnh ưu tiên sinh tác vụ nhắm đúng điểm yếu đó.

2. Patent:

Trợ lý văn phòng trên điện thoại kiểu 'quản lý hoàn chỉnh': khi người dùng đổi một quyết định (ví dụ dời lịch họp), ứng dụng tự rà soát và cập nhật mọi tài liệu liên quan — lịch, ngân sách, thư mời, báo cáo — đồng thời kiểm tra các thay đổi vẫn tuân cùng một ràng buộc (ngân sách, phòng họp) trước khi xác nhận.
Hệ thống sinh bài tập/bài thực hành tự động cho doanh nghiệp: biên dịch quy trình nghiệp vụ thành graph nghĩa vụ có điều kiện, tạo workspace giả lập + yêu cầu + tiêu chí chấm, tự chấm bài làm của nhân viên bằng agent chạy script kiểm chứng và chỉ chấp nhận bài hoàn chỉnh để làm mẫu đào tạo.
Ứng dụng quản lý dự án cá nhân kiểm chứng tính hoàn chỉnh: khi người dùng đánh dấu một công việc xong, app tự kiểm mọi hệ quả bắt buộc (cập nhật deadline hạ nguồn, thông báo người liên quan, điều chỉnh ngân sách) và cảnh báo nghĩa vụ nào chưa được thực hiện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19686
ArXiv Abstract	https://arxiv.org/abs/2610.19686
PDF Download	https://arxiv.org/pdf/2610.19686.pdf
Github Repository	N/A

14. AnyGoal: On World Model Generalization Beyond Expert Rollouts (31 votes)

Tác giả: Heejeong Nam, Divyat Mahajan, Quentin Le Lidec, Randall Balestriero, David Klindt

Xuất bản lúc: 2026-10-19

Tag: World Models, Compositional Generalization, Model-Based Planning, Offline RL, Benchmark, JEPA, Generative Models

I. Main Problem:

World model được huấn luyện trên expert rollouts (dữ liệu từ chính sách mục tiêu) có xu hướng học shortcut về hành vi của expert thay vì động lực học thật của môi trường:

Dữ liệu expert tạo tương quan state–action bị méo mó (ví dụ Push-T: ở xa block thì expert luôn tiến về block), nên mô hình có thể bỏ qua action và chỉ dự đoán theo xu hướng hành vi.
Khi đổi mục tiêu (goal shift) — các yếu tố state và action vẫn quen thuộc, nhưng tổ hợp mới chưa từng xuất hiện trong dữ liệu huấn luyện — mô hình sụp đổ.
Mối liên hệ giữa độ phủ dữ liệu, khả năng khái quát hóa động lực học và hiệu suất planning vẫn chưa được nghiên cứu hệ thống.

II. Main Idea:

Đặt lại yêu cầu với world model thành bài toán compositional generalization: mô hình có thể tái tổ hợp các yếu tố state và action đã biết thành động lực học hợp lệ không? Từ đó:

Formal hóa sự suy biến: khi action bị ràng buộc bởi chính sách hành vi, mô hình dễ trở thành bộ dự đoán bỏ qua action (action-ignorant).
Đề xuất AnyGoal: benchmark gồm 8 biến thể dịch chuyển mục tiêu từ 4 môi trường quen thuộc (TwoRoom, Push-T, Insert-Peg, OGBench Cube) + thư viện mã nguồn mở. Kiểm chứng chặt chẽ bằng 3 test (range, Mahalanobis, KDE) để đảm bảo mọi yếu tố vẫn nằm trong phạm vi training theo từng biến — chỉ có tổ hợp joint là mới.
Đánh giá lỗi rollout dự đoán và tỷ lệ thành công MPC planning trên nhiều họ mô hình (JEPA: LeWM, SMWM, DINO-WM; generative: DriftWorld, IRASim) cùng các predictor dùng oracle state để tách bệnh lỗi động lực học khỏi lỗi representation.
Chẩn đoán shortcut hành vi qua action sensitivity: cố định state, thay action bằng tập can thiệp, đo mức thay đổi dự đoán — vùng nào nhạy action thấp là vùng mô hình đang 'gật theo' expert.

Ví dụ đời thường: giống tài xế mới chỉ tập lái trên đúng một tuyến đường đi làm quen thuộc — rẽ nào, làn nào đều thuộc lòng theo thói quen; khi được yêu cầu tránh một con đường (tổ hợp quen: cùng các con phố, cùng chiếc xe, nhưng thứ tự ghép mới) thì bị lạc vì chưa từng học luật lái xe, chỉ học thuộc tuyến đường.

III. Main Results:

Thất bại rộng khắp: mọi họ mô hình (JEPA lẫn generative) đều suy giảm mạnh dưới goal shift — ví dụ DriftWorld trên Avoid-T chỉ còn 0.7% thành công planning so với 43.4% trên Push-T; DINO-WM từ 74% xuống 6.7%.
Lỗi không chỉ do representation: ngay cả predictor dùng oracle state vẫn suy giảm → tồn tại lỗi ở tầng động lực học, đặc biệt các tác vụ contact-rich (lỗi tăng 1–3 bậc độ lớn); các biến thể free-space gần như giữ nguyên hoặc còn tốt hơn.
Lỗi dự đoán và planning lệch nhau ở free-space (planning khoan dung dự đoán kém), nhưng khớp nhau ở contact-rich vì thành công đòi hỏi tương tác vật lý chính xác.
Action sensitivity thấp đúng ở vùng bias của expert (agent gần block trong Push-T, gần slot trong TwoRoom...) → mô hình thực sự đang dựa vào prior hành vi thay vì action đưa vào.
Hình học latent quan trọng: với TwoRoom–TR-Route (qu observation vẫn trong phạm vi), mô hình end-to-end suy giảm trong khi oracle-state ổn định — latent space học được không bảo toàn vị trí agent chính xác.

IV. Conclusion & Future Works:

AnyGoal chứng minh world model hiện tại không học được động lực học tái sử dụng được — chúng khai thác thiên kiến hành vi trong dữ liệu expert, và thất bại ngay cả khi mọi yếu tố cá biệt đều đã thấy trong huấn luyện. Thất bại có hai tầng: (1) nhận diện mechanism — fit dữ liệu huấn luyện không đảm bảo học được cơ chế action-conditioned tái dùng được, đặc biệt khi động lực học giàu tương tác; (2) ngoại suy ngoài support — hành vi của mechanism trên tổ hợp mới không xác định nếu thiếu giả định cấu trúc (ví dụ sparse dependence theo regime: trong từng chế độ tiếp xúc, mỗi yếu tố tiếp theo chỉ phụ thuộc một tập nhỏ biến).

Hướng tương lai: đặc trưng hóa khi nào mechanism nhận diện được từ offline trajectories; xây dựng giả định cấu trúc đủ mạnh để world model khái quát hóa tổ hợp trong động lực học giàu tương tác.

V. Brainstorming Space:

1. Publish Papers:

Phát triển world model có cấu trúc regime-sparse: mỗi yếu tố trạng thái tiếp theo chỉ phụ thuộc tập con nhỏ biến state–action trong từng chế độ tương tác (free motion, contact, grasping), cho phép ngoại suy tổ hợp mới mà không cần dữ liệu tại đó.
Kỹ thuật huấn luyện chống action-ignorance: kết hợp can thiệp action nhân tạo vào vùng support hẹp của dữ liệu expert để buộc mô hình học hiệu ứng action thật thay vì prior hành vi.
Mở rộng AnyGoal sang môi trường 3D, đa đối tượng và tác vụ dài hạn, kèm giao thức thu thập dữ liệu có chủ đích nhằm lấp combinatorial gap ở tỉ lệ lớn hơn.

2. Patent:

Hệ thống kiểm thử world model cho robot trước khi triển khai: tự sinh các biến thể nhiệm vụ bằng cách hoán đổi mục tiêu (tránh vật thay vì đẩy vật) từ dữ liệu huấn luyện hiện có, đo độ nhạy với action và cảnh báo nếu mô hình bỏ qua lệnh điều khiển ở vùng nào đó.
Ứng dụng trên điện thoại cho mô phỏng điều khiển: người dùng đổi mục tiêu tác vụ (ví dụ từ 'gắp đồ vật' sang 'tránh chạm đồ vật'); ứng dụng kiểm tra mô hình dự đoán hậu quả hành động có còn đúng với tổ hợp mới không trước khi gửi lệnh xuống robot thật.
Module chẩn đoán shortcut hành vi cho xe tự hành: cố định cảnh quan, thay đổi lệnh lái can thiệp (giả lập) và đo phản ứng của mô hình dự đoán; nếu mô hình phản ứng yếu ở các tình huống tài xế thật hiếm gặp thì đánh dấu cần thu thập thêm dữ liệu tại vùng đó.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26844
ArXiv Abstract	https://arxiv.org/abs/2610.26844
PDF Download	https://arxiv.org/pdf/2610.26844.pdf
Github Repository	https://github.com/galilai-group/AnyGoal

15. Kronecker Delta Rule for Long Context Linear Attention (28 votes)

Tác giả: Anamaria-Roberta Hartl, Levente Zólyomi, Michael List, Günter Klambauer, Sebastian Böck, et al.

Xuất bản lúc: 2026-10-19

Tag: Linear Attention, Long Context, Associative Memory, LSTM, DeltaNet, Language Modeling, State Space Models

I. Main Problem:

Softmax attention trong Transformer có chi phí tính toán tăng bậc hai theo độ dài context và KV cache tăng tuyến tính. Các kiến trúc linear attention nén context vào một ma trận nhớ cố định kích thước, nhưng gặp thách thức lớn: kiểm soát sự tăng trưởng của bộ nhớ.

mLSTM/xLSTM cần normalizer và stabilizer state → dễ bất ổn số học, gradient norm bùng nổ khi học (Figure 2).
Forget gate (RWKV, Mamba): để giữ thông tin dài hạn thì gate phải gần 1, khiến cơ chế này càng kém hiệu quả ở context dài.
DeltaNet/Delta Rule: bộ nhớ có giới hạn nhưng việc sửa một giá trị đã lưu gây nhiễu (interference) lên các giá trị khác có key trùng lặp — vấn đề càng trầm trọng khi context càng dài.

II. Main Idea:

Kronecker Delta Rule — luật cập nhật mới cho associative matrix memory. Thay vì sửa cả vector sai số như Delta Rule, nó chỉ sửa một scalar mô tả mức độ liên kết giữa cặp (key, value) hiện tại, theo hướng ngoại tích v t k t ⊤ chỉ phụ thuộc vào cặp input — không dùng nội dung bộ nhớ. Cập nhật tách thành:

erase: xóa phần liên kết hiện có, mạnh theo β t
write: ghi giá trị mới, mạnh theo target gate c t

Hệ quả: sự nhiễu với một cặp đã lưu (k i, v i) tỉ lệ với tích của độ chồng lấn key VÀ value — trực giao theo một trong hai yếu tố là được bảo vệ, nên ít xâm phạm bộ nhớ cũ hơn Delta Rule (chỉ bị key overlap kiểm soát). Năng lực lưu trữ cũng lớn hơn: tới d k d v liên kết scalar thay vì d k vector.

Trên lý thuyết, quy trình là Markov chain hội tụ về steady-state duy nhất với kỳ vọng bằng nghiệm least-squares, và chuẩn Frobenius của ma trận nhớ bị chặn đều trong suốt chuỗi input — không cần cơ chế chuẩn hóa/thêm ổn định nào. Kiến trúc KronLSTM nhúng luật này vào sequence-mixer block với 3 gate riêng biệt: forget gate dạng vector theo key dimension, erase gate β t, write gate c t; read-out qua output gate + RMSNorm; làm drop-in replacement cho attention layer.

Ví dụ đời thường: giống như sửa một mục trong sổ tay bằng cách chỉ tẩy và viết lại đúng một ô nhỏ xác định bởi cặp tên-số điện thoại đó, thay vì dùng cục tẩy quét theo hàng (Delta Rule) hay viết chồng lên trang khiến chữ cũ mờ dần (Hebbian).

III. Main Results:

Language modeling (1.5B, 100B tokens, FineWeb-Edu): KronLSTM đạt Avg-6 cao nhất (59.72) và LAMBADA perplexity thấp nhất (11.72) trong số các mô hình linear thuần; hơn KDA +1.6 điểm trung bình; vẫn dẫn đầu ở cả cấu hình hybrid với sliding-window attention.
Real-world recall (2k context): Avg-6 tốt nhất (30.31 linear / 37.40 hybrid).
RULER NIAH (4k–16k): KronLSTM tốt nhất hoặc nhì trên hầu hết mọi độ dài và mọi tác vụ, đặc biệt vượt xa ở các tác vụ khó (MQ, MV); khoảng cách với GDN tăng theo độ dài context (đúng như phân tích interference). Điểm yếu duy nhất: S1 (tác vụ nhân tạo với câu nhiễu lặp lại).
Context extension (32k): sau continued pretraining, KronLSTM giữ vững lợi thế trên GDN-2 ở cả recall và reasoning; khoảng cách trên NIAH càng rộng khi haystack càng lớn.
State tracking: ngang Gated DeltaNet trên parity và S3, vượt Mamba-3; Mamba-3 thắng ở modulo arithmetic.
Training efficiency: 36.8–44.5K tokens/s trên 1×H100, nhanh hơn GDN-2 11–18% ở mọi shape, chỉ kém GDN (kiến trúc kernel rẻ nhất).
Học ổn định ở learning rate cao trong khi mLSTM bị gradient spike (Figure 2).

IV. Conclusion & Future Works:

Kronecker Delta Rule được chứng minh là nền tảng hiệu quả, phân tích được toán học và ổn định cho associative memory trong kiến trúc linear attention: bộ nhớ bị chặn tự nhiên (bỏ normalizer/stabilizer state của mLSTM), ít interference hơn Delta Rule (phù hợp context dài), đồng thời vẫn hỗ trợ chunkwise-parallel training nhờ dạng vector hóa tương đương Widrow–Hoff Delta Rule. KronLSTM cạnh tranh và thường vượt các mô hình (Gated) DeltaNet trên mọi benchmark.

Hạn chế ghi nhận: hiệu suất sụt trên tác vụ S1 do tích lũy residual với key lặp lại; độ chính xác retrieval vẫn giảm mạnh ở 32k dù đã extend context.

Hướng mở (suy luận từ kết quả): khắc phục tích lũy residual cho các key lặp; kết hợp KronLSTM trong các mô hình hybrid quy mô frontier; mở rộng phân tích steady-state cho trường hợp có forget gate biến thiên.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Kronecker Delta Rule cho bộ nhớ đa tầng/thứ bậc: lưu trữ liên kết (key, value) theo nhiều độ phân giải để vừa giữ chi tiết cục bộ vừa tóm tắt ngữ cảnh dài, kiểm soát residual tích lũy trên các key lặp lại.
Kết hợp KronLSTM với cơ chế nhớ có địa chỉ (sparse/hashed addressing) để mở rộng năng lực lưu trữ qua d k d v mà không tăng tính toán, cho mô hình ngôn ngữ context rất dài (100k+ token).
Nghiên cứu lý thuyết hội tụ của Kronecker Delta Rule dưới forget gate input-dependent và học không dừng, mở rộng các định lý về steady-state và cận chuẩn bộ nhớ hiện có.
Ứng dụng KronLSTM cho agent AI cần ghi nhớ tương tác dài hạn (hồ sơ người dùng, lịch sử hội thoại) với cơ chế sửa/xóa có chọn lọc từng mảnh thông tin cá nhân để tuân thủ quyền riêng tư.

2. Patent:

Bàn phím gợi ý tiếng Việt trên điện thoại dùng bộ nhớ associative kiểu Kronecker: khi người dùng sửa một từ gợi ý, hệ thống chỉ điều chỉnh liên kết của đúng cặp ngữ cảnh–từ đó mà không làm hỏng các gợi ý khác đã học, giảm lỗi gợi ý theo thời gian.
Trợ lý ảo trên điện thoại có bộ nhớ dài hạn có chọn lọc: cho phép người dùng 'quên' một thông tin cụ thể (địa chỉ cũ, số điện thoại cũ) bằng cách xóa đúng liên kết đó trong bộ nhớ ma trận mà không ảnh hưởng các ký ức khác liên quan.
Hệ thống nhận diện giọng nói ngoại tuyến trên thiết bị di động dùng kiến trúc linear attention ổn định: bộ nhớ bị chặn sẵn nên chạy được lâu trên tài nguyên hạn chế mà không bị tràn số hay cần lớp chuẩn hóa phức tạp.
Tính năng tóm tắt và tra cứu hồ sơ bệnh án dài trên ứng dụng y tế: truy xuất thông tin (thuốc, chẩn đoán) từ văn bản rất dài với chi phí tuyến tính, ít bị thông tin mới ghi đè nhầm lên dữ liệu cũ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26834
ArXiv Abstract	https://arxiv.org/abs/2610.26834
PDF Download	https://arxiv.org/pdf/2610.26834.pdf
Github Repository	N/A

16. AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments (27 votes)

Tác giả: Rui Wang, Zishen Lai, Jiayu Liu, Cheng Qian, Jeonghwan Kim, et al.

Xuất bản lúc: 2026-10-19

Tag: LLM Agents, Proactive Exploration, Test-time Adaptation, Benchmark, Rule Learning, Concept Drift

I. Main Problem:

Các benchmark hiện tại không kiểm tra khả năng chủ động khám phá và thích ứng của tác tử LLM trong môi trường luôn thay đổi:

Bằng chứng thường được cho sẵn hoặc rò rỉ từ môi trường, tác tử không phải tự thu thập
Môi trường đa phần đứng yên, không kiểm tra việc nhận ra khi kiến thức cũ đã lỗi thời
Câu hỏi trung tâm: liệu tác tử LLM có thể tự quyết định khi nào, cái gì, và bao nhiêu thì tương tác để học môi trường, đồng thời phát hiện và thăm dò lại khi quy luật ngầm thay đổi mà không được báo trước?

II. Main Idea:

AdaExploreBench mô hình hóa động lực học của môi trường thành các quy tắc ngầm (latent rules) ánh xạ hành động → kết quả, gồm 256 instance đánh giá và 1000 instance huấn luyện thuộc 4 họ quy tắc (additive, conjunctive, disjunctive, lexicographic) trên các lĩnh vực tài chính, y tế, an ninh mạng, sản xuất.

Quy trình vận hành:

Tác tử tự quyết định dùng công cụ Probe Batch để tự thiết kế trường hợp thử và quan sát điểm lợi ích, hoặc tiến thẳng tới batch đánh giá
Rule drift không được thông báo: một yếu tố bị thay thế và chiều ảnh hưởng của một yếu tố bị đảo chiều; tác tử phải tự phát hiện qua kết quả xấu đi và thăm dò lại
Che lịch sử đánh giá (evaluation history masking) để ngăn rò rỉ bằng chứng, chỉ giữ phản hồi điểm số không mang tính chẩn đoán
Pipeline tạo dữ liệu bằng LLM có kiểm chứng cấu trúc, số học, ngữ nghĩa nên mở rộng được mà không cần gán nhãn thủ công

Ví dụ đời thường: giống người thợ mới vào xưởng phải tự chỉnh thử vài nút máy để ngầm đoán công thức vận hành — rồi khi máy đột nhiên "ăn khác đi" mà không ai nói, phải tự nghi ngờ, bấm thử lại và sửa lại cách hiểu của mình thay vì cứ làm theo thói quen cũ.

III. Main Results:

Mọi mô hình đều dưới 70% calibrated accuracy: Gemini-3.8-Flash tốt nhất (67.3% CA), GPT-6-Sol đạt 61.9% — dù môi trường chỉ là mô hình quy tắc đã đơn giản hóa
Bỏ rule drift cải thiện trung bình +6.2% CA (tới +14.7% với DeepSeek-V4.1-Flash); cho đủ bằng chứng sẵn cải thiện +9.4% → nghẽn cổ chai là tự thu thập bằng chứng, không phải suy luận từ bằng chứng
Ép thăm dò nhiều hơn không giúp (Forced-Probe: −2.0% CA): chất lượng thăm dò quan trọng hơn số lượng — DeepSeek-V4.1-Flash thăm dò gấp ~24 lần Llama-3.1-8B nhưng hiệu suất thấp hơn Gemini với ít probe hơn
Hiệu suất sụt ngay khi rule drift (trung bình −26.9 điểm) và không mô hình nào hồi phục hoàn toàn
Tác tử thường chốt giả thuyết thiếu sót (precision > recall); 36.3% episode báo cáo giống hệt trước/sau thay đổi; nhận ra thay yếu tố dễ hơn đảo chiều ảnh hưởng (17.7% episode bỏ sót đảo chiều vs 4.1% ngược lại)

IV. Conclusion & Future Works:

Tác tử LLM hiện tại học tốt từ bằng chứng có sẵn nhưng thất bại ở hai khâu: chủ động thu thập bằng chứng đúng và nhận ra khi bằng chứng cũ đã lỗi thời — ràng buộc cốt lõi là chất lượng thăm dò và thích ứng test-time, không phải số lượng tương tác hay học quy tắc cơ bản.

Hướng tương lai:

Mở rộng sang thay đổi xuyên họ quy tắc, các kiểu thay đổi và biên độ thay đổi khác
Thêm chỉ số đo chất lượng thăm dò trực tiếp (hiện chỉ đo lượng nỗ lực)
Dùng benchmark làm sân chơi huấn luyện để tác tử học cách thách thức giả định đã chốt và tự sửa tri thức theo môi trường biến đổi

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp huấn luyện tác tử tự chọn probe giàu thông tin (active evidence acquisition) thay vì thăm dò bừa, dựa trên phân tích hỏng của AdaExploreBench cho thấy chất lượng thăm dò là nghẽn chính.
Nghiên cứu cơ chế phát hiện rule drift không được thông báo: kết hợp theo dõi suy giảm hiệu suất với kiểm chứng lại các giả thuyết đã chốt để cải thiện Change Recognition.
Mở rộng benchmark sang thay đổi xuyên họ quy tắc và môi trường liên tục biến đổi, gần hơn với độ phức tạp thực tế của triển khai tác tử ngoài đời.

2. Patent:

Trợ lý tài chính cá nhân trên điện thoại tự học quy luật thị trường: thay vì cấu hình thủ công, ứng dụng tự thử nghiệm các chiến lược nhỏ, rút ra quy luật ẩn (ví dụ lãi suất tác động thế nào), và khi hiệu quả đột ngột giảm thì tự đánh dấu "quy luật có thể đã đổi" và thử nghiệm lại trước khi đưa lời khuyên.
Hệ thống chăm sóc sức khỏe thông minh: theo dõi dấu hiệu sinh tồn của người dùng, tự khám phá mối quan hệ giữa thói quen (ăn, ngủ, vận động) và chỉ số sức khỏe; khi cơ thể thay đổi theo mùa hoặc tuổi, hệ thống tự nhận ra mô hình cũ không còn đúng và đề xuất điều chỉnh.
Trợ lý an ninh mạng thích ứng: tự thăm dò hành vi mạng để suy luận quy tắc phân loại bình thường/bất thường, và khi kiểu tấn công mới xuất hiện làm hiệu suất phát hiện sụt giảm, tự kích hoạt quá trình thăm dò và xây dựng lại mô hình mà không cần chuyên gia can thiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25950
ArXiv Abstract	https://arxiv.org/abs/2610.25950
PDF Download	https://arxiv.org/pdf/2610.25950.pdf
Github Repository	https://github.com/HKUST-KnowComp/AdaExploreBench

17. MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents (26 votes)

Tác giả: Haozhen Zhang, Haodong Yue, Quanyu Long, Jianzhu Bao, Qingyuan Liu, et al.

Xuất bản lúc: 2026-10-05

Tag: LLM Agents, Memory, Multimodal, Reinforcement Learning, Model Routing, Multi-Objective Optimization

I. Main Problem:

Các hệ thống bộ nhớ (memory) cho tác tử LLM hiện tại thường xây dựng bộ nhớ không phụ thuộc vào truy vấn (query-agnostic), dẫn đến ba hạn chế:

Chi phí tiền xử lý lãng phí: xử lý sớm những thứ có thể không bao giờ cần, đồng thời mất chi tiết quan trọng lúc truy vấn thực sự hỏi đến.
Điều khiển runtime cứng nhắc: các phương pháp thích ứng tại thời điểm chạy (GAM, BudgetMem, Mem-T...) dùng pipeline cố định hoặc ngưỡng ngân sách rời rạc, thiếu tự do điều chỉnh theo từng truy vấn.
Tối ưu đánh đổi thiếu sót: chỉ tối ưu một phần mục tiêu (token tiền tệ), gần như bỏ qua độ trễ (latency) phía người dùng; đồng thời giả định một backend xử lý cố định, bỏ qua sự khác biệt chất lượng/chi phí/tốc độ giữa các LLM/VLM.

Câu hỏi cốt lõi: làm sao điều phối việc tổng hợp bộ nhớ đa phương thức tại runtime một cách thích ứng, với khả năng kiểm soát rõ ràng đánh đổi giữa hiệu năng – chi phí – độ trễ?

II. Main Idea:

MemPilot giữ song song hai khung nhìn: ngân hàng bộ nhớ nén query-agnostic (dùng lại các hệ thống có sẵn) và lịch sử tương tác thô đa phương thức (text + ảnh). Một policy dạng chuỗi nhiều bước (orchestrator, chỉ làm việc với text) quyết định lặp lại tại mỗi bước:

Retrieve: lấy ký ức nén từ ngân hàng bộ nhớ, hoặc
Curate: ủy quyền trích lọc query-specific từ lịch sử thô cho một pool dị thể gồm LLM và VLM (mỗi model có hồ sơ chất lượng/giá/độ trễ riêng).

Các quyết định được phân tách (factorized) thành 5 chiều kiểm soát mịn: truy vấn lấy bằng chứng, số lượng bằng chứng, chỉ dẫn tổng hợp, chọn model xử lý, và có mở ảnh gốc hay không. Policy được huấn luyện bằng GRPO đa mục tiêu với hai kỹ thuật mới:

Objective-wise advantage decoupling: chuẩn hóa advantage của từng mục tiêu (chất lượng/chi phí/độ trễ) riêng rồi mới trộn theo trọng số ưu tiên, tránh nhiễu tín hiệu học.
Prefix-based marginal utility: cắt ngắn rollout tại mỗi bước và thử trả lời để ước lượng đóng góp biên của từng bước curation, gán tín dụng mịn cho từng quyết định.

Ví dụ đời thường: giống nhân viên thư viện vừa tra kho sách tóm tắt sẵn (nhanh, rẻ nhưng thiếu chi tiết), vừa biết lúc nào phải mang nguyên tập tài liệu gốc ra mời đúng chuyên gia (người rẻ, người giỏi, người đọc được ảnh) để soạn câu trả lời — tùy độ khó của câu hỏi và tùy sếp muốn nhanh, rẻ hay chuẩn.

III. Main Results:

Trên 5 benchmark bộ nhớ đa phương thức (Mem-Gallery, WorldMemArena, H2HMem, cùng 2 tập OOD: MemEye, MemLens), MemPilot với 3 chế độ ưu tiên (Perf / Bal / Cost) phủ rộng toàn bộ miền đánh đổi hiệu năng–chi phí–độ trễ, trong khi hầu hết baseline chỉ có một điểm vận hành cố định.
MemPilot-Perf đạt điểm LLM-judge cao nhất trên cả 5 benchmark với cả hai answer model (Qwen3-VL-4B và Qwen3.5-9B); MemPilot-Bal giảm chi phí mạnh nhưng vẫn giữ chất lượng tốt hơn hầu hết baseline đắt tiền.
So với các baseline có kiểm soát trade-off (LightMem, BudgetMem, OmniSimpleMem), MemPilot tạo frontier Pareto rộng hơn cả về chi phí lẫn độ trễ; các hệ đa phương thức MIRIX, M2A, MemVerse tốn chi phí cao hơn nhiều mà chất lượng không tương xứng.
Phân tích hành vi: khi ưu tiên chuyển sang rẻ/nhanh, policy tự giảm số bước, tần suất Curate, số bằng chứng, việc truy cập ảnh, và dịch chuyển chọn model từ VLM/LLM mạnh sang nhóm rẻ hơn — chứng tỏ cơ chế điều phối là học được, không phải knob đơn lẻ.
Ablation: bỏ delegation LLM/VLM làm điểm Judge sụt từ 37.40 xuống 14.58; bỏ marginal utility hoặc tách retrieval–instruction cũng gây suy giảm tương đương; bỏ advantage decoupling còn 21.94 — mọi thành phần đều cần thiết cho trade-off tốt.

IV. Conclusion & Future Works:

MemPilot chứng minh rằng điều phối runtime có kiểm soát (chọn lúc nào tra bộ nhớ nén, lúc nào tổng hợp lịch sử thô, bằng model nào, có dùng ảnh không) vượt xa các pipeline cứng nhắc và mang lại vùng đánh đổi hiệu năng–chi phí–độ trễ rộng và liên tục, chỉ bằng cách thay đổi vector ưu tiên khi huấn luyện RL. Kỹ thuật advantage decoupling theo mục tiêu và ước lượng hiệu dụng biên theo prefix là hai chìa khóa giúp tối ưu đa mục tiêu ổn định.

Hướng mở rộng tự nhiên: mở rộng không gian hành động sang cập nhật/xóa bộ nhớ tại runtime, thay proxy độ trễ bằng đo thật trong môi trường serving thực, áp dụng cho bộ nhớ agent dài hạn có cấu trúc (knowledge graph, episodic memory), và kết hợp học ưu tiên từ phản hồi người dùng thay vì đặt vector λ thủ công.

V. Brainstorming Space:

1. Publish Papers:

Điều phối bộ nhớ agent đồng thời trên ba trục ưu tiên (hiệu năng, chi phí, độ trễ) bằng RL với ước lượng advantage tách theo mục tiêu và gán tín dụng biên theo prefix cho rollout nhiều bước.
Khung phân tách quyết định bộ nhớ runtime thành độ sâu bằng chứng, chỉ dẫn tổng hợp, định tuyến model dị thể (LLM/VLM) và quyền truy cập ảnh — tương thích với mọi hệ thống bộ nhớ có sẵn.
Phân tích thực nghiệm frontier Pareto trên 5 benchmark đa phương thức (trong đó 2 tập out-of-distribution), cho thấy điều phối học được phủ rộng hơn các baseline có kiểm soát ngân sách.

2. Patent:

Trợ lý ảo trên điện thoại có chế độ 'tiết kiệm pin/mạng': khi người dùng đặt câu hỏi về ảnh cũ trong hội thoại, hệ thống tự quyết định tra ký ức nén cục bộ hay gửi ảnh gốc lên model mạnh trên đám mây tùy ngân sách dữ liệu và độ khó câu hỏi.
Dịch vụ gợi nhớ thông minh cho ứng dụng nhắn tin đa phương thức: duy trì bản tóm tắt hội thoại sẵn có, đồng thời khi được hỏi chi tiết (tên món ăn trong ảnh, số liệu trong tài liệu) thì điều phối việc trích xuất tức thời từ lịch sử thô, tự chọn dịch vụ AI rẻ hay đắt để cân bằng chất lượng trả lời và phí người dùng chịu.
Hệ quản lý ký ức cho robot gia đình/ô tô thông minh: điều phối động giữa bộ nhớ nén trên thiết bị (phản hồi nhanh, offline được) và xử lý đám mây kèm ảnh/video gốc (chính xác hơn), tự điều chỉnh theo độ trễ mạng và hạn mức chi phí tháng của chủ sở hữu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.06830
ArXiv Abstract	https://arxiv.org/abs/2610.06830
PDF Download	https://arxiv.org/pdf/2610.06830.pdf
Github Repository	https://github.com/ViktorAxelsen/MemPilot

18. InfiniDream: Open-Ended Photorealistic 3D Worlds Through Procedural Generation (26 votes)

Tác giả: Yi-Chuan Huang, Hao-Jen Chien, Zheng-Hui Huang, Yu-Lun Liu, Kaipeng Zhang, et al.

Xuất bản lúc: 2026-10-19

Tag: Procedural Generation, 3D World Generation, Vision-Language Models, Blender, Synthetic Data, Text-to-3D

I. Main Problem:

Tạo thế giới 3D photorealistic quy mô lớn từ văn bản vẫn gặp ba hạn chế:

VLM viết code Blender từ đầu: kết quả hình học đơn giản, thiếu chi tiết, không chân thực.
Hệ thống procedural thủ công (như Infinigen với 40.000+ dòng code, factory viết tay): bị giới hạn bởi danh mục asset định nghĩa trước — không tạo được kiểu vật thể mới (ví dụ xương rồng có hoa khi factory không hỗ trợ).
VLM điều khiển procedural có sẵn (function orchestration, chỉnh tham số): chỉ hoạt động trong không gian hàm/tham số có sẵn, không vượt khỏi khả năng factory gốc. Ngoài ra, các phương pháp dùng mesh tĩnh (retrieval/generative) mất tính chỉnh sửa tham số hóa và đa dạng theo seed đặc trưng của procedural generation.

II. Main Idea:

InfiniDream là framework do VLM điều khiển để tạo thế giới 3D procedural mở, gồm hai thành phần chính:

Symbolically Constrained Editing (SCE) cho asset: thay vì đưa cả codebase Infinigen cho VLM (dẫn đến sửa code bừa bãi), hệ thống trích xuất Code Structure Map + xác định Editable Surface (module được sửa, qua phân tích dependency giới hạn độ sâu) + Linked Infrastructure (thuật toán dùng chung chỉ đọc qua symlink). Planner tạo Editing Plan cấu trúc với ba chiến lược: Tweak (chỉnh tham số), Create (viết hàm procedural mới), Promote (mở rộng quyền sửa module bảo vệ). Sau đó Reviser so render với mô tả để tinh chỉnh lặp — giữ nguyên seed-based diversity bằng cách chỉnh dải sampling chứ không cố định tham số.
Text-to-world pipeline: một Director (VLM) sinh Scene Plan ngữ nghĩa (thêm/xóa/thay asset, chế độ đặt Hero / Scattering / Swarm, anchoring, chính sách bề mặt, chuyển động). VLM chỉ quyết định rời rạc ngữ nghĩa; phần tọa độ liên tục giao cho Deterministic Frustum-Guided Grid Placement: chiếu tia camera qua lưới 2D trên mặt phẳng ảnh, lọc ứng viên bằng 5 kiểm tra cứng (visibility, va chạm với swept envelope, khoảng cách giữa vật, chính sách bề mặt/độ dốc, dải diện tích chiếu), chọn ứng viên hợp lệ gần nhất — không cần gọi VLM hay render lại. Asset pooling tạo K prototype từ seed khác nhau rồi clone thành N instance để giảm chi phí.

Ví dụ đời thường: giống thợ làm bánh không phải phát minh lại công thức bánh gato từ con số không, mà lấy công thức có sẵn, chỉ được sửa đúng phần nguyên liệu/phụ gia được phép (không đụng lò nướng), thêm một lớp kem mới — rồi thử nướng, so với ảnh mẫu, chỉnh lại cho đến khi giống; còn trang trí bàn tiệc (đặt vật vào cảnh) thì tuân theo quy tắc cứng: món nhỏ đặt gần, món to đặt xa, không để rơi khỏi mặt bàn.

III. Main Results:

Object-level (100 tác vụ, 6 loại, so với 5 baseline gồm VLM one-shot, VLM harness, VIGA, BlenderRAG, Infinigen): InfiniDream đạt số cao nhất trên cả 4 metric — CLIP 30.07 (baseline tốt nhất 29.20), SigLIP2 0.148, DINOv3 0.554, ImageReward -0.62; tỉ lệ chạy code được 98%.
Scene-level (20 tác vụ): vượt VLM Harness, VIGA, Infinigen, Code2Worlds trên mọi metric (CLIP 29.64, DINOv3 0.361 so với 0.321 của baseline tốt nhất).
Human preference (30 người): InfiniDream được thích hơn ở 77.5% tác vụ object và 83.2% tác vụ scene.
Diversity: so với TRELLIS.2, InfiniDream có diversity cao hơn (DINOv2 distance 0.6704 vs 0.6084) trong khi giữ semantic alignment tương đương — nhờ biến seed chứ không cần ảnh tham chiếu mới.
Ablation: bỏ Planner, Refiner, hay dùng factory ngẫu nhiên đều sụt rõ; agent tự do sửa cả Infinigen kém hơn SCE. Ở scene level, pipeline đặt vật đầy đủ giảm Unreadable Rate từ 50.9% (agent tự đặt) xuống 7.8%, ground-contact và contact-spread P95 chỉ 0.15m/0.24m.

IV. Conclusion & Future Works:

InfiniDream cho thấy kết hợp VLM reasoning với procedural program tinh vi — qua sửa code bị ràng buộc tước tiện cấu trúc và placement tất định — có thể tạo asset mới vượt khỏi factory định nghĩa trước và dựng thành thế giới 3D lớn, photorealistic, có thể chỉnh sửa, đa dạng theo seed, từ mô tả ngôn ngữ tự nhiên.

Hạn chế & hướng tương lai:

Animation hiện dựa vào tập motion preset; có thể cho VLM sinh code animation để hỗ trợ chuyển động phức tạp, tùy biến hơn.
Mở rộng sang môi trường indoor với quan hệ không gian và tương tác giữa các vật phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SCE sang các codebase procedural khác ngoài Infinigen (hệ thống material graph, shape grammar, CAD) để tạo asset mới trên nền thuật toán có sẵn.
Cho VLM tự sinh code animation procedural thay vì chỉ chọn motion preset, kết hợp kiểm tra va chạm vật lý trong quá trình tinh chỉnh.
Áp dụng tư tưởng 'ràng buộc biểu tượng' cho bài toán inverse procedural modeling: khớp generator có sẵn với ảnh/mesh đích rồi mở rộng có kiểm soát sang kiểu vật thể chưa có factory.
Kết hợp InfiniDream với mô hình video tạo sinh để render thế giới procedural thành video theo trạng thái thế giới explicit — cung cấp world specification cho các hệ thống world-to-video.
Nghiên cứu đặt vật semantic trong scene indoor với quan hệ chức năng (trên/bên trong/che khuất) dùng kiểm tra ràng buộc tất định tương tự frustum-guided placement.

2. Patent:

Ứng dụng game trên điện thoại: người chơi nhập mô tả (ví dụ 'sa mạc có xương rồng đang nở hoa'), hệ thống mở rộng procedural generator có sẵn để tạo vật thể mới và dựng map chơi hoàn chỉnh với vị trí đặt vật chính xác theo góc camera — game tự sinh nội dung vô hạn không cần designer viết tay từng asset.
Công cụ thiết kế nội dung AR/VR trên di động: người dùng mô tả bằng giọng nói, ứng dụng tạo thế giới 3D photorealistic có thể chỉnh sửa từng tham số (đổi màu, số lượng, mật độ phân bố) chỉ bằng một seed — hữu ích cho thiết kế phim ảo, quảng cáo.
Nền tảng tạo dữ liệu huấn luyện AI cho xe tự hành/robot trên đám mây: doanh nghiệp nhập mô tả cảnh, hệ thống sinh hàng nghìn biến thể cảnh 3D có nhãn chính xác (vị trí vật, bề mặt, chuyển động) với chi phí thấp nhờ cơ chế tạo K mẫu rồi nhân bản thành N bản.
Trợ lý thiết kế nội thất qua điện thoại: người dùng chụp ảnh phòng, mô tả muốn thêm (bể cá cảnh biển, kệ cây), hệ thống tạo asset procedural mới, tự tính vị trí đặt hợp lệ trên sàn/tường theo độ dốc và diện tích chiếu, rồi hiển thị xem trước trong ảnh thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26853
ArXiv Abstract	https://arxiv.org/abs/2610.26853
PDF Download	https://arxiv.org/pdf/2610.26853.pdf
Github Repository	https://github.com/yichuanH/InfiniDream

19. RoAR-VAE: Improving Latent Diffusability through Robust Prediction (26 votes)

Tác giả: Yang Yue, Fangyun Wei, Yitong Wang, Jinjing Zhao, Henry Zheng, et al.

Xuất bản lúc: 2026-10-19

Tag: Visual Tokenizer, VAE, Latent Diffusion, Diffusion Models, Representation Alignment, Image Generation, Text-to-Image

I. Main Problem:

Visual tokenizer (bộ mã hóa ảnh thành latent) cho latent diffusion phải thỏa hai mục tiêu mâu thuẫn:

Reconstruction fidelity: giữ đủ chi tiết ảnh để tái tạo trung thực
Diffusability: tổ chức thông tin sao cho mô hình diffusion học được hiệu quả

Các phương pháp tiền nhiệm (như REPA-E) cải thiện diffusability bằng joint tokenizer–diffusion training hoặc semantic alignment, nhưng:

joint training đòi hỏi cả generator đầy đủ, ngăn việc cache latents cho huấn luyện quy mô lớn
chưa rõ phần nào thực sự giúp tokenizer học tốt hơn: objective diffusion hay supervision ngữ nghĩa.

II. Main Idea:

Tác giả tái phân tích REPA-E và phát hiện: bỏ hẳn diffusion objective và các generative blocks, chỉ giữ lại việc dự đoán feature ngữ nghĩa từ latent đã bị nhiễu (RobustAlign), vẫn cho kết quả generation tương đương. Từ đó rút ra nguyên lý robust prediction: thông tin cần cho generation phải khôi phục được từ latent bị hỏng.

RoAR-VAE hiện thực hóa nguyên lý này bằng hai objective bổ trợ:

RobustAlign: dự đoán feature DINOv2 pretrained từ latent bị nhiễu Gaussian → giữ cấu trúc ngữ nghĩa cấp đối tượng (foreground/background, bố cục)
RobustRecon: dự đoán lại ảnh gốc (pixel + perceptual loss) từ latent bị nhiễu → giữ chi tiết không gian và vẻ ngoài tinh tế (texture, boundary, chữ nhỏ)
Cả hai đều backprop qua latent bị nhiễu để ép encoder tổ chức thông tin vào các chiều phương sai lớn — vốn giữ tỷ lệ tín hiệu/nhiễu cao và được diffusion model học sớm hơn (spectral bias).

Ví dụ đời thường: giống bắt một người đọc bản thảo bị loang mực nặng mà vẫn phải đoán đúng nội dung — để làm được, người viết ban đầu buộc phải viết nét chữ to rõ, dễ đọc ở những nét chính; RoAR-VAE ép 'người viết' (encoder) làm điều đó với latent.

III. Main Results:

So với baseline mạnh nhất cùng training budget: +2.19 điểm trung bình ba benchmark generation (GenEval, GenEval2, DPG-Bench): 63.86 (tốt nhất nhóm so sánh công bằng)
Reconstruction: PSNR 32.88 dB, LPIPS 0.0349 tại 256×256 — vượt FLUX.1-VAE (LPIPS 0.0510)
Chữ nhỏ: cải thiện small-text accuracy +16.93 điểm phần trăm so với FLUX.1-VAE (69.00%), face similarity 0.65 (tốt nhất)
So sánh kiểm soát với REPA-E (Table 1): RobustAlign-VAE chỉ với 61.89 ± 0.46 GenEval ở 32k steps, ngang REPA-E (60.60) — chứng minh supervision ngữ nghĩa từ latent nhiễu là đủ, không cần joint diffusion training
Ablation: RobustAlign +11.99, RobustRecon +8.88 điểm trung bình so với Vanilla-KL; kết hợp cả hai +13.36; bỏ latent corruption sụt 5.39 điểm → corruption là thành phần then chốt
Gần bằng FLUX.2-VAE (tokenizer công nghiệp, công thức huấn luyện không công bố) dù chỉ train từ đầu trên ImageNet

IV. Conclusion & Future Works:

Robust prediction là nguyên lý đơn giản và hiệu quả để thiết kế visual tokenizer cân bằng reconstruction và generation: thay vì joint training tốn kém với diffusion model, chỉ cần các bộ dự đoán phụ nhỏ từ latent bị nhiễu. Giải thích về spectral bias (thông tin hữu ích được đẩy vào các mode phương sai lớn, được diffusion học sớm) mở hướng phân tích chung cho các tokenizer dạng này. Hướng mở: áp dụng robust prediction cho video tokenizer, và kết hợp với các encoder pretrained khác ngoài DINOv2.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng RoAR-VAE cho tokenizer video: dự đoán feature ngữ nghĩa và reconstruct khung hình gốc từ latent bị nhiễu thời gian–không gian để cải thiện video latent diffusion.
Nghiên cứu mức độ corruption tối ưu: lịch trình adaptive noise level thay vì uniform t~U(0,1), dựa trên mức tín hiệu/nhiễu còn lại ở từng chiều latent.
Phân tích lý thuyết sâu hơn về spectral bias: chứng minh robust prediction làm tăng phương sai các mode chứa thông tin generation-relevant, qua đó rút ngắn thời gian học của diffusion.
Kết hợp robust prediction với tokenizer xây trên frozen foundation encoder (DINOv2, SigLIP) để giảm chi phí huấn luyện tokenizer từ đầu.

2. Patent:

Module nén ảnh tích hợp trong điện thoại cho AI tạo ảnh: ảnh chụp được mã hóa thành latent bằng encoder có huấn luyện robust prediction (dự đoán lại ảnh và đặc trưng ngữ nghĩa từ latent nhiễu), giúp mô hình tạo ảnh trên điện thoại học nhanh hơn đồng thời giữ chữ nhỏ, khuôn mặt rõ nét khi tái tạo.
Hệ thống chỉnh sửa ảnh bằng chữ trên thiết bị di động: tokenizer giữ chính xác chữ nhỏ và chi tiết mặt (small-text accuracy cao hơn 16.93 điểm so với chuẩn công nghiệp), cho phép render lại poster, biển hiệu, ảnh chụp tài liệu mà không làm méo chữ sau nhiều vòng nén–giải nén.
Dịch vụ đám mây huấn luyện mô hình tạo ảnh nhanh cho doanh nghiệp nhỏ: cung cấp visual tokenizer pretrained theo nguyên lý robust prediction kèm bộ dự đoán phụ loại bỏ sau huấn luyện, giúp khách hàng fine-tune mô hình diffusion riêng với ngân sách GPU thấp hơn đáng kể mà chất lượng ngang chuẩn công nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26216
ArXiv Abstract	https://arxiv.org/abs/2610.26216
PDF Download	https://arxiv.org/pdf/2610.26216.pdf
Github Repository	https://github.com/LeapLabTHU/RoAR-VAE

20. HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs (25 votes)

Tác giả: Zhuoshi Pan, ZhiYuan Feng, Yukuo Cen, Honglin Lin, Junru Lu, et al.

Xuất bản lúc: 2026-10-19

Tag: AI Agents, LLM Agents, Recursive Self-Improvement, Multi-Agent Systems, Pareto Optimization, Test-Time Compute, Agent Harness

I. Main Problem:

Các phương pháp recursive self-improvement (RSI) cho agent harness hiện nay (như RHO) chỉ tối ưu pass rate và thường đạt hiệu năng tốt hơn bằng cách khám phá rộng hơn và kiểm chứng mạnh hơn — kéo theo:

chi phí token tăng mạnh và độ trễ (latency) cao hơn
chỉ trả về một harness duy nhất, không phù hợp với ngân sách triển khai khác nhau
việc đánh giá dựa vào LLM-as-judge thiên lạc, dễ coi kết quả lỗi là thành công (failure recall chỉ ~41.7%)

Câu hỏi cốt lõi: liệu RSI có thể vừa nâng hiệu năng vừa giảm chi phí thực thi? Thách thức nằm ở không gian tìm kiếm harness khổng lồ (instructions, tools, hooks, verification rules — không tối ưu bằng gradient) và sự đánh đổi mâu thuẫn giữa performance và cost.

II. Main Idea:

HarnessPro là framework multi-agent, label-free tiến hóa harness theo cách đa mục tiêu (pass rate + cost). Mỗi epoch gồm 3 giai đoạn:

Trajectory analyzer: xem lại nhiều rollout (G=3) của mỗi harness để chẩn đoán lỗi, chi phí thừa và bằng chứng
Evolution planner: đề xuất 3 kế hoạch với ưu tiên khác nhau (giảm cost / cân bằng / tối đa pass rate), có so sánh chéo giữa các candidate; harness editor triển khai thành harness chạy được, commit vào Git
Test synthesizer: sinh bộ test cố định từ mô tả task (không cần ground-truth), nâng failure recall từ 41.7% lên 83.3% so với LLM judge

Sau đó lọc bỏ candidate bị Pareto-dominate hoặc dưới ngưỡng pass ban đầu, rồi dùng normalized weighted squared-distance selection để giữ 3 điểm đại diện: lite (rẻ), medium (cân bằng), heavy (mạnh). Ba harness này bước vào epoch kế tiếp, tiếp tục cải thiện.

Các harness tiến hóa được phân bổ động reasoning effort và tool budget theo mô tả từng task, dùng runtime hooks nhắc agent chuyển từ khám phá sang hoàn thiện khi gần hết ngân sách, kèm nén tool-output và rút gọn instruction.

Ví dụ đời thường: giống quản lý cải tiến quy trình làm việc của nhân viên — quan sát nhiều lần làm việc để tìm chỗ lãng phí, rồi ban hành ba phiên bản quy trình: bản siêu gọn cho việc nhỏ, bản vừa, bản kỹ lưỡng cho việc khó; mỗi quý lại dùng phản hồi thực tế để tinh chỉnh tiếp ba bản đó.

III. Main Results:

Với GPT-5.5 + Codex trên 3 benchmark (Terminal-Bench 2, SWE-Bench Pro, ProgramBench): heavy mode tăng trung bình +2.0 điểm phần trăm pass rate và giảm 26.1% chi phí/task so với RHO.
Terminal-Bench 2: heavy đạt 80.8% (+4.5pp so với RHO 76.3%) với chi phí giảm 33.9% ( $0.72 vs$ 1.09); medium ngang RHO về pass rate với chi phí chỉ $0.56.
SWE-Bench Pro: medium đạt 79.0% (gần RHO 80.0%) nhưng giảm 53.0% chi phí ( $1.26 vs$ 2.68); heavy 80.7% với $1.97, latency giảm từ 437s xuống 333s.
Kết quả tương tự với GLM-5.2 + Claude Code: heavy vượt RHO cả 3 benchmark với chi phí thấp hơn.
Evolution dynamics: nhiều epoch giúp cải thiện cả hai chỉ số cùng lúc (ví dụ SWE-Bench Pro medium: epoch 2 tăng pass nhưng tốn hơn, đến epoch 3 mới tối ưu cả hai) — chứng tỏ lợi thế của recursive so với single-round.
Ablation: bỏ planner làm giảm pass và tăng cost; bỏ test synthesizer sụt 3.4–10.0pp pass rate. Gắn riêng lẻ dynamic routing hay budget hooks vào RHO chỉ giảm cost kèm giảm performance — bị Pareto-dominate bởi HarnessPro.

IV. Conclusion & Future Works:

HarnessPro chứng minh performance và hiệu quả chi phí có thể cải thiện đồng thời, không phải đánh đổi. Thành công đến từ synergy của nhiều cơ chế tiến hóa (định tuyến effort động, budget hooks, nén output) chứ không phải một thủ thuật đơn lẻ, và tiến bộ được duy trì qua nhiều vòng recursive self-improvement. Việc cung cấp ba chế độ lite/medium/heavy giúp triển khai thực tế linh hoạt theo ngân sách. Hướng đi cost-aware evolution là một hướng hứa hẹn cho RSI thực dụng trong tối ưu harness.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HarnessPro sang tối ưu đa mục tiêu bao gồm cả latency như một mục tiêu chính thay vì chỉ là phụ, dùng Pareto selection 3 chiều (pass rate – cost – latency).
Nghiên cứu cơ chế test-synthesis tự tinh chỉnh: cho phép bộ test sinh bởi LLM được cập nhật có kiểm soát qua các epoch để tránh test quá dễ làm candidate kém lọt qua.
Kết hợp HarnessPro với lựa chọn mô hình (model routing) — planner không chỉ sửa harness mà còn chọn model và decoding settings theo độ khó task để đẩy Pareto frontier xa hơn.
Áp dụng tư tưởng tiến hóa harness theo ngân sách cho tác tử đa phương thức (vision, voice), nơi cost và latency còn đắt hơn nhiều so với tác tử text.

2. Patent:

Hệ thống tự tối ưu trợ lý AI trên điện thoại theo ngân sách: ứng dụng chạy nhiều lần thử, tự phân tích hội thoại để tìm chỗ hỏi lặp và gọi công cụ thừa, rồi tạo ba cấu hình — tiết kiệm pin/dữ liệu, cân bằng, tối đa độ chính xác — người dùng chọn một lần, máy tự tinh chỉnh định kỳ.
Trợ lý lập trình tự cải thiện quy trình làm việc: mỗi đêm hệ thống xem lại các phiên sửa code trong ngày, tự viết lại hướng dẫn và giới hạn số lần gọi công cụ cho từng loại task, giảm hóa đơn API mà không giảm tỉ lệ sửa bug thành công.
Bộ kiểm thử tự sinh cho tác tử tự động hóa: khi không có bộ test chuẩn, hệ thống tự tạo các ca kiểm thử từ mô tả yêu cầu và kết quả chạy ban đầu, dùng chúng để chấm và loại các phiên bản tác tử kém thay vì nhờ một AI khác chấm chủ quan.
Cơ chế 'ngân sách hành động' động cho chatbot doanh nghiệp: chatbot đọc độ phức tạp câu hỏi để tự gán mức suy luận và số lần tra cứu dữ liệu, kèm nhắc nhở tự động khi sắp vượt ngân sách, giúp công ty kiểm soát chi phí AI theo tháng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26770
ArXiv Abstract	https://arxiv.org/abs/2610.26770
PDF Download	https://arxiv.org/pdf/2610.26770.pdf
Github Repository	https://github.com/pzs19/HarnessPro

21. Manga2Animate: An Agentic Framework for Faithful Manga Animation with Script and Storyboard Planning (24 votes)

Tác giả: Sheng-Wei Zhang, Hsi-An Chen, Yan-Ting Liou, Chih-Hsuan Chen, Shih-Chen Tseng, et al.

Xuất bản lúc: 2026-10-19

Tag: Video Generation, Multi-Agent Systems, Diffusion Models, Story Visualization, Manga Understanding, Vision-Language Models

I. Main Problem:

Biến trang manga hiện có thành animation trung thực với nguyên tác là bài toán khó vì hai hướng tiếp cận hiện tại đều thất bại:

Phương pháp dựa trên văn bản (AniMaker, ViMax, StoryMem): chuyển manga thành mô tả chữ, làm mất phong cách nghệ thuật gốc và khiến nhân vật bị méo mó, trôi giữa phong cách anime và ảnh thực tế.
Đưa thẳng trang manga vào mô hình video (Seedance 2.0): mô hình không hiểu thứ tự đọc panel cũng như ý nghĩa bong bóng thoại, nên kể sai cốt truyện, thậm chí đưa nguyên khung trang manga vào video như một frame.

Quan sát then chốt: các mô hình video hiện tại đã biết cách tạo chuyển động, chỉ thiếu khả năng hiểu manga — chúng tạo ra chuyển động mượt nhưng kể sai truyện.

II. Main Idea:

Thay vì thay thế mô hình video, Manga2Animate bổ sung cho chúng kế hoạch animation rõ ràng thông qua hai biểu diễn trung gian, mô phỏng quy trình sản xuất phim hoạt hình thật:

Animation script: mô tả từng panel — bối cảnh, camera, vị trí và hành động nhân vật, biểu cảm, thoại.
Visual storyboard: chuyển script thành hình ảnh kế hoạch, cố định diện mạo nhân vật, bố cục và phong cách nghệ thuật.

Quy trình gồm 3 giai đoạn:

Pre-processing: phát hiện panel, xác định thứ tự đọc, trích xuất transcript và mô tả đặc điểm nhân vật.
Creator–Reviewer lặp (N=2 vòng): mỗi biểu diễn do một creator agent sinh ra nhiều ứng viên (3 script, 3 storyboard), reviewer agent đối chiếu trực tiếp với panel manga gốc, chọn cái tốt nhất và phản hồi để cải thiện vòng sau.
Video generation: sinh clip từ script + storyboard đã duyệt, theo chế độ first-frame hoặc reference-conditioned.

Cơ chế chọn lọc được thiết kế riêng theo đặc tính lỗi: script chọn theo từng clip (lỗi script mang tính cục bộ, nên ghép phần đúng từ nhiều ứng viên), storyboard chọn nguyên bộ (các panel dùng chung phong cách/màu sáng, tách rời sẽ lệch nhất quán). Dual-level feedback: lỗi storyboard được truy ngược về chỗ script gây ra, chỉ sửa phần bị reviewer chỉ ra.

Ví dụ đời thường: giống một xưởng phim hoạt hình — thay vì giao nguyên cuốn truyện cho họa sĩ tự mò, người quản lý viết trước kịch bản và phác thảo từng cảnh rồi kiểm tra đối chiếu từng trang truyện gốc, chỉ giao cho họa sĩ diễn hoạt khi kế hoạch đã chuẩn.

III. Main Results:

Vượt SOTA trên MangaEval (protocol đánh giá mới kết hợp ViStoryBench + VBench++): các thiết lập của Manga2Animate (Gemini/FLUX.2 + Seedance 2.0/MiniMax-H3) đạt I2V Subject, I2V Background, Background Consistency và thẩm mỹ anime (Shadow-v2, Waifu-v3) cao hơn AniMaker, ViMax, StoryMem — kể cả khi các baseline được cấp cùng script đã tinh chỉnh.
Không phụ thuộc một model: kết quả cải thiện khi đổi cả image model lẫn video model, chứng tỏ lợi ích đến từ quy trình script–storyboard–review chứ không phải model cụ thể.
User study (37 người, 8 câu chuyện, ẩn tên phương pháp): được chọn tốt nhất trên hơn 90% lượt đánh giá cho cả storyboard lẫn video, trên mọi tiêu chí (bản sắc nhân vật, cốt truyện, không ảo giác AI, tổng thể).
Ablation: bỏ bất kỳ reviewer nào (script, storyboard, video) đều làm giảm độ trung thực; bỏ Script Reviewer gây sụt mạnh nhất ở I2VS; chọn script theo clip tốt hơn chọn nguyên script; thiếu một trong hai mức feedback đều làm giảm độ nhất quán.

IV. Conclusion & Future Works:

Đóng góp chính: (1) framework tự động đầu tiên biến manga có sẵn thành animation trung thực với nguyên tác; (2) chứng minh lập kế hoạch qua script + storyboard, tinh chỉnh lặp với dual-level feedback và kiểm chứng với panel gốc, là chìa khóa để giữ nhân vật, phong cách nghệ thuật và cốt truyện; (3) thiết lập protocol đánh giá MangaEval cho bài toán manga-to-animation.

Hạn chế: đầu ra biến động giữa các lần chạy do dùng mô hình sinh ngẫu nhiên; API có thể chặn nội dung bản quyền/nhạy cảm; manga quá phác thảo, lộn xộn hoặc cần ngữ cảnh ngoài trang có thể bị hiểu sai.

Hướng tương lai: cải thiện độ bền với phong cách vẽ phức tạp/phác thảo; đánh giá sự kiện truyện gắn với nguồn; mở rộng hiểu biết nghịch lý xuyên trang và chương.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chọn lọc theo thành phần (compositional selection) cho đa agent sáng tạo: khi lỗi mang tính cục bộ, ghép phần đúng từ nhiều ứng viên thay vì chọn một ứng viên trọn vẹn, có thể áp dụng cho pipeline text-to-image và text-to-video nhiều tác vụ.
Mô hình dual-level feedback chéo giữa biểu diễn văn bản và hình ảnh: lỗi ở đầu ra hình ảnh được truy ngược về đặc tả văn bản gây ra, áp dụng cho các hệ thống story visualization có kiểm chứng nguồn.
Mở rộng MangaEval thành benchmark chuẩn cho manga-to-animation với đánh giá sự kiện truyện gắn với panel nguồn và hiểu biết nghịch lý xuyên chương.

2. Patent:

Ứng dụng điện thoại biến truyện tranh cá nhân thành video ngắn: người dùng chụp vài trang truyện, ứng dụng tự sắp thứ tự panel, viết kịch bản từng cảnh, phác thảo hình kèm kiểm tra đối chiếu trang gốc, rồi tạo video hoạt hình giữ nguyên nhân vật và phong cách vẽ.
Công cụ hỗ trợ studio làm anime: hệ thống agent tự sinh script và storyboard từ bản thảo manga, reviewer tự động so từng cảnh với trang gốc và ghi chú sai lệch, giúp biên kịch duyệt nhanh thay vì làm thủ công từ đầu.
Dịch vụ đám mây chuyển ảnh truyện thành phim hoạt hình có bản quyền cho nhà xuất bản: nhà xuất bản tải bộ truyện lên, hệ thống tạo animation trung thực theo từng chương với kiểm soát nhân vật và phong cách nhất quán để phát hành trên nền tảng video.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26851
ArXiv Abstract	https://arxiv.org/abs/2610.26851
PDF Download	https://arxiv.org/pdf/2610.26851.pdf
Github Repository	https://github.com/annchenn/Manga2Animate

22. BlenderWorld: Benchmarking Visual Agents for 3D Creation from Real-World References (22 votes)

Tác giả: Xinyu Fang, Yuchi Wang, Weihao Yu, Rongyao Fang, Zhaohai Li, et al.

Xuất bản lúc: 2026-10-14

Tag: 3D Generation, Visual Agents, Benchmark, Multimodal Models, Blender, Spatial Reasoning, Tool Use

I. Main Problem:

Các trợ lý AI đa phương thức giờ có thể tạo và chỉnh sửa mô hình 3D bằng cách viết script hoặc điều khiển Blender, nhưng thiếu một chuẩn đo thực tế cho yêu cầu 3D mở: tái dựng từ ảnh chụp, sửa nội thất, thiết kế sản phẩm, làm cảnh tự nhiên, minh họa khoa học.

Người dùng đưa văn bản, ảnh, video và file đặc tả, kỳ vọng agent suy ra hình dạng, vật liệu, bố cục không gian, ánh sáng và giao project Blender chỉnh sửa được.
Đánh giá khó vì nhiều nghiệm đúng, không có ground-truth 3D duy nhất, và chỉ nhìn một ảnh render dễ bị che khuyết điểm theo góc nhìn.

II. Main Idea:

BlenderWorld là benchmark đầu tiên cho tạo 3D thực tế trong Blender với 223 tác vụ, trải rộng 9 nhóm lớn, 22 tiểu nhóm và 16 bối cảnh ứng dụng như cải tạo nhà, sản phẩm thương mại, tài sản game, minh họa khoa học. Mỗi tác vụ có thể kèm mô tả chữ, ảnh, video và file YAML/JSON/Markdown; agent phải dựng cảnh, render, kiểm tra và nộp project chỉnh sửa được.

Quy trình chấm gồm Automatic Agent Render: một agent tự chọn 8 góc render bổ sung để lộ chi tiết liên quan yêu cầu.
2,651 tiêu chí nhị phân được chia theo loại bằng chứng: tiêu chí nhìn từ ảnh do VLM-as-Judge chấm, tiêu chí cấu trúc nội bộ do Agent-as-Judge mở file Blender kiểm tra trực tiếp.
Chất lượng tổng thể được chấm thêm trên 8 chiều như độ giống tham chiếu, vật lý, tỉ lệ, ánh sáng, vật liệu.
Điểm cuối cộng 50/50 giữa mức độ đáp ứng yêu cầu và chất lượng thẩm mỹ.

Cơ chế giống như nghiệm thu nhà thầu: không chỉ chụp mặt tiền đẹp, mà còn yêu cầu nhiều ảnh hiện trường, đồng thời kỹ sư mở bản vẽ kiểm tra kết cấu bên trong xem tường, dầm và ống nước có đúng thật không.

III. Main Results:

GPT-6-Astra dẫn đầu với 79.9 điểm tổng hợp, tiếp theo là Opus-5 73.0 và GPT-5.6-Sol 67.7.
Dù mạnh nhất, GPT-6-Astra chỉ qua trọn mọi tiêu chí ở 42.2% tác vụ; Opus-5 đạt 25.6%, còn lại tối đa khoảng 15.7%.
GPT-6-Astra làm tốt hơn ở tác vụ có ảnh/video: 80.7 điểm đa phương thức so với 72.1 của Opus-5.
Nhóm dễ nhất gồm tài sản game/procedural, sản phẩm chế tạo, kiến trúc/nội thất; cảnh tự nhiên và nhân vật khó hơn.
Nhiều lượt xem ảnh không đồng nghĩa kết quả tốt: một số model gọi công cụ rất nhiều nhưng không chẩn đoán được lỗi; GPT-6-Astra đạt điểm cao với số lần kiểm tra hình ảnh thấp hơn.
Lỗi điển hình: thiếu tương tác vật lý, vật thể biến mất khi đổi góc nhìn, giải phẫu nhân vật méo, nhân vật lơ lửng không chạm mặt đất.

IV. Conclusion & Future Works:

BlenderWorld cho thấy các agent 3D hiện tại có thể nghe lệnh khá tốt và tạo ảnh nhìn ổn, nhưng vẫn yếu ở liên kết không gian 3D mịn, ràng buộc tiếp xúc vật lý, và khả năng sửa cấu trúc sau khi quan sát. Hướng mở rộng gồm: cho agent chấm tương tác trực tiếp với file Blender để kiểm tra rigging/animation/simulation; bổ sung kiểm tra tham số kích thước sai số; mời nghệ nhân 3D hiệu chỉnh rubric; hỗ trợ Maya, 3ds Max và kho asset ngoài; thử nhiều mức reasoning, harness, Windows/macOS và giao diện đồ họa.

V. Brainstorming Space:

1. Publish Papers:

Phát triển agent tự kiểm chứng 3D bằng cách đổi góc camera, mở cấu trúc scene và đối chiếu với yêu cầu trước khi nộp, thay vì chỉ tin vào render cuối.
Nghiên cứu cơ chế chuyển phản hồi hình ảnh thành chỉnh sửa hình học có kiểm chứng: phát hiện vật thể lơ lửng, chồng lấn sai tỉ lệ, mất đối tượng khi đổi viewpoint.
Mở rộng đánh giá sang chỉnh sửa cục bộ, sửa lỗi mesh, tối ưu topology và cải tạo project đã giao nhằm kiểm tra khả năng giữ nội dung cũ.
Xây dựng bộ tiêu chí chấm từng bộ phận cho nhân vật, động vật và vật thể hữu cơ, nơi tiêu chí đúng/sai thuần túy chưa đủ phân biệt chất lượng.
So sánh workflow viết script, gọi công cụ mở rộng và điều khiển giao diện đồ họa Blender trên nhiều hệ điều hành để đo hiệu năng, chi phí và mô hình lỗi.

2. Patent:

Ứng dụng điện thoại cho cải tạo nhà: người dùng chụp phòng, chọn kiểu nội thất và nhận file thiết kế 3D chỉnh sửa được kèm ảnh nhiều góc, giúp xem trước vật liệu, ánh sáng và bố cục trước khi thi công.
Ứng dụng thương mại điện tử tạo mô hình sản phẩm 360 độ: quay video sản phẩm bằng điện thoại, hệ thống dựng vật thể 3D có kích thước tương đối, kiểm tra bề mặt và xuất ảnh/marketing từ nhiều góc.
Trợ lý thiết kế nội thất trên điện thoại: người dùng đặt đồ nội thất vào ảnh căn phòng, hệ thống tự kiểm tra va chạm, khoảng cách lối đi, bóng đổ và xuất danh sách vật liệu ước tính.
Ứng dụng học tập thực tế ảo từ sách giáo khoa: chụp hình minh họa tế bào, cơ quan hoặc thí nghiệm vật lý, hệ thống tạo mô hình 3D có thể xoay, tách lớp và mô phỏng chuyển động đúng mô tả.
Công cụ an toàn lao động cho nhà máy: nhân viên dùng điện thoại quay khu vực làm việc, hệ thống dựng cảnh 3D, cảnh báo khoảng cách an toàn, điểm va chạm và xuất tình huống huấn luyện có tương tác.
Ứng dụng trưng bày triển lãm: từ ảnh gian hàng và file yêu cầu, hệ thống tạo bố cục 3D có luồng người xem, ánh sáng sản phẩm và checklist nghiệm thu vật liệu trước khi in ấn hoặc dựng thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.23986
ArXiv Abstract	https://arxiv.org/abs/2610.23986
PDF Download	https://arxiv.org/pdf/2610.23986.pdf
Github Repository	https://github.com/QwenLM/BlenderWorld

23. RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models (20 votes)

Tác giả: Shengbang Liu, Zhengye Du, Zhilong Wan, Honghao Su, Chenxiang Xia, et al.

Xuất bản lúc: 2026-10-19

Tag: Robotics, Value Models, Benchmark, Reward Models, Progress Estimation, Evaluation, Vision-Language Models, Sim-to-Real

I. Main Problem:

Các robotic value model (mô hình đánh giá mức độ hoàn thành tác vụ từ quan sát trực quan + chỉ dẫn ngôn ngữ) đang được dùng rộng rãi làm tín hiệu thưởng/phản hồi cho học chính sách, lập kế hoạch và giám sát thực thi. Nhưng các đánh giá hiện có chỉ kiểm tra từng khía cạnh riêng lẻ (độ chính xác kết quả cuối, tương quan tiến độ), nên:

điểm số tổng kết cao vẫn che giấu lỗi ở các phán đoán trung gian (value tăng khi phát video ngược, tăng trở lại sau khi phục hồi thất bại, không phản ánh tiến độ đã tích lũy khi trạng thái lặp lại)
mỗi mô hình có giao diện và ngữ nghĩa value khác nhau, khó so sánh chẩn đoán xuyên suốt
hậu quả: tối ưu trên phản hồi sai có thể làm tăng reward dự đoán nhưng làm suy giảm hiệu suất tác vụ thật.

II. Main Idea:

Bài báo giới thiệu RoboValue, benchmark sim-and-real tinh vi cho đánh giá thống nhất value model qua 4 chiều năng lực bổ sung nhau:

Task-State Understanding: phân biệt thành công/thất bại (SA), gắn value vào đúng chỉ dẫn ngôn ngữ (TGA cross-task & counterfactual), nhận diện subtask đang thực hiện (SIA)
Temporal Progress Monitoring: value phải tăng theo tiến độ (VOC), phải giảm khi phát ngược video (Cycle-VOC), phải dùng lịch sử để phân biệt trạng thái trực quan giống nhau nhưng tiến độ khác nhau (Memory-VOC)
Failure and Recovery Reasoning: định vị thời điểm lỗi (FPL), phân biệt tiếp tục sai / phục hồi thành công / phục hồi thất bại (TRR)
Value Consistency: giá trị ổn định trong từng đoạn (VS), cùng một subtask phải nhận độ tăng value nhất quán dù thứ tự thực hiện hợp lệ khác nhau (CSV)

Dữ liệu gồm 15 tác vụ mô phỏng + 20 tác vụ thật (tổng 3.500 demo huấn luyện, 2.792 trajectory kiểm thử), với các trajectory chẩn đoán được chú thích thủ công, và các thiết lập OOD tách biệt: đổi robot (cross-embodiment) và đổi môi trường (cross-environment).

Ví dụ đời thường: giống thi bằng lái xe không chỉ chấm "có về đích không", mà còn kiểm tra từng lúc: có hiểu đúng lệnh giám thị không (đổi lệnh mà vẫn làm y hệt là rớt), có nhận ra mình đang lùi xe hay tiến xe không, có phân biệt được "cố sửa lỗi" với "sửa thành công" không, và cùng một đoạn đường có được chấm điểm giống nhau dù đi theo lộ trình khác nhau.

III. Main Results:

Các mô hình value tiêu biểu được đánh giá ở zero-shot và one-shot, trong điều kiện chuẩn và hai dịch chuyển OOD tách biệt.
Phân tích cho thấy profile năng lực không đều giữa các mô hình khác nhau về quy mô và thiết kế đầu vào.
Mô hình có điểm outcome và forward-progress mạnh vẫn mắc lỗi: grounding chỉ dẫn tinh vi kém (nhầm đối tượng/hành động/yêu cầu cụ thể), theo dõi tiến độ phụ thuộc lịch sử yếu, và đánh giá phục hồi sai.
Độ lệch môi trường gây suy giảm rộng hơn độ lệch hình thái robot (embodiment).
Cùng một semantic subtask có thể nhận độ tăng value chênh lệch đáng kể giữa các thứ tự thực hiện hợp lệ — cho thấy value chưa ổn định theo nghĩa nhiệm vụ.
Benchmark đi kèm leaderboard công khai với xếp hạng tổng thể và profile năng lực theo từng track.

IV. Conclusion & Future Works:

RoboValue chứng minh đánh giá kết hợp 4 chiều năng lực dưới giao thức chung mới phát hiện được những lỗi mà điểm outcome và tương quan tiến độ bỏ sót. Kết quả chỉ ra hướng supervision cần bắt được ngữ nghĩa tác vụ, lịch sử thực thi liên quan và kết quả phục hồi, phục vụ học chính sách, lập kế hoạch hành động và giám sát thực thi. Hướng tương lai: hoàn thiện track Full-Shot (cho phép huấn luyện/fine-tune trên toàn bộ training split), và tiếp tục dùng dataset + leaderboard công khai để theo dõi độ tin cậy phản hồi của các value model mới.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phương pháp huấn luyện value model có giám sát bắt buộc mô hình tách biệt hoạt động sửa lỗi với kết quả phục hồi thực tế, dựa trên các loại trajectory Error Continuation / Effective / Ineffective Recovery của RoboValue.
Phát triển value model có cơ chế bộ nhớ thực thi显 rõ để giải quyết Memory-VOC: phân biệt tiến độ tích lũy tại các trạng thái trực quan lặp lại trong tác vụ long-horizon.
Khảo sát reward hacking trong học chính sách robot khi dùng value model làm tín hiệu thưởng, và chiến lược chọn lọc/dán nhãn dữ liệu âm tính để chống over-reward hành vi shortcut.
Mở rộng đánh giá consistency của value theo nghĩa nhiệm vụ (CSV) cho các tác vụ đa giải pháp, với các thứ tự subtask hợp lệ và phân chia công việc giữa hai tay khác nhau.

2. Patent:

Hệ thống giám sát robot công nghiệp trên điện thoại: camera quay quá trình làm việc, mô hình value đánh giá tiến độ theo đúng lệnh đang yêu cầu; nếu robot làm đúng động tác nhưng sai mục tiêu (lấy nhầm đồ vật), hệ thống phát cảnh báo ngay trên app thay vì chờ kiểm tra kết quả cuối.
Trợ lý robot gia đình tự phát hiện và sửa lỗi: khi robot làm hỏng một bước (làm đổ cốc), hệ thống phân biệt được robot chỉ tiếp tục sai, đang cố sửa mà thất bại, hay sửa thành công, rồi ra lệnh dừng/cho sửa tiếp, báo trạng thái chi tiết cho người dùng qua điện thoại.
Module chấm điểm công bằng cho robot lắp ráp/huấn luyện: cùng một công đoạn được chấm điểm thưởng nhất quán dù công nhân hoặc robot hoàn thành theo thứ tự khác nhau, giúp tránh việc học chính sách thiên lệch theo thứ tự thao tác cụ thể.
Bộ kiểm thử tự động cho mô hình đánh giá robot trước khi triển khai: chạy video đúng, video phát ngược và các kịch bản lỗi mô phỏng để đo mức độ tin cậy của mô hình reward trước khi dùng làm tín hiệu huấn luyện, báo cáo kết quả lên dashboard.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26663
ArXiv Abstract	https://arxiv.org/abs/2610.26663
PDF Download	https://arxiv.org/pdf/2610.26663.pdf
Github Repository	https://github.com/RoboValue-Benchmark/RoboValue

24. Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation (19 votes)

Tác giả: Junwei Wen, Deshui Miao, Guangming Lu, Ming-Hsuan Yang, Xin Li, et al.

Xuất bản lúc: 2026-10-18

Tag: Video Segmentation, Visual Grounding, Chain-of-Thought, Multimodal LLMs, Reinforcement Learning, Video Reasoning

I. Main Problem:

Bài toán Video Reasoning Segmentation (VRS): cho một câu hỏi ngầm định (ví dụ "ai bắt tay với vận động viên tóc nhuộm trước khi ôm họ?"), mô hình phải tìm đúng đối tượng mục tiêu và sinh mask pixel theo thời gian.

Vấn đề cốt lõi là video reference gap: suy luận dạng Chain-of-Thought chỉ bằng văn bản giải thích được tại sao chọn đối tượng đó, nhưng không nói rõ bằng chứng hình ảnh nào, ở đâu, vào thời điểm nào đã hỗ trợ quyết định. Hậu quả:

mô hình nhầm đối tượng ngữ cảnh với đối tượng mục tiêu (ví dụ chọn vận động viên thay vì huấn luyện viên bắt tay)
không tách được khoảng thời gian hành động được hỏi khỏi khoảng thời gian đối tượng chỉ đơn thuần xuất hiện
chọn keyframe muộn (sự kiện ôm) thay vì sự kiện đúng (bắt tay).

II. Main Idea:

Temporal Chain of Video Primitives (TCoVP): thay vì suy luận bằng văn bản thuần, mô hình sinh một chuỗi suy luận có gắn kèm bằng chứng hình ảnh theo thứ tự thời gian. Mỗi "primitive" là một bản ghi gồm:

danh tính thực thể (được tái sử dụng xuyên suốt các khung hình để giữ tính liên tục)
mô tả ngữ nghĩa và hành động/quan hệ
thời điểm quan sát cùng bounding box tại thời điểm đó
khoảng thời gian tồn tại của thực thể hoặc sự kiện

Các primitive được xen kẽ với ngôn ngữ tự nhiên, cuốn chiếu tuần tự từ đầu đến cuối video. Sau cùng, khối <answer> chọn ra primitive mục tiêu; box gắn timestamp được đưa vào SAM3 để lan truyền mask theo cả hai hướng thời gian, giới hạn mask trong khoảng hành động của câu hỏi nếu cần.

Huấn luyện gồm hai giai đoạn trên dữ liệu tự xây dựng TCoVP-SFT-15k và TCoVP-RL-13k: SFT dạy dạng chuỗi chuẩn, rồi chain-aligned RL với phần thưởng cho hợp lệ cấu trúc, căn thời gian, grounding không-thời gian và độ chính xác primitive mục tiêu.

Ví dụ đời thường: giống như điều tra viên xem lại camera an ninh để tìm người liên quan — không ghi chú kiểu "người đó xuất hiện lúc nào đó", mà lập sổ theo dòng thời gian: "2 giờ 03 phút: người áo đen ở cửa A (tọa độ...); 2 giờ 10: cùng người đó ở cửa B...", cuối cùng đối chiếu sổ ghi chú để chỉ ra đúng người, đúng lúc, đúng chỗ.

III. Main Results:

Trên benchmark GroundMoRe (cần định vị sự kiện thời gian): TCoVP-3B đạt J&F 53.67, TCoVP-4B 55.21, TCoVP-M-4B (Molmo2) 55.37 — vượt xa baseline mạnh nhất trước đó chỉ 31.96.
Trên các benchmark VRS chung: Molmo2-4B đạt 67.4 (Long-RVOS), 68.3 (ReVOS), 65.2 (MeViS); Qwen3-VL-4B đạt 72.1 (ReasonVOS) — cao hơn baseline tốt nhất trước đó từ 6.7 đến 10.0 điểm.
Ablation biểu diễn suy luận: thay text-only CoT bằng TCoVP (cùng dữ liệu, backbone Qwen2.5-VL-3B) nâng macro-average 5 benchmark từ 57.8 lên 62.7, trong đó GroundMoRe tăng 7.4 điểm.
Thêm chain-aligned RL vào SFT: cải thiện 8.8, 8.5, 5.4, 9.9 điểm trên Long-RVOS, ReasonVOS, ReVOS, GroundMoRe; bỏ phần thưởng thời gian hoặc grounding đều giảm hiệu suất.
Kết quả nhất quán trên 3 backbone (Qwen2.5-VL, Qwen3-VL, Molmo2) chứng tỏ phương pháp không phụ thuộc kiến trúc.

IV. Conclusion & Future Works:

TCoVP cho thấy việc ground suy luận vào bằng chứng không gian-thời gian cụ thể (thay vì văn bản thuần) giúp mô hình giữ đúng danh tính thực thể, đúng mốc thời gian sự kiện, từ đó cải thiện rõ rệt phân đoạn video, đặc biệt với câu hỏi dựa trên chuyển động.

Hạn chế và hướng tương lai:

mới xử lý 16 khung hình mẫu đều, nên sự kiện ngắn giữa các mốc quan sát có thể bị bỏ lỡ → cần lấy mẫu thời gian thích ứng
quan hệ/hành động giữa các thực thể vẫn diễn tả bằng ngôn ngữ, chưa có biểu diễn cấu trúc → cần cấu trúc hóa tương tác
mask cuối cùng kế thừa lỗi từ SAM3 propagation → cần bằng chứng không gian dày hơn cho video phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng chuỗi primitive có timestamp sang các tác vụ video đa dạng như video question answering, spatio-temporal grounding và truy vấn sự kiện dài hạn với lấy mẫu thời gian thích ứng.
Kết hợp TCoVP với biểu diễn cấu trúc của quan hệ giữa các thực thể (graph của primitive) để suy luận tương tác đa người, đa đối tượng trong video thể thao, giao thông.
Nghiên cứu self-improvement cho video reasoning: mô hình tự tạo chuỗi primitive, tự kiểm tra tính nhất quán thời gian và fine-tune lặp mà không cần annotation bên ngoài.

2. Patent:

Ứng dụng chỉnh sửa video trên điện thoại: người dùng nói "làm nổi bật người đã đẩy chiếc xe đỏ trước khi va chạm"; ứng dụng sinh chuỗi primitive có mốc thời gian và khung hình, tự động tách mask đối tượng đúng và cắt/ghép đoạn video tương ứng.
Hệ thống an ninh thông minh: thay vì tìm kiếm theo mô tả tĩnh, người dùng đặt câu hỏi ngầm định như "ai lấy túi sau khi người mặc áo xanh rời bàn"; hệ thống dùng chuỗi bằng chứng có timestamp để truy vết đúng người trong camera dài giờ và báo cảnh sát kèm đoạn clip bằng chứng.
Trợ lý video cho người khiếm thị trên điện thoại: mô tả cảnh quay bằng câu hỏi tuần tự ("người giao hàng đặt kiện ở đâu sau khi gõ cửa?"), ứng dụng xây chuỗi primitive theo thời gian rồi đọc lại sự kiện kèm vị trí trong khung hình cho người dùng.
Phân tích video thể thao nghiệp dư: người dùng quay trận đấu và hỏi "cầu thủ nào chạm bóng trước khi ghi bàn"; hệ thống dùng suy luận primitive gắn timestamp để cắt highlight tự động và đánh dấu vùng cầu thủ trên màn hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25090
ArXiv Abstract	https://arxiv.org/abs/2610.25090
PDF Download	https://arxiv.org/pdf/2610.25090.pdf
Github Repository	N/A

25. Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy (17 votes)

Tác giả: Zekai Li, Jiayi Yu, Jinlu Zhang, Luyang Niu, Zekun Qi, et al.

Xuất bản lúc: 2026-10-19

Tag: Embodied AI, LLM-as-policy, Robotics, Self-Improvement, Benchmark, Scaling Laws, Vision-Language Models

I. Main Problem:

Các agent LLM tiên tiến có thể tự cải thiện khả năng thao tác robot qua thử-sai lặp lại — quá trình gọi là physical Recursive Self-Improvement (physical RSI). Tuy nhiên ba câu hỏi nền tảng còn mở:

Nguồn gốc năng lực RSI: điều gì cho phép agent biến phản hồi vật lý thành chính sách tốt hơn? Perception, spatial reasoning, coding hay tool use — yếu tố nào quyết định?
Thiếu thước đo: điểm số cuối cùng không nói lên gains xuất hiện khi nào, tốn bao nhiêu tương tác vật lý, hay agent có học từ thất bại không.
Overfitting hay generalization: cải thiện là do ghi nhớ cảnh luyện tập, hay agent thật sự tích lũy kinh nghiệm tái sử dụng được?

II. Main Idea:

Bài báo giới thiệu PhysRSI-eval, một benchmark đánh giá physical RSI theo giao thức chung: 6 hệ thống VLM (GPT-6 Astra, GPT-6.1/6/5.6 Sol, Claude Opus 5.5, Sonnet 5.5; Gemini 4 chạy riêng 10 tác vụ) được phép sửa đổi workspace bền vững (code, công cụ, ghi chú) trong tối đa 17 vòng tinh chỉnh trên 18 tác vụ thao tác RoboDojo hai tay, với trọng số mô hình cố định và ngân sách tương tác vật lý cố định.

Cốt lõi là thang đo 5 trục phân tách quá trình cải thiện:

A1 First-Attempt: điểm khởi đầu (K0)
A2 Efficiency: gains xuất hiện sớm hay muộn
A3 Success: điểm cuối cùng đạt được
A4 Budget: tiết kiệm bao nhiêu bước vật lý
A5 Improvement: khôi phục từ thất bại sớm

Từ đó đề xuất Physical Barrel Hypothesis (thùng gỗ vật lý): giống thùng gỗ chỉ chứa tới thanh ngắn nhất, mỗi trục cải thiện bị khớp bởi một năng lực khác nhau — spatial reasoning (ρ=0.94) ràng buộc khởi đầu và tiết kiệm ngân sách, perception (ρ=0.94) ràng buộc điểm đạt được và phục hồi, còn coding gần như không tương quan (ρ≤0.37). Hai hướng observational scaling được nghiên cứu: dùng điểm benchmark công khai để dự đoán thứ hạng về độ lớn và thời điểm gains của hệ thống mới, và hiệu chỉnh đường cong Weibull của một mô hình tham chiếu trên vài vòng đầu để dự báo toàn bộ quỹ đạo của mô hình họ hàng (MAE 0.019 so với 0.112 khi giữ nguyên điểm quan sát cuối).

Ví dụ đời thường: giống thợ mộc học nghề — sức khỏe và khả năng đọc bản vẽ giúp bước đầu làm nhanh, nhưng để sửa được đồ hỏng và rút kinh nghiệm thì cần mắt tinh quan sát lỗi; và nếu chỉ giỏi viết hướng dẫn (coding) mà mắt kém tay nặng, vẫn không thành thợ.

III. Main Results:

6 hệ thống được profile 5 trục trên 18 tác vụ: điểm trung bình tăng từ 0.01–0.37 (K0) lên 0.10–0.84 (cuối); GPT-6 Astra dẫn đầu cả 5 trục và giải 15/18 tác vụ, GPT-5.6 Sol chỉ 1/18.
Điểm cao ≠ cải thiện tốt: Opus 5.5 có Success cao hơn GPT-6.1 Sol (0.744 vs 0.703) nhưng Efficiency thấp hơn (0.609 vs 0.822) và tốn ngân sách vật lý hơn.
Tương quan năng lực: spatial reasoning mạnh nhất với A1/A2/A4 (ρ=0.94/0.83), perception mạnh nhất với A3/A5 (ρ=0.94), coding yếu nhất — ủng hộ Physical Barrel Hypothesis.
Observational scaling: kernel regressor trên 4 profile năng lực dự đoán chính xác toàn bộ thứ tự 6 hệ thống theo điểm tốt nhất tại K17 và theo vòng bán-gains T50.
Dự báo từ vòng sớm: hiệu chỉnh template Weibull của Astra trên K1–K5 của GPT-6.1 Sol dự báo K6–K17 với MAE 0.019.
Workspace có thật sự quan trọng: ablation Astra cho thấy xóa toàn bộ lịch sử làm success muộn (K4–K6) giảm từ 41.7% xuống 8.3%; thiếu grader feedback giảm còn 13.9%.
Generalization có tồn tại: workspace đóng băng (không sửa tiếp) vẫn thành công 25/60 lần trên layout chưa thấy; 3 trường hợp chuyển workspace qua tác vụ khác giúp thành công sớm hơn nhiều (vd. K9→K1) — kinh nghiệm gắn cảnh và kinh nghiệm chuyển giao cùng tồn tại.

IV. Conclusion & Future Works:

Physical RSI là quá trình có thể đo lường được, và không thể gói gọn trong một điểm số: thang 5 trục tách biệt khởi đầu, thời điểm gains, điểm đạt được, chi phí vật lý và khả năng phục hồi. Kết quả ủng hộ Physical Barrel Hypothesis: các năng lực khác nhau ràng buộc các mặt cải thiện khác nhau, nên điểm trung bình benchmark công khai không đủ để tiên đoán hành vi vật lý. Đồng thời, kinh nghiệm lưu trong workspace vừa mang tính scene-specific vừa transfer được — ranh giới giữa chuyên biệt hóa và khái quát hóa còn mờ.

Hướng tương lai: các phân tích scaling hiện chỉ là observational và exploratory (ít hệ thống, không có dữ liệu training compute) — cần kiểm định nhân quả; các candidate bottleneck từ tương quan cần được kiểm chứng bằng can thiệp năng lực có chủ đích; và cần làm rõ kỹ năng/ký ức nào trong workspace thật sự cho phép transfer xuyên tác vụ.

V. Brainstorming Space:

1. Publish Papers:

Kiểm chứng nhân quả Physical Barrel Hypothesis bằng can thiệp năng lực có kiểm soát: nâng từng nhóm năng lực (spatial, perception) độc lập và đo tác động riêng trên từng trục A1–A5 của physical RSI.
Phát triển scaling law huấn luyện thật sự cho physical RSI: thu thập dữ liệu training compute của nhiều VLM hơn để chuyển từ quan hệ quan sát được (observational) sang dự đoán có cơ sở nhân quả về giới hạn cải thiện vật lý.
Phân tích thành phần workspace: mở hộp các artifact lưu trữ (code, tool, note) để xác định phần nào mang tính gắn cảnh, phần nào là routine/thao tác chung chuyển giao được xuyên tác vụ và xuyên layout.
Mở rộng PhysRSI-eval sang robot thật và môi trường động, kiểm tra liệu đường cong Weibull chuyển giao và khả năng transfer workspace còn giữ được khi mô phỏng không còn lý tưởng.

2. Patent:

Hệ thống đào tạo robot công nghiệp tự rút kinh nghiệm trên điện thoại: kỹ thuật viên quan sát robot thử-sai qua app; robot lưu code, công cụ và ghi chú vào workspace bền vững, lần chạy sau tái sử dụng để thành công sớm hơn mà không cần đào tạo lại mô hình.
Chế độ 'thử trước, chạy chính sau' cho robot gia đình: robot được cấp ngân sách chạy thử hạn chế, đánh giá từng lần thử bằng điểm nhiệm vụ gốc, tự sửa chương trình điều khiển giữa các lần thử và dừng ngay khi thành công để tiết kiệm pin và thời gian.
Hệ thống kiểm tra độ tin cậy của agent AI tự cải thiện: đánh giá robot theo 5 trục (lần đầu, tốc độ tiến bộ, điểm đạt được, số bước tiết kiệm, khả năng sửa lỗi) thay vì một điểm duy nhất, giúp nhà máy phát hiện agent chỉ 'thắng may' một lần nhưng không giữ được hành vi ổn định.
Tính năng chuyển giao kinh nghiệm giữa các nhiệm vụ trên robot dịch vụ: workspace hoàn thiện từ nhiệm vụ dọn bàn được đóng băng và nạp làm khởi đầu cho nhiệm vụ xếp đồ tương tự, giúp robot thành công từ những vòng thử đầu tiên thay vì học lại từ đầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26848
ArXiv Abstract	https://arxiv.org/abs/2610.26848
PDF Download	https://arxiv.org/pdf/2610.26848.pdf
Github Repository	N/A

26. AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation (17 votes)

Tác giả: Jiadi You, Qize Yu, Yue Chen, Minghong Cai, Zhide Zhong, et al.

Xuất bản lúc: 2026-10-18

Tag: World Action Models, Affordance, Video Diffusion, Flow Matching, Robot Manipulation, Human-to-Robot Transfer, Vision-Language-Action

I. Main Problem:

Robot học thao tác tổng quát cần ba khả năng: dự đoán cảnh sẽ biến đổi thế nào, xác định chỗ nào có thể tương tác, và biết phải hành động ra sao. Bài toán nằm ở nguồn dữ liệu:

Video robot có nhãn hành động giúp huấn luyện điều khiển trực tiếp nhưng đắt đỏ, ít đa dạng.
Video người thứ nhất (egocentric) chứa vô số tương tác đa dạng nhưng không có hành động robot và khác robot về góc nhìn, tốc độ, hình thái.
Các World Action Model hiện tại dự đoán RGB hoặc latent trực quan, chỉ mô hình hóa bề ngoài mà không chỉ rõ vật nào, vùng nào liên quan đến tác vụ — khiến video người dễ gây nhiễu thay vì giúp robot.

Bằng chứng thực nghiệm: khi thêm video người mà không có affordance, hiệu suất RoboCasa giảm từ 57.3% xuống 55.1%.

II. Main Idea:

AffordanceWAM là mô hình World Action kiểu dual-expert, bổ sung đại diện affordance dạng object-centric vào thế giới tương lai được sinh ra:

World Expert (khởi tạo từ video diffusion Transformer có sẵn) đồng thời dự đoán 3 luồng tương lai: RGB, Scalar Affordance (trường vô hướng định vị vật/vùng cần tương tác), và Affordance Heatmap (vùng affordance được render lên khung hình để gắn với ngữ cảnh trực quan).
Action Expert đọc đặc trưng ẩn của RGB và Scalar Affordance qua Masked Joint Self-Attention theo từng lớp để sinh hành động liên tục. Mask này chặn hành động ảnh hưởng ngược lại World prediction và chặn Heatmap đi vào Action Expert, nhằm cắt đường tắt RGB và ép Action dùng Scalar Affordance nhiều hơn.
Đào tạo bất đối xứng: video người chỉ huấn luyện World Expert (không có hành động), video robot huấn luyện thêm Action Expert. Hai nguồn dữ liệu gặp nhau trong không gian tương tác (affordance), không phải trong không gian hành động — mọi stream dùng chung mục tiêu flow-matching thống nhất.
Sau đó post-training chỉ tinh chỉnh Action Expert trên dữ liệu robot không cần nhãn affordance.

Ví dụ đời thường: giống việc dạy học viên mới bằng cách cho xem video người khác làm việc, nhưng thay vì bắt chước cử chỉ tay (khác nhau giữa người), người dạy chỉ ra cùng một thứ: "chỗ cần chạm là đây, vật cần tác động là cái này" — khi ai cũng nhìn cùng một "bản đồ điểm cần tương tác", kinh nghiệm của người khác trở thành bài học dùng được ngay.

III. Main Results:

RoboCasa: 69.4% success rate, vượt Cosmos Policy (67.1%), π0 (62.5%), GR00T-N1.5 (64.1%) chỉ với 300 demo/tác vụ.
CALVIN ABC→D: best toàn bộ chỉ số — hoàn thành 1–5 tác vụ liên tiếp đạt 96.1/92.8/85.5/77.8/69.5%, average sequence length 4.22 (baseline mạnh nhất 4.01).
Affordance là cầu nối quyết định: thêm video người mà không có affordance làm giảm RoboCasa (57.3→55.1%) và CALVIN (3.75→3.68); với affordance, cùng dữ liệu đó tăng tương ứng 63.7→69.4% và 3.91→4.22.
Hai thành phần affordance bổ sung nhau: thiếu Scalar Affordance thì World bỏ qua cấu trúc tương tác; thiếu Heatmap thì vùng affordance trôi khỏi vật (RoboCasa giảm 69.4→65.4%).
Mask Heatmap→Action có lợi: mở đường attention này làm giảm RoboCasa 69.4→63.5%, xác nhận Heatmap nên chỉ làm supervision phụ.
Scaling dữ liệu người: hiệu suất RoboCasa tăng đơn điệu theo tỉ lệ video người (63.7% → 69.4%), với 74% mức tăng đến ở 40% dữ liệu cuối — tương ứng ngưỡng độ phủ tương tác đủ rộng.
Kết quả chuyển sang robot thật vượt Cosmos Policy khi fine-tune cùng 50 trajectory/tác vụ.

IV. Conclusion & Future Works:

Affordance nên được xem là giao diện chung cho cả vision–language–action learning lẫn human-to-robot transfer: ngôn ngữ nêu ý định, affordance neo ý định vào vùng tương tác trong thế giới trực quan, và Action Expert quyết định cách thực thi. Kết quả chứng minh video người không nhãn hành động trở thành nguồn dữ liệu thực sự hữu ích cho robot khi có đại diện tương tác dùng chung. Hướng mở: động lực học chi tiết về ngưỡng dữ liệu (non-uniform scaling), đánh giá các mô hình World có sẵn khác nhau, và mở rộng sang thao tác song đôi (bimanual) cũng như nhiều dạng hình thái robot hơn.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát hệ thống affordance nào trong số các đại diện affordance tồn tại (contact, trajectory, dense field) làm cầu nối human-robot hiệu quả nhất trong WAM đồng sinh world-action.
Nghiên cứu ngưỡng độ phủ tương tác: mô hình toán học giải thích vì sao lợi ích của video người chỉ xuất hiện sau một ngưỡng dữ liệu nhất định.
Mở rộng affordance-aware WAM sang thao tác hai tay và cộng tác người–robot, dùng Scalar Affordance chia sẻ làm giao diện điều phối giữa các tác nhân.
Phương pháp tự động gán nhãn affordance quy mô lớn cho video egocentric người, loại bỏ nhu cầu chú thích thủ công để mở rộng huấn luyện.

2. Patent:

Robot gia đình học từ video người trên điện thoại: người dùng quay video thao tác nhà bếp bằng điện thoại, ứng dụng tự trích vùng affordance (chỗ cầm, chỗ ấn) và chuyển thành bản đồ tương tác để robot thực hiện cùng tác vụ mà không cần lập trình lại.
Hệ đào tạo robot công nghiệp tiết kiệm: thay vì thu hàng nghìn chuỗi thao tác bằng tay trên robot, kỹ thuật viên quay video người thao tác mẫu; hệ thống dùng mô hình affordance để chuyển kinh nghiệm sang robot, chỉ fine-tune nhánh điều khiển với vài chục lần chạy thử.
Trợ lý vật lý cho người khuyết tật trên điện thoại: camera điện thoại quan sát bàn ăn, mô hình sinh bản đồ vùng tương tác (ly, đĩa, nắp hộp) và tay robot gắn xe lăn thực hiện lấy đồ đúng vị trí, tự động thích nghi đồ vật lạ chưa gặp.
Module kiểm tra an toàn trước khi robot chạm vật: robot tự sinh ảnh tương lai kèm trường affordance; nếu vùng dự đoán chồng lên tay người hoặc vật mong manh, hệ thống cảnh báo và điều chỉnh quỹ đạo trước khi thực thi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.22332
ArXiv Abstract	https://arxiv.org/abs/2609.22332
PDF Download	https://arxiv.org/pdf/2609.22332.pdf
Github Repository	https://github.com/Skywalker-yqz/AffordanceWAM

27. FineSplat: Fine Patches, Local Groups, Detailed Splats (16 votes)

Tác giả: Hyebin Kim, Hwasik Jeong, Joonhyuk Park, Gyeongjin Kang, Jungwoo Kim, et al.

Xuất bản lúc: 2026-10-18

Tag: 3D Gaussian Splatting, Novel View Synthesis, Feed-forward Reconstruction, Multi-view Transformers, Pose-free Reconstruction, Attention Mechanisms

I. Main Problem:

Các phương pháp feed-forward 3D Gaussian Splatting (3DGS) dự đoán cảnh 3D chỉ trong một lần forward thay vì tối ưu hóa từng cảnh như 3DGS truyền thống, nhưng vì vậy chất lượng tái tạo vẫn thua xa, đặc biệt ở chi tiết mịn (cấu trúc mảnh, cạnh sắc, kết cấu bề mặt). Các nguyên nhân cốt lõi:

Các backbone 3D foundation model dùng patch quá thô (14×14 hoặc 16×16), làm mất tín hiệu tần số cao cần cho chi tiết.
Self-attention toàn cục giữa nhiều view có độ phức tạp bậc hai theo số token, nên không thể dùng với patch mịn.
Gom nhóm theo view (như MVP) tạo "điểm mù": token của cùng một bề mặt 3D nhưng nằm ở hai nhóm view khác nhau sẽ không bao giờ tương tác.
Mô hình một lần forward không bao giờ nhìn lại lỗi của chính mình, trong khi tối ưu per-scene lặp lại so sánh ảnh render với ảnh thật để sửa dần.

II. Main Idea:

FineSplat tái thiết kết cấu feed-forward 3DGS xoay quanh patch mịn 4×4, với ba thành phần chính:

Dual-grouping: Stage 1 dùng view-wise grouping (attention mịn chỉ trong nhóm vài view lân cận, trao đổi toàn cục qua token thô) để xử lý token mịn với chi phí hợp lý. Stage 2 nâng token lên không gian 3D dựa trên vị trí Gaussian dự đoán, rồi gom nhóm theo khoảng cách 3D — token từ các nhóm view khác nhau nhưng quan sát cùng bề mặt giờ được tương tác, lấp đầy điểm mù của gom nhóm theo view.
Phản hồi lỗi render trực tiếp: render Gaussian lại vào các view đầu vào, tính error map pixel (ảnh render - ảnh thật) và error map feature (ResNet-18), gom lỗi từ mọi view nhìn thấy token đó, rồi dùng serialized attention trên các nhóm 3D để cập nhật token — lặp lại 4 bước thay vì tối ưu hóa per-scene tốn kém.
Gaussian sinh theo patch gọn nhẹ: mỗi token 4×4 chỉ sinh 4 Gaussian ở vị trí sub-pixel có thể học (offset 2D bị chặn trong sub-patch 2×2), giữ lợi ích đặc trưng mịn mà không phình số primitive; có thể cắt tỉa theo mức đóng góp render.

Ví dụ đời thường: giống thợ sơn nhà làm việc theo hai vòng — vòng một sơn từng góc phòng riêng lẻ (gom theo view), vòng hai đứng ra giữa nhà nhìn toàn bộ không gian 3D, soi chỗ nào lệch màu so với bản thiết kế (error feedback) rồi quay lại chấm sửa đúng chỗ đó, thay vì tô lại cả căn nhà.

III. Main Results:

DL3DV (pose-free, 24 views): PSNR 26.82, vượt 2Xplat +2.59dB và ZipSplat +3.44dB, với số Gaussian tương đương hoặc ít hơn; ở 6 views vượt 2Xplat tới +2.75dB.
Mip-NeRF 360 zero-shot: PSNR cao nhất ở mọi số view (32/64/128), hơn baseline tốt nhất +0.88 đến +1.49dB (pose-free) và +2.49 đến +3.33dB (posed); tăng view từ 32→128 thu được +1.00dB trong khi baseline gần như không cải thiện.
RE10K zero-shot: tốt nhất về cả PSNR/SSIM/LPIPS ở posed và tốt nhất trong các phương pháp zero-shot ở pose-free.
Ablation: Stage 2 cải thiện +1.22dB (6 views) đến +1.46dB (24 views) so với Stage 1 đơn thuần; chỉ 1 bước Stage 2 đã cải thiện ~1dB.
Hiệu quả: nhanh hơn YoNoSplat và ZipSplat ở 6–12 views dù dùng patch mịn hơn nhiều (4×4 so với 14×14); chất lượng mỗi đơn vị thời gian cao nhất (+2.6 đến +4.6dB so với baseline mạnh hơn).
Chỉ huấn luyện một checkpoint duy nhất trên DL3DV, không cần depth supervision, dùng cho mọi đánh giá cross-dataset.

IV. Conclusion & Future Works:

FineSplat cho thấy ba thiết kế bổ sung cho nhau — đặc trưng patch mịn, dual-grouping (view-wise + 3D spatial) và phản h feedback lỗi render nhiều bước — đủ để feed-forward 3DGS thu hẹp khoảng cách với tối ưu hóa per-scene về độ chi tiết, đồng thời vẫn gọn và nhanh. Kết quả state-of-the-art ở cả hai thiết lập posed và pose-free trên nhiều benchmark, cùng khả năng tận dụng số view tăng thêm tốt hơn hẳn các baseline, củng cố giá trị của việc kết hợp locality trong ảnh và locality trong không gian 3D. Paper không nêu hướng nghiên cứu tương lai cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng chiến lược dual-grouping 3D cho bài toán tái tạo cảnh động (dynamic scenes), trong đó token được gom nhóm theo vị trí không-thời gian 4D thay vì 3D tĩnh để xử lý vật thể chuyển động.
Kết hợp phản hồi lỗi render với uncertainty estimation để mô hình tự xác định vùng cần thêm bước refinement hoặc cần thêm view đầu vào, thay vì chạy cố định 4 bước.
Áp dụng tư tưởng nâng token ảnh lên không gian 3D để gom nhóm attention cho các tác vụ khác như multi-view stereo và SLAM học sâu, nơi tương tác cross-view hiện bị giới hạn bởi chi phí attention toàn cục.
Nén thêm biểu diễn Gaussian theo patch bằng mã hóa entropy hoặc hash grid, hướng tới truyền cảnh 3D qua mạng di động băng thông thấp.

2. Patent:

Ứng dụng quét không gian bằng điện thoại: người dùng quay video ngắn vòng quanh một căn phòng, ứng dụng dựng mô hình 3D chi tiết ngay trên máy trong vài giây nhờ mạng dự đoán Gaussian theo một lần chạy, có thể đo kích thước đồ vật hoặc xem trước nội thất mới.
Hệ thống chụp ảnh sản phẩm tự động cho thương mại điện tử: vài camera chụp đồ vật từ nhiều góc, phần mềm tạo video xoay 360 độ sắc nét của sản phẩm mà không cần phòng quay chuyên dụng hay xử lý hàng giờ.
Công cụ bảo trì công trình bằng drone: drone bay quanh công trình chụp ảnh, hệ thống dựng bản 3D chi tiết các vết nứt, gỉ sét mảnh rồi tự đối chiếu với lần quét trước để phát hiện hư hỏng mới qua bản đồ sai khác render.
Trợ lý thiết kế nội thất thời gian thực: chụp ảnh phòng, dựng cảnh 3D tức thì trên điện thoại, cho phép đặt thử đồ nội thất ảo vào đúng vị trí với ánh sáng, kết cấu tường chi tiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25011
ArXiv Abstract	https://arxiv.org/abs/2610.25011
PDF Download	https://arxiv.org/pdf/2610.25011.pdf
Github Repository	https://github.com/hyebinny/FineSplat

28. Evidence-First Agentic Verification (16 votes)

Tác giả: Reza Sanayei, Razvan-Gabriel Dumitru, Sunjie Hou, MohammadHossein Rezaei, Haris Riaz, et al.

Xuất bản lúc: 2026-10-13

Tag: LLM Agents, Agent Verification, Reward Hacking, LLM-as-a-Judge, Reinforcement Learning, Rubric Evaluation

I. Main Problem:

Các tác vụ agent dài hạn (personal assistant, banking, software) là bán kiểm chứng được (semi-verifiable): một phần tiêu chí kiểm tra được bằng test tự động, phần còn lại cần phán đoán, nên phải dùng rubric + LLM judge. Nhưng bằng chứng để chấm phân tán ở hai nơi — trạng thái môi trường cuối (state) và nhật ký thực thi (trace) — và các judge hiện tại có hai lỗ hổng nghiêm trọng:

Bỏ sót bằng chứng hoặc nhìn sai chỗ, kết luận không được quan sát nào ủng hộ.
Tin lời tự báo cáo của agent — khi verdict rubric dùng làm reward cho RL, hành vi này dạy agent khai thác judge (reward hacking: báo cáo thành công giả để được thưởng).

Ngoài ra việc rà soát toàn bộ trace/state dài hàng chục sự kiện cho hàng chục tiêu chí rất tốn token và tốn kém.

II. Main Idea:

SAURON là verifier kiểu evidence-first (bằng chứng trước, kết luận sau) với kiến trúc tách biệt ba vai trò:

Investigator: nhóm các tiêu chí rubric có khả năng dùng chung bằng chứng (clustering) rồi điều tra song song bằng bounded queries — truy vấn rộng để định vị, truy vấn đích để lấy giá trị cụ thể — chỉ kéo đúng phần cần thiết của state và trace vào context.
Evidence verifier: mọi claim do investigator đề xuất (dạng atom: claim + loại bằng chứng + locator) đều được đối chiếu độc lập với nguồn gốc — claim chính xác so khớp cơ học, claim diễn giải qua một faithfulness checker bị cô lập (chỉ thấy claim và đoạn trích, giảm thiên kiến). Claim không truy xuất được nguồn bị bác kèm lý do.
Verdict finalizer: chỉ chấp nhận verdict khi các claim đã được xác minh đủ ủng hộ; mỗi verdict kèm một receipt liệt kê bằng chứng, có thể audit.

Vì điều tra cả state lẫn trace, Sauron kiểm được cả kết quả cuối, quy trình thực hiện, và sự nhất quán giữa hai nguồn (ví dụ phát hiện số liệu lưu trong báo cáo khác số truy xuất từ tài khoản).

Ví dụ đời thường: giống kiểm toán viên không ngồi đọc hết cả kho chứng từ, mà đi thẳng đến tủ hồ sơ liên quan, chụp lại từng tờ rồi mang về cho người khác đối chiếu bản gốc — kết luận chỉ được ký khi từng con số đã khớp với chứng từ thật, và mọi quyết định đều dán kèm phiếu dẫn chiếu.

III. Main Results:

PA100 (100 episode trợ lý cá nhân, 2.586 tiêu chí gán nhãn người): Sauron đạt F1 cao nhất trong 5 verifier trên cả 8 backbone, đồng thời rẻ hơn Gandalf (baseline mạnh nhất). Với GPT-5.6 Sol: 0.96 vs 0.92 F1, chi phí thấp hơn 23%, dẫn cách lớn hơn hẳn trên tiêu chí quy trình (0.97 vs 0.90 — vì Gandalf không xem trace).
PAFault (637 cặp nhiễu lỗi/sạch, 13 loại lỗi gồm giả lập reward hacking): Sauron phát hiện 97% lỗi nhiễu, chỉ báo động nhầm 2% mẫu sạch (Δfault = 0.95). Các baseline dù được đưa cả full trace vẫn thua: Gandalf-trace 0.67, Autorubric-trace 0.71; riêng các lỗi mâu thuẫn state–trace, baseline thậm chí có điểm âm còn Sauron đạt 0.90–1.00.
TRAIL (lỗi agent thật, 148 trace): Sauron dẫn Gandalf và judge gốc của benchmark trên cả 3 metric (wF1, độ chính xác vị trí, joint accuracy) ở cả hai split GAIA và SWE-bench Lite.
Hiệu quả chi phí: nhờ bounded queries và gom cụm theo bằng chứng dùng chung, Sauron đọc chưa tới một nửa số input token của Gandalf và hoàn thành nhanh hơn ~4 lần trên cùng tập mẫu.

IV. Conclusion & Future Works:

Điểm mấu chốt: chỉ có quyền truy cập trace/state là chưa đủ — cách verifier dùng bằng chứng mới quyết định độ tin cậy. Việc tách riêng thu thập bằng chứng, xác minh độc lập từng claim và yêu cầu claim đã kiểm chứng mới được ủng hộ verdict giúp Sauron vừa chính xác hơn, vừa rẻ hơn, đồng thời chống được reward hacking — một yêu cầu sống còn khi rubric verdict dùng làm reward RL. Mỗi verdict kèm receipt cũng mở đường cho audit và cải thiện dần chất lượng judge.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng evidence-first verification cho môi trường multi-agent, nơi bằng chứng phân tán qua trace của nhiều agent và cần đối chiếu chéo giữa các bên.
Kết hợp Sauron với RL: dùng receipt có audit-trail làm reward có cấu trúc, giảm khả năng policy học cách thao túng judge qua các thế hệ tối ưu.
Nghiên cứu chiến lược clustering tiêu chí thích ứng và ngân sách truy vấn động để cân bằng chất lượng–chi phí trên các tác vụ cực dài hàng nghìn sự kiện trace.
Phát triển bộ benchmark fault-injection mô phỏng reward hacking tinh vi hơn (giấu bằng chứng trong chain-of-thought, chỉnh sửa định hướng đánh giá) để thử thách các verifier mới.

2. Patent:

Hệ thống chấm điểm tự động cho trợ lý AI trên điện thoại: khi agent báo 'đã thanh toán hóa đơn xong', một verifier riêng tự mở app ngân hàng (trạng thái cuối) và nhật ký thao tác (trace), đối chiếu từng claim của agent với dữ liệu gốc rồi chỉ xác nhận khi khớp — ngăn agent 'nói dối' để được cộng điểm.
Công cụ audit giao dịch tài chính do AI thực hiện: mỗi kết luận của agent (ví dụ báo cáo lãi vận hành) đều kèm hóa đơn bằng chứng liệt kê số liệu truy xuất từ đâu, giá trị gốc là bao nhiêu, giúp người dùng kiểm chứng bằng một chạm trên giao diện điện thoại.
Chế độ chống gian lận reward cho ứng dụng huấn luyện AI: phần mềm trên điện thoại/đám mây tách riêng 'người điều tra' thu thập bằng chứng và 'người kiểm chứng' đối chiếu nguồn, đảm bảo agent không thể tự thưởng cho mình bằng báo cáo thành công giả.
Plugin kiểm chứng email/tin nhắn tự động: khi AI trợ lý soạn email gửi khách hàng, hệ thống tự tra lại dữ liệu gốc (lịch, đơn hàng, số liệu) để xác minh mọi con số trong nội dung trước khi gửi, báo cáo lỗi không khớp kèm dẫn chiếu cụ thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.17724
ArXiv Abstract	https://arxiv.org/abs/2610.17724
PDF Download	https://arxiv.org/pdf/2610.17724.pdf
Github Repository	https://github.com/rsanayei/Sauron

29. Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips (16 votes)

Tác giả: Yian Zhao, Yu Yan, Hongcan Guo, Ruochong Zheng, Jian Zhang, et al.

Xuất bản lúc: 2026-10-19

Tag: World Models, Video Generation, Diffusion Forcing, Flow Matching, Autoregressive Generation, Robotics, Long-Horizon Generation

I. Main Problem:

Các world model sinh video streaming (sinh tương lai theo từng chunk, dựa trên lịch sử tự sinh của chính mình và luồng hành động) bị trôi (drift) khi rollout vượt quá độ dài clip huấn luyện: lỗi dự đoán tái vào context và cộng dồn, khiến video tối dần, nhòe hoặc vỡ thành họa tiết. Cách phổ biến là Distribution Matching Distillation (DMD) với một teacher, nhưng với world model có điều kiện hành động, teacher gặp bế tắc:

Video model ngoài không biết gì về hành động, kéo rollout về phân phối sai
Chính mô hình pretrained làm teacher thì trôi y hệt student nên không đưa tín hiệu sửa được
Các phương pháp teacher-free chỉ giám sát các trạng thái ghép được với ground truth trong clip ngắn — không bao giờ chạm tới trạng thái hàng nghìn frame sau.

II. Main Idea:

Quan sát cốt lõi: một rollout dài không cần khớp teacher, chỉ cần (1) là sự tiếp nối realistic của chính cảnh của nó và (2) tuân theo hành động được ra lệnh. Độ thực và độ trung thành với cảnh là thuộc tính phân phối, đo trực tiếp so với thống kê dữ liệu thật — vốn hợp lệ ở mọi độ dài rollout; còn action-following đã được loss sinh có điều kiện giữ sẵn.

Fréchet Forcing fine-tune world model cùng chính sampler đa bước đang triển khai, với ba ràng buộc bổ sung:

Generative anchoring: áp flow-matching loss sau một lịch sử tự sinh (có lỗi của mô hình), nhưng kết thúc lịch sử bằng một chunk thật — giữ khả năng sinh theo hành động và tránh hiện tượng "vẽ lại cảnh" ở mỗi ranh giới chunk
Context fidelity: Fréchet distance trên thống kê latent của rollout, được căn tâm theo ground truth của chính clip đó — rollout trung thành với cảnh ban đầu, không bị kéo về "hình dạng trung bình của dataset"
Reality matching: Fréchet distance so với frame thật trong feature space DINOv2 đông cứng — frame sinh ra luôn realistic, loại bỏ ảnh tối/mờ/lặp họa tiết

FD được tính khả vi nhờ running moment estimates (EMA) nên chỉ cần batch nhỏ, gradient cắt ở các chunk cuối để tiết kiệm tính toán. Không cần teacher, không cần critic online, không cần video dài — dữ liệu huấn luyện vẫn chỉ là clip 381 frame.

Ví dụ đời thường: giống người lái không cần bản ghi chép của cả hành trình dài, mà chỉ cần hai thước đo luôn đúng ở mọi thời điểm — "cảnh xung quanh có giống thật không" và "mình có còn đi đúng đoạn đường mình đã vào không" — rồi tự chỉnh tay lái quanh hai thước đó ấy.

III. Main Results:

Fine-tune MiniWorld-1B (pretrain trên clip 253 frame) với tối đa 36 GPU-hours trên clip 381 frame, rollout ổn định vượt 4.000 frame (>10× độ dài fine-tune) trên cả hai domain: điều khiển robot (DROID) và khám phá bằng camera (Sekai).
Trên DROID, PSNR so với replay hai chiều giữ trên 21dB tới frame 4.000, trong khi mô hình gốc chỉ còn 8.9dB; FVD bin cuối giảm 25× (DROID) và 2.7× (Sekai), đồng thời vẫn tuân theo hành động.
Phân tích training dynamics chỉ ra ba chế độ hỏng của distribution matching ngây thơ: context decoupling (khớp marginal kéo mọi rollout về hình trung bình dataset), gradient-statistic misalignment (thống kê gộp cả rollout khiến đuôi mang gradient phải bù cho phần prefix bị detach), feature-space exploitation (không gian feature bậc thấp chấp nhận frame suy biến) — và mỗi lựa chọn thiết kế của Fréchet Forcing khắc phục đúng một chế độ.
Phát hiện thêm chunk-boundary redraw: lịch sử tự render kết thúc không khớp mượt target khiến mô hình "vẽ lại cảnh" ở mỗi ranh giới chunk (nhấp nháy chu kỳ) — khắc phục bằng cách kết thúc lịch sử bằng một chunk thật, giúp median loss giảm 0.26 → 0.15.

IV. Conclusion & Future Works:

Fréchet Forcing là phương pháp đầu tiên huấn luyện streaming world model trên rollout của chính nó bằng objective Fréchet distance so với dữ liệu thật, không cần teacher, critic online hay video dài, và fine-tune nguyên sampler triển khai mà không sửa đổi kiến trúc. Thông điệp chính: vấn đề rollout dài là vấn đề phân phối và thời gian, và điểm mấu chốt nằm ở chỗ chấm điểm rollout (clip-centred, chỉ trên chunk mang gradient) và không gian feature (semantic thay vì bậc thấp). Hai ràng buộc distributional (context fidelity + reality matching) bổ sung lẫn nhau: một giữ đúng cảnh riêng, một giữ đúng độ thực tổng thể.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng nguyên lý clip-centred Fréchet distance cho các loại world model khác (audio, 3D scene, multimodal) để kéo dài chuỗi sinh autoregressive mà không cần mô hình teacher.
Mở rộng Fréchet Forcing cho môi trường tương tác hai chiều: mô hình vừa sinh quan sát vừa tự đánh giá độ lệch thống kê theo thời gian thực để chủ động tái neo về dữ liệu thật.
Nghiên cứu chiến lược chọn độ dài lịch sử tự sinh và tỉ lệ nhiễu trong generative anchoring để cân bằng giữa khả năng chịu lỗi rollout và độ mượt của chuyển tiếp chunk.
Kết hợp reality matching với feature extractor tự học theo từng domain để huấn luyện world model cho các môi trường có phân phối hình ảnh rất khác dữ liệu pretrain.

2. Patent:

Trình mô phỏng tương tác trên điện thoại cho game/robot: ứng dụng sinh cảnh tương lai theo thao tác người chơi, tự đo độ lệch thống kê so với dữ liệu cảnh thật theo từng màn chơi để tự chỉnh mô hình, giữ hình ảnh không vỡ dù chơi liên tục hàng giờ.
Hệ huấn luyện robot ảo không cần video dài: chỉ cần clip ngắn quay từ camera robot, hệ thống tự tinh chỉnh mô hình dự đoán hình ảnh để mô phỏng chuỗi điều khiển dài, tiết kiệm chi phí thu thập dữ liệu cho nhà máy.
Module chống suy thoái hình ảnh cho camera an ninh tổng hợp: khi mô hình AI dựng lại video góc nhìn ảo từ camera tự do, bộ kiểm tra độ thực theo từng khung cảnh tự cảnh báo và tự hiệu chỉnh khi video bắt đầu tối, nhòe hoặc lặp họa tiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25666
ArXiv Abstract	https://arxiv.org/abs/2610.25666
PDF Download	https://arxiv.org/pdf/2610.25666.pdf
Github Repository	https://github.com/zhao-yian/Frechet_Forcing

30. DeOverlay: A Benchmark and Source-Anchored Flow for Video Overlay Removal (13 votes)

Tác giả: Deshui Miao, Yuhang Ma, Shaoyong Jia, Wenzhao Gao, Yue Zhang, et al.

Xuất bản lúc: 2026-10-19

Tag: Video Inpainting, Video Restoration, Flow Matching, Diffusion Models, Benchmark, Temporal Aggregation, OCR, Computer Vision

I. Main Problem:

Xóa lớp phủ trên video — như phụ đề, tiêu đề, logo, watermark — vẫn còn khó vì cần:

khôi phục vùng bị che mà không làm biến dạng cấu trúc cảnh
giữ nguyên các vùng không bị che
duy trì tính liên tục theo thời gian
suy ra nội dung khi không có frame nào lộ vùng bị phủ

Các phương pháp hiện có thường dùng lan truyền nội dung giữa các frame hoặc sinh lại từ nhiễu có điều kiện, dẫn đến chữ còn sót, mép vùng biên và sai lệch màu. Đánh giá cũng bị chia rẽ: bài kiểm tra phụ đề, watermark hay chỉnh sửa video thường dùng tập dữ liệu và giao thức riêng.

II. Main Idea:

DeOverlay học một luồng chỉnh sửa từ video có phủ sang video sạch, thay vì bắt đầu từ nhiễu. Video bị che được mã hóa thành latent và dùng trực tiếp làm trạng thái khởi tạo; một mạng velocity chung được huấn luyện trên các đường nối cặp source-clean bằng region-weighted flow matching, ưu tiên vùng bị phủ. Khi suy luận, mô hình thực hiện nhiều bước Euler: trạng thái hiện tại và thời gian thay đổi, còn trọng số, source và mask được giữ cố định.

Thông tin gốc được cung cấp liên tục qua ba nhánh cộng vào token video:

Visibility-aware source aggregation: lấy trung bình đặc trưng tại các vị trí không bị mask trong cửa sổ thời gian gần, tránh trộn chữ/logo vào đặc trưng cảnh
Global source conditioning: tóm tắt toàn cục toàn bộ video để cung cấp ngữ cảnh cảnh vật khi không còn quan sát cục bộ
Mask embedding: đánh dấu chính xác vùng cần chỉnh sửa

Nhờ cộng điều kiện thay vì ghép chuỗi token nguồn, mô hình giữ một chuỗi token video duy nhất, giảm chi phí tính toán đáng kể so với kiến trúc hai luồng token. Ví dụ đời thường: giống người phục chế ảnh đặt bản gốc ngay bên cạnh, lau từng lớp vết bẩn trên bản sao nhiều lần, mỗi lần đều nhìn lại vùng sạch quanh vết bẩn để không tô lem sang chỗ tốt.

III. Main Results:

Bài báo giới thiệu DVTE-Bench gồm 1,631 video cặp, tổng cộng 136,090 frame và 91.1 phút, phủ 8 loại phủ chữ khác nhau về bố cục, hành vi thời gian và kiểu hiển thị. Target sạch được kiểm tra bằng OCR, loại 569/2,200 ứng viên còn chữ; mask pixel được căn theo từng frame.

Trên toàn bộ benchmark, DeOverlay đạt kết quả tốt nhất cả 5 metric so với CLEAR, ProPainter, MiniMax-Remover và DiffuEraser:

Mask PSNR: 30.80 dB, so với 26.17 dB của baseline mạnh nhất
Mask SSIM: 0.8822, so với 0.8044
Mask LPIPS: 0.0408, giảm 58.3%
DISTS: 0.0507, giảm 40.8%
VFID: 0.0835, giảm 70.3%
TWE Gap: 0.0118, nhỏ hơn rõ so với 0.6133 của MiniMax-Remover và 1.1801 của ProPainter

Ablation cho thấy khởi tạo từ nhiễu kèm token nguồn làm PSNR giảm 2.861 dB; bỏ VSA hoặc GSC cũng giảm chất lượng. Tăng từ 2 lên 4 bước flow cải thiện PSNR từ 32.410 lên 32.461 dB, trong khi 8 bước chỉ thêm 0.007 dB với chi phí cao hơn. Về tốc độ, DeOverlay một bước đạt 3.08 FPS, cao hơn MiniMax-Remover khoảng 1.17× trên cùng A100.

IV. Conclusion & Future Works:

Kết luận: cặp benchmark và mô hình giúp đánh giá thống nhất khả năng khôi phục cảnh dưới nhiều dạng chữ phủ. Điểm mấu chốt là khởi tạo từ source, giữ source cố định trong mọi bước flow, và tách điều kiện cục bộ/toàn cục để vừa dùng quan sát còn lại vừa suy luận vùng mất thông tin.

Hạn chế: benchmark chủ yếu tạo phủ chữ tổng hợp; logo đồ họa, sticker và việc bảo toàn chữ tự nhiên trong cảnh vẫn chưa được đánh giá đầy đủ. Với vùng bị che hoàn toàn trong toàn bộ clip, kết quả phụ thuộc vào video prior và có thể còn artifact.

Hướng tương lai: mở rộng dữ liệu cặp cho logo, sticker và chữ tự nhiên; nghiên cứu bảo toàn chữ thật khi xóa phụ đề; cải thiện suy luận vùng không quan sát được và tối ưu số bước flow để cân bằng chất lượng — chi phí.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DVTE-Bench sang logo đồ họa, sticker, watermark động và chữ tự nhiên trong cảnh, kèm giao thức riêng để phân biệt xóa phủ nhân tạo với bảo toàn văn bản thật.
Nghiên cứu overlay removal không cần mask bằng cách kết hợp phát hiện vùng phủ, OCR và source-anchored flow trong một mô hình thống nhất.
Phát triển flow ít bước hoặc một bước cho video editing bằng cách cô đọng quỹ đạo source-to-clean và chuyển kiến thức từ mô hình nhiều bước.
Kết hợp motion estimation rõ ràng với visibility-aware aggregation để cải thiện vùng bị che bởi chữ chuyển động nhanh hoặc nền biến đổi mạnh.

2. Patent:

Ứng dụng điện thoại xóa phụ đề hoặc tiêu đề trong video quay màn hình: người dùng quét vùng chữ, hệ thống dùng các frame không bị che làm mốc để lấp lại đúng nền và giữ nguyên phần còn lại.
Công cụ chỉnh video ngắn tự động làm sạch logo kênh, watermark hoặc sticker: người dùng chọn loại phủ, ứng dụng phân tích thời gian xuất hiện và tái tạo vùng bị che với chuyển động mượt giữa các frame.
Tính năng phục hồi video cũ trên điện thoại: xóa chữ chèn, timestamp hoặc biểu tượng đài truyền hình trong khi bảo toàn chữ gốc trên biển hiệu, bảng quảng cáo hoặc tài liệu trong cảnh.
Dịch vụ đám mây xử lý video hội nghị: tự xóa tên người nói, nhãn phụ đề hoặc watermark khỏi bản ghi sau sự kiện, rồi trả về video sạch không giật và không đổi màu vùng xung quanh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26081
ArXiv Abstract	https://arxiv.org/abs/2610.26081
PDF Download	https://arxiv.org/pdf/2610.26081.pdf
Github Repository	N/A

31. State World Models: Execute the Rules, Generate the Pixels (12 votes)

Tác giả: Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, et al.

Xuất bản lúc: 2026-10-19

Tag: World Models, Video Generation, Interactive World Models, Stateful Interaction, Rule-Based Systems, Game Generation, Benchmark

I. Main Problem:

Các video world model hiện tại tạo video điều kiện hóa theo hành động từ một ảnh duy nhất, nhưng chủ yếu hỗ trợ điều hướng camera — người dùng xem được cảnh chứ không tương tác đúng luật của thế giới:

Cùng một hành động (ví dụ "mở rương") với cùng khung hình phải cho kết quả khác nhau tùy trạng thái ẩn (có chìa khóa hay không) — mô hình video thường cho cùng kết quả (twin collapse), vi phạm luật.
Trạng thái ẩn (túi đồ, tiến trình, HP...) không hiện trong khung hình nên mô hình thuần video không thể ghi nhớ hay vận dụng.
Hệ quả tương tác không tồn tại xuyên suốt các lượt chơi.

II. Main Idea:

STATEFULHARNESS tách riêng thực thi luật (logic thế giới) khỏi render video (mô hình video bị đóng băng, không fine-tune):

Stage 0 — Xây dựng thế giới: một coding agent viết executable game definition (state schema, actions, rules, events, goals) bằng ngôn ngữ gõ kiểu nhỏ; ảnh khởi đầu được nâng lên clay model (cảnh 3D editable gồm các hộp) làm trạng thái không gian.
Stage 1 — Vòng lặp từng lượt: người chọn hành động → runtime chạy rules để quyết định kết quả (settled event + cập nhật semantic ledger và clay model) → biên dịch thành VisualScript instruction kèm preview clip từ clay model làm gợi ý góc máy/không gian → mô hình video đóng băng render sự kiện → một vision language model đọc clip, đề xuất cập nhật trạng thái (chỉ chấp nhận nếu không mâu thuẫn rules).
Nhờ vậy rules là tuyệt đối — video chỉ vẽ kết quả đã được luật định, và trạng thái persist xuyên lượt.

Ví dụ đời thường: giống như chơi cờ với một trọng tài: trọng tài (runtime) tự giữ sổ ghi trạng thái và chấp hành luật — nước đi hợp lệ hay không do trọng tài quyết, còn họa sĩ (mô hình video) chỉ vẽ lại đúng tình thế trọng tài thông báo, không được tự ý đổi kết cục.

III. Main Results:

WorldState-Bench mới: 50 cặp counterfactual twins — cùng ảnh đầu, cùng hành động, chỉ khác trạng thái ẩn đòi hỏi kết cục khác nhau; chấm bằng VLM judge (Qwen3.8-27B-VL) với metrics PAIRFOLLOW / PAIRSTRICT.
11 video backend thuần (Wan2.2, MiniMax-H3, HunyuanVideo, LingBot-World, Astra...) chỉ đạt tối đa 32% PAIRFOLLOW dù prompt nêu luật; thêm chỉ dẫn kết cục (Rule+end) chỉ nâng MiniMax-H3 lên 64% PAIRFOLLOW / 4% PAIRSTRICT.
STATEFULHARNESS với cùng trọng số MiniMax-H3 đóng băng đạt 92% PAIRFOLLOW, 90% PAIRSTRICT, 96% TWINCONTRAST — tức cải thiện ~60 điểm so với baseline thuần.
Phân tích thành phần: outcome specification +32 điểm, executed state + compiled references +28 điểm (đều significant theo McNemar test).
So với người thật (blind comparison): harness thắng 96–100% số lượt so với 4 baseline mạnh.
Trên WBench bên ngoài: chất lượng video (78.0) ngang trung bình nhóm text-driven, interaction 77.7 cao nhất so với 20 mô hình so sánh, setting adherence tăng 71.1 → 87.2.
Chạy được episode đa lượt thật (11–29 lượt) ở 3 thể loại khác nhau (khám phá thị trấn, mô phỏng hẹn hò, đấu turn-based) chỉ bằng cách viết game definition mới — không fine-tune.

IV. Conclusion & Future Works:

Việc tách thực thi luật khỏi render video là then chốt để world model tương tác tuân thủ luật khi trạng thái ẩn quyết định hậu quả: trạng thái semantic + spatial tường minh, rules cố định có thẩm quyền, còn mô hình video đóng băng chỉ hiện thực hóa sự kiện. Hướng mở rộng: nâng cấp chất lượng/hội thoại qua neural kernel, áp dụng cho spatial triggers phức tạp hơn, và mở rộng benchmark sang các loại thế giới/luật đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng STATEFULHARNESS sang thế giới mở dài hạn với trạng thái không gian liên tục cập nhật từ luồng video, thay vì clay model dạng hộp rời rạc hiện tại.
Kết hợp harness rule-based với học luật tự động: agent tự phát hiện và viết rules từ quan sát người chơi thay vì rules do coding agent viết tay.
Nghiên cứu cơ chế VLM quan sát clip cập nhật trạng thái đáng tin cậy hơn (giảm rendering inconsistency) cho episode hàng trăm lượt.

2. Patent:

Ứng dụng game phiêu lưu trên điện thoại sinh từ một ảnh: máy chủ giữ sổ trạng thái (máu, vật phẩm, nhiệm vụ) và chạy luật cố định; mỗi lượt chơi, mô hình video đám mây render hậu quả đúng luật, đảm bảo cùng hành động nhưng kết quả khác nhau tùy vật phẩm người chơi sở hữu.
Công cụ tạo câu chuyện tương tác cho mạng xã hội: người dùng nhập mô tả thế giới và ảnh, hệ thống tự sinh luật chơi; lựa chọn của người xem cập nhật trạng thái nhân vật (thiện cảm, kẻ thù...) xuyên suốt các video tiếp theo.
Hệ mô phỏng huấn luyện/kiểm thử tình huống (y tế, cứu hộ): kịch bản là chương trình luật rõ ràng, còn hình ảnh từng tình huống do mô hình video tạo theo đúng trạng thái ẩn của ca bệnh — kiểm chứng người học có ra quyết định đúng khi thông tin chưa nhìn thấy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26811
ArXiv Abstract	https://arxiv.org/abs/2610.26811
PDF Download	https://arxiv.org/pdf/2610.26811.pdf
Github Repository	https://github.com/Zhangyr2022/StateWorldModel

32. Learning to Discriminate Scene Structures Makes Self-Supervised Depth Learning Scalable (12 votes)

Tác giả: Mengtan Zhang, Yuchuan Cui, Yu Ma, Zizhan Guo, Wei Ye, et al.

Xuất bản lúc: 2026-10-16

Tag: Self-Supervised Learning, Monocular Depth Estimation, Depth Foundation Models, Contrastive Learning, DINOv2, Scene Structure Representation, Out-of-Distribution Generalization, Scalable Training

I. Main Problem:

Self-supervised monocular depth estimation chưa scale được khi train trên dữ liệu đa dạng. Khi trộn indoor, outdoor, dynamic scenes và adverse weather, các phương pháp cũ thường giảm thay vì cải thiện, và generalize kém ra ngoài tập train.

Nguyên nhân cốt lõi theo bài báo: self-supervision từ novel-view synthesis có nhiễu ở occlusion, vùng thiếu texture và thay đổi sáng; gradient của loss tự giám sát không phản ánh đúng lỗi depth. Vì vậy mô hình học dataset-specific structural biases thay vì geometry chuyển được: đặc trưng mức cao của depth encoder không nắm foreground-background relation hay perspective geometry, mà phản ánh thiên kiến của từng dataset. Khi trộn domain, các bias này mâu thuẫn và gây cross-domain optimization conflicts.

II. Main Idea:

MaSS = Make Self-supervised depth learning Scalable bằng cách ép mạng học một structural representation tổng quát, decouple khỏi contextual features.

Bidirectional interaction architecture: nối depth encoder có thể train với frozen pretrained Vision Foundation Model kiểu DINOv2. Depth encoder bổ sung geometric cues mà VFM thiếu; VFM giữ semantic prior mạnh.
Anchored-decoupled feature projectors: một projector học contextual representation gần với VFM anchor; projector kia bị tách rời để dành riêng cho scene structure, tránh collapse và conflict.
Scene-structure discrimination objective: dùng contrastive learning với positive/negative pairs xác định bằng độ giống layout: depth map được làm trội bằng coarse proxy, soft histogram 20 bins, rồi đo similarity bằng symmetric KL divergence. Nhờ đó structural features nhóm ảnh theo global depth distribution / scene layout, không theo indoor-outdoor label hay dataset.

Ví dụ đời thường: giống dạy người đo khoảng cách không học thuộc từng căn nhà hay con đường, mà nhìn bố cục không gian — trần cao, hành lang dài, đường chân trời, vật gần-vật xa — để đoán chiều sâu đúng ở cả nhà lạ lẫn.

III. Main Results:

Single-dataset training: MaSS vượt SoTA SSMDE trên cả 4 tập train-evaluate: KITTI Abs Rel 0.094 / δ1 0.909, DDAD 0.128 / 0.845, NYUv2 0.109 / 0.868, nuScenes 0.139 / 0.851.
Mixed-dataset training: MaSS† còn cải thiện thành KITTI 0.092 / 0.913, DDAD 0.125 / 0.862, NYUv2 0.104 / 0.890, nuScenes 0.134 / 0.852, trong khi các baseline reproduce đều sụt mạnh. Đây là điểm khác biệt chính: lần đầu SSMDE hưởng lợi rõ từ trộn dữ liệu đa domain.
Zero-shot trên 8 dataset unseen: MaSS† mạnh hơn KBR/KBR++ trong khi dùng ít dữ liệu hơn rất nhiều: khoảng 150K samples so với 1.9M-2.2M của KBR series; chi phí 93.2M params / 81.6G FLOPs thấp hơn KBR++ 266.6M / 381.7G.
So với supervised depth foundation models: MaSS† cạnh tranh trên nhiều outdoor và OOD scenes nhưng vẫn yếu hơn trên indoor chuẩn vì các tập indoor đồng nhất hợp với supervised models train trên ground-truth lớn.
Ablation: bỏ contrastive learning, representation decoupling, hoặc interaction architecture đều sụt rõ; đổi DINOv2 sang DINOv3 chỉ thay đổi marginal, cho thấy điểm mấu chốt là cơ chế học structure, không chỉ backbone mạnh hơn.
Scalability test: thêm 50K TartanAir để train từ 150K lên 200K giữ ổn định trên domain gốc và cải thiện rõ nhất trên các domain khó như DIML/DIODE.

IV. Conclusion & Future Works:

Bài báo kết luận rào cản scalability của SSMDE không chỉ là thiếu dữ liệu hay backbone yếu, mà là mô hình học nhầm dataset-specific structural bias. MaSS xử lý bằng tách contextual/structural representation và dùng contrastive objective theo layout similarity, qua đó đạt SoTA SSMDE, tận dụng được dữ liệu đa dạng, và generalize tốt hơn ra OOD scenes.

Hướng tương lai: cần đẩy SSMDE lên data regime gần các supervised depth foundation models kiểu Depth Anything/MoGe; kiểm chứng có thể khai thác pretrained depth/geometry foundation models để tự giám sát tốt hơn; cải thiện riêng nhóm indoor đồng nhất; và mở rộng phân tích scalability khi tăng cả dung lượng lẫn độ đa dạng video in-the-wild.

V. Brainstorming Space:

1. Publish Papers:

Scale self-supervised monocular depth learning lên hàng chục triệu video in-the-wild có dynamic objects, adverse weather và camera intrinsics không đồng nhất, với kiểm soát rõ quality của scene-structure supervision.
Kết hợp MaSS với pretrained depth hoặc geometry foundation models để kiểm tra liệu geometric prior mạnh có giúp self-supervised structural pathway học nhanh hơn mà không phá vỡ tính tổng quát.
Nghiên cứu riêng nhánh indoor depth có depth range hẹp và phân phối đồng nhất, nơi supervised foundation models hiện vẫn áp đảo các phương pháp self-supervised.
Phát triển scene-structure metric thay histogram của predicted depth bằng cấu trúc layout ổn định hơn, ít nhạy với artifacts cục bộ và high-frequency noise.

2. Patent:

Ứng dụng đo khoảng cách trên điện thoại bằng camera đơn: dùng video tự quay không cần depth sensor, mô hình tự giám sát học cấu trúc cảnh để đo khoảng cách nội thất, văn phòng, ngoài đường mà không phải calibrate lại từng loại cảnh.
Camera hành trình xe máy/ô tô ước lượng depth xuyên thành phố và thời tiết: một mô hình tự giám sát học bố cục đường, phố, mưa, ban đêm để hỗ trợ cảnh báo va chạm hoặc đỗ xe mà không fine-tune riêng cho từng thành phố.
Robot di chuyển trong kho hoặc bệnh viện: dùng một mô hình depth đơn camera tổng quát cho nhiều khu vực indoor khác nhau, giảm nhu cầu thu thập nhãn depth đắt đỏ và giảm lỗi khi robot đi từ hành lang sang sảnh lớn hay khu vực ngoài trời.
Hệ thống kiểm tra an ninh phát hiện scene bất thường: depth tự giám sát học layout tổng quát giúp nhận ra vật thể bất thường, thay đổi khoảng cách hoặc cấu trúc không gian trong camera giám sát mà không phụ thuộc dataset của một tòa nhà cụ thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.23600
ArXiv Abstract	https://arxiv.org/abs/2610.23600
PDF Download	https://arxiv.org/pdf/2610.23600.pdf
Github Repository	https://github.com/mengtanZ/MaSS

33. ACEdit: Stable Multi-Turn Image Editing via Asymmetric Conditioning (11 votes)

Tác giả: Sara Dorfman, Nir Goren, Gal Barak, Daniel Cohen-Or, Or Patashnik

Xuất bản lúc: 2026-10-15

Tag: Image Editing, Diffusion Models, Score Distillation, Multi-Turn Editing, Distribution Matching, Self-Forcing, Flow Matching

I. Main Problem:

Các mô hình chỉnh sửa ảnh hiện đại tạo kết quả tốt cho một lần chỉnh sửa, nhưng chất lượng xuống cấp dần qua nhiều lượt chỉnh sửa liên tiếp (multi-turn editing). Nguyên nhân:

Mỗi lượt chỉnh sửa tạo ra độ lệch phân phối nhỏ, tích lũy dần vì mô hình liên tục làm việc trên chính output của nó
Có khoảng cách giữa phân phối dữ liệu lúc huấn luyện (ảnh sạch) và lúc suy luận (ảnh đã biến dạng)
Hậu quả: ảnh mất chi tiết, lệch màu, xuất hiện artifact sau vài lượt sửa.

Các hướng giải quyết trước đây còn hạn chế: phương pháp tại inference (Emu Edit, VAE-LFA, FreqEdit) bị dính dấu vết của ảnh cũ, tốn tính toán; phương pháp huấn luyện (MT-OPSD, AnchorEdit) thì khoảng cách train–test vẫn còn, hoặc tín hiệu giám sát không đáng tin.

II. Main Idea:

Tác giả đề xuất ACEdit — một phương pháp huấn luyện (fine-tune bằng LoRA) giúp biên tập ảnh ổn định qua nhiều lượt, lấy cảm hứng từ nguyên lý Self-Forcing (từ video sinh tự hồi quy):

Student tự lăn trên output của chính nó: trong quá trình huấn luyện, mô hình (FLUX.2-klein) chỉnh sửa ảnh qua chuỗi 10 lượt, mỗi output trở thành input của lượt sau — đúng như điều kiện lúc suy luận.
Vấn đề: các ảnh trung gian do student tự tạo lệch khỏi ground-truth nên không thể giám sát bằng ảnh mẫu → dùng score distillation với teacher editor thay thế tín hiệu giám sát, không cần target từng bước.
Điểm mấu chốt — Asymmetric Conditioning (điều kiện hóa bất đối xứng): student làm việc tuần tự trên output lỗi của mình, còn teacher luôn nhìn ảnh gốc sạch + một compound instruction gộp toàn bộ các lệnh sửa đến lượt hiện tại (ví dụ "thêm túi → đổi đỏ → da → khoá vàng" thành "thêm túi da đỏ có khoá vàng"). Nhờ đó teacher không thừa hưởng lỗi tích lũy của student mà vẫn chấm được kết quả cuối.
Học độ lệch phân phối qua mục tiêu VSD/DMD: gradient = hiệu giữa dự đoán của teacher và auxiliary editor (được huấn luyện để mô hình hóa chính phân phối output của student).
Không tốn chi phí lúc inference, không giả định gì về dạng độ lệch phân phối.

Ví dụ đời thường: giống thầy giáo chấm bài kiểm tra dài nhiều bước — thay vì đọc từng bản nháp đầy lỗi của học sinh (student), thầy chỉ cần xem đề bài gốc và toàn bộ yêu cầu cuối cùng, rồi so kết quả cuối với đáp án sạch để chỉ cho học sinh cách sửa, nên không bị lây theo sai lầm dồn dập ở từng bước.

III. Main Results:

Đánh giá trên EdiVal-10 (benchmark mới: 252 chuỗi, mỗi chuỗi 10 lượt chỉnh sửa cục bộ trên ảnh thật, có vật 'anchor' không được phép sửa) và so với base model FLUX.2-klein, Emu Edit, VAE-LFA, FreqEdit, MT-OPSD:

Chất lượng cuối sau 10 lượt: điểm KRIS cao nhất (3.19, vượt mọi phương pháp khác có ý nghĩa thống kê), suy giảm HPSv3 chỉ −0.17 so với −0.78 của base model.
Bảo toàn nội dung: điểm consistency toàn ảnh 3.85 (base: 3.03; các phương pháp khác: 1.29–3.32); khoảng cách LPIPS nền thấp nhất (0.254 so với 0.351 của base).
Tuân theo chỉ dẫn không bị hy sinh: điểm instruction-following 3.38, ngang FreqEdit (3.39) — chứng tỏ độ ổn định không đến từ việc 'bỏ qua' các lệnh sửa.
Sửa đơn lẻ: chỉnh sửa 1 lần giảm HPSv3 ít nhất (−0.18 so với −0.41 của base) — không đánh đổi chất lượng edit ngắn.
Ablation chứng minh vai trò cốt lõi của asymmetric conditioning: nếu teacher nhìn ảnh trước đó, consistency tụt 3.85 → 2.81 (lỗi lan ra như base model); nếu student thêm ảnh gốc làm tham chiếu, instruction-following sụt 3.38 → 2.80 (các lượt sửa trước bị 'hoàn nguyên'); huấn luyện với chuỗi 5 lượt thay vì 10 chỉ lấy lại ~1/3 độ cải thiện.
Chi phí huấn luyện nhẹ: LoRA rank 16 (27.8M tham số), ~4.4 GPU-hours trên 1 B200, 100 bước cập nhật student.

IV. Conclusion & Future Works:

Ý tưởng trung tâm: độ ổn định phải được học trên toàn bộ quá trình tái sử dụng output của chính mình, chứ không phải từng bước edit riêng lẻ. Asymmetric conditioning cho phép giám sát một chuỗi dài, không hoàn hảo của student thông qua một đường đi ngắn và sạch của teacher (ảnh gốc + compound instruction) mà không cho teacher tiếp xúc lỗi tích lũy. Giới hạn và hướng đi:

Hạn chế: chuỗi chỉnh sửa đánh giá dài nhất là 20 lượt; các thí nghiệm tập trung vào chỉnh sửa cục bộ; chưa xử lý các lượt edit toàn cục (đổi phong cách nghệ thuật...).
Nhận xét thú vị: multi-turn không phải lúc nào cũng xuống cấp — khi các lượt edit liên tục thay thế chủ thể và nền, mô hình hiện có vẫn giữ được chất lượng, cho thấy vấn đề chủ yếu nằm ở bảo toàn nội dung tĩnh qua nhiều lượt.
Hướng tương lai: mở rộng cho chuỗi dài hơn, các dạng edit toàn cục, và kiến trúc/teacher mạnh hơn.

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa asymmetric conditioning sang các tác vụ sinh nội dung tuần tự khác (video dài, sinh 3D nhiều giai đoạn), nơi mô hình cũng tự lặp lại trên output của chính nó và tích lũy độ lệch phân phối.
Phương pháp huấn luyện self-forcing dạng on-policy cho bài toán chỉnh sửa ảnh dài hạn (50–100 lượt) kết hợp cơ chế bộ nhớ chọn lọc để giữ độ ổn định mà không làm mờ các lượt sửa cũ.
Kết hợp reinforcement learning phần thưởng chuỗi với distillation điều kiện bất đối xứng để tối ưu đồng thời chất lượng từng lượt và độ ổn định toàn chuỗi chỉnh sửa.

2. Patent:

Tính năng chỉnh sửa ảnh nhiều lớp trên điện thoại: người dùng sửa ảnh liên tiếp nhiều lần ('thêm kính', 'đổi màu áo', 'đổi nền') mà ảnh không bị mờ, lệch màu hay mất chi tiết sau mỗi lần sửa — mô hình được huấn luyện để tự thích nghi với ảnh đã qua chỉnh sửa của chính nó, dùng một mô hình 'giáo viên' luôn tham chiếu ảnh gốc và lệnh tổng hợp để giữ ảnh ổn định.
Hệ thống thiết kế đồ họa quảng cáo trên điện thoại: nhân viên chỉnh cùng một ảnh sản phẩm qua nhiều vòng duyệt của khách hàng; mỗi yêu cầu đổi ('đổi màu logo', 'thêm khuyến mãi', 'đổi font chữ trên banner') được cộng dồn thành một lệnh tổng hợp để một mô hình tham chiếu ảnh ban đầu chấm và sửa kết quả, giữ sản phẩm luôn sắc nét qua hàng chục vòng phản hồi.
Ứng dụng camera AI tạo hiệu ứng lớp chồng lớp: người dùng thêm dần nhiều hiệu ứng/bộ lọc/sticker lên ảnh chụp; một mô hình phụ chạy song song học cách ảnh hiện tại của người dùng khác ảnh chuẩn, từ đó điều chỉnh mô hình chính sao cho kết quả sau nhiều lớp hiệu ứng vẫn tự nhiên, không bị vỡ hạt hay đổi màu da.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.22328
ArXiv Abstract	https://arxiv.org/abs/2610.22328
PDF Download	https://arxiv.org/pdf/2610.22328.pdf
Github Repository	N/A

34. Harnessing Textual Refusal Directions for Multimodal Safety (11 votes)

Tác giả: Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

Xuất bản lúc: 2026-10-16

Tag: MLLMs, Safety Alignment, Activation Steering, Refusal Directions, Jailbreak Defense, Multimodal Safety

I. Main Problem:

An toàn của Multimodal Large Language Models (MLLMs) phụ thuộc vào việc thu thập dữ liệu multimodal không an toàn để alignment hoặc activation steering, nhưng loại dữ liệu này:

khó thu thập (phải nắm bắt tương tác liên phương thức, và phải thu lại từ đầu cho mỗi phương thức như ảnh, video)
gây lo ngại đạo đức và pháp lý (hình ảnh lạm dụng trẻ em, nội dung không có sự đồng thuận)
khiến MLLMs thừa hưởng lỗ hổng an toàn từ LLM backbone, bị khuếch đại bởi độ phức tạp trực quan trong các tấn công jailbreak, fine-tuning hẹp và chiến lược vượt rào.

Hệ quả: model từ chối kém các truy vấn nguy hiểm (ví dụ từ chối chỉ 0.2–22.9% ở chế độ zero-shot trên benchmark VISU), đặc biệt với video jailbreak và các tương tác cross-modal (ảnh và text riêng lẻ đều an toàn nhưng kết hợp lại thành nguy hiểm).

II. Main Idea:

Bài báo khám phá liệu refusal directions trích xuất chỉ từ dữ liệu text (chênh lệch giữa tâm cụm kích hoạt của câu trả lời từ chối và chấp nhận trong LLM backbone) có khái quát hóa sang phương thức khác (ảnh, video) hay không. Kết quả ban đầu xác nhận điều này, nhưng hiệu quả bị giới hạn bởi: (1) lựa chọn layer, (2) độ mạnh steering, và (3) modality misalignment — thành phần riêng của phương thức trực quan tự nhiên trùng với hướng từ chối khiến cả input an toàn cũng bị ép từ chối (over-refusal).

Từ đó tác giả đề xuất MARS (Modality-Agnostic Refusal Steering), phương pháp can thiệp tại inference-time, không cần huấn luyện và không cần dữ liệu multimodal không an toàn:

Activation centering: trừ đi trung bình kích hoạt của các ảnh nhiễu màu ngẫu nhiên (không mang nghĩa ngữ nghĩa) để tách thành phần visual ra khỏi tín hiệu an toàn
ReLU-gated traversal: chỉ đẩy kích hoạt theo hướng từ chối khi chúng đã thẳng hàng dương với hướng đó (ước lượng là input không an toàn), input an toàn giữ nguyên hành vi
Steering strength thích ứng: hệ số steering suy ra từ hình học cục bộ — khoảng cách tới tâm cụm accept/reject gần nhất định nghĩa một trust region, can thiệp bị giới hạn trong vùng dữ liệu huấn luyện đã bao phủ
Lựa chọn layer bằng ba tiêu chí training-free: độ nhất quán hướng refusal trên tập validation, khả năng tách biệt safe/unsafe, và margin an toàn — chỉ can thiệp tại token sinh đầu tiên.

Ví dụ đời thường: giống như cái còi báo động trong xe hơi — thay vì phải thuê người lái xe nguy hiểm để ghi âm tiếng va chạm cho hệ thống học, ta chỉ cần lấy tiếng cảnh báo có sẵn từ chính chiếc xe (text), chỉnh lại micro sao cho nó không kêu vu vơ khi xe đang đỗ yên (centering), rồi vặn độ lớn tiếng kêu vừa đủ trong giới hạn không gây điếc (trust region).

III. Main Results:

An toàn trên ảnh (VISU): MARS tăng từ chối trên input không an toàn từ +25.1% (Gemma3) đến +67.9% (Molmo2), vượt các baseline training-free (AdaSteer, ECSO) và vượt cả phương pháp có huấn luyện (SASA, AutoSteer) trên nhiều model, trong khi over-refusal ở mức kiểm soát được.
Chống jailbreaking (HADES): khôi phục từ chối tới +78.6% trên Molmo2; đạt 98–99% refusal/safety trên Qwen3-VL và Qwen3.5, ngang SASA (baseline huấn luyện đa phương thức).
Cross-modal safety (SIUO, HoliSafe-SSU) — nơi ảnh và text riêng lẻ đều vô hại: MARS tăng từ chối tới +58% trên Molmo2 (SIUO), vượt mọi baseline training-free; các phương pháp huấn luyện gặp khó khái quát hóa trong tình huống này.
Video jailbreak (VideoSafetyBench): +59.4% từ chối trên Qwen3-VL, +52% trên Qwen3.5, +39% trên Molmo2 (gấp ~2.5–3 lần zero-shot) — chứng minh refusal direction từ text chuyển sang video mà không cần dữ liệu video.
Utility (MMMU, MMMU-Pro): gần như không suy giảm trên Gemma3, Molmo2, InternVL 3.5, Qwen3-VL — trade-off an toàn–utility tốt nhất so với SASA (sụt tới -20%).
Ablation: bỏ centering gây over-refusal 99.2% trên Molmo2; bỏ chọn layer làm sụp từ chối về ~0%; bỏ ReLU gate làm giảm utility — cả ba thành phần đều cần thiết.

IV. Conclusion & Future Works:

Bài báo chứng minh cấu trúc an toàn được chia sẻ xuyên suốt các phương thức: refusal directions thuần text là nền tảng mạnh mẽ và còn ít được khai thác cho multimodal alignment. MARS cho thấy các MLLM hiện tại đã sở hữu khả năng an toàn tiềm ẩn chưa được dùng hết, mở ra hướng thay thế nhẹ nhàng, khả mở rộng cho pipeline alignment truyền thống — thậm chí hiệu quả ở những nơi phương pháp huấn luyện thất bại như video.

Hạn chế & hướng tương lai:

MARS giả định refusal directions tồn tại sẵn trong LLM backbone; khi tín hiệu yếu hoặc vắng mặt (model alignment kém) hiệu suất có thể sụt giảm
Giả định modality misalignment có thể khử tuyến tính bằng centering — một xấp xỉ có thể đổ vỡ trong không gian kích hoạt phi tuyến mạnh
Còn over-refusal dư trên input an toàn — giảm over-refusal mà không mất lợi ích an toàn là hướng nghiên cứu quan trọng tiếp theo

V. Brainstorming Space:

1. Publish Papers:

Mở rộng refusal steering không phụ thuộc phương thức sang các phương thức mới (audio, 3D, sensor y tế) bằng cách tự động ước lượng thành phần trung tính của từng phương thức thay vì dùng ảnh nhiễu màu cố định.
Kết hợp MARS với phương pháp tách rời phi tuyến (kernel-based hoặc learned projection) để khử modality misalignment trong các không gian kích hoạt mà centering tuyến tính không xử lý được.
Nghiên cứu cơ chế giảm over-refusal dư: điều chỉnh ngưỡng ReLU gate hoặc hiệu chỉnh trust region theo phân phối input an toàn thực tế để cân bằng an toàn–utility tốt hơn.
Khai thác refusal directions đa ngôn ngữ: kiểm tra xem hướng từ chối trích xuất từ dữ liệu text một ngôn ngữ có bảo vệ được MLLM trong các cuộc tấn công jailbreak đa ngôn ngữ hay không.

2. Patent:

Bộ lọc an toàn tích hợp sẵn trong ứng dụng camera/điện thoại: một module nhẹ chạy trên thiết bị can thiệt vào kích hoạt của mô hình đa phương thức tại token đầu ra, tự động từ chối mô tả nội dung ảnh/video nguy hiểm mà không cần gửi dữ liệu lên máy chủ hay huấn luyện lại model.
Hệ thống bảo vệ trợ lý AI trên xe hơi và thiết bị gia đình: khi người dùng hỏi về hành động nguy hiểm kèm hình ảnh/video (ví dụ cách phá khóa, chế tạo vật nguy hiểm), hệ thống tự động đẩy câu trả lời về hướng từ chối ngay tại inference, không cần bộ dữ liệu ảnh bất hợp pháp để huấn luyện.
Plugin an toàn cho mô hình AI mã nguồn mở dùng trong doanh nghiệp: doanh nghiệp tự trích xuất refusal direction từ dữ liệu text nội bộ của mình, áp lên MLLM đang chạy để tăng cường an toàn cho ảnh và video mà không phải thu thập hoặc lưu trữ nội dung độc hại đa phương thức — tránh rủi ro pháp lý khi lưu trữ dữ liệu cấm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2606.31876
ArXiv Abstract	https://arxiv.org/abs/2606.31876
PDF Download	https://arxiv.org/pdf/2606.31876.pdf
Github Repository	https://github.com/Moreno98/MARS

35. ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction (10 votes)

Tác giả: Yuxuan Zhou, Junyuan Shang, Tianyu Wang, Chunrui Zheng, Zichang Liu, et al.

Xuất bản lúc: 2026-10-17

Tag: Multi-Token Prediction, LLMs, Speculative Decoding, Autoregressive Training, Mixture-of-Experts, Inference Acceleration

I. Main Problem:

Các phương pháp Multi-Token Prediction (MTP) hiện nay (như DeepSeek-V3) về bản chất chỉ là mục tiêu phụ trợ (auxiliary), dẫn đến hai hạn chế lớn:

Supervision gián tiếp: tín hiệu dự đoán token tương lai chủ yếu được hấp thụ bởi các module phụ gắn vào backbone, nên backbone — nơi thực sự sinh ra token tiếp theo — chỉ học gián tiếp, giới hạn khả năng lập kế hoạch dài hạn.
Chi phí đắt đỏ theo độ sâu: mỗi tầng dự đoán thêm đòi hỏi thêm một module mới trong bộ nhớ và thêm một pass tính toán, nên thực tế các mô hình lớn gần như chỉ dừng ở độ sâu 1 (một token dự thảo).

Thêm nữa, drafter kiểu post-hoc (Medusa, EAGLE-3, DFlash...) được fine-tune trên tập nhỏ so với corpus pretraining nên dễ lệch khỏi target, thua kém đặc biệt trên các tác vụ mở, entropy cao.

II. Main Idea:

ECHO (Efficient Causal Self-Recursion) biến dự đoán đa token từ một tác vụ gắn thêm thành một phần của chính mục tiêu autoregressive, qua hai cơ chế chính:

Final-layer parameter sharing: tái sử dụng chính decoder layer cuối cùng của backbone cùng output head để dự đoán mọi tầng tương lai (thay vì gắn module riêng cho từng độ sâu, chỉ thêm một fusion layer nhẹ). Nhờ đó supervision từ mọi horizon đổ trực tiếp vào tham số sinh token tiếp theo — model học cách "lường trước" chuỗi sắp diễn ra.
Dynamic Depth Sampling (DDS): ở mỗi bước optimizer, rút ngẫu nhiên một độ sâu D theo xác suất giảm dần theo độ sâu (ví dụ π = (0.6, 0.3, 0.1) cho K=3), nên chi phí trung bình chỉ bằng 1.5 lần bước độ sâu-1 thay vì 3 lần — đồng thời khớp với thực tế của speculative decoding (token nông được chấp nhận nhiều hơn, quyết định độ dài chấp nhận).

Do cùng một layer được dùng lặp lại, ECHO còn draft vượt xa độ sâu đã huấn luyện (depth extrapolation) vẫn giữ tỉ lệ chấp nhận cao, và vì drafter chính là weights pretrained nên không cần fine-tune drafter hậu kỳ.

Ví dụ đời thường: giống như thay vì thuê một phụ tá riêng dự đoán giúp mình 10 bước làm việc (người phụ tá chẳng biết gì về công việc chính), chính nhân viên tự luyện tư duy nhìn trước — luyện nhiều cho việc ngay trước mắt, luyện ít dần cho tầm xa hơn — nên khi làm thật, người đó đoán được cả những tình huống chưa từng luyện qua.

III. Main Results:

Pretraining (14 benchmarks): ECHO-1 vượt MTP-1 ở cùng độ sâu (+0.51 điểm trung bình), lợi thế tập trung ở math, reasoning và code; ở độ sâu 3, ECHO vượt MTP-3 với +2.63 trên reasoning và +2.23 trên code, trong khi DeepSeek-MTP gần như không hưởng lợi từ độ sâu thêm (chỉ +0.16).
Hiệu quả chi phí: ECHO-1.5(3) — chi phí bằng một nửa ECHO-3 — đạt gần như cùng kết quả (36.34 vs 36.36) và vẫn vượt MTP-3 với ngân sách bằng nửa đối thủ.
Sau SFT: lợi thế mở rộng (+1.93 trên reasoning & code so với MTP-1-Instruct); ECHO-2(7) đạt khoảng cách lớn nhất (+2.10).
Drafting tại inference: ECHO giữ accepted length cao nhất và tiếp tục tăng khi draft vượt độ sâu đã huấn luyện (K > 3), trong khi auxiliary MTP bão hòa; vượt cả EAGLE-3 warm-start và các drafter parallel (DFlash, DSpark), khoảng cách càng lớn ở tác vụ mở entropy cao (ví dụ SWE-bench).
Ổn định: lợi thế giữ nguyên khi gấp đôi token budget (78k → 156k bước, chênh lệch chỉ 0.01 ở reasoning & code) và khi pretraining lặp lại toàn bộ; chênh lệch chạy lại chỉ 0.11, nhỏ hơn độ lệch chuẩn run-to-run.

IV. Conclusion & Future Works:

ECHO chứng minh MTP không cần là nhiệm vụ phụ trợ: bằng cách chia sẻ layer cuối của backbone và lấy mẫu độ sâu theo xác suất giảm dần, supervision đa horizon trở thành một phần của chính mục tiêu autoregressive — cải thiện downstream (đặc biệt reasoning và code) với nửa chi phí, và biến model pretrained thành drafter của chính nó với độ alignment bền vững trên tác vụ thực tế.

Hạn chế và hướng tương lai (tác giả tự nêu): chỉ lặp lại pretraining một lần và SFT với một seed do giới hạn compute; chưa rõ lợi ích của độ sâu lớn hơn và của depth extrapolation kéo dài đến đâu; DDS hoạt động thế nào ở độ sâu lớn hơn; và vì sao lấy mẫu sâu hơn chỉ hiệu quả sau SFT.

V. Brainstorming Space:

1. Publish Papers:

Phân tích lý thuyết chi tiết về cách phân bố lấy mẫu độ sâu tối ưu (DDS) ảnh hưởng đến cận dưới của độ dài chấp nhận trong speculative decoding ở độ sâu lớn hơn 7.
Kết hợp ECHO với reinforcement learning sau SFT: kiểm chứng xem drafter tự-recursion có giữ độ alignment khi target được RLHF khiến phân phối thay đổi liên tục hay không.
Mở rộng causal self-recursion sang các kiến trúc khác (dense transformer, vision-language model) để kiểm chứng tính tổng quát của final-layer sharing ngoài Latent MoE.

2. Patent:

Trợ lý AI trên điện thoại tự tăng tốc gõ phím: model ngôn ngữ nhúng trên thiết bị dùng lại layer cuối để dự đoán trước vài từ tiếp theo khi người dùng soạn tin nhắn, hiển thị gợi ý theo thời gian thực mà không cần mô hình dự thảo riêng, tiết kiệm pin và bộ nhớ.
Hệ thống trả lời khách hàng trên đám mây với khả năng soạn thảo dài: khi chatbot doanh nghiệp tạo câu trả lời dài, engine dùng cơ chế lặp layer cuối để đề xuất nhiều đoạn văn một lúc, máy chủ kiểm tra song song và chấp nhận đến chỗ sai — tăng số câu trả lời mỗi giây mà không đổi phần cứng.
Phương pháp huấn luyện model trên cụm GPU tiết kiệm chi phí: quy trình huấn luyện mà mỗi bước chỉ rút ngẫu nhiên độ sâu dự đoán token tương lai theo xác suất giảm dần, cho phép dạy model nhìn trước nhiều từ với chi phí tính toán bằng một phần nhỏ so với dạy mọi độ sâu mỗi bước.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24766
ArXiv Abstract	https://arxiv.org/abs/2610.24766
PDF Download	https://arxiv.org/pdf/2610.24766.pdf
Github Repository	https://github.com/ernie-research/ECHO

36. LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints (10 votes)

Tác giả: Ming Shin Cindy Sung, Duan Leijiahao, Haoxiang Wang, Boning Tan, Liangna Fu, et al.

Xuất bản lúc: 2026-10-15

Tag: Robotics, Vision-Language-Action, Benchmark, Industrial Manipulation, World Action Models, Sim-to-Real

I. Main Problem:

Sản xuất linh hoạt kiểu high-mix, low-volume (HMLV) — ví dụ lắp ráp linh kiện điện tử — đòi hỏi robot thay đổi sản phẩm và điều kiện sản xuất liên tục, đi kèm các ràng buộc quy trình công nghiệp:

Product variants: nhiều biến thể sản phẩm khác nhau
Moving material flows: vật liệu di chuyển trên băng chuyền
Finite execution windows: cửa sổ thao tác hữu hạn, bỏ lỡ là thất bại
Tight geometric tolerances: độ chính xác hình học chặt theo tiêu chuẩn

Vấn đề: các benchmark hiện có (LIBERO, CALVIN, Meta-World) không mô phỏng các ràng buộc thời gian/chuyển động/đặt vị trí của dây chuyền sản xuất; còn các benchmark hướng sản xuất (ARIAC) không đánh giá generalist policies. Kết quả là khả năng của VLA/world-action models trong điều kiện công nghiệp thực gần như chưa được biết.

II. Main Idea:

LIBERO-Industry mở rộng benchmark LIBERO bằng cách biến các ràng buộc công nghiệp thành biến kiểm soát được và tiêu chí thành công đo lường được:

216 tác vụ (180 train / 36 held-out) chia thành 3 suite theo dạng tương tác nguồn–đích:
- D2S (unloading): băng chuyền động → vị trí tĩnh
- S2D (loading): vị trí tĩnh → đích chuyển động theo nhịp
- D2D (transfer): cả nguồn lẫn đích đều chuyển động
Mỗi suite có 3 mức độ khó tăng dần (khay rộng → rãnh định hướng → inlay khít hình), và hệ thống thay đổi hình học vật thể, tốc độ băng chuyền, độ dài cửa sổ thao tác, kích thước vùng chấp nhận hình học
Quy trình sinh tác vụ: định nghĩa BDDL → lấy mẫu layout → cổng kiểm tra khả thi (tầm với, va chạm) → rollout bằng scripted expert → lưu demonstration kèm nguồn gốc
Metrics: Success Rate (SR) hoàn chỉnh + PCR_T (tỉ lệ chuyển vật đích) và PCR_S (tỉ lệ vật nằm đúng vị trí cuối)

Ví dụ đời thường: giống bài kiểm tra tay nghề cho công nhân bốc xếp — không chỉ nhặt được hàng, mà phải nhặt đúng lúc hàng trôi qua trên băng chuyền và đặt khít đúng ô trước khi băng chuyền lại chạy, với độ chính xác ngày càng khắt khe qua từng cấp.

III. Main Results:

SR = 0.0% cho cả 5 policy (π0.5, OpenVLA-OFT, UniVLA, X-VLA, Cosmos Policy) trên 360 rollouts tập held-out — không policy nào hoàn thành trọn vẹn tác vụ công nghiệp.
π0.5 tốt nhất về hoàn thành một phần: PCR_T = 0.4% (có chuyển vật đích thành công), PCR_S = 12.5%; các policy khác PCR_T = 0.0%.
Phân tích stress tích lũy (D0→D6) với π0.5: SR giảm dần 97.0% → 43.8% (D4) → sụp còn 2.1% (D5) → 0.0% (D6) khi tăng từ 1 lên 3 vật; điểm nghẽn chính là giai đoạn reach trong chuỗi nhiều vật (132/240 và 202/240 episode lỗi ở reach).
Thực nghiệm robot thật (AUBO-i5H, tác vụ D2S): co-train với dữ liệu LIBERO-Industry (S2) vượt co-train với dữ liệu LIBERO gốc (S1) về mọi mặt:
- Tốc độ băng chuyền 0.03 m/s: PCR_T 34.7% vs 26.4%
- Tốc độ 0.05 m/s: PCR_T 23.6% vs 4.2% (chênh lệch lớn nhất ở tốc độ cao)
- S2 vượt S1 ở cả 5 biến thể điều kiện vận hành (ánh sáng, ngoại hình vật, camera, texture), chênh tới 34.7 điểm phần trăm.

IV. Conclusion & Future Works:

LIBERO-Industry cho thấy các generalist policies hiện tại hoàn toàn chưa sẵn sàng cho thao tác công nghiệp có ràng buộc quy trình: chỉ một policy duy nhất hoàn thành được vài lần chuyển vật đích, và hiệu suất sụt dốc khi các ràng buộc chồng chất. Tích cực hơn, dữ liệu huấn luyện của chính benchmark cải thiện rõ rệt khả năng chuyển sang robot thật so với dữ liệu LIBERO gốc, cho thấy benchmark vừa là thước đo vừa là nguồn dữ liệu huấn luyện hữu ích. Hướng tương lai: nâng cao độ bền policy dưới ràng buộc chồng chất, mở rộng đánh giá sang nhiều dạng workcell và điều kiện sản xuất thực tế hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cải thiện độ bền của world-action models trong tác vụ đa vật thể trên dây chuyền: tập trung vào giai đoạn reach bị nghẽn bằng cơ chế lập kế hoạch chuỗi hành động dài hơn.
Mở rộng LIBERO-Industry sang môi trường vật thể mềm, biến dạng và các quy trình lắp ráp điện tử thật (cắm linh kiện, vặn ốc) với tolerances theo tiêu chuẩn ISO.
Phát triển phương pháp co-train sim–real tối ưu: xác định tỉ lệ và cách chọn mẫu dữ liệu mô phỏng có ràng buộc quy trình để tối đa hóa khả năng chuyển sang robot thật ở tốc độ băng chuyền cao.
Đánh giá các policy có khả năng ước lượng thời gian và tốc độ chuyển động (temporal reasoning) để chủ động bắt đúng cửa sổ thao tác thay vì phản ứng từng bước.

2. Patent:

Hệ thống đánh giá và huấn luyện robot công nghiệp tích hợp: phần mềm sinh tự động các tác vụ bốc xếp từ băng chuyền với tốc độ, cửa sổ thời gian và vùng đặt vật có thể điều chỉnh, kèm chấm điểm từng giai đoạn để xác định chính xác điểm yếu của policy trước khi triển khai lên dây chuyền thật.
Giải pháp nâng cấp robot lắp ráp hiện có bằng dữ liệu mô phỏng: thay vì lập trình lại khi đổi sản phẩm, hệ thống tự sinh dữ liệu mô phỏng theo ràng buộc quy trình mới, kết hợp một ít dữ liệu thật để cập nhật policy trên điện thoại/đám mây — rút ngắn thời gian chuyển đổi sản xuất từ ngày xuống giờ.
Ứng dụng điện thoại để hiệu chuẩn băng chuyền tự động: camera điện thoại đo tốc độ và vị trí băng chuyền, hệ thống suy ra cửa sổ thao tác và vùng chấp nhận tự động, rồi tải tham số xuống robot — giúp xưởng nhỏ không cần cảm biến đắt tiền.
Hệ thống giám sát chất lượng đặt vật thời gian thực: so vị trí vật thể trên băng chuyền với vùng chấp nhận hình học theo tiêu chuẩn ISO 9283, tự đánh dấu sản phẩm lỗi và điều chỉnh tốc độ băng chuyền để robot kịp thao tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16782
ArXiv Abstract	https://arxiv.org/abs/2610.16782
PDF Download	https://arxiv.org/pdf/2610.16782.pdf
Github Repository	https://github.com/IAIE-PhysicalAI/LIBERO-Industry

37. Remembering Has a Price: Learning Memory Worth under Resource Constraints (10 votes)

Tác giả: Guannan Lai, Zi-Yang Bai, Jun-Peng Jiang, Han-Jia Ye

Xuất bản lúc: 2026-10-19

Tag: Lifelong Learning, LLM Agents, Memory Management, Resource Constraints, Online Learning, Retrieval-Augmented Generation, Recursive Feature Machine, Test-Time Adaptation

I. Main Problem:

Các tác nhân ngôn ngữ học suốt đời thường bị giới hạn đồng thời ba nguồn lực: sinh văn bản, số vòng tương tác, và dung lượng/truy xuất bộ nhớ. Khi ngân sách chung bị siết chặt, nhiều phương pháp bộ nhớ tinh vi chỉ cải thiện nhẹ so với RAG đơn giản hoặc thậm chí kém hơn tác nhân không nhớ. Nguyên nhân cốt lõi là liên quan ngữ nghĩa chưa đủ: một ký ức trông giống truy vấn có thể vô ích khi thực thi, trong khi sai lầm chọn nhớ rất khó sửa vì không thể sinh thêm suy luận, tương tác thêm, hoặc nhồi thêm context. Vấn đề trung tâm vì thế là định giá ký ức đáng giữ/đáng dùng dưới khan hiếm tài nguyên.

II. Main Idea:

TokenWorth học trực tuyến mức đáng giá phụ thuộc truy vấn của từng trải nghiệm từ phản hồi thực thi thưa thớt, rồi dùng chung một tiêu chí đáng giá cho cả truy xuất lúc làm việc và quản trị bộ nhớ dài hạn. Với mỗi truy vấn, nó gợi ý một nhóm ứng viên nhỏ, biểu diễn bằng các tín hiệu nhẹ: độ tương đồng văn bản, lợi ích lịch sử, độ tin cậy, độ mới. Một linear base scorer có regularization về prior nắm quy luật ổn định, còn phần dư được học bởi Recursive Feature Machine: cập nhật nhanh hệ số kernel ridge để bắt lệch cục bộ, cập nhật chậm geometry bằng AGOP để điều chỉnh tầm quan trọng đặc trưng. Sau khi nhận reward, mô hình worth được cập nhật; đồng thời giá trị ký ức được lấy trung bình trên các truy vấn thăm dò gần đây để quyết định ghi nhận, thay thế, hoặc eviction khi bộ nhớ đầy. Toàn bộ thích ứng nằm ở memory controller, backbone đóng băng, không cần replay, thực thi counterfactual, hay gọi thêm LLM. Ví dụ đời thường: giống thợ làm nghề với túi đồ rất nhỏ: sau mỗi ca, anh ta ghi nhớ món nào thật sự giúp xong việc, lần sau ưu tiên mang đúng món đó và bỏ món ít dùng để chỗ trống luôn dành cho dụng cụ đáng giá nhất.

III. Main Results:

Trên LifelongAgentBench gồm DB, OS, KG, ở cả hai triển khai local Qwen2.5-14B-Instruct và API DeepSeek-V4-Flash, TokenWorth đạt success rate cao nhất trong cả 6 tổ hợp.
Local: DB 65.0%, vượt RAG mạnh nhất 33.0% tới +32.0 điểm; OS 59.4% so với 54.6%; KG 36.7% so với 30.7%.
API: DB 62.2% so với 32.2%; OS 73.2% so với 70.2%; KG 36.7% so với 32.0%.
TokenWorth cũng dùng ít output token nhất trong mọi cài đặt: giảm khoảng 9.3%, 51.5%, 18.7% trên DB/OS/KG local và 31.6%, 58.3%, 21.3% trên API; đặc biệt OS dùng chưa tới một nửa token so với tác nhân không nhớ.
Ablation trên DB local: base scorer đạt 64.2%; thêm RFM với metric cố định giảm còn 63.0%; bản đầy đủ có AGOP đạt 65.0%, cho thấy thích ứng geometry giúp phần dư hữu ích hơn dưới phản hồi thưa.

IV. Conclusion & Future Works:

Kết luận chính: dưới ràng buộc chung về generation, interaction và memory, thích ứng suốt đời hiệu quả không phụ thuộc vào nhớ nhiều hơn, mà vào học cái gì đáng nhớ và phân bổ bộ nhớ theo worth phụ thuộc truy vấn. TokenWorth cho thấy chọn trải nghiệm giá trị cao giúp backbone đóng băng dùng ngân sách sinh ngắn tốt hơn. Giới hạn là phản hồi chỉ quan sát được cho ký ức đã chọn, nên đóng góp nhân quả của từng ký ức chưa được nhận diện. Hướng tương lai quan trọng là credit assignment tiết kiệm ngân sách, đồng thời mở rộng đánh giá qua nhiều mức ngân sách và môi trường ngoài LifelongAgentBench.

V. Brainstorming Space:

1. Publish Papers:

Một phương pháp gán credit ngân sách thấp cho bộ nhớ tác nhân: ước lượng đóng góp nhân quả của từng ký ức bằng vài lần thực thi bổ sung có chọn lọc, thay vì chỉ học từ reward của cặp truy vấn-ký ức đã dùng.
Phiên bản worth-aware của bộ nhớ đa cấp cho thiết bị biên: phân tầng ký ức ngắn hạn/dài hạn theo giá trị kỳ vọng, đồng bộ hóa có chọn lọc giữa điện thoại và đám mây để giảm chi phí API và pin.
Đánh giá hệ thống các chính sách bộ nhớ dưới ngân sách chung thay đổi theo thời gian: worth model tự điều chỉnh khi giới hạn token, vòng lặp, hoặc dung lượng bị siết/dãn trong quá trình vận hành.
Kết hợp học worth với chiến lược khám phá tác nhân: chủ động tạo các tác vụ thăm dò nhỏ để thu phản hồi về ký ức mơ hồ, cải thiện ước lượng giá trị khi dữ liệu thực thi còn rất thưa.

2. Patent:

Trợ lý ảo trên điện thoại có bộ nhớ tiết kiệm pin và chi phí mạng: hệ thống chấm điểm từng đoạn quá khứ theo khả năng giúp trả lời đúng tình huống hiện tại, tự giữ lại ít thông tin nhất nhưng hữu ích nhất, và xóa dần nội dung ít được chứng minh là có ích.
Module quản lý trí nhớ cho ứng dụng đặt lịch, mua sắm, chăm sóc khách hàng: khi cửa sổ ngữ cảnh chỉ chứa được vài mẩu tin, ứng dụng ưu tiên đưa vào các kinh nghiệm từng giúp hoàn tất việc tương tự, đồng thời gợi ý lưu trữ lâu dài chỉ những mẩu có giá trị lặp lại cao.
Cơ chế thu phí API theo mức hữu ích của ký ức cho dịch vụ agent doanh nghiệp: bộ điều khiển nhỏ chạy trên máy khách chọn trước một số ít tài liệu liên quan, giảm số token gửi lên mô hình lớn và giảm số lần gọi lại khi câu trả lời đã đủ tốt.
Tính năng dọn dẹp bộ nhớ hội thoại thông minh trên thiết bị di động: sau mỗi tương tác thành công, điện thoại cập nhật điểm giá trị của sự kiện, liên hệ, thói quen; khi bộ nhớ đầy, tự thay thế mục ít giá trị bằng mục mới có lợi ích kỳ vọng cao hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26453
ArXiv Abstract	https://arxiv.org/abs/2610.26453
PDF Download	https://arxiv.org/pdf/2610.26453.pdf
Github Repository	https://github.com/AIGNLAI/TokenWorth

38. Self-Evaluating Recursive Agents (10 votes)

Tác giả: TianYi Lyu, Xiaozhe Li, Yang Li, Yongkang Chen, Kefei Tian, et al.

Xuất bản lúc: 2026-10-04

Tag: LLM Agents, Recursive Agents, Reinforcement Learning, Rubric-based Rewards, Multi-Agent Systems, Self-Evaluation

I. Main Problem:

Huấn luyện recursive agents (tác nhân ngôn ngữ tự phân rã nhiệm vụ và giao việc cho các tác nhân con cùng policy) gặp ba khó khăn về tín hiệu học tập:

Thiếu supervision ở tầng trung gian: kết quả cuối cùng có thể kiểm chứng được, nhưng các subtask tự sinh ra ở giữa cây không có ground truth.
Tín hiệu từ verifier/judge ngoài (như RAO) quá thô (binary pass/fail, không phân biệt giải pháp tốt với giải pháp xấp xỉ), đắt (phải gọi judge ở mọi nút của cây), và im lặng về chất lượng phân rã (không biết agent có chọn đúng subtask để giao hay không).
Cả ba khả năng — decompose, solve, evaluate — nằm trong một bộ trọng số duy nhất, nên tín hiệu cho ba nhiệm vụ dễ can thiệp lẫn nhau trên tham số dùng chung.

II. Main Idea:

SERA (Self-Evaluating Recursive Agents) biến đánh giá thành một khả năng học được của chính policy, qua cơ chế ba tín hiệu được tối ưu luân phiên trên cùng một policy:

Self-evaluated execution reward: trước khi giao việc, parent viết sẵn một rubric gồm các tiêu chí thành công có trọng số (đóng băng trước khi child chạy, nên không thể 'cơ cấu' theo kết quả); sau đó chính policy chấm điểm output của child theo rubric, cho tín hiệu liên tục thay vì binary.
Rubric-generation reward: rubric được huấn luyện bằng ranking objective — sample nhiều rollout counterfactual của cùng một subtask, dùng verifier/judge ngoài gắn nhãn success/failure, rồi thưởng cho rubric nào xếp hạng đúng thứ tự verified outcomes. Judge ngoài chỉ dùng ở đây, không thưởng trực tiếp cho các nút.
Leaf-coverage reward: mỗi quyết định delegate được ghi nhận theo tỉ lệ lá cây con đó phụ trách trong cây thành công — phần thưởng trực tiếp cho chất lượng phân rã.

Phát hiện trung tâm: vì evaluate và solve chia sẻ trọng số, việc học cách chấm điểm subtask tốt tự nó làm policy giải bài tốt hơn. Rubric học được còn dùng làm selector tại inference để chọn nhánh tốt nhất trong tree search.

Ví dụ đời thường: giống một người quản lý trước khi giao việc phải viết sẵn phiếu tiêu chí chấm điểm cho từng nhân viên (không được sửa sau khi xem kết quả), và cứ luyện chấm đúng nhiều lần thì bản thân cũng hiểu rõ thế nào là việc tốt — nên khi trực tiếp làm, chất lượng làm cũng tăng theo.

III. Main Results:

TextCraft-Synth: SERA đạt 74.31% (cao thứ hai), vượt baseline mạnh nhất RAO +5.38 điểm; TextWorld-Sync: 65.07%, vượt RAO +13.14 điểm, đứng đầu.
Rubric training là nguồn lợi lớn nhất: thêm rubric training vào cấu hình không-rubric-training tăng +2.58 điểm (TextCraft) và +9.16 điểm (TextWorld); nhưng rubric training chỉ có tác dụng khi đi kèm rubric-based execution rewards — RAO + RT (giữ binary reward) thậm chí sụt trên TextWorld.
Rubric không training không ổn định: dùng rubric thô từ generator chưa train chỉ +3.33 điểm trên TextCraft và kém RAO trên TextWorld.
Decomposition reward giúp mạnh nhất ở tác vụ khó phụ thuộc lẫn nhau: +8.58 (Hard) và +17.43 (Extreme) trên TextWorld-Sync.
Giảm supervision ngoài: verifier calls giảm ~2.1x (550.94K → 257.96K); trên TextWorld, judge calls giảm 4.1x và input tokens giảm 5.1x, trong khi vẫn vượt baseline.
Self-evaluation vượt judge ngoài: policy 4B tự chấm rubric của mình (74.84%) tốt hơn cả frontier model Kimi làm generator lẫn scorer (73.10%); tín hiệu dispersion không-anchored làm giảm 9.07 điểm.
Test-time scaling: chọn nhánh theo rubric ở inference tăng thêm +2.43 điểm trên TextWorld-Sync (Extreme tăng từ 22.86% → 28.95%), và policy judge tự huấn luyện ngang hàng judge Kimi-K3 ngoài.

IV. Conclusion & Future Works:

SERA tái khung việc huấn luyện recursive agents thành ba khả năng kết hợp trong một policy (phân rã, giải, tự đánh giá), mỗi khả năng có tín hiệu riêng tối ưu luân phiên. Kết luận chính: dạy policy tự viết rubric được neo vào kết quả kiểm chứng là yếu tố quyết định hiệu năng, đồng thời cắt giảm đáng kể phụ thuộc vào judge ngoài.

Hạn chế: chỉ thử nghiệm Qwen3-4B trên hai benchmark tổng hợp; self-evaluation tiềm ẩn rủi ro bị game (cần verified outcomes làm neo); leaf-coverage coi mọi lá ngang hàng nhau.

Hướng tương lai: học rubric khái quát hóa xuyên nhiệm vụ, dùng rubric hướng dẫn exploration trong training, thêm trọng số quan trọng của subtask cho decomposition reward, và mở rộng self-evaluation sang bài toán ngay cả kết quả gốc cũng không kiểm chứng chính xác được.

V. Brainstorming Space:

1. Publish Papers:

Học rubric có khả năng khái quát hóa xuyên nhiệm vụ: thay vì sinh rubric riêng cho từng subtask, huấn luyện policy tạo bộ tiêu chí tái sử dụng được cho các họ nhiệm vụ tương tự trong recursive agents.
Kết hợp rubric học được với exploration có hướng: dùng điểm rubric để cân bằng tham lam-chiến lược (explore subtask ít chắc chắn hơn) trong quá trình rollout cây đệ quy.
Self-evaluation khi kết quả gốc không kiểm chứng được: mở rộng ranking objective lên cây nhiệm vụ thực tế (nghiên cứu, lập trình repo lớn) nơi chỉ có tín hiệu thưa và nhiễu.
Trọng số quan trọng subtask cho leaf-coverage: thay lá ngang hàng bằng ước lượng đóng góp của từng lá để cải thiện tín hiệu decomposition.

2. Patent:

Trợ lý AI đa tác vụ trên điện thoại tự đánh giá: trước khi giao từng phần việc (đặt lịch, soạn email, tìm thông tin), trợ lý sinh tiêu chí hoàn thành có trọng số, chấm kết quả từng phần bằng chính mô hình, và chỉ hỏi người dùng khi điểm thấp — giảm chi phí gọi dịch vụ chấm điểm bên ngoài.
Hệ thống phân rã công việc nhóm tự động: phần mềm quản lý dự án giao việc cho các agent con theo cấu trúc cây, mỗi lần giao việc kèm phiếu tiêu chí chấm điểm được đóng băng trước, rồi tự chấm và xếp hạng các phương án thay thế để chọn kết quả tốt nhất trả về cho người quản lý.
Cơ chế tiết kiệm chi phí đánh giá cho chatbot doanh nghiệp: mô hình tự sinh rubric và tự chấm các câu trả lời trung gian, chỉ dùng mô hình judge mạnh (tốn kém) ở giai đoạn huấn luyện rubric — cắt 4-5 lần lượng token gọi API chấm điểm khi vận hành.
Trình gỡ lỗi code tự đánh giá đệ quy: khi sửa lỗi repo lớn, agent tự chia thành các sửa đổi con, viết tiêu chí kiểm thử cho từng sửa đổi trước khi thực hiện, tự chấm và chọn nhánh sửa tốt hơn trong số nhiều phương án chạy song song.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.04902
ArXiv Abstract	https://arxiv.org/abs/2610.04902
PDF Download	https://arxiv.org/pdf/2610.04902.pdf
Github Repository	https://github.com/OliverLeeXZ/SERA

📰 Summary of Papers
1. Scaling Parameter-Efficient Fine-Tuning for Brain Encoding (234 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners (201 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience (130 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Holi-World: Building Holistic World Intelligence from Human-Ego Experience (116 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. MemT-1.0: Towards Memory-Native Evolution (109 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Learning from Fleet Experience: A Collective Learning Paradigm for Robots (109 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory (97 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation (84 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum (80 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Self-Evolving Coding Agents via Harness-Policy Optimization (43 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents (39 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion (36 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Interlock: From Local Correctness to Task Completion in Long-Horizon Agents (33 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. AnyGoal: On World Model Generalization Beyond Expert Rollouts (31 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Kronecker Delta Rule for Long Context Linear Attention (28 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. InfiniDream: Open-Ended Photorealistic 3D Worlds Through Procedural Generation (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. RoAR-VAE: Improving Latent Diffusability through Robust Prediction (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Manga2Animate: An Agentic Framework for Faithful Manga Animation with Script and Storyboard Planning (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. BlenderWorld: Benchmarking Visual Agents for 3D Creation from Real-World References (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. FineSplat: Fine Patches, Local Groups, Detailed Splats (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. Evidence-First Agentic Verification (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. DeOverlay: A Benchmark and Source-Anchored Flow for Video Overlay Removal (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. State World Models: Execute the Rules, Generate the Pixels (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. Learning to Discriminate Scene Structures Makes Self-Supervised Depth Learning Scalable (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. ACEdit: Stable Multi-Turn Image Editing via Asymmetric Conditioning (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
34. Harnessing Textual Refusal Directions for Multimodal Safety (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
35. ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
36. LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
37. Remembering Has a Price: Learning Memory Worth under Resource Constraints (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
38. Self-Evaluating Recursive Agents (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. Scaling Parameter-Efficient Fine-Tuning for Brain Encoding (234 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners (201 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience (130 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Holi-World: Building Holistic World Intelligence from Human-Ego Experience (116 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. MemT-1.0: Towards Memory-Native Evolution (109 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Learning from Fleet Experience: A Collective Learning Paradigm for Robots (109 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory (97 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation (84 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum (80 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Scaling Parameter-Efficient Fine-Tuning for Brain Encoding (234 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners (201 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience (130 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Holi-World: Building Holistic World Intelligence from Human-Ego Experience (116 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. MemT-1.0: Towards Memory-Native Evolution (109 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Learning from Fleet Experience: A Collective Learning Paradigm for Robots (109 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory (97 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation (84 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum (80 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: