🤗 Daily Hugging Face Paper Digest - 2026-10-30

Báo cáo được tạo tự động vào lúc 2026-10-31 10:25:52 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Intrinsic Distribution Matching (239 votes)

Tác giả: Deyuan Liu, Yansen Han, Kaiwen Zheng, Jun Xie, Jiacheng Liu, et al.

Xuất bản lúc: 2026-10-29

Tag: Text-to-Image, Distribution Matching Distillation, DMD, Flow Matching, One-Step Generation, Moment Matching, EMA Features, LongText-Bench, LoRA, Rectified Flow

I. Main Problem:

Mô hình diffusion / flow-matching tạo ảnh chất lượng cao nhưng cần nhiều lần gọi mạng (NFE), tốn chi phí suy luận. One-step / few-step generation phải vẽ chính xác chi tiết prompt chỉ với một vài bước lấy mẫu, đặc biệt khó với long-text rendering: nhiều ký tự phải rõ nét, đúng chính tả, trong ảnh mạch lạc.

DMD khớp phân phối sinh với phân phối tham chiếu qua chênh lệch score, nhưng score được học xấp xỉ và huấn luyện hữu hạn nên chưa chắc căn chỉnh đúng mọi thống kê.
Các phương pháp gần đây (TwinFlow, APEX) bỏ mạng fake-score riêng bằng cách tách hai nhánh velocity bên trong generator, nhưng vẫn chỉ dùng supervision học theo mẫu, chưa có ràng buộc thống kê tường minh giữa các mẫu.

II. Main Idea:

Bài báo phân tách trường reverse-KL (score difference) thành hai phần: một phần Gaussian quyết định bởi mean và covariance, và một phần residual phi-Gaussian chứa cấu trúc phân phối còn lại. Từ đó tác giả kết luận: khớp moment một mình không đủ (hai phân phối cùng mean/covariance vẫn khác hình dạng), nhưng moment là thống kê có thể ràng buộc tường minh để bù trừ sai lệch của score ước lượng.

Phương pháp Intrinsic Distribution Matching (IDM):

Giữ nguyên internal DMD loss (hai nhánh velocity +c/−c của cùng generator, không cần fake-score network).
Thêm feature-moment loss: khớp mean và độ lệch chuẩn từng chiều của feature giữa mẫu sinh và mẫu tham chiếu, trong không gian feature của bản sao EMA của chính generator — không cần encoder ngoài (DINOv2), không cần discriminator hay score model riêng.
Dùng hàng đợi (queue) tới 16K feature detached để ước lượng moment population; loss bằng khoảng cách 2-Wasserstein giữa các Gaussian đường chéo, kết hợp với loss nền RCGM: L = L_base + λ_score·L_score + λ_pop·L_pop.

Ví dụ đời thường: giống người thợ điều chỉnh máy in bằng hai tay — một tay xoay núm tinh chỉnh liên tục theo phản hồi từng tờ in (DMD correction), tay kia căn thước đo xem dàn đều mực và căn lề trung bình có khớp bản gốc không (moment matching), thay vì thuê thêm một máy đo bên ngoài.

III. Main Results:

LongText-Bench @ 2 NFE (Z-Image): 94.25% LongText-CN và 90.20% LongText-EN — cao nhất trong các phương pháp so sánh ở cùng ngân sách; hơn Z-Image-Turbo++ +2.63/+0.33 điểm, hơn APEX +3.87/+1.44 điểm.
GenEval: full-parameter IDM đạt 0.78 (Z-Image) và 0.91 (Qwen-Image) @ 2 NFE; Qwen-Image @ 1 NFE vẫn đạt 0.90 với độ trễ 0.35s.
FID/WISE: FID 6.34 (IDM Qwen-Image) so với 6.44 (APEX) cùng độ trễ ~0.45s; WISE overall 0.56 so với 0.54 của APEX full.
LoRA rank-64 (0.4B tham số) trên Qwen-Image đạt 0.90 GenEval @ 2 NFE — gần bằng full tuning với chi phí huấn luyện thấp hơn nhiều.
Ablation: thêm moment loss cho lợi ích nhất quán; feature EMA của generator cạnh tranh ngang encoder DINOv2 ngoài trên cả 5 metric; loss moment dùng cả mean và std tốt hơn chỉ dùng một phần; λ mặc định λ_score=1, λ_pop=0.5.

IV. Conclusion & Future Works:

IDM chứng minh rằng bổ sung ràng buộc moment tường minh lên internal DMD — với feature lấy từ chính generator EMA — cải thiện độ trung thực chi tiết (đặc biệt long-text) mà không tốn thêm mô hình phụ trợ. Phân tích Gaussian-plus-residual cho thấy moment matching là bổ sung cần thiết chứ không phải thay thế DMD correction đầy đủ.

Hướng mở rộng hợp lý: thử ràng buộc moment ở nhiều tầng feature hơn thay vì chỉ last layer; khớp moment theo từng condition thay vì pooled; kết hợp IDM với consistency training dạng rCM ở nhiều mức NFE; kiểm tra tính chuyển giao cho video generation và các tác vụ điều kiện hóa khác.

V. Brainstorming Space:

1. Publish Papers:

Khớp moment đa tầng trong không gian EMA feature: thay vì chỉ mean-pool tầng cuối, khớp mean/std tại nhiều độ sâu của generator EMA để ràng buộc thống kê phong phú hơn mà vẫn intrinsic.
Moment matching có điều kiện: thay vì pooled statistics, khớp mean/std feature riêng cho từng nhóm prompt hoặc từng miền nội dung (chữ, mặt người, cảnh vật) để cải thiện conditional fidelity.
Kết hợp IDM với trajectory-based consistency training (kiểu rCM) trên cùng generator: moment loss làm neo thống kê, consistency regularization làm ổn định quỹ đạo nhiều bước.
Mở rộng IDM sang one-step video generation: áp dụng feature-moment loss theo không gian-thời gian trên bản sao EMA của video generator.

2. Patent:

Ứng dụng gõ chữ lên ảnh trên điện thoại: người dùng nhập câu dài, mô hình sinh ảnh một lần duy nhất với chữ rõ nét đúng chính tả (cả tiếng Việt có dấu) nhờ khớp thống kê feature nội tại, không cần máy chủ chạy nhiều bước khử nhiễu.
Hệ tạo ảnh poster/quảng cáo trên thiết bị di động: huấn luyện bằng phương pháp khớp phân phối nội tại kèm ràng buộc trung bình và độ phân tán feature, cho ảnh chữ nhiều vẫn sắc nét với một lần chạy mạng — tiết kiệm pin và thời gian.
Bộ lọc ảnh tức thì trên điện thoại có kiểm soát chất lượng: dùng bản sao EMA của chính mô hình làm 'thước đo' thống kê trong quá trình tinh chỉnh cá nhân hóa (vẽ theo phong cách người dùng), tự căn lệch màu sắc và độ tương phản trung bình về chuẩn mà không cần mạng đánh giá riêng.
Module kiểm chữ trên ảnh e-commerce: khi sinh ảnh sản phẩm có nhãn giá/tên sản phẩm, ràng buộc thống kê feature nội tại giúp giảm lỗi ký tự méo mờ, tăng tỷ lệ ảnh hợp lệ duyệt tự động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.39633
ArXiv Abstract	https://arxiv.org/abs/2610.39633
PDF Download	https://arxiv.org/pdf/2610.39633.pdf
Github Repository	https://github.com/inclusionAI/IDM

2. A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement (151 votes)

Tác giả: Yu Liu, Youxing Li, Yuedong Tan, Zhiwei Yang, Zihan Su, et al.

Xuất bản lúc: 2026-10-28

Tag: Self-Improvement, Reinforcement Learning, Multimodal, GRPO, RLVR, Task Generation, Zero-Data Training

I. Main Problem:

Các phương pháp recursive self-improvement hiện tại thường tập trung vào tạo ra kinh nghiệm gì tiếp theo mà bỏ qua khi nào nên thay kinh nghiệm cũ:

Tiếp tục huấn luyện trên một pool bài tập đã bão hòa làm lãng phí cập nhật mô hình, nhưng refresh quá thường xuyên lại đốt phí tác vụ mới không cần thiết.
Nhãn đáp án trong các phương pháp tự cải thiện thường đến từ self-consistency hoặc majority voting, khiến sai sót của chính mô hình trở thành nhãn huấn luyện cho vòng sau.
Vấn đề về thời điểm refresh và độ tin cậy của đáp án cần được tách bạch và giải quyết riêng.

II. Main Idea:

A-RSI (Adaptive Recursive Self-Improvement) tách hai quyết định: khi nào lấy kinh nghiệm mới do động lực huấn luyện quyết định, còn đáp án đúng phải kiểm chứng được độc lập.

Phát hiện bão hòa pool: theo dõi trong log huấn luyện số prompt còn có within-group reward variation (tín hiệu advantage khác 0 trong GRPO) cùng với độ chính xác trả lời. Khi số prompt còn tín hiệu giảm dưới ngưỡng tương đối HOẶC accuracy tăng đủ so với vài window trước, controller thay toàn bộ pool bằng pool dự phòng — hoàn toàn không nhìn validation/test scores.
Tác vụ đa phương thức từ chương trình: một thư viện cố định các program do chính mô hình viết sinh ảnh + câu hỏi + đáp án tham chiếu từ cùng cấu hình gốc (ví dụ biểu đồ lấy mẫu giá trị A=18, B=11 rồi tính sẵn đáp án 7). Nhờ đó không cần dữ liệu huấn luyện ngoài hay nhãn do người viết; các contract, thuộc tính reward và đáp án được kiểm chứng máy + audit độc lập.
Refresh nguyên pool, giữ nguyên trọng số: khi bắn tín hiệu, pool cũ được thay bằng 400 tác vụ mới rút ngẫu nhiên theo quota cố định từng dạng (hình học, biểu đồ, bảng, đếm); mô hình tiếp tục học từ checkpoint đã nhận.

Ví dụ đời thường: giống học sinh luyện đề — khi nhận thấy mình làm đúng gần hết và chỉ còn lặp lại những bài không còn chỗ để học thêm điều mới, thì đổi sang bộ đề mới thay vì cày mãi bộ cũ, và đáp án của đề mới phải có sẵn ở đáp án đúng chứ không tự chấm theo đám bạn.

III. Main Results:

Trên bộ 11 benchmark, Qwen3-VL-8B cải thiện trung bình từ 57.77 → 61.05 sau 8 window tiếp nối với 800 tác vụ mới; MiMo-VL-7B từ 59.08 → 60.71.
Hiệu quả dữ liệu: A-RSI đạt 61.05 với 800 tác vụ mới, trong khi refresh mỗi window chỉ đạt 60.64 với tới 3.200 tác vụ.
Ở window thứ sáu tương ứng, A-RSI đạt 60.40 so với 58.35 của việc tiếp tục dùng pool cũ.
Lựa chọn thay thế: các chiến lược difficulty-aware / competence-aware (frontier, periodic, continuous) không vượt qua rút ngẫu nhiên đơn giản dưới quota dạng tác vụ cố định.
Audit tách bạch hai nguồn lợi: điểm tăng do trả lời xong trong giới hạn độ dài hay do sửa đúng câu đã hoàn thành, đồng thời kiểm tra cả trọng số MM-Zero đã công bố.

IV. Conclusion & Future Works:

Bài học chính: thời điểm refresh quan trọng ngang việc chọn tác vụ gì — một luật refresh từ training log đơn giản kết hợp rút ngẫu nhiên đã vượt các chiến lược chọn lọc phức tạp hơn. Tác giả cũng thận trọng nhấn mạnh tín hiệu bão hòa chỉ là chỉ báo vận hành, không phải chứng minh mô hình đã thuộc pool. Hướng mở: thử nghiệm trên nhiều model và task generator hơn, nghiên cứu luật chọn replacement mạnh hơn random trong các thiết lập khác, và mở rộng audit độ dài/định dạng cho các phương pháp self-improvement khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng luật refresh dựa trên training log cho các mô hình đa phương thức lớn hơn, với thư viện task generator đa dạng hơn ngoài bốn dạng hình học/biểu đồ/bảng/đếm.
Nghiên cứu lý do random vượt difficulty-aware selection: phân tích cơ chế và điều kiện để chiến lược chọn lọc trở nên có lợi thế trong refresh pool.
Phát triển framework audit phân rã điểm số (hoàn thành vs sửa đúng) thành tiêu chuẩn đánh giá chung cho các phương pháp zero-data self-improvement.

2. Patent:

Ứng dụng học tập trên điện thoại: ứng dụng tự sinh bài tập trắc nghiệm/biểu đồ bằng chương trình có đáp án tính sẵn, theo dõi tín hiệu học của người dùng (số câu còn cho thấy phân hóa kết quả) để tự động đổi bộ bài mới đúng lúc mà không cần người ra đề.
Hệ gia sụ AI đa phương thức cho giáo dục: vòng lặp tự cải thiện tạo bài toán từ hình ảnh do thuật toán vẽ và chấm tự động bằng đáp án chương trình, thay pool bài khi hệ thống phát hiện học sinh đã làm đều đúng bộ hiện tại.
Nền tảng huấn luyện mô hình nội bộ không cần dữ liệu gán nhãn: pipeline tạo tác vụ chương trình hóa kèm kiểm chứng đáp án và cơ chế thay pool theo tín hiệu huấn luyện, triển khai dưới dạng dịch vụ đám mây tinh gọn cho doanh nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.38568
ArXiv Abstract	https://arxiv.org/abs/2610.38568
PDF Download	https://arxiv.org/pdf/2610.38568.pdf
Github Repository	N/A

3. Your Benchmark Is an Empirical Measure Over Difficulty (140 votes)

Tác giả: Yifan Sun, Naicheng Yu, Jiawen Gong, Jingyan Shen, Huan Zhang

Xuất bản lúc: 2026-10-21

Tag: Benchmark Evaluation, Item Response Theory, Difficulty Estimation, Wasserstein Distance, Coverage Gaps, LLM Benchmarks, Benchmark Calibration

I. Main Problem:

Một benchmark không chỉ là một bộ câu hỏi; cách phân bố độ khó của nó tạo ra một thước đo ngầm mà mọi kết luận leaderboard hoặc tiến độ huấn luyện đều phải đi qua. Bài báo chỉ ra hai lỗi hệ thống:

Measure mismatch: benchmark nhấn mạnh vùng độ khó khác với phân bố độ khó mà người dùng thật sự quan tâm, khiến khoảng cách giữa các mô hình bị méo hoặc thậm chí đảo thứ hạng.
Coverage gaps: benchmark không có câu hỏi ở một số khoảng độ khó, nên mô hình có thể tiến bộ rõ ở vùng đó nhưng điểm tổng gần như không đổi.

Hệ quả là leaderboard có thể không trung lập, còn quá trình huấn luyện có thể bị đánh giá thiếu hoặc bỏ sót tiến bộ cục bộ.

II. Main Idea:

Bài báo xem mỗi benchmark như một empirical measure over difficulty: mỗi câu hỏi đóng góp một khối lượng đánh giá bằng nhau tại độ khó của nó, và điểm benchmark là tích phân hiệu suất mô hình theo phân bố đó. Từ góc nhìn này, tác giả đề xuất hai chỉ số chẩn đoán:

Difficulty Distribution Mismatch: dùng 1-Wasserstein distance để đo độ lệch giữa phân bố độ khó của benchmark và phân bố mục tiêu; khi không có thông tin ưu tiên, phân bố đều được chứng minh là lựa chọn mặc định duy nhất theo nghĩa maximin.
Maximum Gap: khoảng trống lớn nhất giữa hai độ khó liên tiếp; lý thuyết cho thấy nó là ranh giới chính xác để phát hiện cải thiện cục bộ — nếu vùng tiến bộ hẹp hơn khoảng trống này thì benchmark có thể hoàn toàn không nhìn thấy.

Để sửa coverage gaps, tác giả xây dựng BenchFill, một thuật toán viết lại câu hỏi nhắm vào độ khó còn thiếu. Thuật toán chọn khoảng trống lớn, lấy các câu gốc gần vùng đích làm parent items, dùng LLM tạo các biến thể child items, ước lượng độ khó của từng biến thể bằng chính thang Item Response Theory của benchmark gốc, cập nhật bộ nhớ để vòng sau viết lại ngày càng sát đích, rồi chọn câu tốt nhất để chuyên gia kiểm tra trước khi thêm vào benchmark.

Ví dụ đời thường: giống như kiểm tra một chiếc thước có vạch chia không đều và thiếu vạch ở giữa: người ta trước hết đo xem khối lượng đang dồn lệch về phía nào, sau đó điền thêm các vạch mới đúng vào khoảng trống lớn nhất để chiếc thước nhìn được mọi thay đổi nhỏ.

III. Main Results:

Phân tích 25 benchmark phổ biến thuộc 7 lĩnh vực: toán, coding, agentic tasks, logic, khoa học, instruction-following và y khoa.
Ước lượng độ khó bằng Item Response Theory, với kiểm tra chất lượng response matrix, MCMC convergence, effective sample size, divergent transitions và leave-one-out robustness; toàn bộ benchmark vượt qua các kiểm tra chẩn đoán.
10/25 benchmark có Difficulty Distribution Mismatch ít nhất 0.10, nghĩa là phân bố độ khó lệch đáng kể so với thước đo trung lập.
8/25 benchmark có maximum gap ít nhất 0.10; 9/25 benchmark có tổng năm khoảng trống lớn nhất ít nhất 0.30.
Các benchmark nhỏ nhưng được dùng nhiều để theo dõi huấn luyện, đặc biệt AIME24 và AIME25, có tổng năm gap gần 0.5, cho thấy chúng có thể bỏ sót tiến bộ cục bộ đáng kể.
BenchFill chỉ chèn 3 câu mỗi benchmark đã giảm tổng ba khoảng trống lớn nhất từ 21.09% đến 38.88%; trung bình giảm 32.67%, gần mức oracle 35.06% và vượt rõ baseline 17.52%.
Độ lệch độ khó so với mục tiêu của BenchFill luôn dưới 0.01 trung bình, cho thấy thuật toán đặt câu hỏi rất sát vùng cần lấp.
Các bản gap-filled được phát hành: AMC23 mở rộng từ 40 lên 80 câu, AIME24 từ 30 lên 50, AIME25 từ 30 lên 52, AIME26 từ 30 lên 53; maximum gap giảm mạnh, ví dụ AMC23 từ 0.217 xuống 0.022.

IV. Conclusion & Future Works:

Bài báo đưa ra một cách nhìn nền tảng: benchmark nên được hiểu là một phép đo thực nghiệm trên trục độ khó, không chỉ là một bộ dữ liệu cố định. Điều này giúp biến các cảnh báo thành chỉ số có lý thuyết rõ ràng và đưa ra cách sửa cụ thể bằng câu hỏi nhắm vào vùng thiếu.

Hướng mở rộng hợp lý:

Xây dựng benchmark có độ phân giải độ khố cố ý, thay vì chỉ tăng số lượng câu hỏi.
Mở rộng từ một trục độ khó sang không gian năng lực đa chiều, ví dụ độ khó, độ dài suy luận, loại công cụ và mức gây nhiễu.
Kết hợp chẩn đoán coverage với giám sát huấn luyện theo vùng độ khó, để phát hiện sớm tiến bộ mà điểm tổng không thể hiện.
Phát triển quy trình gap filling có kiểm soát chất lượng tốt hơn, giảm phụ thuộc vào chuyên gia thủ công và giảm rủi ro câu viết lại sai nội dung.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng BenchFill sang benchmark đa phương thức: không chỉ lấp khoảng trống độ khó, mà còn lấp khoảng trống về hình ảnh, âm thanh, công cụ và tương tác trong các tác vụ agentic.
Phát triển một hệ thống giám sát huấn luyện theo vùng độ khó: vẽ đường cong tiến bộ cục bộ của mô hình để phát hiện cải thiện mà điểm benchmark tổng thể che giấu.
Nghiên cứu chuẩn hóa leaderboard theo phân bố độ khó mục tiêu: cho phép người dùng chọn trọng số độ khó phù hợp với ứng dụng thay vì chấp nhận thang đo ngầm của benchmark.

2. Patent:

Ứng dụng điện thoại chấm đề thi và phát hiện vùng độ khó bị bỏ sót: người dùng tải bộ câu hỏi, ứng dụng ước lượng độ khó từng câu dựa trên tỷ lệ làm đúng và năng lực người làm, sau đó cảnh báo những khoảng điểm số mà bộ đề không đo được.
Ứng dụng luyện thi trên điện thoại tự đề xuất câu hỏi lấp lỗ học tập: khi người học tiến bộ ở một dải năng lực nhưng bộ đề ít có câu tương ứng, hệ thống tạo biến thể câu hỏi ở đúng mức khó đó để kiểm tra tiến bộ thật.
Nền tảng kiểm định benchmark cho doanh nghiệp trên điện thoại hoặc máy tính bảng: người quản lý chọn bộ đánh giá mô hình AI, hệ thống đo độ lệch phân bố độ khó và tự đề xuất thêm câu hỏi nhằm tránh kết luận sai về chất lượng mô hình.
Hệ thống sinh câu hỏi mới bằng AI nhưng có kiểm chứng con người qua điện thoại: thuật toán viết lại câu hỏi gốc ở độ khó mục tiêu, chuyên gia nhận thông báo duyệt nhanh, sau đó câu được thêm vào ngân hàng đề và ghi nhận độ khó.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.29927
ArXiv Abstract	https://arxiv.org/abs/2610.29927
PDF Download	https://arxiv.org/pdf/2610.29927.pdf
Github Repository	https://github.com/ASTRAL-Group/benchmark-difficulty-measure

4. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs (91 votes)

Tác giả: Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang

Xuất bản lúc: 2026-10-27

Tag: Diffusion, Vision-Language Models, Efficient Inference, Visual Token Pruning, KV Caching, Adaptive Decoding

I. Main Problem:

Các mô hình diffusion vision-language (DVLM) xử lý toàn bộ ảnh và văn bản ở mọi bước khử nhiễu, dù visual token chiếm tới 89-97% đầu vào và ảnh thường không đổi trong suốt quá trình sinh. Hậu quả:

Phần lớn FLOPs decoding bị dùng để tính lại cùng một ảnh.
Các phương pháp cắt visual token làm giảm chi phí từng forward nhưng mất thông tin ảnh đã bỏ.
Các lịch trình cố định khó khớp vì nhu cầu dùng ảnh thay đổi theo từng bước và từng benchmark: trung bình chỉ 22.8% bước bị ảnh làm thay đổi quyết định, nhưng có benchmark xuống 7.9% và benchmark lên tới 43.8%.

II. Main Idea:

LOWN (Look Only When Needed) tách hai việc mà decoding chuẩn gộp chung: có cần nhìn ảnh ở bước này không và nên mở bao nhiêu token.

Cơ chế:

Sau mỗi lần chạy forward có ảnh, LOWN lưu lại top-1 prediction và confidence như một anchor.
Ở bước kế, chạy forward không ảnh rẻ hơn nhiều; nếu dự đoán không ảnh khớp anchor, token được certify để tái sử dụng.
Độ dài prefix certify theo confidence quyết định mở nhiều hơn số token chuẩn khi không cần ảnh.
Nếu prefix ngắn hơn ngưỡng vận hành, LOWN mới chạy lại forward có ảnh, làm mới anchor và ưu tiên mở các vị trí mà ảnh làm thay đổi dự đoán trước.

Điểm mạnh: không training, không threshold riêng theo task, có thể kết hợp với visual token pruning và key-value caching vì nó giảm tần suất cần forward có ảnh, không xóa thông tin ảnh.

Ví dụ đời thường: giống như khi soạn đồ theo danh sách đã chụp lại kho: chỉ cần đối chiếu nhanh trong tay; chỉ khi món hàng trên kệ không còn khớp ảnh đã lưu mới quay lại kho xem trực tiếp, và lần quay lại đó cũng cập nhật lại ảnh mới.

III. Main Results:

Trên LLaDA-V, LOWN giữ 99.6% điểm trung bình của baseline trên 10 benchmark với chỉ 0.353× decoding FLOPs; capping mỗi benchmark ở 100% vẫn đạt 98.6%.
Ở ngân sách FLOPs tương đương, LOWN đạt điểm cao nhất trong các phương pháp tăng tốc ở 8/10 benchmark; so với RedVTP, ZOO-Prune, KLASS, chất lượng gần như không đổi trong khi chi phí thấp hơn rõ rệt.
Kết hợp với RedVTP r=50%, LOWN đạt 98.3% chất lượng tại 0.223× FLOPs, tốt nhất cả 10 benchmark; còn cắt thêm 57.6% FLOPs của RedVTP 50% và 60.6% của ZOO-Prune 33%.
Kết hợp với Fast-dLLM key-value caching, giảm thêm 38.1-50.1% thời gian sinh và 44.1-58.9% FLOPs so với chỉ Fast-dLLM.
Chuyển nguyên sang LaViDa mà không đổi luật: giữ 99.7% điểm tại 0.174× FLOPs.
Trên video VidLaDA-8B, đạt 60.2 trên EgoSchema với 0.255× FLOPs và 43.3 trên MLVU với 0.272× FLOPs.
Phân tích cho thấy visual routing là nguồn tiết kiệm chính, còn adaptive acceptance cắt thêm 21-43% chi phí còn lại; so với lịch ảnh ngẫu nhiên có cùng số lần dùng ảnh, LOWN tốt hơn 4.9-13.0%.

IV. Conclusion & Future Works:

Bài báo chứng minh DVLM không cần xử lý ảnh ở mọi bước khử nhiễu. LOWN biến sự đồng thuận giữa dự đoán không ảnh và dự đoán có ảnh thành một luật routing không training, không threshold, đồng thời kiểm soát số token được mở mỗi bước.

Hạn chế:

Anchor cũ có thể lệch dần, nên sai số tăng khi không refresh; thực tế phần lớn token dùng anchor từ bước ngay trước.
Tiết kiệm kém hơn trên ChartQA/DocVQA vì mô hình vẫn cần ảnh ở nhiều bước.
Chi phí cuối cùng phụ thuộc đầu vào, không đặt trước trước decoding; kết hợp pruning giúp kiểm soát tốt hơn.

Hướng mở: tối ưu độ tin cậy của certificate khi anchor già, mở rộng sang dạng dữ liệu đa phương thức khác, và kết hợp routing ảnh với lựa chọn bước/token chủ động hơn.

V. Brainstorming Space:

1. Publish Papers:

Certificate-aware routing cho diffusion multimodal models: mở rộng LOWN sang audio-video và dữ liệu có nhiều ảnh để quyết định không chỉ có nên đọc phương thức nào mà còn chọn phần phương thức nào cần refresh.
Unified adaptive decoding cho masked diffusion LMs: kết hợp routing ảnh, điều chỉnh số token mở theo bước, và cache xấp xỉ trong một framework chung có phân tích chi phí-rủi ro.
Visual dependence prediction cho diffusion VLMs: học hoặc ước lượng trước các bước nhạy ảnh để giảm chi phí mà vẫn bảo toàn bằng chứng trực quan tinh vi.

2. Patent:

Trợ lý ảnh trên điện thoại tiết kiệm pin: khi trả lời câu hỏi về ảnh, ứng dụng chỉ chạy mô hình nặng có ảnh khi phần trả lời thay đổi so với lần dùng ảnh trước; các câu tiếp theo chủ yếu dùng văn bản và bản ghi nhớ dự đoán cũ.
Hệ thống chat đa phương thức trên di động: với mỗi lượt nhắn, thiết bị quyết định có cần đọc lại toàn bộ ảnh/video hay không bằng cách so khớp dự đoán hiện tại với dự đoán đã lưu từ lần xử lý ảnh gần nhất, từ đó giảm độ trễ và nhiệt máy.
Module quét tài liệu và biểu đồ tại biên: điện thoại hoặc camera biên giữ lại ảnh gốc, chỉ gửi phần cần thiết lên dịch vụ đám mây khi suy luận không dùng ảnh bị lệch, giúp đọc chữ nhỏ/chỉ số chính xác mà không trả phí tính toán cho mọi câu hỏi.
Tính năng mô tả ảnh/video theo thời gian thực: khi tạo caption dài, hệ thống tự mở nhiều từ hơn mỗi vòng nếu phần mô tả vẫn khớp với dự đoán không nhìn ảnh, và chỉ gọi pipeline thị giác đầy đủ khi có chi tiết mới xuất hiện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.36671
ArXiv Abstract	https://arxiv.org/abs/2610.36671
PDF Download	https://arxiv.org/pdf/2610.36671.pdf
Github Repository	https://github.com/hyeon9698/LOWN

5. Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities (77 votes)

Tác giả: Yunhang Shen, Zhangquan Chen, Xiaotian Li, Zhongpeng Cai, Qing Zhou, et al.

Xuất bản lúc: 2026-10-29

Tag: Omni-modal parsing, Document Parsing, Vision Encoder, Audio-Visual Fusion, On-Policy Distillation, RLVR, Structured Output

I. Main Problem:

Các LLM agent ngày càng cần đọc tài liệu, hình ảnh, âm thanh, video để lấy bằng chứng — nhưng xử lý trực tiếp tốn kém và khó kiểm chứng (câu trả lời không chỉ ra vùng/thời điểm nào là căn cứ). Parsing đa phương thức giải quyết bằng cách chuyển mỗi đầu vào thành bản ghi có cấu trúc, neo trong không gian và thời gian, nhưng các parser hiện tại còn nhiều hạn chế:

Tài liệu: nội dung ký hiệu (công thức hóa học, nhạc ký âm) vẫn phải dùng mô hình chuyên biệt.
Hai tháp encoder riêng (vision + audio): mỗi phương thức mã hóa cô lập, không tương tác trong tầng nhận thức; thời gian được đánh chỉ mục độc lập nên khung hình và âm thanh cùng thời điểm không khớp vị trí; mỗi tháp cần kiến trúc và pre-training riêng.
Tối ưu chéo 10 tác vụ: SFT chỉ train trên prefix tham chiếu (không phải output model tự sinh); RLVR cần scalar reward khó thiết kế cho tiêu chí đa dạng và chỉ cho phản hồi mức chuỗi.

II. Main Idea:

Youtu-Parsing-Omni: một encoder cho mọi phương thức, một schema cho mọi tác vụ.

Youtu-Omni-Encoder (giải quyết C1):

Một Transformer dùng chung, khởi tạo từ pre-trained language model để tăng khả năng đọc chữ; chỉ stem đầu vào và merger/projector là riêng theo phương thức.
Một hệ tọa độ không-thời gian thống nhất: token ảnh lấy (t, h, w) từ chỉ số khung hình + vị trí patch; token audio lấy t từ offset thời gian, chia cùng phân đoạn rotary T — nên âm thanh và khung hình cùng lúc nằm trên cùng thang thời gian.
Vài fusion layers cho khung hình attend tới âm thanh đồng thời trong cửa sổ ngắn, đưa gắn kết đa phương thức vào ngay tầng nhận thức thay vì để decoder suy đoán lại.

OmniSchema + OSAD (giải quyết C2):

OmniSchema thống nhất output của 10 tác vụ (tài liệu, ảnh tự nhiên, biểu đồ, hóa học, nhạc ký, audio, video) dưới dạng JSON có element neo bbox hoặc segment neo timestamp.
Vì mọi output cùng schema, mỗi token được gán vai trò structure hay content để giám sát theo objective phù hợp.
OSAD (On-Policy Distillation): model train trên rollouts của chính nó với token-level targets từ bản sao teacher được điều kiện hóa thêm trên reference parse; sau mỗi vòng, student thành teacher mới — parser và giám sự cùng tiến hóa, không cần reward thiết kế tay hay teacher riêng.

Ví dụ đời thường: giống một thực tập sinh tự soạn biên bản công việc rồi tự chấm lại bằng cách đối chiếu với bản mẫu — mỗi lần chấm xong, chính bản chấm mới lại trở thành thước đo cho lần sau, nên tay nghề và thước đo cùng nâng cấp dần.

III. Main Results:

Một checkpoint duy nhất 5B tham số phục vụ cả 10 tác vụ parsing.
OmniDocBench v1.6: 96.96 — đứng đầu, vượt TeleOCR (96.91), OvisOCR2 (96.47), PaddleOCR-VL-1.6 (96.34), và xa GPT-5.2 API (86.59), Qwen3-VL-235B (89.78).
OmniParsingBench: 75.08 — dẫn đầu mọi model open-weight, vượt Logics-Parsing-Omni (72.26) và Qwen3-Omni-30B (66.44); lợi thế lớn nhất ở audio và video (chỉ thua Gemini-3-Pro API).
Biểu đồ: 95.02 — điểm tổng thể tốt nhất.
Cấu trúc hóa học: Tani@1.0 = 54.2, vượt DeepSeek-OCR 2 (49.6).
Nhạc ký âm: CER 22.73, ngang model chuyên biệt LEGATO (23.30) và bỏ xa các hệ đa dụng.
Code và trọng số công khai (GitHub, HuggingFace).

IV. Conclusion & Future Works:

Chứng minh một encoder chia sẻ trọng số + một schema thống nhất có thể đạt parsing đa phương thức rộng mà vẫn giữ độ chính xác của model chuyên biệt: gắn kết âm-hình được đưa vào tầng nhận thức thay vì để decoder phục hồi, và OSAD cho giám sát token-level tự tiến hóa không cần reward tay. Pipeline 4 giai đoạn pre-training (alignment → omni-modal → annealing → long-context 128k) + 3 giai đoạn post-training (SFT → RLVR → OSAD) cho thấy lộ trình curriculum khả thi cho perceiver đa phương thức. Hướng mở: mở rộng schema cho phương thức mới (chỉ cần thêm stem/projector), cải thiến OSAD khi reference yếu, và tối ưu chi phí fusion cho video dài.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Youtu-Omni-Encoder sang phương thức mới (3D, sensor công nghiệp, dữ liệu y khoa) chỉ bằng cách thêm stem/projector nhẹ, kiểm chứng tính bền của trọng số chia sẻ khi số phương thức tăng.
Nghiên cứu OSAD khi reference parse có lỗi hoặc thiếu sót: cơ chế lọc nhiễu teacher và cân bằng vai trò structure/content token để tránh khuếch đại sai lệch qua các vòng tự tiến hóa.
Tối ưu hóa fusion theo cửa sổ thời gian thích ứng (thay cửa sổ cố định) để giảm chi phí tính toán trên video dài nhiều giờ mà vẫn giữ độ chính xác gắn âm-hình.
Ứng dụng làm tầng nhận thc cho agent: parsing có trích dẫn vùng/thời điểm làm giàu RAG đa phương thức, cho phép LLM text-only truy ngược bằng chứng về pixel và waveform.

2. Patent:

Ứng dụng điện thoại quét tài liệu thông minh: chụp một lần, hệ thống trích toàn bộ bảng biểu, công thức, hóa đồ ra dạng có cấu trúc (bảng Excel, mã LaTeX, chuỗi SMILES) kèm vị trí từng vùng để người dùng chạm vào ô nào cũng biết nó nằm ở đâu trên trang gốc.
Trợ lý ghi chú cuộc họp video trên điện thoại: quay video họp, hệ thống tự chia dòng thời gian, gắn lời từng người nói với slide hiển thị trên màn hình cùng lúc, xuất biên bản Markdown có mốc giờ — bấm vào câu nào nhảy đúng đoạn phim đó.
Máy ảnh nhận diện nhạc và hóa chất cho học sinh: chụp trang nhạc in để phát lại giai điệu (nhạc ký âm), chụp hình công thức hóa học vẽ tay để tra cứu chất và cảnh báo an toàn (chuỗi SMILES), tất cả chạy offline trên một model duy nhất.
Hệ thống kiểm chứng nội dung video tin tức: tự tách video thành các đoạn theo sự kiện, đối chiếu phụ đề/lời nói với chữ hiển thị trên màn hình để phát hiện nội dung ghép sai ngữ cảnh và trích xuất bằng chứng kèm mốc thời gian.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.39301
ArXiv Abstract	https://arxiv.org/abs/2610.39301
PDF Download	https://arxiv.org/pdf/2610.39301.pdf
Github Repository	N/A

6. Proving and Improving the Platonic Representation Hypothesis with JEPAs (54 votes)

Tác giả: Randall Balestriero, Yann LeCun

Xuất bản lúc: 2026-10-29

Tag: Representation Learning, JEPA, Self-Supervised Learning, Vision-Language Alignment, Scaling Laws, Contrastive Learning

I. Main Problem:

Giả thuyết Platonic Representation Hypothesis (PRH) của Huh et al. phán đoán rằng các mô hình được huấn luyện riêng trên các modal khác nhau (ảnh, văn bản,...) sẽ hội tụ về cùng một biểu diễn của thế giới khi tăng scale — nhưng đây mới chỉ là một quan sát thực nghiệm:

Không có chứng minh toán học, nên không đảm bảo khi nào giả thuyết đúng
Không có công thức cải thiện alignment, khiến tăng model và dữ liệu là cần cần duy nhất
Chưa giải thích được vì sao next-token prediction (mục tiêu huấn luyện của LLM) chỉ align với vision một phần và phải nhờ scale rất lớn.

II. Main Idea:

Bài báo biến PRH thành định lý cho kiến trúc JEPA (Joint-Embedding Predictive Architecture) qua các bước:

Định lý Platonic Representation: các JEPA huấn luyện riêng trên bất kỳ số modal nào học cùng một embedding chỉ sai khác một phép xoay (rotation), nếu cặp positive của chúng là hai quan sát độc lập của cùng một trạng thái thế giới — gọi là good views (hai bức ảnh, hai câu mô tả cùng cảnh)
Ngược lại, bad views (hai biến thể phá hỏng của MỘT quan sát, ví dụ mask một câu, crop một ảnh) khiến encoder lãng phí chiều embedding cho nuisance của modal riêng (cách diễn đạt, góc chụp) mà không phép xoay nào align được; độ lệch bị chặn trên bởi độ khác nhau của kernel positive (Theorem 2)
Next-token prediction được chứng minh là một bad-view JEPA (positive = tiền tố và phần tiếp theo trong cùng một tài liệu), lý giải vì sao LLM align kém và chỉ nhờ scale
Về mặt thực nghiệm: alignment tuân theo scaling law theo tỷ lệ good views và số mẫu dữ liệu; good views cần ít hơn 42 lần mẫu dữ liệu so với next-token để đạt cùng độ alignment; text JEPA chỉ 109M tham số vượt mọi LLM đánh giá (tới 72B tham số) về alignment với DINOv2/CLIP.

Ví dụ đời thường: hai người cùng nhìn một cảnh rồi mỗi người tự chụp một tấm ảnh riêng — vì cả hai đều ghi lại cùng cảnh thật chỉ khác góc máy, bản đồ trong đầu họ về cảnh giống nhau chỉ cần xoay nhẹ là khớp; còn nếu mỗi người chỉ xé nhỏ, che mờ một tấm ảnh duy nhất, họ sẽ bị ám ảnh bởi những chi tiết riêng của tờ ảnh (vết xé, chỗ che) mà chẳng ai khớp được.

III. Main Results:

Chứng minh lý thuyết: Theorem 1 (Platonic Representation Theorem) — các JEPA với shared positives học cùng embedding sai khác một rotation; Proposition 1 — JEPA spectral với anti-collapse bậc hai có nghiệm duy nhất tới rotation khi có spectral gap; Theorem 2 — bound độ lệch bằng kernel mismatch (kiểm chứng trên 300 thế giới ngẫu nhiên, lỗi ≤ 18% bound); Proposition 4 — next-token prediction có dạng JEPA với bad views.
Cơ chế nuisance đo trực tiếp: trên Flickr, phần embedding giải thích bởi cảnh (scene-explained fraction ρ, k=32) là .804 cho good-view JEPA, .655 cho bad-view, .608 cho next-token — khớp thứ tự đo lường được của độ lệch alignment.
Scaling law: dự đoán trước 85 run chưa huấn luyện với độ chính xác ngang chạy lại seed khác; từ 145k caption Flickr tới văn bản của 940M ảnh web, good views thắng bad views và next-token ở mọi scale.
Hiệu quả mẫu: good-view JEPA đạt alignment (.109) với chỉ 21.6M mẫu mà next-token cần 900M mẫu (42× nhiều hơn, 14× nhiều token hơn).
Vượt LLM lớn: text JEPA 109M tham số (đọc 116B token) đạt mutual 10-NN .184 với DINOv2, cao hơn Qwen2.5-72B (.154), Llama-3-70B và cả text encoder của CLIP (.124); vượt mô hình lớn gấp 660 lần, huấn luyện trên nhiều hơn 100 lần dữ liệu.
Ứng dụng không cần cặp dữ liệu: một phép xoay tuyến tính duy nhất nối encoder ảnh DINOv2/DINOv3 đông lạnh với LLM fine-tune chỉ trên text thuần, đạt CIDEr .838 trên COCO; trên benchmark pair-free mới nhất, text JEPA 109M thắng mọi kết quả zero-shot báo cáo với LLM tới 8B (64% so với tối đa 56% top-5 trên ImageNet-100, hơn Qwen3-8B 17 điểm).
Video (MSR-VTT): good views ở cả hai phía align tốt nhất (.067 khi cả hai tốt vs .039 khi cả hai xấu), xác nhận alignment đi theo sự đồng thuận của positives.

IV. Conclusion & Future Works:

PRH không còn là giả thuyết mà là định lý và công cụ: chìa khóa không phải scale thuần túy mà là positive views — cặp dữ liệu phải là hai quan sát độc lập của cùng một trạng thái thế giới. Next-token prediction là đường đi cực kỳ kém hiệu quả tới biểu diễn platonic; good-view JEPA nhỏ hơn hàng trăm lần vẫn align tốt hơn LLM 72B. Các hướng mở gồm: mở rộng good views cho phía ảnh (cần nhiều quan sát mỗi cảnh, ví dụ video — image JEPA hiện yếu hơn DINOv2 nhiều), chứng minh tính duy nhất tới rotation cho ràng buộc đầy đủ của LeJEPA SIGReg, và huấn luyện JEPA dạng world model với predictor có điều kiện (phân tích hiện tại chưa bao phủ).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng định lý Platonic sang JEPA world model với predictor học được (dự đoán embedding từ embedding + hành động), cho robot và agent tương tác, nơi positive pairs gắn với trạng thái thế giới qua hành động.
Nghiên cứu good views cho modal ảnh ở quy mô lớn: dùng video/web-scale multi-view data để huấn luyện image JEPA vượt DINOv2 về alignment cross-modal, hoàn thiện cả hai phía của định lý.
Khai thác scaling law của alignment để thiết kế curriculum kết hợp tỷ lệ good views và ngân sách dữ liệu, tối ưu chi phí huấn luyện encoder đa modal cho một ngưỡng alignment mục tiêu.
Chứng minh tính duy nhất tới rotation cho JEPA với ràng buộc phân phối đầy đủ (isotropic Gaussian của SIGReg) thay vì chỉ ràng buộc moment bậc hai, khép kín giả định còn lại của Proposition 1.

2. Patent:

Công cụ tạo mô tả ảnh trên điện thoại không cần dữ liệu cặp ảnh-chữ: encoder ảnh có sẵn và encoder văn bản huấn luyện riêng chỉ trên mô tả thuần được ghép bằng một ma trận xoay nhỏ học từ vài nghìn cặp (hoặc không cần cặp nhờ hình học chung), cho phép caption ảnh offline mà không tốn chi phí huấn luyện cross-modal lớn.
Hệ thống tìm kiếm ảnh bằng ngôn ngữ tự nhiên tiết kiệm: dùng text encoder JEPA nhỏ (khoảng 100M tham số) huấn luyện với good views từ nhiều mô tả của cùng một ảnh, đạt độ khớp embedding với encoder ảnh tốt hơn LLM hàng chục tỷ tham số — triển khai được ngay trên thiết bị di động.
Dịch thuật không song ngữ trên ứng dụng di động: hai encoder văn bản huấn luyện riêng trên từng ngôn ngữ với good views (nhiều cách diễn đạt cùng ý), căn chỉnh bằng một phép xoay tìm từ vài cặp câu tương đương, cho dịch cơ bản không cần song ngữ corpus lớn.
Module đồng bộ hóa biểu diễn đa modal cho trợ lý AI trên điện thoại (ảnh + giọng nói + văn bản): các encoder huấn luyện độc lập với positive pairs là hai quan sát của cùng sự kiện, sau đó ghép bằng rotation để hỏi-đáp xuyên modal mà không cần huấn luyện end-to-end đắt đỏ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.39302
ArXiv Abstract	https://arxiv.org/abs/2610.39302
PDF Download	https://arxiv.org/pdf/2610.39302.pdf
Github Repository	https://github.com/galilai-group/prh-proof

7. Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers (35 votes)

Tác giả: Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu

Xuất bản lúc: 2026-10-29

Tag: Diffusion, Rectified Flow, Pixel-Space Generation, Transformer, DCT, Token Allocation, Image Generation

I. Main Problem:

Các mô hình generative Transformer trong pixel-space (sinh ảnh trực tiếp từ nhiễu, bỏ qua autoencoder) dùng một token cho mỗi patch ảnh, nên ba thứ bị ràng buộc chặt vào cùng một lưới patch:

cái mô hình đọc (độ phân giải đầu vào)
cái mỗi token dự đoán (độ chi tiết đầu ra)
chiều dài chuỗi attention toàn cục

Hệ quả: muốn chi tiết hơn thì phải patch nhỏ hơn, token tăng gấp bội và chi phí attention tăng theo bình phương (với ảnh 256×256, đổi patch 16×16 sang 8×8 làm token từ 256 lên 1,024, phần bậc hai của attention tăng 16 lần). Các phương pháp trước (JiT, multiscale, efficient attention, Spectral Forcing) nén hoặc giới hạn giao tiếp nhưng vẫn giữ sự ràng buộc này.

II. Main Idea:

SpecSlot dựa trên nhận định then chốt: chi tiết mịn không đồng nghĩa cần nhiều giao tiếp toàn cục hơn — tần số thấp mang cấu trúc tổng thể (cần trao đổi toàn ảnh), tần số cao mang chi tiết cục bộ (gần như không cần). Mô hình tổ chức token hóa thành 3 bước:

Read: đặt lưới W spatial anchors đọc bằng chứng đầu vào, mỗi anchor mở rộng thành K slot.
Allocate: mỗi slot được gán một nhóm riêng biệt các hệ số DCT theo bán kính (slot 0 = tần số thấp nhất), tách rõ mật độ anchor (W) khỏi độ chia phổ (K); tổng N = W×K nhưng chuỗi toàn cục chỉ có W carrier.
Route: chỉ slot tần số thấp nhất của mỗi anchor đi qua các global block (lịch trình GGLL: 2 global – 2 local, lặp 3 lần); tất cả slot trộn cục bộ trong anchor. Một spatial head thêm hiệu chỉnh pixel cục bộ bổ sung cho nền spectral, còn state, target và loss vẫn giữ nguyên trong pixel space.

Ví dụ đời thường: giống một công ty làm việc theo tầng — chỉ trưởng nhóm nắm bức tranh tổng thể mới họp toàn công ty (global), còn các nhân viên chuyên về chi tiết trao đổi nội bộ trong nhóm (local), nên công ty có thêm người chuyên môn mà không phải tổ chức thêm cuộc họp toàn thể.

III. Main Results:

ImageNet-256: SpecSlot-K4 đạt FID tương đương JiT-CM (control cùng FLOPs) nhưng hội tụ nhanh hơn ở các checkpoint sớm–giữa, dùng 40.9% ít FLOPs hơn JiT-B/8.
ImageNet-512: SpecSlot-K4 giảm FID 2.84 so với JiT-CM với 3.9% ít FLOPs hơn, và chỉ kém JiT-B/16 đúng 0.69 FID trong khi rẻ hơn 38.2%; IS cao nhất bảng.
Text-to-image (DPG-Bench): vượt JiT-B/8 +1.06 điểm với chi phí forward thấp hơn 40.6%, không cần thay đổi kiến trúc hay objective cho T2I.
Ablation: W (đọc) và K (viết) không thay thế được nhau; dual-basis (spectral + spatial correction) tốt hơn single-basis 0.40 FID; lịch trình GGLL vượt Dense-global-CM về cả chất lượng lẫn tốc độ ở cùng FLOPs; overlap 50% và input mixer cải thiện FID rõ rệt.
Hiệu quả sampling: GGLL nhanh hơn 1.47–1.49× so với dense-global ở mọi ngưỡng Heun (20/30/50 bước).

IV. Conclusion & Future Works:

SpecSlot biến token hóa từ một lựa chọn patch size duy nhất thành bài toán phân bổ chất lượng–tính toán có hai trục độc lập (W, K), bằng cách gắn vai trò đầu ra (nhóm hệ số DCT cố định) với quyền giao tiếp: chỉ carrier tần số thấp đi global, slot còn lại chỉ tương tác cục bộ. Kết quả là tăng chi tiết spectral mà không phình chuỗi attention toàn cục, cho hai điểm vận hành chất lượng–tính toán nằm giữa cấu hình rẻ và đắt của JiT, và cơ chế này giúp lợi thế lớn hơn ở độ phân giải cao (512) vì chi tiết tăng trong khi chuỗi global cố định ở 288 token. Hướng tương lai: trong phạm vi số liệu đo được, xu hướng nghiêng về phân bổ nhiều ngân sách hơn cho anchor không gian — nhưng tác giả không khẳng định quy tắc này khái quát ra ngoài vùng đo, và giá trị K lớn hơn cho lợi ích FID giảm dần (lần nhân đôi cuối chỉ mua được 0.31 FID).

V. Brainstorming Space:

1. Publish Papers:

Khảo sát mở rộng phân bổ W×K cho video generation trong pixel-space: carrier tần số thấp xử lý giao tiếp toàn cục theo không gian–thời gian, slot tần số cao chỉ tương tác cục bộ theo chunk, để tăng độ phân giải video mà không phình chi phí attention.
Học cách phân bổ token budget W/K tự động theo độ khó của từng vùng ảnh (adaptive allocation) thay vì lưới anchor đồng nhất, kết hợp với dynamic routing của carrier.
Kết hợp SpecSlot với cascaded generation đa độ phân giải: dùng slot spectral làm nền thô ở độ phân giải thấp, rồi chỉ mở rộng K ở các vùng cần chi tiết cao ở cascade sau.

2. Patent:

Công cụ nén–khôi phục ảnh trên điện thoại bằng slot DCT có vai trò cố định: phần nền tần số thấp được xử lý bằng mạng global nhẹ, chi tiết tần số cao chỉ xử lý cục bộ, cho phép tăng độ nét ảnh chụp trên chip di động mà không tăng đáng kể năng lượng tiêu thụ.
Hệ thống chỉnh sửa ảnh bằng văn bản trên thiết bị di động: dùng kiến trúc anchor–slot với carrier toàn cục để hiểu bố cục ảnh, slot cục bộ để tái tạo chi tiết khu vực được chỉnh, giảm thời gian và dung lượng RAM khi chỉnh sửa ảnh độ phân giải cao trên điện thoại.
Module tạo ảnh nền thời gian thực cho giao diện điện thoại (hình nền động, sticker, avatar): sinh ảnh bằng rectified-flow slot-based để đạt chất lượng cao với chi phí GPU thấp, tiết kiệm pin khi tạo nhiều mẫu liên tiếp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.40647
ArXiv Abstract	https://arxiv.org/abs/2610.40647
PDF Download	https://arxiv.org/pdf/2610.40647.pdf
Github Repository	https://github.com/JiongfanYang/SpecSlot

8. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory (35 votes)

Tác giả: Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, et al.

Xuất bản lúc: 2026-10-29

Tag: World Models, Video Diffusion, 3D Gaussians, Diffusion Transformer, Autoregressive Generation, Spatial Memory, Novel View Synthesis

I. Main Problem:

Các mô hình world tương tác sinh cảnh quan theo hành động người dùng nhưng không duy trì được tính nhất quán không gian trong khám phá dài hạn theo thời gian thực. Hai hướng hiện có đều có điểm yếu cố hữu:

Bối cảnh thời gian (lưu frame lịch sử / KV cache): chi phí bộ nhớ và attention tăng tuyến tính theo độ dài video, dẫn đến lỗi OOM khi tạo lâu.
Bộ nhớ 3D tường minh (point cloud, 3D Gaussians):
- Phương pháp feed-forward dự đoán dense primitives mỗi pixel → chồng lặp dồn dần trên cùng vùng không gian, bộ nhớ và chi phí render tăng theo số frame; lỗi hình học cũ không bao giờ được sửa.
- Phương pháp tối ưu hóa giữ bộ nhớ nhỏ gọn theo diện tích cảnh (O(S)) nhưng tối ưu vòng lặp chậm, không kịp thời gian thực.
- Cả hai đều phải render RGB rồi mã hóa lại qua VAE để điều kiện hóa video generator → nghẽn cổ chai, loại trừ khả năng real-time.

II. Main Idea:

Bài báo giới thiệu Latent 3D Gaussian Memory (L3G) — bộ nhớ cảnh gọn, render nhanh, được đọc và cập nhật liên tục, với kích thước tăng theo diện tích cảnh đã khám phá chứ không theo độ dài video. Trên nền đó, L3G-World gồm hai module luân phiên tự hồi quy:

L3G-Mem (cập nhật bộ nhớ, feed-forward):
- Adaptive Spawning: render bộ nhớ cũ ra camera hiện tại, dùng opacity + sai số RGB để lập spawn mask vùng thiếu; chỉ sinh Gaussian mới ở vùng đó (quy token spawn qua K-means trên feature hình học của Depth Anything 3).
- Refinement: lấy token của các Gaussian nhìn thấy được, cập nhật residual để sửa lỗi hình học tích lũy — bộ nhớ là cấu trúc cảnh bền được chỉnh sửa, không phải hàng đợi chồng primitives.
- Mỗi Gaussian lưu cả feature VAE latent → bộ nhớ render trực tiếp trong latent space của generator, bỏ qua bước render RGB + VAE re-encode.
L3G-Gen (sinh video, DiT): nhận latent render từ bộ nhớ ghép kênh với noisy latents + reference latents + RayRoPE, sinh chunk video tiếp theo nhất quán về không gian; chunk vừa sinh lại được đưa về L3G-Mem, khép vòng lặp. Phiên bản L3G-World Fast dùng AnyFlow few-step distillation (on-policy) để đạt tốc độ thời gian thực.

Ví dụ đời thường: giống như người vẽ bản đồ đi dạo trong phố — thay vì chụp ảnh chồng thêm sau mỗi bước (nhanh đầy album, lặp ảnh cũ), họ chỉ vẽ thêm nét mới vào ngõ chưa có trên bản đồ và tẩy-sửa chỗ cũ vẽ sai, nên tờ bản đồ gọn đúng bằng phạm vi đã đi.

III. Main Results:

So với baseline 3D-memory hiệu quả nhất cho từng chỉ số (đo trên 1 GPU A100/H100):

Hiệu quả bộ nhớ: giảm 26.7–38.9× số primitives (ví dụ 33K vs 8,766K của NeoVerse trên DL3DV), dùng 7.4–42× ít bộ nhớ GPU hơn, reconstruct nhanh 3.0–3.2×, throughput render VAE nhanh 349–359×.
Tốc độ: 9.02 FPS trên 1 H100 ở độ phân giải 480×832 — phương pháp 3D-memory tường minh đầu tiên đạt real-time (các baseline tối đa ~2 FPS).
Self-consistency dài hạn (quỹ đạo loop-closure 481 frame): PSNR/LPIPS tốt nhất hoặc nhì trên cả DL3DV và RealEstate10K — cảnh giữ nguyên cấu trúc khi camera quay lại điểm xuất phát.
Chất lượng sinh: LPIPS, FID, Subject Consistency, Background Consistency tốt nhất trên cả hai dataset; kiểm soát camera tốt (translation error thấp nhất trên DL3DV).
Ablation: bỏ adaptive spawning → ~1.8× nhiều Gaussian và chất lượng giảm; bỏ refinement / global self-attention / RGB loss đều sụt rõ rệt; bỏ VAE lifting → render VAE chậm hẳn.

IV. Conclusion & Future Works:

L3G-World chứng minh rằng bằng cách kết hợp bộ nhớ 3D Gaussian nhỏ gọn, cập nhật có chọn lọc (spawn + refine) với render trực tiếp trong VAE latent space, có thể đồng thời đạt tính nhất quán không gian dài hạn và tốc độ thời gian thực — hai mục tiêu vốn loại trừ nhau ở các phương pháp trước. Phần kết luận/hướng tương lai không được trích chi tiết trong trang đầu; các hướng tự nhiên là mở rộng cho cảnh động, tương tác vật thể, và cải thiện chất lượng ở vùng ngoài xa khỏi ảnh đầu vào.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng latent 3D Gaussian memory cho môi trường động (người, xe, vật thể chuyển động): cơ chế spawn/refine cần phân biệt vùng thay đổi thật do vật thể di chuyển thay vì lỗi hình học, có thể bằng motion mask kết hợp optical flow.
Kết hợp bộ nhớ L3G với tương tác vật lý/agent trong world model: agent thao tác đổi cảnh thì bộ nhớ cập nhật tại chỗ, cho phép mô phỏng embodied có khả năng can thiệp lên cấu trúc cảnh đã lưu.
Nén sâu hơn memory token bằng mã hóa entropy hoặc codebook, đẩy số primitives xuống còn vài nghìn mà không mất chất lượng latent render, hướng tới triển khai world generation trên phần cứng consumer.

2. Patent:

Ứng dụng khám phá bất động sản trên điện thoại: chụp một ảnh duy nhất của căn phòng, người dùng vuốt/điều khiển camera tự do; ứng dụng sinh video khám phá căn phòng theo thời gian thực, quay lại đúng góc cũ thì hình ảnh khớp nguyên — nhờ bộ nhớ 3D Gaussian nhỏ gọn chạy được ngay trên chip điện thoại.
Game/streaming sinh thế giới vô hạn từ ảnh chụp: người chơi gửi một tấm ảnh làm bản đồ khởi đầu, hệ thống mở rộng thành thế giới 3D khám phá được liên tục ở 9+ FPS, bộ nhớ chỉ tăng theo diện tích đã đi qua nên chơi hàng giờ không đầy bộ nhớ.
Hệ thống dẫn đường tham quan ảo (bảo tàng, nhà máy, nhà mẫu): dựng bộ nhớ cảnh một lần rồi cho nhiều người cùng duyệt trên quỹ đạo camera khác nhau, mỗi vùng chỉ lưu một lần và tự sửa lỗi hình học theo thời gian, giảm mạnh chi phí lưu trữ và băng thông so với lưu video cho từng lộ trình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.40614
ArXiv Abstract	https://arxiv.org/abs/2610.40614
PDF Download	https://arxiv.org/pdf/2610.40614.pdf
Github Repository	https://github.com/cvlab-kaist/L3G-World

9. WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training (30 votes)

Tác giả: Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang, et al.

Xuất bản lúc: 2026-10-27

Tag: Agent Training, Supervised Fine-Tuning, Task Synthesis, Working Agents, Synthetic Data, Scaling Analysis

I. Main Problem:

Muốn fine-tune agent làm việc chuyên nghiệp, cần dữ liệu demo chuyên gia trên hàng loạt tác vụ nghề nghiệp đa dạng. Nhưng khi tự động dựng tác vụ, thường thiếu thông tin hoặc thông tin mâu thuẫn giữa các file — ví dụ tác vụ chọn nhà cung cấp cung cấp báo giá nhưng không nói giá có gồm cước vận chuyển hay không. Hậu quả:

teacher agent phải tự bịa giả định hoặc bỏ dở phần việc cốt lõi
quỹ đạo thu được yếu đi thành dữ liệu huấn luyện kém chất lượng.

Khó ở chỗ phải giữ ranh giới tinh tế: đủ các tiền đề cần thiết cho người giải, nhưng phần tính toán và ra quyết định phải để lại cho người giải làm — đưa sẵn kết quả thì mất hết giá trị của tác vụ.

II. Main Idea:

WorkFactory dựng tác vụ nghề nghiệp bằng cách lập kế hoạch ngược từ đầu ra mong muốn, thay vì xếp các file với nhau một cách tùy ý. Quy trình:

Multi-source intent synthesis: tổng hợp ý định nghề nghiệp từ ba nguồn — phân cấp nghề nghiệp, tài liệu kỹ năng, và sản phẩm công việc thật (backtranslation)
Information support graph: với mỗi ý định, đồ thị ghi rõ mỗi kết quả phụ thuộc vào thông tin nào, thông tin đó nằm ở đâu (request, file tham chiếu, tài nguyên ngoài), và phần nào để solver tự suy ra
Execution-based repair: một probe agent làm thử tác vụ chỉ với dữ liệu solver nhìn thấy; lỗi chặn hoàn thành được chẩn đoán và sửa, kèm kiểm tra không làm thay đổi công việc gốc (work-preservation review)
Tác vụ qua được vòng này mới giao cho teacher độc lập thu quỹ đạo huấn luyện.

Ví dụ đời thường: giống người soạn đề thi từ đáp án chạy ngược lên: liệt kê từng bước suy luận học sinh phải tự làm, rồi chỉ cung cấp đúng các dữ kiện đầu vào cần thiết — rồi cho một người làm thử đề để bắt chỗ thiếu dữ kiện trước khi chính thức ra đề.

III. Main Results:

Dựng 112,686 tác vụ trải rộng 612 nghề thuộc 23 nhóm nghề lớn; quỹ đạo teacher trung bình 57 lượt hội thoại, 63 tool calls, 136K tokens.
Fine-tune Qwen3.5-4B, Qwen3.6-27B, Qwen3.6-35B-A3B thành họ WorkPilot — cả ba đều cải thiện trên cả 4 benchmark (GDPval-AA, JobBench, Workspace-Bench, OmegaUse-OfficeVal).
WorkPilot-35B-A3B: GDPval-AA từ 879 lên 1565 Elo, JobBench từ 28.9 lên 62.4; WorkPilot-27B đạt ~1612 Elo, ngang tầm các frontier model so sánh.
Scaling: hiệu suất tăng với lợi tức giảm dần phụ thuộc model — 5K tác vụ đầu cộng 447 Elo, còn từ 75K lên 110K chỉ +13; độ dài thực thi tăng trước rồi giảm (163 turns ở 2K xuống 86 ở 110K); tỉ lệ lỗi tool gọi code giảm từ 16% xuống 6.3%.
Component analysis: information-level planning cắt lỗi derivation gãy từ 24.9% xuống 6.9%; thêm execution-based repair cắt mâu thuẫn cross-file từ 25.7% xuống 4.8%; downstream Elo tăng tích lũy +81 điểm so với lập kế hoạch trực tiếp ở mức file.

IV. Conclusion & Future Works:

Chất lượng môi trường tác vụ mạch lạc là điều kiện tiên quyết cho supervision hiệu quả: lập kế hoạch mức thông tin (đồ thị hỗ trợ) và sửa chữa dựa trên thực thi (probe) bổ sung cho nhau — cái trước làm yêu cầu minh bạch, cái sau xử lý lỗi còn sót sau khi vật chất hóa. Việc scale dữ liệu lên 110K+ tác vụ cho thấy hiệu suất tăng nhưng lợi tức giảm dần tùy model, và lựa chọn teacher cũng ảnh hưởng mạnh tới lợi ích huấn luyện (GLM-5.3 cho student +604 Elo so với +369 của DeepSeek trên cùng tập tác vụ). Hướng tương lai hợp lý: tối ưu điểm bão hòa dữ liệu theo từng quy mô model, cải thiện khả năng dựng môi trường cho tác vụ đòi hỏi thu thập thông tin web (web-fetch failure vẫn ~40-48%), và giảm chi phí thu quỹ đạo teacher.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng information support graph cho tác vụ đa agent: nhiều agent đóng vai các vai trò nghề nghiệp khác nhau trong cùng workspace, đồ thị phải phân định thông tin riêng tư/chung giữa các vai.
Nghiên cứu bão hòa dữ liệu theo quy mô model: dự đoán số tác vụ tối ưu cho một kiến trúc nhất định dựa trên đường cong diminishing returns, thay vì thu thập dữ liệu mù.
Kết hợp probe-based repair với rubric-based audit (kiểu WorkGenesis/GraphForge) để vừa sửa lỗi môi trường vừa chuẩn hóa tiêu chí chấm điểm sản phẩm công việc.
Ứng dụng WorkFactory cho đào tạo agent ngành hẹp (y tế, pháp lý): kiểm chứng xem đồ thị hỗ trợ thông tin có bắt được các ràng buộc tuân thủ nghiệp vụ không.

2. Patent:

Nền tảng tự dựng bài tập/đề kiểm tra nội bộ doanh nghiệp: người quản lý nhập kết quả công việc mong muốn, hệ thống lập kế hoạch ngược liệt kê dữ kiện cần cung cấp, tạo file đính kèm, rồi cho agent làm thử để phát hiện chỗ thiếu dữ kiện trước khi giao cho nhân viên hoặc ứng viên.
Trợ lý đào tạo nhân viên mới trên điện thoại: app tạo các tình huống công việc giả lập có cấu trúc (hợp đồng, báo giá, email), người học hoàn thành sản phẩm; hệ thống tự kiểm tra tính khả thi của tình huống bằng cách chạy thử trước để đảm bảo không thiếu thông tin gây khó người học.
Hệ thống kiểm thử tính đầy đủ của tài liệu giao việc tự động: trước khi gửi yêu cầu công việc cho nhân viên hoặc thầu phụ, phần mềm mô phỏng một người thực hiện từ tài liệu hiện có và cảnh báo những thông tin còn thiếu hoặc mâu thuẫn giữa các file đính kèm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37161
ArXiv Abstract	https://arxiv.org/abs/2610.37161
PDF Download	https://arxiv.org/pdf/2610.37161.pdf
Github Repository	https://github.com/IQuestLab/WorkFactory

10. A Broader Look into MLLM's Retrieval Heads (28 votes)

Tác giả: Jia Wang, Yuqing Li, Jiangnan Li, Zheng Lin, Mo Yu

Xuất bản lúc: 2026-10-23

Tag: MLLM, Retrieval Heads, Omni-modal Models, Attention Mechanism, Mechanistic Interpretability, Multimodal Retrieval, Audio-Visual Understanding, Document Retrieval

I. Main Problem:

Các Multimodal Large Language Models (MLLM) ngày càng xử lý đầu vào dài và giàu thông tin (video, âm thanh, ảnh, văn bản), trong đó thông tin cần thiết chỉ chiếm một phần nhỏ bị chìm trong nội dung không liên quan. Trước đây, khả năng định vị bằng chứng được cho là nhờ retrieval heads — một tập nhỏ attention heads chuyển thông tin từ context sang output — nhưng các nghiên cứu còn giới hạn ở vài phương thức và mô hình cụ thể. Hai câu hỏi mở:

Cơ chế retrieval head có mở rộng cùng số phương thức đầu vào của mô hình không (đặc biệt khi thêm âm thanh)?
Hiểu cơ chế này có thể biến thành phương pháp cải thiện mô hình, chứ không chỉ dừng ở phân tích?

II. Main Idea:

Nghiên cứu dùng AV-NIAH — bộ đầu vào cặp (paired) trong đó cùng một đáp số (chuỗi 6 chữ số) được nói ra ở track âm thanh hoặc hiển thị trong banner 1 giây ở track video, giữ nguyên mọi thứ khác. Với mỗi attention head, đo lượng attention từ câu hỏi đến vùng bằng chứng (needle), trừ đi baseline khi câu hỏi vô nghĩa để loại thiên kiến vị trí, rồi xếp hạng các head (top 5%). Phân tích thống nhất này chạy trên 18 checkpoints thuộc 4 nhóm: language, vision-language, unified, omni-modal. Kiểm chứng nhân quả bằng ablation (triệt tiêu output của các head đã chọn so với tập ngẫu nhiên cùng kích thước). Cuối cùng, chuyển từ phân tích sang tối ưu: dùng attention của retrieval heads để chấm điểm và xếp hạng các trang tài liệu, huấn luyện bằng ranking loss (qua LoRA).

Ví dụ đời thường: giống cách thử nghiệm xem nhân viên nào trong văn phòng thực sự phụ trách tra tài liệu — cho cùng một câu hỏi nhưng để đáp án ở một lần trong cuộn hồ sơ dài, người nào lật đúng trang đó chính là người có nhiệm vụ tìm kiếm; phát hiện ra chỉ vài người làm việc này, và họ vẫn là người đó dù tài liệu để dạng giấy hay dạng ghi âm.

III. Main Results:

Tính thưa (Sparsity): retrieval heads vẫn thưa trong phương thức âm thanh mới — ít hơn 1/10 số head chiếm một nửa tổng điểm dương, ở cả 8 mô hình omni-modal và cả hai phương thức bằng chứng.
Chia sẻ xuyên phương thức: 69–83% top-5% heads trùng nhau giữa điều kiện âm thanh và hình ảnh (ngẫu nhiên chỉ trùng <3 head); tương quan Spearman 0.88–0.92. Head tuyển chọn phụ thuộc nội dung cần truy xuất hơn là phương thức trình bày.
Bảo toàn qua adaptation: mô hình omni-modal gần như giữ nguyên retrieval heads của backbone ngôn ngữ/vision-language (SALMONN: ρ ≥ 0.97).
Vai trò nhân quả: ablate top-5% heads làm audio retrieval gần như về 0 (Qwen2.5-Omni-7B: 98.3% → 0 EM, trong khi ablate ngẫu nhiên chỉ còn 96.9%). Tập head dùng chung âm thanh–hình ảnh chỉ <2% tổng số head (~9–14 head) nhưng ablate chúng suy giảm mạnh document QA, nhận thức không gian và toán hình ảnh (hiệu ứng vượt control trên 15/16 cặp model–task).
Tối ưu hóa retrieval heads: huấn luyện ranking trên attention của 16 heads nâng Page Recall@1 của Qwen3-VL-8B trên MMDocIR +6.03 điểm (56.45 → 62.48, vượt cả ColPali), cải thiện cả layout retrieval dù không có supervision cấp layout; hiệu quả tái lập trên Qwen2.5-VL-7B (+5.69) và Gemma3-12B (+2.17). Head ngẫu nhiên cùng kích thước vẫn kém xa sau khi huấn luyện. Hiệu suất ngoài miền gần như không đổi (±1 điểm).

IV. Conclusion & Future Works:

Functional attention heads vừa là kính hiển vi giải thích (cho thấy một cơ chế truy xuất bằng chứng gọn, chia sẻ và bảo toàn khi mô hình mở rộng phương thức), vừa là mục tiêu tối ưu hóa thực tiễn (ranking attention của chúng cải thiện document retrieval xuyên suốt ba họ mô hình). Nghiên cứu kết nối hiểu biết cơ chế với cải thiện hiệu năng trong bối cảnh multimodal rộng hơn. Hướng mở: mở rộng phân tích sang các phương thức khác, khai thác retrieval heads cho nén token/inference hiệu quả, và áp dụng tối ưu hóa attention vào nhiều tác vụ truy xuất đa phương thức hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Phân tích retrieval heads theo cơ chế động (dynamic retrieval heads) trong mô hình omni-modal: mức độ thay đổi của tập head tùy theo loại nội dung cần truy xuất trong luồng âm thanh–hình ảnh dài hàng giờ.
Phương pháp nén token tối ưu cho video dài trên điện thoại: chỉ giữ lại token nhận attention mạnh từ retrieval heads đã xác định, giảm chi phí inference của mô hình omni-modal mà giữ gần nguyên độ chính xác trả lời.
Tinh chỉnh nhẹ (LoRA) hướng attention của retrieval heads cho tác vụ tìm kiếm tài liệu đa phương thức trên thiết bị biên: học xếp hạng trang/đoạn văn từ dữ liệu relevance cấp trang, tự chuyển sang bắt vùng nhỏ hơn mà không cần nhãn cấp vùng.

2. Patent:

Trợ lý tìm kiếm trong video dài trên điện thoại: người dùng hỏi bằng giọng nói, ứng dụng định vị khoảnh khắc trả lời dù câu trả lời chỉ được nói thoại một lần hay hiện chữ trên màn hình, nhờ tận dụng các attention head chuyên trách định vị bằng chứng đã xác định trước trong mô hình.
Hệ thống họp trực tuyến có ghi âm–ghi hình: khi người dùng hỏi lại nội dung cuộc họp, hệ thống tự tìm đúng đoạn giọng nói hoặc đúng slide được chiếu chứa thông tin đó, bằng cách chấm điểm mức độ attention từ câu hỏi tới từng đoạn của luồng âm thanh và khung hình.
Ứng dụng quét tài liệu thông minh: chụp nhiều trang giấy, người dùng gõ câu hỏi; ứng dụng xếp hạng các trang theo độ liên quan bằng cách huấn luyện nhẹ các attention head chuyên trách truy xuất, nhảy thẳng đến trang chứa bảng biểu hay đoạn văn cần tìm mà không cần gửi toàn bộ tài liệu lên máy chủ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.32411
ArXiv Abstract	https://arxiv.org/abs/2610.32411
PDF Download	https://arxiv.org/pdf/2610.32411.pdf
Github Repository	N/A

11. Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models (19 votes)

Tác giả: Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, et al.

Xuất bản lúc: 2026-10-26

Tag: Benchmark, Agentic Evaluation, Multimodal, Coding Agents, Web Applications, LLM-as-a-Judge

I. Main Problem:

Các benchmark đánh giá coding agent hiện có không phản ánh cách người dùng thật cộng tác sửa ứng dụng web: chúng chỉ dựng lại giao diện từ ảnh mẫu, dùng edit tổng hợp được định nghĩa sẵn, hoặc chỉ thử nghiệm đơn lẻ từng thay đổi. Hệ quả:

Không đo được sửa đổi phức hợp rút ra từ phiên coding thật, nơi một yêu cầu có thể kết hợp ảnh, video, audio, tài liệu cùng nhiều thay đổi liên quan lẫn nhau.
Điểm benchmark bị lũ hóa bởi chế độ chạy: cùng mô hình, chỉ chuyển từ chạy một lần sang chạy agentic (dùng công cụ lặp), điểm WebCompass-edit tăng từ 73.6% lên 95.1%, mô hình mạnh nhất chạm 99.4% — gần như hết "chỗ để đo".
Chấm điểm thiên về đủ từng phần nhỏ mà không kiểm tra việc hoàn thành trọn vẹn toàn bộ yêu cầu, dễ bị đánh lừa bởi code chết, hardcode, chức năng không truy cập được.

II. Main Idea:

Xây dựng Co-Design Bench: benchmark không cần code mẫu (reference-free) gồm 273 tác vụ được khôi phục từ 37,463 truy vấn duy nhất trong 26,314 phiên coding thật, kèm ứng dụng chạy được ở trạng thái trước khi sửa và 2,331 tiêu chí chấm do chuyên gia viết (cho phép nhiều cách cài đặt hợp lệ).

Hai nhánh bài:

Multimodal Editing (100 tác vụ): sửa cục bộ một vùng giao diện, có thể kèm ảnh, video, audio hoặc tài liệu đầu vào.
Repository Editing (173 tác vụ): sửa phối hợp nhiều file — component, route, state, luồng dữ liệu.

Giao thức chấm "judge-then-refute":

Một agent chấm điểm phân loại từng tiêu chí PASS / PARTIAL / FAIL dựa trên bằng chứng thật: diff mã nguồn, ảnh chụp trang render, log tương tác trình duyệt.
Một LLM kiểm chứng độc lập bác bỏ các phán quyết tích cực, tìm stub, hardcode, chức năng không tới được, lỗi với dữ liệu khác.
Kiểm toán bắt buộc: tuyên bố về giao diện phải có ảnh render, tuyên bố về tương tác phải có log hành động trình duyệt — thiếu bằng chứng là hủy kết quả.

Đo song song hai mặt: tỷ lệ tiêu chí đạt (có thể tính cả phần) và tỷ lệ hoàn thành trọn vẹn toàn bộ tác vụ.

Ví dụ đời thường: giống thi công nghiệp vụ có giám khảo chính chấm bài dựa trên sản phẩm thật, rồi một giám khảo phản biện độc lập đi soi lại từng lời khen để bắt gian lận — chỉ khi không ai bác được nữa điểm mới được công nhận.

III. Main Results:

Mười mô hình chạy trong cùng một agentic harness: mô hình mạnh nhất (gpt-6-astra) đạt trung bình 69.9% tiêu chí đạt/tác vụ, nhưng chỉ hoàn thành trọn vẹn 26.4% tác vụ — 73.6% tác vụ vẫn còn ít nhất một yêu cầu chưa xong.
Trên nhánh ME: gpt-6-astra đạt strict 0.754, full-pass 41.0%; nhánh RE khó hơn: 0.667 và chỉ 17.9% full-pass.
Độ rộng sửa đổi là yếu tố then chốt: mọi mô hình đều đạt thấp hơn trên tác vụ có 3–4 loại thay đổi (0.591) so với 1–2 loại (0.654); tỷ lệ không đạt tiêu chí nào tăng từ 0.9% lên 5.8%.
Thứ hạng thay đổi giữa hai nhánh (kimi-k3 từ hạng 4 ME xuống hạng 6 RE; qwen3.8-27b ngược lại) — Spearman ρ=0.818 nhưng không đồng nhất.
Kết quả không tỷ lệ với chi phí chạy: gpt-6-astra đạt điểm cao với 32 turn/1.24M token mỗi ca, trong khi GLM-5.2 dùng 69 turn/7.29M token nhưng điểm thấp hơn hẳn.
Video/audio buộc agent dùng công cụ ngoài: OpenCV xuất hiện trong 68.5% chạy có video, ffmpeg trong 31.5% video và 25% audio, whisper trong 4.4% audio.
Ablation: kết quả bền khi đổi model chấm, nhưng rất nhạy với harness (tương tác mô hình × scaffold mạnh, xác minh khép kín đóng vai trò quyết định).

IV. Conclusion & Future Works:

Co-Design Bench cho thấy khoảng cách mang tính hệ thống giữa phủ kha khá từng tiêu chí riêng lẻ và giao trọn vẹn toàn bộ yêu cầu của người dùng thật — đây là thước đo đáng tin hơn cho khả năng cộng tác thực tế của coding agent. Trạng thái ban đầu chạy được và bằng chứng cấp tiêu chí giúp phân tích lỗi ở ba khâu: hiểu yêu cầu, lan truyền thay đổi, kiểm chứng trạng thái cuối. Hướng tương lai: benchmark làm nền chung để so sánh solver mới, nghiên cứu cách thu hẹp khoảng cách này, và phân tích các yêu cầu còn bỏ ngỏ.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng giao thức judge-then-refute sang đánh giá agent cộng tác đa lượt, nơi người dùng phản hồi tiếp trong lúc agent làm việc thay vì yêu cầu cố định.
Nghiên cứu agent tự xác minh khép kín (tự render, tự tương tác kiểm thử) như một yếu tố chính quyết định tỷ lệ hoàn thành trọn vẹn, dựa trên quan sát độ nhạy với harness.
Phân tích chiến lược xử lý đầu vào đa phương thức của agent: khi nào nên dùng công cụ nhận thức bên ngoài (thị giác, chép âm, trích tài liệu) thay vì đọc trực tiếp, và ảnh hưởng đến chất lượng sửa đổi.
Đo lường sự lan truyền thay đổi trong repository lớn: mô hình hóa lý do các sửa đổi phối hợp nhiều loại (giao diện + state + dữ liệu) bị sót tiêu chí.

2. Patent:

Hệ thống chấm điểm tự động cho dịch vụ xây ứng dụng web bằng AI: chạy thử sản phẩm trong trình duyệt thật, chấm từng yêu cầu khách hàng, rồi dùng một trợ lý AI riêng đi bác lại từng lời khen để phát hiện chức năng giả (nút không bấm được, dữ liệu gõ sẵn trong code) trước khi thanh toán.
Trợ lý sửa giao diện trên điện thoại qua ảnh chụp hoặc lời nói: người dùng chụp màn hình app hoặc đọc yêu cầu ('đổi màu nút này, thêm bộ đếm kia'); trợ lý mở mã nguồn, sửa, chạy lại app và tự chụp ảnh màn hình so sánh để xác nhận đúng yêu cầu rồi mới trả kết quả.
Máy chấm kỳ thi lập trình thực hành trên nền web: thay vì so khớp code mẫu, hệ thống mở bài thi trong trình duyệt, thao tác thật với giao diện, kiểm chứng chéo bằng một AI độc lập và lưu toàn bộ bằng chứng (ảnh màn hình, log thao tác) gắn với từng tiêu chí để thí sinh tra cứu khi khiếu nại.
Bộ kiểm thử nghiệm thu tự động cho freelancer lập trình web: nền tảng tự cài ứng dụng bàn giao vào môi trường sạch, đối chiếu từng mục trong đặc tả hợp đồng bằng cách chạy và tương tác thật, phát hiện chức năng chỉ chạy trên máy của người làm (thiếu file, phụ thuộc dịch vụ ngoài) trước khi giải ngân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.35138
ArXiv Abstract	https://arxiv.org/abs/2610.35138
PDF Download	https://arxiv.org/pdf/2610.35138.pdf
Github Repository	https://github.com/Wiselnn570/Co-Design-Bench

12. VibeGame: Prompt-to-Game Development with AI-Native Engine and Self-Evolving Adversarial Agent Team (19 votes)

Tác giả: Wenbo Hu, Ken Li, Jiazhe Wei, Yukang Cao, Weiyi Hong, et al.

Xuất bản lúc: 2026-10-22

Tag: LLM Agents, Game Development, Multi-Agent Systems, Code Generation, Self-Evolution, Phaser

I. Main Problem:

Phát triển game hoàn chỉnh từ ngôn ngữ tự nhiên (Prompt-to-Game) khó hơn nhiều so với phần mềm thông thường vì game đòi hỏi phối hợp code, cảnh (scene), tài sản đồ họa, animation, vật lý và cấu hình đồng thời. Các hướng tiếp cận hiện tại đều có lỗ hổng:

World models (như Genie) tạo trải nghiệm tương tác từ video nhưng không sinh source code có thể chỉnh sửa.
LLM gắn vào engine thương mại (Unreal, Unity) bị chặn vì project state nằm rải rác trong giao diện đồ họa và file nhị phân, agent không đọc/sửa được.
Các hệ agent hiện có (AutoUE, OpenGame) chỉ kiểm tra lúc build chạy được, trong khi phần lớt lỗi game chỉ lộ khi chơi thật; sửa một thành phần dễ phá vỡ các thành phần phụ thuộc khác.

II. Main Idea:

VibeGame gồm ba thành phần khớp nối với nhau:

AI-native game engine: xây trên Phaser, biểu diễn toàn bộ project thành JSON có schema kiểm tra (cảnh → node → asset, phụ thuộc liên file minh bạch), cho phép agent tạm dừng, từng frame, quan sát và can thiệp runtime (kiểu bấm nút "nhảy", chụp màn hình), và đưa source code engine chưa biên dịch vào project để agent tra cứu.
Adversarial Agent Team (AAT): 8 agent chuyên trách (orchestrator, designer, artist, architect, programmer, auditor, player, reviewer) tách làm khỏi chấm — developer không tự chấm sản phẩm mình. Quy trình 3 giai đoạn: alignment ý định (GDD + concept art), phát triển song song (kiến trúc sư → lập trình → kiểm tĩnh → chơi thử bằng vision model), rồi hiệu chỉnh đối kháng qua vòng build–review lặp đến khi đạt chuẩn.
Self-evolution không cần training: sau khi project được chấp nhận, hệ chưng cất kinh nghiệm thành skeleton (khung project chạy được theo thể loại), module (script hành vi tái dùng kèm luật tự kiểm) và contract (quy trình phối hợp đã kiểm chứng cho từng loại tính năng) để khởi tạo các project sau.

Ví dụ đời thường: giống một xưởng game thu nhỏ có người làm riêng và người thử chơi riêng — sau mỗi dự án thành công, xưởng viết lại "sổ tay kinh nghiệm" (bản vẽ khung, công thức, quy trình) để dự án kế tiếp đỡ đi lại vết xe đổ.

III. Main Results:

Trên tập con GameCraft-Bench (30 tác vụ, 15 thể loại), VibeGame ở chế độ P2G (tự sinh đồ họa) vượt mọi agent harness khác dùng cùng model nền, kể cả khi đối thủ được cấp sẵn asset (PA2G).
Với GPT-5.6-Luna: hơn baseline mạnh nhất +11.70 điểm overall (49.99 vs 38.29), dẫn cả 4 tiêu chí.
Với GPT-6.1-Sol: đạt 72.99, hơn Codex-P2G +4.19; vượt rõ ở Content Depth (+4.76) và Art & Presentation (+7.72) — tức model mạnh tự làm cơ chế được nhưng thiếu chiều sâu nội dung và độ hoàn thiện mà VibeGame bù vào.
Thắng baseline mạnh nhất ở 13/15 thể loại game; user study 300 lượt chấm mù cho tỷ lệ thắng trung bình 72.7%.
Ablation: bỏ engine −10.33 điểm, bỏ vai trò review đối kháng −4.63; kinh nghiệm chưng cất từ model mạnh chuyển sang model yếu hơn +2.92 điểm.

IV. Conclusion & Future Works:

VibeGame chứng minh prompt-to-game khả thi khi kết hợp engine mà agent vận hành được trực tiếp, đội agent đối kháng tách làm-khỏi-chấm, và tự tiến hóa không training để lưu trữ kinh nghiệm; không cần asset cung cấp sẵn vẫn vượt các hệ thống có asset. Hạn chế & hướng mở rộng:

Mới chỉ thử nghiệm game 2D, chưa kiểm chứng cảnh 3D phức tạp hay game thương mại dài hạn.
Nguyên lý AI-native hiện cài trên engine web 2D; cần mang sang Godot để agent vận hành được các project engine có sẵn.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát hệ quả của việc tách vai trò triển khai và thẩm định trong các đội agent phát triển phần mềm nói chung, không chỉ game.
Nghiên cứu chưng cất kinh nghiệm tái sử dụng (skeleton/module/contract) như một dạng trí nhớ dài hạn cho agent lập trình qua nhiều dự án độc lập.
Mở rộng nguyên lý engine AI-native (GUI-independent, runtime-accessible, source-available) sang engine 3D và engine thương mại phổ biến.

2. Patent:

Trợ lý tạo game mini trên điện thoại: người dùng mô tả bằng giọng nói hoặc ảnh tham khảo, hệ thống sinh game 2D chạy được ngay trong trình duyệt điện thoại, có thể yêu cầu sửa bằng câu nói tiếp theo.
Nền tảng học lập trình qua làm game: học sinh nhập ý tưởng, hệ sinh game mẫu rồi cho phép từng vai trợ lý (thiết kế, đồ họa, kiểm thử chơi thử) giải thích từng phần code để người học chỉnh sửa dần.
Công cụ kiểm thử game tự động cho studio nhỏ: agent đóng vai người chơi, tạm dừng từng frame, chụp màn hình và dùng mô hình thị giác phát hiện lỗi hiển thị/lỗi logic rồi lập báo cáo kèm gợi ý sửa trước khi phát hành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.33106
ArXiv Abstract	https://arxiv.org/abs/2610.33106
PDF Download	https://arxiv.org/pdf/2610.33106.pdf
Github Repository	https://github.com/tettethu/VibeGame

13. HairDeck: Animation-Ready Stylized Hair Cards from a Single Image (17 votes)

Tác giả: Yuze He, Yixiang Wei, Wang Zhao, Chuhao Chen, Yanning Zhou, et al.

Xuất bản lúc: 2026-10-29

Tag: 3D Generation, Diffusion Transformer, Hair Modeling, Stylized Avatars, Set Generation, Flow Matching, VAE, Rigging, Game Assets

I. Main Problem:

Tóc của nhân vật stylized (game, avatar) được nghệ sĩ dựng thủ công từ hair cards — vài chục đến hơn 100 dải hình học có tiết diện thoi hoặc tam giác — và được làm chuyển động bằng spring bones (chuỗi xương mô phỏng vật lý mỗi khung hình). Cả hai đều phải đặt và rig bằng tay, rất tốn công.

Các phương pháp hiện có không tạo được asset này:

Generator tóc ra sợi (strands) của tóc thực tế, không phải card stylized.
Image-to-3D (TRELLIS.2, Hunyuan3D-2.1) xuất một mesh liền khối, không có card để animate.
CHARM — phương pháp duy nhất sinh stylized hair cards — giải mã tự hồi quy (autoregressive) từng điểm control một, thành chuỗi hàng trăm đến hàng nghìn token rời rạc: chậm và kém chính xác.

II. Main Idea:

HairDeck quan sát rằng một kiểu tóc card là một tập hợp không thứ tự các primitive do nghệ sĩ định nghĩa, và sinh nó như vậy:

Mỗi card = một token: Card VAE nén các điểm control có độ dài biến đổi của một card thành latent liên tục 32 chiều; token giữ latent này cùng vị trí gốc, root normal (hướng rộng tại gốc), loại tiết diện (thoi/tam giác) và cờ tồn tại. Trung bình một kiểu tóc chỉ có ~70 token.
Sinh tất cả cùng lúc: Set Diffusion Transformer không dùng positional embedding (bất biến hoán vị), khử nhiễu toàn bộ token set với flow matching; cờ tồn tại quyết định số lượng card xuất hiện.
Từ một ảnh: điều kiện hóa bằng DINOv3 trên ảnh; card được dự đoán trong head frame neo theo khuôn mặt (chuẩn hóa kích thước/vị trí đầu), kèm tăng cường phong cách tổng hợp và render restyle bằng image-editing model để bền với mọi kiểu vẽ.
Spring bones: một set DiT thứ hai sinh chuỗi xương (đường đi, số khớp, độ cứng) có điều kiện trên card tokens, rồi skinning hình học cố định gắn card vào chain — kết quả là asset animate được, xuất thẳng sang Unity/VRChat/Unreal (Dynamic Bone, PhysBones, Kawaii Physics).

Nguyên tắc chung rút ra: một token mỗi primitive, không thứ tự giữa chúng.

Ví dụ đời thường: giống việc xếp một bộ bài — thay vì CHARM lật từng lá một theo thứ tự dài dòng, HairDeck đặt cả xấp bài lên bàn một lúc và chỉnh dần toàn bộ cho khớp bức ảnh mẫu, vừa nhanh vừa ít lỗi hơn.

III. Main Results:

Trên benchmark của CHARM (100 kiểu tóc test):

Chamfer distance giảm 44% (0.0117 → 0.0066), orientation error giảm từ 40.0° xuống 16.8°, nhanh hơn 33 lần (1.01s so với 33.7s).
CHARM thực ra chỉ tương đương việc tìm lại kiểu tóc gần nhất trong tập train (retrieval CD = 0.0119); HairDeck vượt xa mức đó.
Ablation: sinh token theo set nhanh hơn 6.8 lần và chính xác hơn so với autoregressive cùng token; thiếu root normal làm orientation error tăng từ 16.8° lên 26.4°; thiếu existence flag sinh thiếu card (62.8 so với 67.4 thực tế).

Từ một ảnh duy nhất:

Aligned CD tốt nhất (0.0089 so với 0.0139–0.0186 của CHARM, TRELLIS.2, Hunyuan3D-2.1, DiffLocks+cards).
Tỉ lệ thất bại thấp nhất: 3.5% trên test renders, 10% trên ảnh ngoài thực tế (các phương pháp khác: 13–34% và 17–77%).
Chỉ 1.33s/ảnh so với 15.6–83.0s.

Spring bones: chain DiT khôi phục chain của nghệ sĩ tốt hơn retrieval và rig thủ tục (recall 0.625 so với 0.289/−; tương quan chuyển động 0.702 so với 0.622/0.538), fit với card đạt ~0.95; còn rig được cả kiểu tóc nghệ sĩ đã dựng sẵn.

IV. Conclusion & Future Works:

HairDeck chứng minh cách tiếp cận một token mỗi primitive, sinh đồng thời cả tập hợp vừa chính xác vừa nhanh hơn hẳn giải mã tự hồi quy, và cùng một công thức áp dụng được cho cả rig (spring bones) đi kèm asset.

Hạn chế:

Chỉ học từ kiểu tóc VRoid stylized — tóc rất ngắn và card alpha-textured của tóc thực tế nằm ngoài dữ liệu.
Sinh hình học và UV nhưng không sinh texture.
Một số nhân vật VRoid mô hình nơ/mũ bằng hair cards nên mô hình cũng sinh chúng thành card.
Chain DiT bám theo layout chain phổ biến của VRoid, sinh ít chain hơn với các kiểu bất thường (nhiều chain tỏa từ đỉnh đầu).

Hướng mở rộng: cùng formulation này có thể sinh các asset khác dựng từ primitive nghệ sĩ định nghĩa, như quần áo may từ các tấm vải (panels) hay tranh vẽ từ các nét bút (strokes).

V. Brainstorming Space:

1. Publish Papers:

Áp dụng formulation một-token-mỗi-primitive cho garment generation: sinh đồng thời toàn bộ các panel may mặc có điều kiện trên ảnh thời trang, kèm đường may và rig chuyển động vải.
Mở rộng HairDeck sang tóc thực tế và tóc ngắn bằng cách kết hợp card stylized với alpha-textured cards trong một không gian latent thống nhất.
Học từ dữ liệu nghệ sĩ đa dạng ngoài VRoid (nhiều phong cách rig chain khác nhau) để cải thiện recall spring bones cho kiểu tóc bất thường.
Joint generation đầu-tóc-vật trang trí (nơ, mũ) với phân tách ngữ nghĩa, thay vì sinh mọi thứ thành card tóc.
Nghiên cứu texture synthesis đi kèm geometry card để hoàn thiện pipeline asset tóc end-to-end.

2. Patent:

Ứng dụng điện thoại tạo tóc avatar 3D animate được từ một ảnh chụp: người dùng chụp ảnh, ứng dụng tự sinh các lớp tóc dạng card kèm hệ xương mềm mô phỏng vật lý, xuất file VRM dùng ngay trong game hoặc mạng xã hội 3D.
Công cụ hỗ trợ nghệ sĩ game tự động rig tóc: phần mềm tự sinh chuỗi xương lò xo và trọng số gắn tóc cho kiểu tóc đã dựng sẵn, thay vì nghệ sĩ đặt tay từng xương, rút ngắn thời gian làm asset nhân vật.
Hệ tạo nhân vật ảo cho game mobile theo phong cách gacha: từ một tranh vẽ nhân vật, hệ thống sinh kiểu tóc 3D có thể chuyển động mượt khi nhân vật quay đầu, nhảy, chạy, xuất thẳng sang Unity/Unreal.
Dịch vụ thử kiểu tóc ảo: người dùng tải ảnh chân dung, hệ thống sinh mô hình tóc stylized 3D động để xem trước các kiểu tóc anime trước khi tạo hình avatar cá nhân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.40599
ArXiv Abstract	https://arxiv.org/abs/2610.40599
PDF Download	https://arxiv.org/pdf/2610.40599.pdf
Github Repository	https://github.com/hyz317/HairDeck

14. WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video (14 votes)

Tác giả: Chenyu Mu, Wenming Weng, Qinrui Wang, Xingsong Ye, Hao Yu, et al.

Xuất bản lúc: 2026-10-28

Tag: Video Generation, Agentic AI, Tool-Use Agents, Post-Training, Reinforcement Learning, Long-Form Video, Video Editing, DAPO

I. Main Problem:

Sản xuất video dài kèm lời dẫn đòi hỏi nhiều quyết định phụ thuộc lẫn nhau (lên kế hoạch shot, tìm visual, tổng hợp lời đọc, dựng timeline) — thay đổi một shot sẽ kéo theo timestamp và nội dung của các shot sau. Các hệ agentic editor hiện có chỉ dựa trên mô hình tổng quát + workflow nhiều giai đoạn, chưa rõ cách huấn luyện một policy nhỏ, tối ưu cho tác vụ với chi phí token thấp. Nút thắt cốt lõi: video thành phẩm không ghi lại các tool call, artifact trung gian và lỗi đã xảy ra — nên thiếu supervision khả thi để huấn luyện policy trong môi trường stateful.

II. Main Idea:

WeVisCut kết nối thực thi có trạng thái (agent harness), xây dựng dữ liệu khả thi, và học policy trong một hệ thống duy nhất:

Agent harness: một policy 9B duy nhất phục vụ 3 vai trò — orchestrator (chọn tool, đối số), generator (tạo nội dung), critic (kiểm tra và yêu cầu sửa). Runtime duy trì production state chia sẻ, kiểm chứng mọi tool call, trả về blocker kiểu dữ liệu (vd: thiếu render shot thì không cho stitch), hỗ trợ inspect → repair có giới hạn → replanning mà giữ nguyên artifact cũ còn đúng.
Pipeline dữ liệu 4 giai đoạn: (1) Editing inversion — phục hồi ý đồ script–shot từ 3.750 video hoàn chỉnh trên Bilibili; (2) Verified replay — chạy lại ý đồ qua toolchain thật để thu feedback thực; (3) Observe–reflect–repair — sửa cục bộ có giới hạn, tái sử dụng phần thành công; (4) Trajectory materialization — tổ chức thành hơn 134K ví dụ huấn luyện.
Huấn luyện 3 pha: unified SFT + RFT (chỉ giữ rollout vượt kiểm chứng runtime) → Guided-OPD (giảm dần can thiệp của teacher, học cách phục hồi trên trạng thái do chính policy tạo ra) → RCF-DAPO (so sánh reward chỉ trong cùng vai trò và cùng ngữ cảnh quyết định).

Ví dụ đời thường: giống một trưởng phòng dựng phim có cuốn sổ theo dõi tiến độ chung — mỗi công đoạn (quay, lồng tiếng, âm nhạc) chỉ được ghi vào sổ sau khi kiểm tra thật; hỏng đoạn nào sửa đúng đoạn đó, không làm lại toàn bộ phim.

III. Main Results:

Policy 9B của WeVisCut nâng Overall Score từ 74.5 → 90.5 so với base model (cải thiện cả 5 metric), và ngang Claude Opus 5 (90.5 vs 89.9) trong khi chỉ dùng ~33× ít token hơn (2.377 vs 78.763 token/phút video thành công).
Vượt cả Qwen3.5-397B-A17B và Gemini 3.1 Pro ở cả 5 metric trong cùng môi trường tool.
So end-to-end với editor native: 90.5 vs Crayotter 84.9, VideoAgent 82.5; nhanh hơn 4.1× (2.1 vs 8.6 phút/phút đầu ra), rẻ hơn ~10.8× (0.09 vs 0.97 USD/phút đầu ra).
Giới thiệu benchmark 100 tác vụ + 5 metric mới: SCF, VNSM, TPR, LHC, ERY — đánh giá cả chất lượng dựng lẫn độ tin cậy giao hàng, không chỉ render thành công.

IV. Conclusion & Future Works:

Bài báo chứng minh training policy tối ưu cho tác vụ (không chỉ orchestration bằng mô hình tổng quát) là con đường khả thi cho sản xuất video dài: một policy 9B duy nhất vượt hệ thống nhiều agent và cạnh tranh model frontier với chi phí thấp hơn hàng chục lần. Khóa thành công nằm ở việc biến video thành phẩm thành supervision khả thi (editing inversion + verified replay) và huấn luyện dần theo 3 pha trong đúng harness thực thi. Hệ thống mở đường cho chỉnh sửa video đa vòng (multi-round dialogue edit) với trạng thái sản xuất được bảo toàn giữa các lượt.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng phương pháp editing inversion + verified replay để xây dựng dữ liệu huấn luyện khả thi cho các tác vụ agent khác mà chỉ có sản phẩm cuối (vd: thiết kế slide, dựng website, biên tập podcast) — phục hồi ý đồ từ output rồi chạy lại bằng toolchain thật.
Mở rộng RCF-DAPO (phân rã reward theo vai trò và ngữ cảnh) cho các hệ multi-agent đồng vai trò, nghiên cứu ảnh hưởng của nhóm so sánh reward đến chất lượng từng vai trò.
Nghiên cứu phương pháp OPD có hướng dẫn (giảm dần teacher) cho bài toán phục hồi lỗi trong các quy trình dài hạn khác như biên tập phim tài liệu hoặc xuất bản nội dung đa phương tiện.

2. Patent:

Ứng dụng điện thoại tự dựng video giáo dục từ kịch bản: người dùng nhập lời dẫn, ứng dụng tự chia shot, tìm hình ảnh minh họa, tổng hợp giọng đọc, gắn nhạc nền, kiểm tra lỗi và sửa từng đoạn hỏng trước khi xuất video hoàn chỉnh — giữ nguyên phần đúng khi người dùng yêu cầu chỉnh sửa.
Trợ lý chỉnh sửa video qua hội thoại nhiều lượt trên điện thoại: người dùng nói 'đổi bản đồ thành quả cầu 3D' hoặc 'thêm nhạc nền, chỉnh nhịp nhanh hơn', hệ thống hiểu yêu cầu, cập nhật đúng cảnh liên quan và giao phiên bản mới mà không phải dựng lại từ đầu.
Hệ thống dựng video quảng cáo tự động cho doanh nghiệp nhỏ: từ một đoạn mô tả sản phẩm, hệ thống lên kế hoạch cảnh, chọn template trình bày đẹp mắt, đọc lời dẫn, kiểm tra độ khớp giữa hình ảnh và lời thoại rồi xuất video — chi phí chỉ bằng một phần nhỏ so với thuê biên tập viên.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.38352
ArXiv Abstract	https://arxiv.org/abs/2610.38352
PDF Download	https://arxiv.org/pdf/2610.38352.pdf
Github Repository	https://github.com/Tencent/WeVisCut

15. IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation (14 votes)

Tác giả: Shaohan Yu, Jie Qin, Wende Tan, Haiwen Diao, Limeng Qiao, et al.

Xuất bản lúc: 2026-10-28

Tag: Multimodal Generation, Interleaved Generation, Unified Multimodal Models, Dataset, Benchmark, Evaluation, Text-to-Image, Vision-Language Models

I. Main Problem:

Con người đọc nội dung văn bản và hình ảnh xen kẽ (sách hướng dẫn, bách khoa, truyện tranh, cẩm nang du lịch), nhưng khả năng sinh nội dung xen kẽ đa phương thức của các Unified Multimodal Models (UMM) còn ít được nghiên cứu, do hai lỗ hổng:

Thiếu dữ liệu huấn luyện đúng mục tiêu: các bộ dữ liệu xen kẽ lớn (MMC4, OBELICS, OmniCorpus) chủ yếu phục vụ hiểu đa phương thức, không kiểm soát chất lượng cho sinh; CoMM có lọc theo hướng sinh nhưng không tổ chức theo kịch bản thực tế.
Thiếu giao thức đánh giá chi tiết: các benchmark hiện có dùng một VLM chấm tổng thể, không tách biệt được các khía cạnh năng lực sinh phức tạp (như ISG-Bench chia theo cấu trúc nhưng không ánh xạ tới năng lực thật).

II. Main Idea:

IntReal gồm hai thành phần bổ sung cho nhau:

IntReal-100K: dựa trên vai trò phối hợp giữa chữ và ảnh, tác giả xây phân loại 4 kịch bản thực tế — Plan (lập kế hoạch), Knowledge (giải thích khái niệm), Tutorial (hướng dẫn từng bước), Story (kể chuyện) — rồi lọc từ kho thô triệu mẫu (7 nguồn web/video) qua 4 tầng: lọc metadata ảnh → lọc chất lượng/dedup bằng mô hình chuyên biệt (IQA, phát hiện watermark/mặt người, DINOv3) → chỉnh sửa văn bản bằng VLM giữ nguyên sự thật gốc → sinh prompt/hướng dẫn bằng LLM. Chỉ ~10% mẫu sống sót, cho 100K mẫu xen kẽ với 538K ảnh.
IntReal Evaluation Suite: chọn 600 mẫu chất lượng cao, đánh giá thô-tới-tinh ở hai mức — sinh trọn vẹn chuỗi xen kẽ (holistic) và sinh ảnh tiếp theo theo ngữ cảnh cố định (fine-grained) — với 7 chỉ số do các mô hình chuyên gia đảm nhiệm: độ phong phú/chặt chẽ của văn bản, thẩm mỹ/đa dạng của ảnh, tuân thủ số lượng ảnh, độ trung thực với ngữ cảnh, tính nhất quán chủ thể.

Ví dụ đời thường: giống buổi khám sức khỏe tổng quát với bác sĩ chuyên khoa riêng cho từng bộ phận (tim, mắt, xương...) thay vì một bác sĩ duy nhất chấm một điểm chung — mỗi chuyên gia phát hiện đúng bệnh của phần mình, kết hợp lại thành chẩn đoán toàn diện.

III. Main Results:

Độ tin cậy của benchmark: tương quan tối đa giữa các chỉ số Spearman ρ ≤ 0.42 (ít dư thừa); đồng thuận với chấm điểm của người 83.3%; thứ hạng mô hình ổn định giữa hai bộ đánh giá VLM khác nhau (ρ > 0.9).
Benchmark 4 họ UMM: không mô hình nào thắng mọi chiều. NanoBanana2 (API đóng) đạt điểm trung bình cao nhất (90.80) nhưng thua các mô hình mã nguồn mở ở các chiều đặc thù xen kẽ (đa dạng ảnh, trung thực ngữ cảnh); Emu3.5 mạnh nhất về logic văn bản; U1-8B-MoT mạnh về tuân thủ số lượng ảnh và trung thực ngữ cảnh.
SFT trên IntReal-100K (U1-8B-MoT): cải thiện độ phong phú văn bản +29.0%, logic +6.7%, nhất quán chủ thể +6.5%, nhưng giảm thẩm mỹ ảnh −5.7% và trung thực ngữ cảnh −4.9% — bộc lộ xung đột tối ưu giữa sinh chữ và sinh ảnh.
RL (Flow-GRPO) dùng chính 7 chỉ số làm reward trên bài toán sinh ảnh tiếp theo: khôi phục được khả năng sinh ảnh bị SFT làm suy giảm, nâng thêm đa dạng ảnh; U1-8B-MoT+SFT+RL đạt điểm trung bình cao nhất trong các mô hình mã nguồn mở.
Kết luận huấn luyện: tối ưu một phương thức riêng lẻ (ảnh) cũng cải thiện sinh xen kẽ tổng thể — không bắt buộc huấn luyện chung chữ-ảnh ở mọi giai đoạn. Khoảng cách lớn nhất giữa mô hình mở và API đóng nằm ở phương thức văn bản (ngôn ngữ 'đói' tham số hơn thị giác).

IV. Conclusion & Future Works:

Công trình nghiên cứu sinh xen kẽ đa phương thức theo trục: kịch bản ứng dụng → xây dữ liệu → đánh giá → hậu huấn luyện, chứng minh tối ưu theo từng phương thức có thể chuyển sang lợi ích cho sinh xen kẽ, mở rộng không gian huấn luyện ngoài SFT chung truyền thống.

Hạn chế: tỷ lệ giữ lại dữ liệu thấp (~10%) do lọc gắt gao trên chuỗi dài; chưa thử hậu huấn luyện pha trộn dữ liệu sinh đơn phương thức.
Hướng tương lai: tăng cường dữ liệu tổng hợp, hậu huấn luyện pha trộn dữ liệu đơn/đa phương thức, và mở rộng quy mô mô hình cho năng lực sinh xen kẽ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tăng cường dữ liệu tổng hợp cho sinh xen kẽ, kết hợp hậu huấn luyện pha trộn dữ liệu sinh đơn phương thức (ảnh hoặc văn bản thuần) với dữ liệu xen kẽ để giữ thế mạnh cả hai phương thức.
Mở rộng học tăng cường cho toàn bộ chuỗi sinh xen kẽ (không chỉ sinh ảnh tiếp theo), với reward là tổ hợp nhiều chỉ số chuyên gia và phân tích cân bằng giữa các reward xung đột.
Điều tra mối liên hệ quy mô–năng lực: mở rộng dung lượng mô hình và chiến lược pretraining để thu hẹp khoảng cách văn bản giữa mô hình mã nguồn mở và hệ thống đóng cho sinh xen kẽ.

2. Patent:

Ứng dụng điện thoại tự tạo hướng dẫn có hình minh họa: người dùng nhập yêu cầu (ví dụ 'cách rán cá tuyết'), ứng dụng sinh bài hướng dẫn từng bước xen kẽ văn bản và ảnh đúng thứ tự thực hiện, số ảnh khớp nội dung, phục vụ nấu ăn, sửa chữa, du lịch.
Ứng dụng điện thoại kể chuyện cho trẻ em: sinh câu chuyện dài với tranh minh họa sinh ra xen kẽ từng đoạn, nhân vật giữ nguyên ngoại hình xuyên suốt các bức tranh, đọc thành tiếng kèm lật trang tự động.
Công cụ kiểm duyệt chất lượng nội dung có hình ảnh cho người sáng tạo trên điện thoại: trước khi xuất bản bài viết/blog có ảnh, ứng dụng tự chấm điểm độ phong phú và hợp lý của chữ, độ đẹp và đa dạng của ảnh, sự khớp nghĩa giữa ảnh và đoạn chữ kèm theo, và độ tuân thủ số ảnh theo yêu cầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.38425
ArXiv Abstract	https://arxiv.org/abs/2610.38425
PDF Download	https://arxiv.org/pdf/2610.38425.pdf
Github Repository	https://github.com/yushaohan/IntReal

16. CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models (11 votes)

Tác giả: Yingzhuo Deng, Chong Li, Bingxin Liu, Yi Shu, Tianyu Peng, et al.

Xuất bản lúc: 2026-10-15

Tag: Spoken Dialogue Models, Speech Tokenization, BPE Compression, Token-Space Decoupling, Efficient Inference, LLM Adaptation

I. Main Problem:

Các mô hình hội thoại bằng giọng nói (SDMs) hiện tại dùng chung một không gian token cho cả việc tự hồi quy sinh token giọng nói lẫn việc tổng hợp âm thanh. Hệ quả:

chuỗi token giọng nói quá dài → sinh tự hồi quy chậm, chi phí suy luận cao
căn chỉnh text–speech khó khăn, mô hình hóa ngữ cảnh dài trở nên nặng nề
trong tương tác thực tế: phản hồi chậm, ngân sách sinh cạn nhanh, giới hạn độ dài câu trả lời.

Cách làm truyền thống là thiết kế tokenizer tốc độ thấp hơn, nhưng nén quá mạnh gây đánh đổi chất lượng–nén, và thay tokenizer đòi hỏi huấn luyện lại tokenizer + speech decoder + SDM cùng lúc — vẫn không phá được sự ghép nối giữa sinh và tổng hợp.

II. Main Idea:

CoSTA (Compressed Speech Token Adaptation) tách rời không gian token dùng để sinh (generation) khỏi không gian token dùng để tổng hợp (synthesis), mà không đổi tokenizer và decoder gốc — một khung thích ứng post-hoc cho SDM có sẵn. Cơ chế:

Quan sát nền tảng: chuỗi token giọng nói có tính dư thừa cao và có thể nén lossless bằng BPE; tỉ lệ nén giảm tuyến tính theo log₂ kích thước từ điển thêm (quy luật scaling log-linear, R² ≥ 0.98 trên 8 cấu hình tokenizer, nhiều ngôn ngữ).
Bước 1 — Vocabulary extension: thêm các đơn vị BPE vào từ điển mô hình, khởi tạo embedding và hàng LM-head bằng trung bình các token thành phần (ổn định hơn khởi tạo ngẫu nhiên).
Bước 2 — Pronunciation adaptation: tinh chỉnh tiến bộ (progressive) trên dữ liệu TTS đã nén — giai đoạn 1 chỉ cập nhật embedding/LM head, giai đoạn 2 mở khóa các tầng giữa.
Bước 3 — Dialogue adaptation: tinh chỉnh trên dữ liệu hội thoại speech-to-speech đã nén (giữ nguyên speech encoder và decoder).
Suy luận: mô hình sinh chuỗi BPE ngắn gọn, rồi mở rộng tất định (deterministic expansion) về token gốc trước khi đưa vào decoder không đổi.

Ví dụ đời thường: giống như thay vì đọc to từng chữ cái, người ta nói bằng các từ gộp ('không thể' thay vì 'không' + 'thể'); người nghe tự bung lại thành từng chữ đầy đủ mà bản chất câu nói không đổi — mệt miệng ít hơn, nói nhanh gấp đôi.

III. Main Results:

Tốc độ sinh token giọng nói mở rộng: 1.736× (tiếng Trung) và 1.659× (tiếng Anh) so với Step-Audio 2 mini gốc; tỉ lệ nén token sinh ρg ≈ 66–70%.
Hiệu quả hệ thống (A100, vLLM): giảm latency toàn phản hồi 22–39%, tăng throughput 26–59% tùy ngôn ngữ và mức độ đồng thời; tăng tối đa ~0.68 GiB bộ nhớ.
Chất lượng được giữ hoặc tốt hơn: G-Eval cải thiện, ASR-CER/WER giảm mạnh (1.51% so với 4.96% ở baseline tinh chỉnh), UTMOS tương đương; đánh giá nghe người thật: tỉ lệ thắng/hòa 83–96%.
Tương tác bền hơn dưới ngân sách giới hạn: duy trì 7.21 lượt (Trung) và 5.79 lượt (Anh) so với 3.71/1.84 của Vanilla-FT.
Từ điển 80K đơn vị BPE là điểm cân bằng thực dụng giữa nén, tốc độ giải mã và chất lượng (tăng lên 160K chỉ lợi thêm 1.1% tốc độ nhưng chất lượng giảm).
Chuyển giao xuyên kiến trúc: áp dụng được trên OpenS2S (Think–Talk, tokenizer 12.5Hz khác hẳn), giảm 19–21% bước token, và bổ sung cho tokenizer tốc độ thấp sẵn có.

IV. Conclusion & Future Works:

Bài báo chứng minh decoupling không gian token sinh–tổng hợp là hướng hiệu quả để tăng tốc SDM mà không đụng vào tokenizer và decoder gốc, đồng thời định lượng quy luật scaling log-linear của nén token giọng nói và đánh đổi kích thước từ điển. Hạn chế: dữ liệu dialogue adaptation là giọng nói tổng hợp (chưa có dữ liệu hội thoại thật quy mô lớn); chỉ thử nghiệm BPE làm phương pháp nén; đánh giá tập trung hội thoại chung và hiệu quả. Hướng tương lai: kết hợp dữ liệu tổng hợp và thật; khảo sát các chiến lược phân đoạn lossless khác; mở rộng sang hội thoại cảm xúc, phong cách nói cá nhân hóa và môi trường âm thanh đa dạng.

V. Brainstorming Space:

1. Publish Papers:

Phát triển CoSTA thành khung nén lossless đa tầng kết hợp BPE với các phương pháp phân đoạn token giọng nói khác (như đoạn mã tối ưu theo entropy), so sánh hành vi sinh chuỗi nén trong hội thoại bằng giọng nói.
Khảo sát cách kết hợp dữ liệu hội thoại giọng nói thật và tổng hợp trong dialogue adaptation để khôi phục khả năng đối thoại tự nhiên ở chất lượng gần dữ liệu thật.
Mở rộng decoupling token-space cho các kịch bản chuyên biệt: hội thoại cảm xúc, chuyển đổi phong cách nói theo người dùng, và chống nhiễu trong môi trường âm thanh phức tạp.

2. Patent:

Trợ lý giọng nói trên điện thoại với phản hồi nhanh gấp đôi: mô hình hội thoại sinh chuỗi 'từ gộp' nén cho phần giọng nói, bộ mở rộng tất định trên thiết bị bung lại thành chuỗi token âm thanh chuẩn trước khi phát — giảm độ trễ và tiết kiệm pin mà không cần thay bộ tổng hợp âm thanh hiện có.
Hệ thống nâng cấp mô hình hội thoại giọng nói qua bản cập nhật phần mềm: chỉ tải thêm bảng embedding và hàng đầu ra cho từ điển mở rộng (khoảng 6% tham số), giữ nguyên tokenizer và decoder âm thanh trên thiết bị, tránh phải thay toàn bộ pipeline âm thanh.
Module gia hạn phiên trò chuyện dài cho thiết bị đeo/tai nghe thông minh: vì mỗi lượt trả lời tốn ít bước sinh hơn, cùng một ngân sách xử lý cho phép kéo dài số lượt hội thoại và độ dài phản hồi bằng giọng nói trước khi cạn pin hoặc hết bộ nhớ ngữ cảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.21143
ArXiv Abstract	https://arxiv.org/abs/2610.21143
PDF Download	https://arxiv.org/pdf/2610.21143.pdf
Github Repository	https://github.com/yingzhuodeng/CoSTA

17. WebAnything: From the Wild Web to Scalable Agent Environments (11 votes)

Tác giả: Tianci Xie, Zikun Cai, Chaoyun Zhang, Pinxue Guo, Bingxuan Li, et al.

Xuất bản lúc: 2026-10-27

Tag: Web Agents, Environment Construction, Web Automation, Agent Training, LLM Agents, Supervised Fine-Tuning

I. Main Problem:

Các Web agent cần môi trường website đa dạng, có thể thực thi và reset để huấn luyện/đánh giá có thể lặp lại, nhưng web thật không ổn định và không thể kiểm soát trạng thái. Các hướng tiếp cận hiện có đều có đánh đổi:

Human-assisted mirrors (WebHarbor): trung thực với nguồn nhưng cần kỹ sư can thiệp từng site.
Generative construction (WebFactory, InfiniteWeb): mở rộng được nhưng không khớp đúng website thật được chỉ định.
Capture-and-replay: giữ nguyên quan sát gốc nhưng phạm vi tương tác bị giới hạn bởi nội dung đã ghi.

Hai thách thức kỹ thuật: Source-Grounding Gap (phục dựng cấu trúc/tài nguyên/hành vi khi backend riêng tư không truy cập được) và Verification Gap (phân biệt lỗi do cài đặt sai hay do thiếu bằng chứng quan sát).

II. Main Idea:

WEBANYTHING tự động hóa hoàn toàn việc tái dựng môi trường web từ URL thật thành bản chạy cục bộ, thông qua ba khối:

Explorer–Builder: thu thập bằng chứng từ trình duyệt — cấu trúc trang, style tính toán, hình chụp, tài nguyên, và quan sát trước/sau mỗi hành động — rồi cài đặt thành các route và chuyển trạng thái thực thi được. Mỗi trạng thái tương tác (vd menu đóng vs mở) là bằng chứng riêng.
Independent Verifier: kiểm tra bản đã đóng băng trong ngữ cảnh tách biệt, so với bằng chứng nguồn và hợp đồng site; không được sửa code.
Evidence-aware refinement: nếu lỗi đã có bằng chứng kỳ vọng → Local Repair; nếu thiếu bằng chứng → Targeted Recapture quay lại nguồn thu thập thêm, rồi đóng băng và kiểm lại.

Bản phát hành kèm trạng thái khởi tạo cố định, cơ chế reset, evaluator tác vụ để thu thập trajectory lặp lại.

Ví dụ đời thường: giống thợ mộc sao chép một chiếc tủ chỉ bằng cách quan sát và mở đóng từng ngăn từ bên ngoài — đo đạc kỹ mọi trạng thái, rồi nhờ một người thợ khác (không phải người đóng) kiểm tra thành phẩm; chỗ nào sai theo ảnh chụp thì sửa lại, chỗ nào chưa đủ thông tin thì quay lại xem tủ thật thêm lần nữa.

III. Main Results:

Quy mô: 244 website artifacts thuộc 14 domain và 53 danh mục; chi phí mô hình trung bình $1.60–$ 2.63/site, không cần sửa chữa thủ công trong 85 site đã kiểm toán.
Độ trung thực nguồn (so với WebHarbor, 5 site/14 trạng thái): Pixel Similarity 0.9240 vs 0.8083, SSIM 0.7904 vs 0.6260, Text F1 0.8541 vs 0.2617; audit mù: 12 thắng, 2 hòa, 0 thua.
Tính hợp lệ tương tác: WebHarbor nhỉnh hơn nhẹ trên subset của họ; trên subset VeriEnv, WebAnything vượt (29/33 vs 21/33 all-test pass) — cho thấy độ trung thực hình ảnh và phủ sóng chức năng là hai thước đo độc lập.
Verifier có giá trị thật: phát hiện 39 cặp bất thường có bằng chứng qua 22 site mà Builder tự check bỏ qua; 18 issue được sửa và xác minh độc lập.
Dữ liệu tác vụ: 12,984 tác vụ được thực thi và chấp nhận; SFT Qwen3.5-9B trên 5,856 trajectories → +9.9pp trên REAL, +6.25/+6.32pp trên Odysseys-Easy, +13.33pp Overall trên WebArena-Verified; vượt dữ liệu WebHarbor/VeriEnv ở cùng quy mô trajectory.

IV. Conclusion & Future Works:

WEBANYTHING chứng minh có thể mở rộng môi trường web thật với chi phí kỹ thuật tối thiểu, nhờ tách bạch xây dựng — kiểm chứng độc lập — tinh chỉnh theo bằng chứng. Hướng tương lai:

Đánh giá dữ liệu huấn luyện với mô hình lớn hơn và các phương pháp post-training khác.
Cập nhật môi trường theo thay đổi của web thật (phát hiện thay đổi nguồn, thu thập bằng chứng gia tăng).
Xử lý bản quyền và phân phối: ưu tiên phát hành framework, giao thức đánh giá và dữ liệu nghiên cứu đã ẩn danh.

V. Brainstorming Space:

1. Publish Papers:

Phát triển cơ chế phát hiện thay đổi trang web nguồn theo thời gian thực và cập nhật gia tăng môi trường cục bộ, giảm chi phí bảo trì môi trường agent dài hạn.
Mở rộng pipeline khám phá–kiểm chứng cho môi trường web động yêu cầu đăng nhập và quản lý phiên, với bảo đảm cô lập an toàn trạng thái người dùng.
Nghiên cứu quan hệ giữa quy mô môi trường, độ đa dạng dữ liệu tương tác và khả năng của agent khi huấn luyện reinforcement learning trên dữ liệu WebAnything.

2. Patent:

Hệ thống sao chép website thành môi trường thử nghiệm nội bộ trên điện thoại: người dùng nhập địa chỉ web, ứng dụng tự ghi lại cấu trúc trang và kết quả khi chạm/bấm, dựng bản chạy ngoại tuyến trên máy để luyện tập hoặc demo tự động hóa mà không lo làm hỏng dữ liệu thật.
Công cụ kiểm thử giao diện tự động cho ứng dụng web di động: một module khám phá ghi lại trạng thái màn hình trước/sau mỗi thao tác, module kiểm chứng độc lập so sánh với bản gốc và tự sửa hoặc thu thập thêm dữ liệu, giúp phát hiện lỗi hiển thị không cần tester thao tác tay.
Nền tảng tạo dữ liệu huấn luyện cho trợ lý ảo trên smartphone: tự dựng các bản mô phỏng website (mua sắm, đặt vé, ngân hàng) có nút reset, cho phép agent thực hành hàng nghìn tác vụ đa bước và ghi lại quỹ đạo thao tác để huấn luyện mô hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37786
ArXiv Abstract	https://arxiv.org/abs/2610.37786
PDF Download	https://arxiv.org/pdf/2610.37786.pdf
Github Repository	https://github.com/china-qijizhifeng/Web-Anything

18. Multi-Token Prediction Done Right (10 votes)

Tác giả: Jayden Teoh

Xuất bản lúc: 2026-10-28

Tag: LLMs, Multi-Token Prediction, Self-Distillation, Speculative Decoding, Pre-training, Gradient Routing, Knowledge Distillation

I. Main Problem:

Multi-Token Prediction (MTP) — huấn luyện mô hình ngôn ngữ dự đoán đồng thời nhiều token tương lai — đã trở thành chuẩn trong pre-training hiện đại (DeepSeek-V3/4, Nemotron 3, GLM-5, Kimi K3) vì cải thiện chất lượng mô hình lẫn tăng tốc inference qua speculative decoding. Tuy nhiên, bài báo chỉ ra một khuyết tật trong cách huấn luyện MTP truyền thống:

Gradient của cross-entropy MTP phân tách chính xác thành hai phần: một thành phần KL self-distillation (kéo mỗi MTP head về phân phối next-token prediction của chính mô hình — tín hiệu hữu ích, SNR cao) và một phần dư (residual) có signal-to-noise ratio thấp.
Phần dư này chiếm tới ~80% độ lớn gradient MTP truyền về shared trunk, ngược hướng với bước cập nhật NTP (làm tăng NTP loss), và trở nên nhiễu hơn khi mô hình scale lên — vì nhiễu lấy mẫu one-hot là bất khả giảm, trong khi tín hiệu (lỗi dự đoán của NTP teacher) co lại theo scale.
Kết quả: tín hiệu self-distillation tốt bị vùi dưới nhiễu, làm suy giảm cả học next-token lẫn multi-token.

II. Main Idea:

Bài báo đề xuất Soft-MTP, dựa trên một phát hiện lý thuyết và một thủ thuật kỹ thuật:

1. Phân tích gradient. Vì MTP head và NTP head dùng chung một linear output head, gradient cross-entropy của MTP có thể viết thành: g_hard = g_KL + g_res, trong đó g_KL chính là gradient của KL divergence từ phân phối NTP (làm teacher, stop-gradient) tới phân phối MTP — tức cross-entropy MTP thực chất đã ẩn chứa sẵn tín hiệu tự chưng cất.

2. KL gradient–recovery trick. Thay vì tính KL trực tiếp (đòi hỏi vật chất hóa ma trận logit kích thước từ vựng — tốn bộ nhớ, không tương thích fused cross-entropy kernel), tác giả chứng minh gradient KL có thể khôi phục chính xác bằng cách cộng hai gradient cross-entropy đã có sẵn. Cụ thể, dùng straight-through gradient routing: cộng vào hidden state NTP một lượng h_k.detach() - h_k (bằng 0 về mặt số học, nên loss NTP không đổi), nhưng qua đó bơm ngược gradient -g_res vào MTP head. Cộng với g_hard từ loss MTP, phần dư bị triệt tiêu, chỉ còn g_KL thuần truyền về MTP heads và shared trunk — thực hiện bằng một dòng thay đổi code.

3. Soft-MTP. Bỏ phần dư nhiễu, chỉ lan truyền tín hiệu self-distillation sạch: LM head vẫn nhận cross-entropy gradient (giữ head khớp dữ liệu thật), còn trunk và MTP heads nhận gradient KL. Không thêm tham số, không đo được overhead, tương thích cả kiến trúc DeepSeek-style lẫn Meta-style MTP.

Ví dụ đời thường: giống như tai nghe chống ồn chủ động — thay vì thu âm lại bản nhạc (tính KL trực tiếp, tốn kém), nó tạo một sóng nhiễu nghịch pha để triệt tiêu đúng thành phần tạp âm, chỉ để lại giọng hát rõ ràng.

III. Main Results:

Thí nghiệm trên mô hình LLaMA-style 167M–1.2B tham số, pre-training 31.5B token trên FineWeb-Edu, 3 MTP heads (K=3), bằng optimizer Muon:

Phân tích SNR: phần dư có SNR thấp hơn ~4 lần so với thành phần KL (khoảng cách tăng từ 4.1× ở 167M lên 4.6× ở 1.2B), dù chiếm ~80% gradient MTP vào trunk; bước đi dọc theo gradient residual làm tăng NTP loss, còn thành phần KL làm giảm.
NTP perplexity: Soft-MTP thấp hơn standard MTP ở mọi scale, khoảng cách tăng theo scale (ví dụ WikiText ppl 17.489 so với 18.156 ở 1.2B).
MTP loss: Soft-MTP thấp hơn từ 689M trở lên.
Speculative decoding: tốc độ giải mã nhanh hơn và acceptance length cao hơn ở mọi scale, mọi domain (FineWeb-Edu, Wikipedia, Books, Science, Math); trung bình +1.4–1.5% speedup, +1.8–2.2% acceptance length; KL/TV tới NTP verifier thấp hơn ở mọi scale.
Zero-shot accuracy: thắng standard MTP ở mọi scale, mức tăng lớn dần (~0.5 điểm ở 689M và 1.2B), và ở 1.2B vượt cả baseline NTP.
Fine-tuning math/code ở 1.2B: thắng standard MTP 7/8 ô đo — HumanEval +3.1 điểm ở pass@64, MBPP +1.2, GSM8K +1.1, MATH-500 +1.8; là objective duy nhất không thua NTP baseline ở ô nào.
Robustness: Pareto-dominates standard MTP khi sweep trọng số loss λ_MTP và horizon K = 3→8.
So với KL minimization trực tiếp: Soft-MTP match hoặc vượt hầu hết metric mà không tốn chi phí tính KL — 'free lunch' cho tối ưu MTP.

IV. Conclusion & Future Works:

Soft-MTP chứng minh rằng cross-entropy MTP chuẩn đã chứa sẵn tín hiệu self-distillation hữu ích, và chỉ cần loại bỏ phần dư nhiễu (qua straight-through gradient routing) để khai thác nó — một thay đổi một dòng code, không tham số thêm, không overhead, tương thích với fused cross-entropy kernels và chiến lược parallelism của pre-training quy mô frontier. Về bản chất bias–variance: chấp nhận lệch về phân phối NTP (mà speculative decoding cần khớp chính xác) để loại bỏ nhiễu lấy mẫu one-hot bất khả giảm — một trade-off càng có lợi khi scale càng lớn. Hướng mở: kiểm chứng ở scale frontier thực tế, áp dụng cho các objective MTP giàu hơn ngoài self-distillation, và kết hợp với giai đoạn post-training align drafter–verifier.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng phân tích bias–variance của gradient MTP lên quy mô frontier (từ hàng chục tỷ tham số) để kiểm chứng xu hướng SNR của phần dư và lợi ích của Soft-MTP có tiếp tục tăng theo scale hay bão hòa.
Tổng quát hóa thủ thuật khôi phục gradient KL từ chung output head sang các dạng tự chưng cất khác trong pre-training: MTP với objective giàu hơn (học representation, dự đoán mức token), và distillation giữa các mô hình cùng họ output head.
Nghiên cứu kết hợp Soft-MTP ở giai đoạn pre-training với các giai đoạn post-training căn chỉnh drafter–verifier (như boosting nhiệt độ) để tối đa hóa acceptance rate của speculative decoding sau cả hai giai đoạn.

2. Patent:

Phần mềm huấn luyện mô hình ngôn ngữ trên điện thoại hoặc máy chủ nhỏ: bộ thư viện huấn luyện tích hợp cơ chế định tuyến gradient loại bỏ thành phần nhiễu khi dạy mô hình dự đoán nhiều từ tiếp theo cùng lúc, giúp mô hình thu nhỏ học nhanh hơn, chính xác hơn mà không tốn thêm bộ nhớ hay thời gian huấn luyện.
Hệ thống gõ chữ/giọng nói tốc độ cao trên điện thoại: mô hình ngôn gữ chạy cục bộ dùng các đầu dự đoán đa token được huấn luyện theo phương pháp tự khớp với dự đoán một token của chính nó, để khi tạo văn bản máy đoán trước nhiều từ và được chấp nhận thường xuyên hơn, giảm đáng kể độ trừ và tiết kiệm pin.
Trợ lý AI trên thiết bị di động có chế độ suy luận tăng tốc: mô hình lớn làm người kiểm chứng, một mô hình nhỏ hơn (chung đầu ra) làm người phác thảo, cả hai được huấn luyện cùng kỹ thuật triệt tiêu nhiễu gradient để phác thảo khớp người kiểm chứng hơn, cho phép trả lời nhanh gấp nhiều lần trong khi giữ độ chính xác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.38331
ArXiv Abstract	https://arxiv.org/abs/2610.38331
PDF Download	https://arxiv.org/pdf/2610.38331.pdf
Github Repository	https://github.com/JaydenTeoh/Soft-MTP

19. Investor's Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future? (10 votes)

Tác giả: Huangfei Jiang, Anning Hu, Kai Sheng, Yuchen Cai, Rui Ge, et al.

Xuất bản lúc: 2026-10-28

Tag: Financial Agents, Benchmark, Equity Research, LLM Evaluation, Forecasting, Agentic AI

I. Main Problem:

Các benchmark tài chính hiện tại (FinanceBench, FinanceAgent, FinSearchComp, FinanceGym...) chỉ đánh giá từng khâu rời rạc của quy trình nghiên cứu cổ phiếu: hỏi-đáp tài liệu, tìm kiếm, hoặc tính toán đơn lẻ. Vấn đề cốt lõi:

Rò rỉ thông tin tương lai (look-ahead leakage): lọc theo ngày xuất bản chỉ là heuristic ở tầng truy xuất — trang web có thể giữ ngày cũ nhưng cập nhật nội dung mới (ví dụ GPT-6 Astra tra cứu 'before:2026-03-24' vẫn nhận được số liệu giao hàng Q2 thực tế đăng ngày 2/7).
Không có chuỗi đánh giá đầy đủ: chưa benchmark nào buộc tác tử đi từ bằng chứng → giả định → dự báo → quyết định đầu tư trong một ranh giới thông tin bị đóng băng, và đối chiếu dự báo với kết quả thực tế sau đó.

II. Main Idea:

Investor's Last Exam (ILE) — benchmark nghiên cứu cổ phiếu chuyên nghiệp do các nhà quản lý quỹ buy-side dẫn dắt, gồm ba thành phần:

Cơ sở dữ liệu có phiên bản: 3,43 triệu phiên bản tài liệu (1,52TB) thuộc 9 loại nguồn, mỗi phiên bản gắn thời điểm khả dụng được xác thực; mọi công cụ (search, read, download, truy vấn bảng) đều kiểm tra ranh giới cutoff ở tầng hệ thống, không chỉ ở ô tìm kiếm.
Phân loại tác vụ theo sản phẩm nghề nghiệp: 5 nhóm, 20 tiểu loại + nghiên cứu tích hợp + giao dịch thị trường, tổng 86 bài tập (đối chiếu báo cáo, dự báo nhạy giả định, định giá...).
Đồ thị phụ thuộc tài chính: mỗi tiêu chí chấm điểm được neo vào nguồn, phép tính tái lập được và giả định cụ thể, chấm bởi chuyên gia + AI kèm rubric riêng tư; đánh giá đồng thời chất lượng nghiên cứu, độ chính xác dự báo và hiệu suất đầu tư mô phỏng.

Ví dụ đời thường: giống kỳ thi sát hạch nhà phân tích thật sự — thí sinh chỉ được mang tài liệu xuất bản trước ngày thi vào phòng, đề thi do giám khảo giàu kinh nghiệm ra, và bài chấm được đối chiếu từng bước suy luận với căn cứ, không cho phép 'xem trước đáp án tương lai'.

III. Main Results:

GPT-6 Astra dẫn đầu tổng thể 68,1/100, Claude Opus 5.5 đạt 66,9, nhưng Astra chỉ được 52,5 ở Forecast & Model dù đạt 78,9 ở Research & Evidence — phân tích tốt không đồng nghĩa dự báo tốt.
Bảng xếp hạng đảo chiều theo tiêu chí dự báo: DeepSeek V4.1 Flash dẫn tiêu chí đối chiếu kết quả thực (40,3 so với 37,7 của Astra); DeepSeek V4 Pro dẫn Market Trading (64,6) dù tổng điểm chỉ 59,3.
Lợi nhuận giao dịch mô phỏng không khớp điểm nghiên cứu: Hunyuan 4 Preview lãi 8,50%, Kimi K3 (7,15%) vượt Opus (6,39%) dù điểm nghiên cứu thấp hơn; mua giữ luôn chỉ lãi 1,18%.
Lỗ hổng không nằm ở truy xuất hay số học: 11/11 hệ thống lấy đúng 8 số liệu và cân bằng được đồng nhất thức dòng tiền, nhưng chỉ 5/11 tính đúng cả hai khoản thâm hụt tài trợ và 3/11 phân biệt được thu nhiên liệu gộp vs. net.
57% quỹ đạo dùng web công cộng của Astra chứa nguồn sau cutoff — điểm số tương đương không đảm bảo tuân thủ ranh giới thông tin.
Độ tin cậy nộp bài là vấn đề riêng: dưới chế độ strict, Step 5 Preview tụt từ 55,1 xuống 34,5; Hunyuan 17 lần dừng mà không nộp bài.

IV. Conclusion & Future Works:

Bottleneck của tác tử tài chính đã dịch từ tiếp cận thông tin sang hiệu chuẩn giả định và tính nhất quán của mô hình: các hệ thống làm được toán và tìm được bằng chứng, nhưng thất bại ở (1) tách cải thiện hoạt động bền vững khỏi biến động tiền mặt tạm thời, (2) chứng minh giả định dự báo có giá trị tiên đoán, (3) buộc giả định – trạng thái kế toán – kết quả tạo thành một mô hình kiểm chứng được. ILE cung cấp nền tảng truy vết được, mang tính chẩn đoán để định vị chính xác nơi lợi thế phân tích không chuyển hóa thành dự báo và quyết định đầu tư, phục vụ huấn luyện và đánh giá tác tử tài chính tương lai.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ILE sang tài sản khác (trái phiếu, hàng hóa, tiền điện tử) với cùng nguyên tắc đóng băng thông tin ở cấp phiên bản và chấm điểm qua đồ thị phụ thuộc tài chính.
Phương pháp huấn luyện tác tử chuyên về hiệu chuẩn giả định dự báo: học từ các rubric criterion-level của ILE để tự phát hiện khi giả định không tạo ra mô hình tài chính kiểm chứng được.
Nghiên cứu điều phối công cụ đa bước cho tác vụ dài hạn: vì số lượt gọi công cụ (73,8 vòng của Flash vs vài chục của các mô hình khác) không tương quan thuận với điểm số, cần chiến lược cân bằng chi phí – chất lượng như Flash đạt 63,0 chỉ với 0,36 USD/bài so với 7,96 USD của Opus.
Kỹ thuật kiểm chứng thời điểm khả dụng của tài liệu web (chống trang cập nhật nội dung giữ nguyên ngày cũ) có thể tách ra làm công cụ độc lập cho mọi benchmark yêu cầu tính nhất quán thời gian.

2. Patent:

Ứng dụng điện thoại phân tích cổ phiếu 'chống nhìn tương lai': người dùng chọn ngày phân tích, hệ thống chỉ truy xuất các phiên bản tài liệu tài chính được xác thực là có trước ngày đó, chặn hoàn toàn tin tức và báo cáo cập nhật sau, rồi tạo báo cáo đầu tư có trích nguồn từng con số.
Hệ thống chấm điểm tự động cho báo cáo phân tích doanh nghiệp: nội bộ hóa đồ thị phụ thuộc tài chính để mọi nhận định trong báo cáo (dự báo doanh thu, nhu cầu vốn, rủi ro tái cấp vốn) đều phải liên kết được với tài liệu nguồn và phép tính tái lập, phát hiện lập luận thiếu căn cứ.
Công cụ kiểm toán dòng tiền tự động cho nhà đầu tư cá nhân: phân tách cải thiện dòng tiền hoạt động thật sự (do lợi nhuận) khỏi biến động tạm thời (thanh toán chậm, ký quỹ khách hàng), cảnh báo khi 'dòng tiền đẹp' chỉ là dịch chuyển thời gian.
Bộ kiểm thử mô hình AI tài chính cho công ty chứng khoán: môi giới dùng bộ câu hỏi kiểu kỳ thi nhà phân tích để sát hạch chatbot tư vấn, đo riêng chất lượng nghiên cứu, độ chính xác dự báo và lợi nhuận mô phỏng trước khi triển khai cho khách hàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.38342
ArXiv Abstract	https://arxiv.org/abs/2610.38342
PDF Download	https://arxiv.org/pdf/2610.38342.pdf
Github Repository	https://github.com/Prophetlab/Investor-Last-Exam

20. Glance: The Generator Is Its Own Reranker (10 votes)

Tác giả: Adilet Metinov, Chingiz Arziev

Xuất bản lúc: 2026-10-29

Tag: RAG, Reranking, LLMs, Retrieval-Augmented Generation, LoRA, KV Cache, Cross-Encoder

I. Main Problem:

Hệ thống RAG truyền thống phải vận hành hai mô hình riêng biệt: một cross-encoder để rerank các đoạn văn bản thu hồi được, và một LLM để sinh câu trả lời. Hệ quả:

Chi phí phục vụ (serving) kép: cần nạp thêm một backbone riêng cho reranker, tốn bộ nhớ GPU và tài nguyên triển khai.
Xử lý đoạn văn bản trùng lặp: các passage được encode riêng lẻ bởi reranker trước, rồi lại được đọc lại một lần nữa bởi generator.
LLM-reranker chất lượng cao hơn nhưng càng đắt đỏ hơn nữa.

Nhận xét cốt lõi của tác giả: generator dù sao cũng phải đọc các passage, vậy tại sao không để chính nó chấm điểm luôn, dùng phép tính chia sẻ giữa các passage?

II. Main Idea:

Glance trang bị cho chính generator một decision adapter nhẹ (LoRA rank-16 + pointer head 256 chiều) để rerank, thay vì dùng mô hình riêng. Quy trình:

Prefill chung một lần: toàn bộ k candidate passages được encode trong một prefill duy nhất (shared cache).
Relevance probes: từ cache chung, rẽ nhánh ra k probe ngắn (~30 token), mỗi probe hỏi "Passage i có trả lời/support query không?". Pointer head biến hidden state tại mỗi probe thành một điểm relevance, không cần prefill lại từng cặp query-passage.
Hai biến thể: Glance chính re-prefill top-n passage rồi trả lời với adapter tắt; Glance-Activated chỉ bật adapter trên probe, nên generation tiếp tục thẳng từ cache gốc chứa tất cả candidates.
Một backbone duy nhất: cùng một model 9B đóng vai trò generator, reranker và bộ ra quyết định chung; mỗi kỹ năng mới chỉ thêm ~0.1GiB. Adapter được chuyển đổi theo request mà không đổi trọng số.

Ví dụ đời thường: giống một người đọc xong cả chồng hồ sơ ứng viên một lần duy nhất, rồi trả lời nhanh từng câu hỏi "ứng viên này có hợp không?" bằng trí nhớ về chồng hồ sơ đó — thay vì phải mở lại từng hồ sơ ra đọc lại riêng như người phỏng vấn truyền thống.

III. Main Results:

Reranking cạnh tranh cross-encoder chuyên dụng: sau 39 phút fine-tune trên MS MARCO, Glance đạt nDCG@10 = 0.741 (SciFact) và 0.345 (NFCorpus), so với 0.721 và 0.326 của bge-reranker-v2-m3.
Zero-shot đã dùng được: chưa học dữ liệu retrieval nào, packed_all đạt 0.715 SciFact, nhanh ~3.6× so với gọi từng passage riêng lẻ trên cùng model 9B.
Cải thiện QA end-to-end: trên 300 câu HotpotQA, top-3 do Glance chọn làm câu trả lời F1 tăng +0.045 so với cross-encoder dưới cùng base generator (95% CI [0.014, 0.076]) — generator trả lời tốt hơn với context chính nó chọn.
Scale đến 200 candidates: quality vẫn tăng tới k=200 (43k token, một prefill chung), vượt cross-encoder +0.058 nDCG@10; adapter trained-long khắc được suy giảm của zero-shot ở k lớn.
Một backbone, ba chế độ: chat / quyết định chung / rerank chạy trên cùng model với chuyển chế độ ~ms, xác suất bit-identical so với nạp model riêng.
Cache reuse (Activated): sinh câu trả lời tiếp tục từ cache gốc, F1 ngang re-prefill (0.750 vs 0.754) với latency thấp hơn (138ms vs 181ms).
Hạn chế: cross-encoder chuyên dụng vẫn nhanh hơn mỗi query; bộ nhớ tăng nhanh theo k×độ dài context; chỉ đánh giá 2 tập BEIR + 1 tập QA, một họ backbone.

IV. Conclusion & Future Works:

Glance chứng minh generator có thể kiêm luôn vai trò reranker: các probe chia sẻ một prefill chung, adapter nhẹ hỗ trợ ranking và quyết định chung trên một backbone duy nhất. Kết quả ranking cạnh tranh cross-encoder và cải thiện QA downstream dưới cùng generator; probe-only adaptation cho phép generation tái dùng cache gốc.

Hướng tương lai:

Mở rộng đánh giá sang benchmark lớn hơn và nhiều họ backbone.
Triển khai shared-cache với block mask để bộ nhớ tuyến tính theo context length, đẩy số candidate tiến tới context 128k token.
Tối ưu serving (hiện tại chưa dùng CUDA graphs/fused kernels, batching across queries còn làm giảm throughput).

V. Brainstorming Space:

1. Publish Papers:

Đánh giá quy mô lớn reranking dựa trên generator-across nhiều backbone và benchmark BEIR đầy đủ, kèm kiểm định ý nghĩa thống kê để xác nhận lợi thế so với cross-encoder.
Kiến trúc shared-cache với block attention mask loại bỏ việc sao chép cache theo từng branch, cho phép rerank hàng trăm candidates trong prefill 128k token trên một lần đọc.
Huấn luyện adapter với nhãn answer utility (chất lượng câu trả lời cuối) thay vì chỉ relevance, kiểm chứng giả thuyết generator chọn được context mà chính nó dùng tốt hơn.
Tích hợp pointer head vào engine serving phổ biến (vLLM-class) để phục vụ đồng thời chat và reranking trong một engine duy nhất với throughput cao.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại tích hợp tìm kiếm tài liệu: một mô hình duy nhất cài sẵn trên máy đọc toàn bộ đoạn tài liệu thu hồi một lần, tự chấm điểm từng đoạn qua các câu hỏi kiểm tra ngắn rẽ nhánh từ bộ nhớ đệm, rồi trả lời người dùng — không cần mô hình xếp hạng riêng, tiết kiệm bộ nhớ và pin.
Ứng dụng hỏi-đáp hồ sơ cá nhân (sức khỏe, pháp lý) offline trên điện thoại: model duy nhất vừa lọc vừa tóm tắt tài liệu nhạy cảm ngay trên thiết bị, mỗi kỹ năng chấm điểm chỉ thêm khoảng 0.1GB, chuyển đổi chế độ theo yêu cầu mà không tải lại model.
Trợ lý tra cứu nội bộ doanh nghiệp trên một server duy nhất: engine phục vụ đồng thời chat và xếp hạng tài liệu bằng cách gắn adapter nhẹ có thể bật/tắt theo request, giảm số model phải duy trì và chi phí GPU cho hệ thống tìm kiếm-tra lời.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.40454
ArXiv Abstract	https://arxiv.org/abs/2610.40454
PDF Download	https://arxiv.org/pdf/2610.40454.pdf
Github Repository	N/A

21. AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding (10 votes)

Tác giả: Lu Wang, Zhuoran Jin, Longxiang Wang, Junhong Chen, Yupu Hao, et al.

Xuất bản lúc: 2026-10-28

Tag: Multimodal Large Language Models, Streaming Video Understanding, Proactive Interaction, Benchmark, Uncertainty, POMDP, Video Question Answering

I. Main Problem:

Các mô hình đa phương thức hiện nay chủ yếu học cách trả lời và chờ đủ bằng chứng trong video, nhưng giả định ngầm rằng thông tin cần thiết cuối cùng sẽ xuất hiện trong luồng video. Thực tế không phải lúc nào cũng vậy:

Video thiếu bằng chứng: vật bị che, góc quay không thấy chi tiết, khái niệm cá nhân chưa được cung cấp.
Người dùng chưa rõ ràng: câu hỏi mơ hồ, tiền đề sai, sở thích chưa biết hoặc đã thay đổi. Hệ quả là mô hình có thể chờ mãi hoặc bịa câu trả lời khi thiếu dữ kiện. Các benchmark proactive trước đây chỉ đánh giá khi nào trả lời, chưa yêu cầu mô hình chủ động hỏi để lấy thông tin còn thiếu.

II. Main Idea:

AskStream định nghĩa lại tương tác proactive trong video streaming bằng ba hành động: WAIT khi chưa đủ thông tin, ASK để xin thông tin còn thiếu, và ANSWER khi đã đủ cơ sở. Bài toán được mô hình hóa như một POMDP: trạng thái ẩn chứa phần thông tin còn thiếu từ video hoặc người dùng, và mô hình phải quyết định dựa trên video đã xem, câu hỏi, lịch sử tương tác.

Benchmark gồm 4 nhóm bất định thành 8 tác vụ:

Bất định video hiện: thiếu bằng chứng trực quan chính; thiếu thông tin do góc nhìn.
Bất định video ngầm: thiếu khái niệm cá nhân về một thực thể; thiếu khái niệm về hành động cá nhân hóa.
Bất định ý định người dùng: câu hỏi mơ hồ; câu hỏi có tiền đề sai.
Bất định sở thích người dùng: chưa biết sở thích; sở thích cũ mâu thuẫn với tình huống hiện tại.

Điểm mới là chú thích cấp frame cho các cửa sổ wait/ask/answer, đưa metric Ask-F1 để chấm đồng thời đúng thời điểm và đúng nội dung của việc hỏi lẫn trả lời, cùng framework StreamHarness để giữ khung hình gần, nén trung hạn và gom nhớ dài hạn. Dữ liệu gồm 438 video, 1,401 câu hỏi, 2,714 cửa sổ thời gian, trung bình 3.2 lượt tương tác/video.

Ví dụ đời thường: giống như nhân viên hỗ trợ nhìn camera trực tiếp thấy vật bị che hoặc không rõ khách đang nói về người nào, nên không đoán bừa mà hỏi đúng lúc: "Bạn chuyển camera sang góc kia được không?" hoặc "Bạn muốn hỏi người mặc áo đen hay áo xanh?" trước khi trả lời.

III. Main Results:

Mô hình offline mạnh nhất là Gemini-3.8 Flash đạt 52.18% Ask-F1; các mô hình offline khác thấp hơn nhiều, ví dụ Claude Sonnet 5 khoảng 22.48%.
Các mô hình streaming proactive gần như thất bại: nhiều mô hình đạt 0 ở hầu hết tác vụ; mô hình tốt nhất là AURA chỉ đạt 7.22% Ask-F1.
Sai lầm phổ biến là ASK quá sớm và ASK sai nội dung; điểm hỏi thường thấp hơn điểm trả lời, cho thấy nút thắt nằm ở quyết định khi nào hỏi và hỏi gì.
Khi cung cấp oracle cho when to ask, Ask-F1 trên KVEM tăng từ 37.17% lên 58.30%; cung cấp đúng cả thời điểm và nội dung hỏi tăng thêm khoảng 43.83%.
Bộ nhớ ngữ cảnh giúp ích rõ với bất định người dùng: +4.40 điểm trên câu hỏi mơ hồ và +5.38 điểm trên sở thích còn thiếu, nhưng gần như không cải thiện các tác vụ thiếu bằng chứng video.
Tăng ngân sách hỏi từ 1 lên 16 cải thiện hiệu suất từ 27.61% lên 52.35%, sau đó bão hòa.

IV. Conclusion & Future Works:

AskStream cho thấy proactive video understanding chưa chỉ là "đợi hay trả lời", mà cần thêm khả năng chủ động tìm thông tin thiếu. Kết quả chỉ ra nút thắt chính là nhận ra bất định, chọn đúng thời điểm hỏi và đặt đúng câu hỏi. Hướng phát triển gồm: mô hình uncertainty-aware tốt hơn cho video streaming; chính sách hỏi nhiều lượt có kiểm soát; bộ nhớ liên tác vụ cho sở thích và ý định người dùng; cơ chế tránh hỏi sớm hoặc hỏi lan man trong môi trường thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Phát triển mô hình proactive streaming có khả năng hiệu chuẩn uncertainty, tự học chính sách WAIT/ASK/ANSWER từ reward kết hợp độ chính xác, thời điểm hỏi và chi phí làm phiền người dùng.
Nghiên cứu bộ nhớ phân cấp cho trợ lý video dài hạn: cân bằng giữa bằng chứng trực quan gần, tóm tắt sự kiện trung hạn và hồ sơ ý định/sở thích người dùng dài hạn.
Xây dựng chính sách hỏi nhiều lượt và mô phỏng người dùng phản hồi, để mô hình biết khi nào nên hỏi thêm, khi nào nên dừng và khi nào đủ thông tin để trả lời.

2. Patent:

Trợ lý video trên điện thoại khi xem livestream hoặc camera: nếu vật cần nhận diện bị che hoặc góc máy không đủ, ứng dụng hỏi người dùng "Bạn di chuyển camera sang góc khác được không?" rồi mới trả lời câu hỏi ban đầu.
Ứng dụng hỗ trợ vận hành từ xa qua điện thoại: khi người dùng hỏi về một chi tiết chưa thấy trong luồng video, hệ thống yêu cầu bật chế độ xem khác, zoom vùng cần kiểm tra hoặc xác nhận đúng vị trí trước khi đưa hướng dẫn.
Trợ lý mua sắm/quay video cá nhân trên điện thoại: khi câu hỏi phụ thuộc sở thích như màu sắc, phong cách hoặc kích thước phù hợp, ứng dụng chủ động hỏi sở thích hiện tại và cập nhật câu trả lời theo ngữ cảnh mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.38678
ArXiv Abstract	https://arxiv.org/abs/2610.38678
PDF Download	https://arxiv.org/pdf/2610.38678.pdf
Github Repository	https://github.com/wanglu-cs/AskStream

📰 Summary of Papers​

1. Intrinsic Distribution Matching (239 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement (151 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Your Benchmark Is an Empirical Measure Over Difficulty (140 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs (91 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities (77 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Proving and Improving the Platonic Representation Hypothesis with JEPAs (54 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers (35 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory (35 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Intrinsic Distribution Matching (239 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement (151 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Your Benchmark Is an Empirical Measure Over Difficulty (140 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs (91 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities (77 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Proving and Improving the Platonic Representation Hypothesis with JEPAs (54 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers (35 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory (35 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: