🤗 Daily Hugging Face Paper Digest - 2026-07-13

Báo cáo được tạo tự động vào lúc 2026-07-14 10:08:59 bằng mô hình hermes-agent.

📰 Summary of Papers

---

1. Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading (49 votes)

Tác giả: Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, et al.

Xuất bản lúc: 2026-07-09

Tag: Long-Horizon Agents, Terminal Benchmarks, Dense Rewards, LLM Agents, Autonomous Agents, Tool Use, Evaluation

I. Main Problem:

Các bài kiểm tra terminal hiện tại chủ yếu tập trung vào tác vụ ngắn, hoàn thành trong vài phút, và chỉ đánh giá kết quả cuối cùng nhị phân. Điều này bỏ qua tiến bộ trung gian và giải pháp một phần, tạo tín hiệu thưởng thưa thớt và bức tranh không đầy đủ về khả năng của agent.

II. Main Idea:

Tác giả giới thiệu Long-Horizon-Terminal-Bench (LHTB), một bộ benchmark gồm 46 tác vụ terminal phân cảnh dài thuộc 9 lĩnh vực như tái tạo thí nghiệm, kỹ thuật phần mềm, phân tích đa phương thức và tính toán khoa học. Mỗi tác vụ được phân rã thành các subtask nhỏ có điểm chấm riêng, cho phép tính điểm dày đặc và tín dụng một phần dọc theo chuỗi hành động dài, đánh giá không chỉ kết quả cuối mà còn mức độ tiến triển.

III. Main Results:

• Đánh giá 17 mô hình frontier: mỗi tác vụ trung bình tốn 9,8 triệu token, 239 episodes và 88,9 phút thực thi.
• Grok 4.5 dẫn đầu với 28,3% pass@1 ở ngưỡng R≥0,95 và 19,6% ở ngưỡng hoàn hảo R=1,0.
• Tỷ lệ pass trung bình qua các mô hình chỉ đạt 6,4% ở R≥0,95 và 3,2% ở R=1,0.
• Chấm điểm dày đặc là cần thiết: 62,8% lượt chạy đạt tiến bộ một phần nhưng sẽ bị gộp vào nhóm thất bại nếu dùng đánh giá nhị phân.
• 79% lượt chưa giải quyết là do hết thời gian 90 phút, cho thấy nút thắt chính là khả năng duy trì và hoàn thành tác vụ dài hạn, không chỉ lý luận từng bước.
• 14 trường hợp dừng sớm ở mức thưởng cao (R≥0,75) cho thấy agent thiếu khả năng tự xác minh và dừng đúng lúc.

IV. Conclusion & Future Works:

Long-Horizon-Terminal-Bench cho thấy thực thi phân cảnh dài vẫn là điểm yếu cốt lõi của các agent hiện đại, ngay cả khi cho điểm một phách. Cần cải tiến trong lập kế hoạch dài hạn, quản lý ngữ cảnh, tự xác minh và quyết định dừng. Hướng tương lai: phát triển chiến lược tối ưu hóa ngân sách thời gian, giảm thăm dò thừa và tăng độ tin cậy khi hoàn thiện tác vụ.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu chiến lược tự kiểm tra và dừng cho agent dài hạn: agent chủ động đánh giá mức độ hoàn thành dựa trên hidden verifier và lịch sử subtask thay vì dừng sớm.
2. Phát triển phương pháp quản lý ngữ cảnh dài cho terminal agent, nén hoặc truy xuất có chọn lọc lịch sử lệnh và kết quả để duy trì hiệu quả qua hàng trăm episodes.
3. Xây dựng thuật toán phân bổ ngân sách thời gian và token tự động, cho phép agent ưu tiên subtask có trọng số cao và tránh lặp vô ích trong tác vụ dài hạn.

2. Patent:

1. Hệ thống trợ lý terminal tự động cho lập trình viên trên điện thoại: agent chạy trong container đám mây, thực hiện sửa lỗi dài hạn, tái tạo kết quả nghiên cứu và gửi báo cáo tiến độ chi tiết về thiết bị di động.
2. Công cụ đánh giá và chấm điểm tự động cho quy trình kỹ thuật phức tạp: phân rã dự án thành subtask, gán điểm từng phần qua trạng thái file và kết quả kiểm thử, giúp doanh nghiệp đo lường tiến độ robot kỹ thuật.
3. Ứng dụng tự động hóa kiểm toán dữ liệu đa phương thức trên điện thoại: người dùng tải lên ảnh, âm thanh, video hoặc file khoa học; agent terminal phân tích, phát hiện lỗi và sửa chuỗi pipeline mà không cần can thiệp thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.08964
ArXiv Abstract	https://arxiv.org/abs/2607.08964
PDF Download	https://arxiv.org/pdf/2607.08964.pdf
Github Repository	https://github.com/zli12321/LHTB

---

2. Video Generation Models are General-Purpose Vision Learners (43 votes)

Tác giả: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, et al.

Xuất bản lúc: 2026-07-10

Tag: Video Generation, Diffusion Models, General-Purpose Vision, Multi-Task Learning, Synthetic Data, Vision Foundation Models

I. Main Problem:

Thị giác máy vẫn chủ yếu dùng mô hình chuyên biệt cho từng tác vụ như ước lượng độ sâu, phân vùng hay ước lượng tư thế, thiếu một foundation model thống nhất tương tự LLM. Các phương pháp pre-training trước đây như masked autoencoder hay contrastive learning không đồng thời đáp ứng ba yêu cầu: học không gian-thời gian, căn chỉnh vision-language và khả năng scale lớn.

II. Main Idea:

GenCeption sử dụng mô hình text-to-video diffusion đã pre-training làm backbone để khai thác các prior không gian-thời gian và khả năng điều khiển bằng văn bản. Mô hình được chuyển đổi thành kiến trúc feed-forward một bước, trong đó các tác vụ dense được biểu diễn trong không gian RGB chung và các tác vụ sparse được xử lý qua learnable tokens. Toàn bộ hệ thống được fine-tune đa tác vụ chủ yếu trên dữ liệu synthetic với một hàm mất mát L2 duy nhất.

III. Main Results:

• Đạt SOTA hoặc sánh ngang các mô hình chuyên biệt như DepthAnything3, SAM3, D4RT, VGGT-Ω, Sapiens, David, Genmo và Lotus-2 trên nhiều tác vụ.
• Backbone video generative vượt trội V-JEPA và VideoMAE V2 khi fine-tune cùng lượng dữ liệu và kích thước mô hình tương đương.
• Hiệu quả dữ liệu cao: đạt kết quả tương đương D4RT và VGGT-Ω với ít hơn 7-500 lần dữ liệu huấn luyện.
• Xuất hiện hành vi mới: mô hình chỉ huấn luyện trên video người synthetic có thể khái quát sang video thực và các đối tượng ngoài phân phối như động vật, robot.
• Kiến trúc feed-forward 1.3B chạy 13.6 FPS và 14B chạy 8.0 FPS trên v6e TPU, nhanh hơn đáng kể so với 50 bước diffusion gốc.

IV. Conclusion & Future Works:

Video generation không chỉ là công cụ tổng hợp mà còn là lộ trình nền tảng hướng tới trí thông minh thị giác tổng quát cho thế giới vật lý. Hướng tương lai: mở rộng quy mô dữ liệu và mô hình, thêm nhiều tác vụ vào không gian biểu diễn thống nhất, và cải thiện khả năng khái quát hóa từ synthetic sang real-world.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng GenCeption lên không gian biểu diễn RGB thống nhất cho các tác vụ thị giác 4D như inverse reconstruction và ước lượng optical flow, tận dụng temporal prior của video diffusion.
2. Nghiên cứu quy luật scaling của video generative pre-training trên nhiều tác vụ thị giác, đo lường sự xuất hiện khả năng khi tăng kích thước mô hình và dữ liệu.
3. Phát triển chiến lược tổng hợp dữ liệu đa dạng hơn cho pre-training video, giảm sự phụ thuộc vào dữ liệu người synthetic để cải thiện khái quát hóa đối tượng.

2. Patent:

1. Hệ thống phân tích video đa tác vụ trên điện thoại: dùng mô hình diffusion feed-forward chạy cục bộ để từ một video đầu vào, người dùng chỉ cần nhập văn bản như 'output depth' hoặc 'segment this object' để nhận kết quả ngay lập tức.
2. Module ước lượng tư thế camera và độ sâu cho thiết bị AR/VR: từ video thực tế ảo, mô hình tổng hợp raymap và depth map trong một lần truyền thuận để định vị không gian mà không cần nhiều cảm biến.
3. Hệ thống giám sát và theo dõi chuyển động người, động vật và robot trong công nghiệp: một mô hình duy nhất nhận video từ camera và chỉ dẫn văn bản để đồng thời phát hiện tư thế 2D/3D, phân vùng và ước lượng chuyển động camera.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.09024
ArXiv Abstract	https://arxiv.org/abs/2607.09024
PDF Download	https://arxiv.org/pdf/2607.09024.pdf
Github Repository	N/A

---

3. Scalable Visual Pretraining for Language Intelligence (43 votes)

Tác giả: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, et al.

Xuất bản lúc: 2026-07-10

Tag: Visual Pretraining, Multimodal Learning, Foundation Models, Scientific Document Understanding, Autoregressive Visual Modeling, Cross-modal Alignment

I. Main Problem:

Các mô hình nền hiện tại học ngôn ngữ chủ yếu từ văn bản thuần túy, nhưng tài liệu khoa học chứa nhiều thông tin dạng hình ảnh như công thức, biểu đồ, bảng và bố cục trang. Chuyển đổi tài liệu trực quan thành văn bản phẳng làm mất các manh mối không gian và cấu trúc quan trọng, hạn chế khả năng suy luận khoa học.

II. Main Idea:

Visual Pretraining (VP) cho phép mô hình nền học trực tiếp từ các trang tài liệu thô dưới dạng hình ảnh mà không cần trích xuất văn bản hay cặp ảnh-văn bản. Mô hình tự hồi quy dự đoán latent trực quan tiếp theo trong không gian đặc trưng hình ảnh đông lạnh, kết hợp với mục tiêu dự đoán token văn bản thông thường. Các patch nền trống được loại bỏ, chỉ giữ lại các patch nội dung theo thứ tự raster.

III. Main Results:

• VP vượt trội hơn Text Pretraining trên cùng corpus tài liệu khoa học, với cải thiện GPQA lên tới 3.22 điểm và MMLU-Pro lên tới 2.1 điểm trên nhiều kiến trúc backbone.
• VP chỉ sử dụng khoảng 20B token trực quan, tương đương 25% token budget của TP (80B token văn bản), cho thấy hiệu quả nén cao hơn.
• Lợi ích tăng theo quy mô: VP đạt 1.27x trên MMLU-Pro, 2.02x trên GPQA và 2.88x trên AIME-25 so với baseline text.
• Cải thiện căn chỉnh đa phương thức không cần giám sát cặp ảnh-văn bản: cosine similarity tăng từ 0.631 lên 0.907, centroid separation giảm từ 1.665 xuống 0.661.
• VP mang lại lợi ích lớn nhất trên các trang có mật độ cấu trúc trực quan cao (hình, công thức, bảng), đồng thời cải thiện các benchmark đa phương thức như ChartQAPro và MathVista.

IV. Conclusion & Future Works:

VP chứng minh rằng việc học trực tiếp từ tài liệu trực quan thô là con đường hiệu quả và mở rộng được để bổ sung cho pretraining văn bản, đặc biệt với tài liệu khoa học. Hướng tương lai bao gồm điều phối tốt hơn giữa giải mã latent trực quan và giải mã văn bản, lập lịch loss, lựa chọn token nền thông minh, và mở rộng sang các corpus trực quan rộng hơn như ảnh tự nhiên hoặc video.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu cách kết hợp visual pretraining với các phương pháp lập lịch loss động để cân bằng tối ưu giữa luồng trực quan và văn bản trong suốt quá trình continued pretraining.
2. Mở rộng visual pretraining sang các loại tài liệu không cấu trúc như ảnh tự nhiên, video giáo dục, hoặc sách điện tử, để kiểm tra tính tổng quát của việc học từ corpus trực quan nén.
3. Phát triển các module trực quan hiệu quả tham số cho visual pretraining, cho phép tích hợp vào các mô hình ngôn ngữ lớn hiện có với chi phí tính toán thấp.

2. Patent:

1. Ứng dụng di động đọc và hiểu tài liệu khoa học qua camera: người dùng chụp trang sách hoặc bài báo, ứng dụng dùng mô hình visual pretraining để trả lời câu hỏi và giải thích công thức, biểu đồ trực tiếp từ hình ảnh mà không cần OCR.
2. Hệ thống trợ lý học tập trên điện thoại: chụp ảnh bài tập toán, vật lý, hóa học từ sách giáo khoa hoặc bảng đen, mô hình tự động nhận diện bố cục đề bài và đưa ra lời giải từng bước dựa trên cấu trúc trực quan gốc.
3. Công cụ tóm tắt tài liệu kỹ thuật cho kỹ sư di động: chụp ảnh tài liệu kỹ thuật, bản vẽ, sơ đồ mạch điện, ứng dụng dùng kiến thức học từ visual pretraining để trích xuất thông tin chính và tạo báo cáo ngắn gọn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.09657
ArXiv Abstract	https://arxiv.org/abs/2607.09657
PDF Download	https://arxiv.org/pdf/2607.09657.pdf
Github Repository	N/A

---

4. KronQ: LLM Quantization via Kronecker-Factored Hessian (17 votes)

Tác giả: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Xuất bản lúc: 2026-07-08

Tag: LLM Quantization, Post-Training Quantization, Kronecker-Factored Hessian, Low-Bit Inference, Mixed-Precision Quantization

I. Main Problem:

Các phương pháp post-training quantization (PTQ) bậc hai như GPTQ chỉ dùng covariance của activation đầu vào (HX) làm proxy Hessian, ngầm giả định mọi kênh đầu ra đóng góp như nhau. Thực tế, các kênh đầu ra có độ lớn gradient chênh lệch hàng bậc, khiến xấp xỉ này kém chính xác và dễ suy thoái ở bit thấp.

II. Main Idea:

KronQ đưa gradient covariance HG vào pipeline quantization dựa trên xấp xỉ Kronecker H≈HX⊗HG. Thứ nhất, bidirectional incoherence processing mở rộng xoay ngẫu nhiên sang chiều đầu ra để giảm phương sai độ lớn trọng số cả hai chiều. Thứ hai, chỉ số nhạy tr(HG)·tr(HX) giúp phân bổ độ chính xác hỗn hợp giữa các sublayer. Đặc biệt, HG triệt tiêu đại số trong bước cập nhật quantization nên vẫn giữ hiệu quả tính toán của GPTQ/GPTAQ.

III. Main Results:

• Trên LLaMA-3-70B W2 weight-only, GPTQ và GPTAQ diverge (>2000 PPL) còn KronQ đạt 7.93 PPL.
• KronQ đạt SOTA nhất quán trên LLaMA-2/3 7B–70B ở W2/W3/W4, đặc biệt ở W2.
• W2 group quantization (g=128) trên LLaMA-2-7B: KronQ 7.61 PPL so với GPTQ 274.0 và GPTAQ 23.19.
• W2A4 trên LLaMA-2-7B: KronQ 9.38 PPL so với GPTQ 36.74 và GPTAQ 10.91.
• Phân bổ mixed-precision bằng tr(HG)·tr(HX) cho trade-off PPL–bit tốt hơn so với chỉ dùng tr(HX).
• Giảm VRAM 3.5–7.5× và tăng tốc decoding 1.25–2.51× so với bf16.

IV. Conclusion & Future Works:

KronQ chứng minh thông tin curvature phía đầu ra (HG) là yếu tố then chốt để quantization LLM ở bit cực thấp mà không cần retrain. Hướng tương lai: mở rộng sang quantization activation chặt chẽ hơn, giảm chi phí tính HG qua lấy mẫu gradient hiệu quả, và áp dụng cho kiến trúc multimodal/large vision models.

V. Brainstorming Space:

1. Publish Papers:

1. Phát triển quantization đồng thời trọng số và activation dựa trên Kronecker-Factored Hessian đầy đủ, không chỉ dùng HG cho trọng số.
2. Áp dụng KronQ cho Vision Transformers và mô hình đa phương thức, nơi gradient covariance đầu ra cũng biến thiên mạnh giữa các modal.
3. Nghiên cứu chiến lược thu thập HG bằng lấy mẫu ngẫu nhiên hoặc low-rank approximation để cắt giảm chi phí backward pass trong calibration.

2. Patent:

1. Hệ thống quantization LLM trên điện thoại thông minh: tận dụng bidirectional incoherence processing với HG để nén mô hình ngôn ngữ xuống 2–3 bit, giảm dung lượng và tăng tốc inference tại thiết bị biên.
2. Dịch vụ đám mây tối ưu hóa độ chính xác theo sublayer: dựa trên chỉ số nhạy tr(HG)·tr(HX), tự động phân bổ bit khác nhau cho từng lớp của mô hình khách hàng để cân bằng chất lượng và chi phí inference.
3. Bộ gia tốc phần cứng cho LLM đã quantization: tích hợp đơn vị thực hiện Hadamard transform và rescaling đường chéo cả hai chiều input/output, giúp triển khai KronQ trên chip AI tiêu thụ điện năng thấp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.07964
ArXiv Abstract	https://arxiv.org/abs/2607.07964
PDF Download	https://arxiv.org/pdf/2607.07964.pdf
Github Repository	https://github.com/Intelligent-Computing-Lab-Panda/KronQ

---

5. Trust Region Policy Distillation (17 votes)

Tác giả: Zhengpeng Xie, Li Lyna Zhang, Zeke Xie, Mao Yang

Xuất bản lúc: 2026-07-06

Tag: Policy Distillation, Trust Region, Reinforcement Learning, LLMs, Reasoning

I. Main Problem:

On-Policy Distillation (OPD) trở thành cách phổ biến để huấn luyện LLM sau pre-training, nhưng bị bất ổn nghiêm trọng vì phần thưởng dạng log-ratio giữa giáo viên và học sinh không bị chặn. Khi giáo viên gán xác suất gần bằng không cho token mà học sinh sinh ra, phần thưởng tiến tới âm vô cùng, làm gradient variance bùng nổ và quá trình tối ưu rất mong manh, đặc biệt khi khoảng cách năng lực giữa giáo viên và học sinh lớn.

II. Main Idea:

TOP-D xây dựng một proximal teacher động bằng cách nội suy xác suất giữa giáo viên mục tiêu và học sinh hiện tại, biến phần thưởng OPD không bị chặn thành tín hiệu trơn và có cận dưới, từ đó khống chế gradient variance. Phương pháp còn kết hợp internal trust region iterations tách biệt behavior policy và target policy để tái sử dụng dữ liệu off-policy ổn định, tương tự PPO. Mục tiêu thực tế chỉ là một phép biến đổi đại số đơn giản trên phần thưởng OPD gốc nên không gây thêm chi phí tính toán.

III. Main Results:

• Với Qwen3-8B-Base và giáo viên Qwen3-30B-A3B-Instruct-2507, TOP-D đạt 50.42% avg@32 trên AIME24, vượt OPD 25.84% tuyệt đối.
• Trên AIME25 và AIME26, TOP-D cũng vượt trội OPD với mức tăng lần lượt 10.73% và 18.64% tuyệt đối.
• Với Qwen3-1.7B-Base, TOP-D đạt 20.31% AIME24, cao hơn OPD 11.35% tuyệt đối, chứng tỏ khả năng xử lý khoảng cách năng lực lớn.
• Ablation cho thấy α=1.0 (không có proximal teacher) gây bất ổn nghiêm trọng, còn bỏ internal trust region iterations làm giảm đáng kể sample efficiency.
• Về lý thuyết, TOP-D chứng minh được cận trên variance của gradient, cận hội tụ toàn cục và đảm bảo cải thiện đơn điệu qua internal trust region.

IV. Conclusion & Future Works:

TOP-D cung cấp một paradigm distillation ổn định, mẫu hiệu quả và không tốn thêm chi phí tính toán, là giải pháp thay thế hứa hẹn cho OPD trong huấn luyện LLM lý luận. Hướng tương lai có thể mở rộng ý tưởng proximal teacher sang các lĩnh vực khác như distillation đa phương thức hoặc kết hợp với các kỹ thuật reward shaping nâng cao.

V. Brainstorming Space:

1. Publish Papers:

1. Áp dụng khung Trust Region Policy Distillation cho distillation đa tác vụ, trong đó mỗi tác vụ có một proximal teacher riêng thích ứng với phân phối dữ liệu của tác vụ đó.
2. Mở rộng lý thuyết về proximal teacher cho bài toán imitation learning từ mô hình lớn, kết hợp với online query selection để giảm chi phí suy luận giáo viên.
3. Nghiên cứu cách kết hợp TOP-D với các kỹ thuật khử bias length trong phần thưởng dày đặc để cải thiện chất lượng lý luận trên các tác vụ dài hơn.

2. Patent:

1. Hệ thống huấn luyện mô hình ngôn ngữ trên điện thoại thông minh: dùng proximal teacher để ổn định distillation từ mô hình đám mây lớn xuống mô hình cục bộ nhỏ, giảm variance mà không cần thêm tính toán, phù hợp với thiết bị hạn chế năng lực.
2. Ứng dụng gia sư toán học cá nhân: khi học sinh gõ lời giải, hệ thống dùng phần thưởng có giới hạn từ mô hình giáo viên để điều chỉnh mô hình gợi ý theo từng bước, tránh phản hồi quá tiêu cực khi câu trả lời sai bất ngờ.
3. Module tối ưu chính sách trong robot/ô tô tự hành: khi mô hình điều khiển nhỏ học từ mô hình giám sát lớn, hệ thống tự động nội suy proximal teacher để giữ ổn định gradient khi môi trường thay đổi, giảm dao động trong quá trình điều khiển.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.04751
ArXiv Abstract	https://arxiv.org/abs/2607.04751
PDF Download	https://arxiv.org/pdf/2607.04751.pdf
Github Repository	N/A

---

6. From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models (10 votes)

Tác giả: Zanyi Wang, Xin Lin, Haodong Li, Dengyang Jiang, Yijiang Li

Xuất bản lúc: 2026-07-09

Tag: DiT, Dense Prediction, Text-to-Image Models, VAE, LoRA, Field Readout

I. Main Problem:

Các phương pháp sinh dựa trên VAE hiện tại chuyển bài toán dự đoán dày đặc thành sinh mục tiêu: các nhãn như độ sâu, pháp tuyến, alpha matte, mask và heatmap được mã hóa vào không gian tiềm ẩn VAE được huấn luyện trên RGB rồi giải mã ngược. Điều này gián tiếp vì dự đoán dày đặc cần trường đúng từng pixel trên cùng mặt phẳng ảnh, chứ không cần nội dung RGB mới.

II. Main Idea:

ReChannel coi mỗi token đầu ra của DiT đã được tiền huấn luyện sinh ảnh như một vận tải không gian cố định, có thể tái giải thích các kênh từ biểu diễn RGB sang trường bản địa của từng tác vụ. Mô hình giữ VAE encoder để duy trì phân phối đầu vào, làm đông cứng DiT, thích ứng bằng LoRA theo tác vụ, và dùng một tầng tuyến tính cục bộ trên mỗi token (~33K tham số) để ánh xạ trực tiếp sang patch pixel p×p×Kt, không cần decoder sinh hay head không gian phức tạp.

III. Main Results:

• Matting không trimap đạt SOTA: P3M-500-P SAD 5.69, P3M-500-NP SAD 6.67, vượt xa ViTAE-S và GenPercept.
• Độ sâu KITTI: absRel 0.063 với ReChannel-9B, vượt Edit2Perc 0.016.
• Phân đoạn tham chiếu: cIoU trung bình 82.0% trên RefCOCO, vượt tất cả 8 split và các baseline LLM 7B–8B.
• Pose COCO: AP 79.2%, hơn ViTPose-L +0.9 AP; saliency tốt nhất Fmax/MAE trên DUTS-TE và ECSSD.
• Hiệu quả: nhanh hơn 2.48× so với edit+latent-decode, chỉ 47.7 ms/ảnh trên L40S.

IV. Conclusion & Future Works:

ReChannel chứng minh dự đoán dày đặc có thể tận dụng tiên nghiệm tổ chức trường RGB của mô hình sinh mà không kế thừa giao diện đầu ra sinh ảnh. Việc bỏ decoder VAE phía mục tiêu đồng thời tăng độ chính xác và giảm độ trễ. Hướng tương lai: mở rộng ra các backbone khác ngoài FLUX-Klein và các mục tiêu không hoàn toàn căn chỉnh pixel.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng giao diện readout token-cục bộ cho các mô hình Diffusion Transformer không dùng VAE, kiểm chứng xem cấu trúc không gian patch-token-patch có thể đọc trực tiếp các trường dày đặc mà không cần bất kỳ bộ mã hóa hay giải mã nào.
2. Kết hợp điều kiện ngôn ngữ tự nhiên với readout trường dày đặc để xây dựng một mô hình đa tác vụ dùng chung một bộ thích ứng duy nhất, xử lý đồng thời độ sâu, pháp tuyến, phân đoạn và tư thế trong một lần chạy.
3. Nghiên cứu vai trò của tiền huấn luyện sinh so với tiền huấn luyện phân biệt trong việc tổ chức trường token, để xác định nguồn tiên nghiệm nào thực sự mang lại cấu trúc không gian cho dự đoán dày đặc.

2. Patent:

1. Hệ thống xử lý ảnh trên điện thoại thông minh sử dụng mô hình text-to-image đã huấn luyện để đo độ sâu cảnh và tách nền chủ thể chỉ qua một lần suy luận tuyến tính cục bộ, không cần decoder nặng.
2. Ứng dụng chỉnh sửa ảnh chân dung tự động: điện thoại đọc trực tiếp trường alpha matte từ token của mô hình Diffusion Transformer để tách và ghép nền chính xác đến từng pixel, nhanh hơn các pipeline sinh ảnh truyền thống.
3. Module điều hướng và nhận diện tư thế cho thiết bị di động: camera điện thoại chụp một khung hình, mô hình đọc ra bản đồ tư thế người và bản đồ độ sâu để hỗ trợ thực tế ảo tăng cường, tập thể dục hoặc điều khiển bằng cử chỉ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.06553
ArXiv Abstract	https://arxiv.org/abs/2607.06553
PDF Download	https://arxiv.org/pdf/2607.06553.pdf
Github Repository	https://github.com/xmz111/ReChannel