🤗 Daily Hugging Face Paper Digest - 2026-07-15
Báo cáo được tạo tự động vào lúc 2026-07-16 10:09:22 bằng mô hình hermes-agent.
📰 Summary of Papers
1. SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding (56 votes)
Tác giả: Abhigya Verma, Khyati Mahajan, Amit Kumar Saha, Shruthan Radhakrishna, Sagar Davasam, et al.
Xuất bản lúc: 2026-07-11
Tag: Vision-Language Models, Benchmarks, Long-Context, Visual Document Understanding, Chart Understanding, Multimodal Reasoning, Synthetic Data
I. Main Problem:
Các mô hình Vision-Language (VLMs) đạt điểm cao trên các benchmark đơn giản như DocVQA, ChartQA, hay MMLongBench-Doc, nhưng tài liệu thực tế kết hợp đồng thời nhiều yếu tố: độ dài, độ phức tạp bố cục, thành phần đa phương thức (text, bảng, biểu đồ), và độ khó câu hỏi. Hậu quả:
- khi mô hình thất bại, không thể xác định nguyên nhân chính xác vì các yếu tố này lẫn vào nhau trong dữ liệu thực;
- các benchmark hiện có ưu tiên độ bao phủ hơn là khả năng chẩn đoán, khiến tiến bộ trên leaderboard có thể chỉ là overfit vào artifact của dữ liệu.
II. Main Idea:
SYNTHDOCBENCH là benchmark tổng hợp hoàn toàn dùng thiết kế tổ hợp có kiểm soát (combinatorial design), trong đó các trục độ khó — độ dài tài liệu, cấu trúc bố cục, thành phần phương thức, và loại câu hỏi — được biến thiên độc lập để cô lập từng nguyên nhân thất bại.
Quy trình chính:
- Tạo tài liệu end-to-end từ chủ đề gốc qua pipeline LLM, với 6 mẫu bố cục (layout archetypes) và 40% ghi đè ngẫu nhiên để ngăn mô hình khai thác tương quan giả mùa giữa chủ đề và bố cục.
- Thiết kế hai lớp: mỗi biểu đồ được sinh đồng thời dưới dạng hình ảnh D3.js và metadata có cấu trúc ẩn, giúp đáp án ground truth xác định được ngay từ đầu mà không cần gán nhãn thủ công.
- Ba nhóm câu hỏi: chart-reading (đọc biểu đồ trực tiếp), cross-modal (kết hợp bằng chứng text và biểu đồ từ các phần xa nhau), và complex multi-hop (2–4 bước suy luận, độ khó L1–L5).
Ví dụ đời thường: giống như bác sĩ chẩn đoán bệnh bằng cách thay đổi từng yếu tố thuốc men một cách có kiểm soát để biết chính xác yếu tố nào gây phản ứng, thay vì đối mặt bệnh nhân thực tế nơi mọi triệu chứng lẫn lộn.
III. Main Results:
- Bộ dữ liệu gồm 200 báo cáo tổng hợp, 1.788 câu hỏi, trung bình 51,1 trang, 16,7 biểu đồ, ~20.568 từ, trải dài 24 loại biểu đồ D3.js.
- Đánh giá 7–8 VLMs frontier: Gemini-3.1-Pro dẫn đầu (ACC 0,725), theo sau là Qwen3.5-VL-122B (0,655); GPT-5.4, GPT-4o, Claude-Sonnet-4.5 và InternVL3-78B xếp sau, cho thấy quy mô tham số không đơn độc quyết định hiệu suất trên tài liệu dài.
- Phát hiện 3 failure mode mà các benchmark trước không làm lộ:
- Suy giảm mạnh theo độ phức tạp: hầu hết mô hình giảm từ L1 đến L5; Claude-Sonnet-4.5 giảm 23 điểm phần trăm (pp), trong khi Gemini giữ gần như phẳng.
- Nhạy cảm vị trí: 1/3 giữa tài liệu khó nhất với 5/6 mô hình; 5/6 mô hình có xu hướng Early→Late âm (mạnh nhất −8,3 pp, Claude giảm đơn điệu −11,7 pp), Gemini lại có dạng chữ U (lost-in-the-middle).
- Sụp đổ khả năng đọc biểu đồ chính xác trong ngữ cảnh tài liệu dài, ngay cả với các mô hình thành thạo ChartQA.
- Cross-modal là nhóm khó nhất, và hallucination hình ảnh (trả lại giá trị trông hợp lý nhưng không có trong biểu đồ) là nguồn lỗi chính.
IV. Conclusion & Future Works:
SYNTHDOCBENCH làm rõ khoảng cách giữa hiệu suất benchmark và khả năng hiểu tài liệu thị giác đa trang thực sự, cung cấp nền tảng chẩn đoán để xác định và sửa các điểm yếu của VLMs. Tuy nhiên, cần thận trọng với khả năng Gemini hưởng lợi từ phân phối render web (HTML/D3.js). Hướng tương lai: mở rộng sang các loại tài liệu phong phú hơn như bảng, biểu mẫu, báo cáo bố cục hỗn hợp, và kiểm chứng với các công cụ render khác nhau để tách biệt hiệu ứng quen thuộc định dạng với lý do thực sự.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng thiết kế tổ hợp có kiểm soát của SynthDocBench sang tài liệu đa phương thức rộng hơn: bảng phức tạp, biểu mẫu, và văn bản kỹ thuật có công thức, nhằm cô lập từng dạng thông tin gây khó khăn cho VLMs.
- Phát triển phương pháp tự động phát hiện và sửa lỗi visual hallucination trong VLMs khi đọc biểu đồ dài, kết hợp kiểm chứng chéo giữa nhiều mô hình đánh giá (judge) và công cụ trích xuất cấu trúc biểu đồ.
- Nghiên cứu chiến lược chia trang (pages-per-strip) và độ phân giải tối ưu cho từng họ mô hình VLM, từ đó thiết kế giao thức đầu vào thích ứng giúp tăng hiệu suất trên tài liệu dài mà không cần fine-tune.
2. Patent:
- Ứng dụng phân tích hợp đồng và báo cáo tài chính dài trên điện thoại: người dùng tải PDF hàng chục đến hàng trăm trang, ứng dụng định vị biểu đồ và đoạn văn liên quan ở các trang xa nhau để trả lời câu hỏi về điều khoản, rủi ro, hoặc chỉ số tài chính cụ thể.
- Trợ lý y tế đọc báo cáo bệnh án đa trang: kết hợp kết quả xét nghiệm (bảng), hình ảnh chẩn đoán, và ghi chú bác sĩ phân tán qua nhiều lần khám để trả lời câu hỏi về tiến triển bệnh, liều thuốc, hoặc tương tác thuốc.
- Công cụ kiểm tra tuân thủ (compliance) tài liệu doanh nghiệp: tự động đọc báo cáo dài, phát hiện mâu thuẫn giữa số liệu trong biểu đồ và văn bản mô tả, đồng thời đánh dấu các đoạn cần luật sư hoặc kiểm toán viên xem xét.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.10400 |
| ArXiv Abstract | https://arxiv.org/abs/2607.10400 |
| PDF Download | https://arxiv.org/pdf/2607.10400.pdf |
| Github Repository | https://github.com/ServiceNow/SynthDocBench |
2. Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation (44 votes)
Tác giả: Runhui Huang, Qihui Zhang, Zhe Liu, Yu Gao, Jie Wu, et al.
Xuất bản lúc: 2026-07-13
Tag: Text-to-Image Generation, Multimodal Large Language Models, Reinforcement Learning, Reward Modeling, Self-Rewarding
I. Main Problem:
Tối ưu hóa mô hình tạo ảnh từ văn bản (T2I) bằng Reinforcement Learning đòi hỏi hàm reward chất lượng cao. Các cách tiếp cận hiện có gặp khó khăn:
- Reward từ dữ liệu preference tốn kém thu thập nhãn và phụ thuộc vào dữ liệu huấn luyện.
- Chấm điểm trực tiếp từ MLLM dễ bị nhiễu do hiệu chuẩn người chấm và phân phối điểm số rời rạc.
- Phân rã prompt thành các câu hỏi VQA cải thiện độ tin cậy nhưng làm tăng độ phức tạp pipeline và phụ thuộc chất lượng phân rã. Điều này tạo ra nhu cầu về một reward model training-free, đơn giản và off-the-shelf cho T2I RL.
II. Main Idea:
SpectraReward đo lường mức độ prompt gốc có thể được "đọc lại" từ ảnh sinh ra, bằng cách tính log-likelihood trung bình của prompt khi MLLM được condition trên ảnh. Quy trình:
- Cho ảnh sinh ra, đưa ảnh vào MLLM như visual condition.
- Chạy một teacher-forced forward pass qua các token của prompt gốc.
- Từng token có một likelihood, tạo thành semantic spectrum — phổ mức độ hình ảnh hỗ trợ nghĩa của từng phần prompt.
- Lấy trung bình log-likelihood làm reward thay vì hỏi MLLM chấm điểm.
Self-SpectraReward là biến thể cho Unified Multimodal Models (UMMs): nhánh hiểu ảnh của chính model dùng làm reward model cho nhánh tạo ảnh, tạo vòng lặp tự cải thiện mà không cần model bên ngoài. Vì hai nhánh chia sẻ tokenizer, vision encoder và phân phối pretraining, reward tự nhiên căn chỉnh hơn với policy.
Ví dụ đời thường: giống như người vẽ tranh tự kiểm tra bằng cách nhìn lại bức vẽ và đọc to mô tả gốc; nếu đọc trôi chảy, nghĩa là tranh diễn đạt đúng ý — còn vấp ở đâu thì chỗ đó chưa khớp.
III. Main Results:
- SpectraReward cải thiện BAGEL baseline +10.0 trên TIIF-Bench và +4.3 trên GenEval ở độ phân giải 512.
- Self-SpectraReward cải thiện GenEval +5.5 so với BAGEL, đạt 89.5 trên GenEval và 33.9 trên GenEval2.
- Vượt AlphaGRPO (DVReward) +6.3 trên TIIF-Bench và +2.1 trên GenEval.
- Scale reward model không đơn điệu: Qwen3-VL-30B-A3B tốt hơn 235B-A22B; Self-SpectraReward (BAGEL) vượt cả model ngoài lớn hơn 30x.
- Hoạt động trên nhiều backbone: SD3.5-M, BAGEL, 3 thuật toán RL, 9 MLLM từ 4 đến 235B, và 5 benchmark OOD.
IV. Conclusion & Future Works:
SpectraReward và Self-SpectraReward cho thấy có thể tái sử dụng khả năng image-text alignment sẵn có của MLLM để làm reward model mà không cần nhãn preference hay fine-tuning. Self-reward từ chính model có thể đạt hiệu quả ngang hoặc vượt model ngoài lớn hơn, nhấn mạnh tầm quan trọng của reward-policy alignment. Hướng tương lai: khám phá các chiến lược active exploration để sinh rollouts thông tin hơn, mở rộng cho video generation, và tích hợp semantic spectrum vào các framework self-improvement khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Self-SpectraReward cho video generation: dùng nhánh hiểu video của model tự đánh giá khả năng tuân thủ prompt động trong các đoạn phim ngắn.
- Kết hợp semantic spectrum với reward shaping để nhấn mạnh các token prompt quan trọng như số lượng, mối quan hệ không gian, hoặc thuộc tính vật thể.
- Nghiên cứu cơ chế tự cải thiện trong UMM: hiểu khi nào self-reward vượt trội so với external reward và cách duy trì sự đa dạng trong quá trình RL.
2. Patent:
- Module tự kiểm tra ảnh trong ứng dụng tạo ảnh trên điện thoại: sau khi user nhập prompt, ứng dụng chạy nhanh một lượt forward để đo độ khớp của ảnh với prompt và tự động tạo lại nếu điểm thấp.
- Hệ thống cải thiện ảnh quảng cáo tự động: mô hình tạo ảnh sản phẩm từ mô tả, sau đó dùng chính khối hiểu ảnh để đo mức độ prompt được thể hiện và tinh chỉnh ảnh đầu ra trước khi xuất bản.
- Công cụ hỗ trợ thiết kế nội thất: nhận mô tả phong cách phòng, sinh ảnh, rồi dùng MLLM tính lại khả năng đọc mô tả từ ảnh để đảm bảo từng chi tiết (màu sắc, vật dụng, bố cục) được hiển thị đúng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.11886 |
| ArXiv Abstract | https://arxiv.org/abs/2607.11886 |
| PDF Download | https://arxiv.org/pdf/2607.11886.pdf |
| Github Repository | N/A |
3. Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation (32 votes)
Tác giả: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, et al.
Xuất bản lúc: 2026-07-09
Tag: Text-to-Image Generation, World Knowledge, Retrieval-Augmented Generation, Agentic AI, Diffusion Models, Multimodal Search, DPO
I. Main Problem:
Các mô hình tạo ảnh hiện đại rất giỏi vẽ nhưng tự tin bịa đặt những gì chúng không biết. Nguyên nhân là world-knowledge bottleneck: generator được huấn luyện trên kho dữ liệu cố định, trong khi yêu cầu người dùng là mở, luôn thay đổi và phân bố đuôi dài — nhân vật mới, biểu tượng văn hóa, sự kiện sau ngày cắt dữ liệu, kiến thức lịch sử, v.v. Các benchmark hiện tại không đo được khoảng cách này; khi đánh giá trên SEARCHGEN-BENCH, các generator mở hàng đầu chỉ đạt 21–28/100, sụt khoảng 40 điểm so với hệ thống thương mại có tích hợp tìm kiếm. Generator cũng không có cơ chế để nhận ra “mình không biết” và cần tra cứu.
II. Main Idea:
Thay vì tìm kiếm mù quáng, tác giả đề xuất agentic visual generation được điều phối bởi knowledge boundary — ranh giới giữa kiến thức generator đã internalize được và kiến thức nhất thiết phải lấy từ bên ngoài. Hệ thống gồm hai phần khóa chặt:
- Noise-resistant agentic reasoner thực hiện ba bước gate–filter–integrate: quyết định khi nào cần tìm kiếm, modality nào (image/web), lọc nội dung tra về, và tích hợp thành đặc tả văn bản giàu ngữ cảnh thay vì đưa ảnh thô vào generator.
- Co-training framework: dùng iterative DPO để dạy generator internalize kiến thức nó có thể học, rồi rejection-sampling finetuning để hiệu chỉnh reasoner chỉ tìm kiếm những gì generator chưa thể học.
Ví dụ đời thường: giống như học sinh ôn thi — trước tiên cố gắng thuộc bài trong sách giáo khoa; chỉ khi gặp chủ đề ngoài sách mới tra tài liệu tham khảo, và khi chép bài thì tóm tắt ý chính thay vì dán nguyên xi cả trang vào vở, tránh làm loãng bài làm của mình.
III. Main Results:
- Xây dựng SEARCHGEN-20K (20,839 prompts) trải dài 12 nhóm lỗi và 22 lĩnh vực, song ngữ Anh–Trung, trung bình 5.2 khoảng trống kiến thức mỗi prompt; kèm SEARCHGEN-CORPUS-1M để tái chạy offline.
- Trên SEARCHGEN-BENCH, các generator mở hàng đầu chỉ đạt 21–28/100, trong khi các thành phần knowledge-invariant (chất lượng ảnh, vật lý, bố cục) vẫn cao — chứng tỏ sụp đổ là do thiếu kiến thức, không phải kém vẽ.
- BlindSearch làm giảm chất lượng trên các prompt generator tự xử lý được (Qwen-Image-2 từ 70.7 xuống 60.4), do gây concept corruption và copy effect.
- ReasonedSearch cải thiện nhóm TextualSearch (Qwen-Image-2 từ 22.9 lên 34.1) nhưng vẫn cần học khi nào không nên tìm kiếm.
- Công thức co-training tối thiểu với reasoner 8B tạo ra tiến bộ đơn điệu từ NoSearch → BlindSearch → Generator-AdaptiveSearch, vượt qua cả generator hàng đầu kết hợp VLM hàng đầu.
IV. Conclusion & Future Works:
Co-training framework đặt nền tảng cho vòng tự cải thiện đệ quy trong tạo ảnh: generator mở rộng kiến thức nội tại, reasoner thu hẹp phạm vi tìm kiếm, hai bên cùng tiến hóa theo ranh giới kiến thức. Hướng tương lai: đẩy mạnh huấn luyện đệ quy nhiều vòng, cải thiện chất lượng retrieval và đánh giá độ tin cậy nguồn, mở rộng sang video/3D, và xây dựng cơ chế ước lượng knowledge boundary trực tuyến.
V. Brainstorming Space:
1. Publish Papers:
- Recursive knowledge-boundary co-training: lặp lại vòng lặp DPO + rejection-sampling nhiều lần để generator và reasoner cùng tiến hóa, với thước đo boundary tự động cập nhật sau mỗi vòng.
- Online knowledge boundary estimation: huấn luyện mô hình phân loại nhỏ dự đoán prompt thuộc vùng generator biết hay cần tra cứu, giảm chi phí gọi search API.
- Multimodal retrieval grounding for visual generation: nghiên cứu cách chọn lọc và ghép nhiều ảnh/web tham khảo cho một prompt mà không làm rò rỉ phong cách hoặc bố cục không mong muốn.
- Extension of agentic search to video and 3D generation: áp dụng gate–filter–integrate vào mô hình tạo video và tạo khối 3D, nơi tính nhất quán theo thời gian/không gian càng dễ bị nhiễu tìm kiếm.
2. Patent:
- Ứng dụng tạo ảnh nền điện thoại theo sự kiện thời sự: người dùng nhập “bảng xếp hạng World Cup hôm nay”, ứng dụng tự động tìm kiếm dữ liệu mới nhất và tạo infographic trực quan đúng thực tế, tránh bịa đặt tên đội hoặc điểm số.
- Ứng dụng du lịch di động tạo ảnh minh họa địa danh/văn hóa địa phương: chụp hoặc nhập tên địa điểm, hệ thống tra cứu hình ảnh và mô tả địa phương để tạo tranh lưu niệm hoặc bưu thiếp phong cách đúng văn hóa, cờ, biểu tượng.
- Trợ lý tạo ảnh nhân vật IP trên điện thoại: khi người dùng yêu cầu nhân vật game/phim mới, ứng dụng tìm kiếm tham khảo hình ảnh chính thức, giữ lại đặc điểm nhận diện cốt lõi nhưng tổng hợp bối cảnh mới theo lời nhắc.
- Tính năng chụp ảnh AR thông minh: điện thoại nhận diện vật thể lạ, tự động tra web, rồi vẽ thẻ thông tin hình ảnh đè lên màn hình với dữ kiện chính xác, hữu ích cho bảo tàng, du lịch và mua sắm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.05382 |
| ArXiv Abstract | https://arxiv.org/abs/2607.05382 |
| PDF Download | https://arxiv.org/pdf/2607.05382.pdf |
| Github Repository | https://github.com/HaozheH3/SearchGen |
4. Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models (22 votes)
Tác giả: Matteo Santelmo, Xiuying Wei, Israa Fakih, Felix Bauer, Juan Garcia Giraldo, et al.
Xuất bản lúc: 2026-07-09
Tag: Multimodal Models, Benchmark, Vision-Language Models, Blind Spots, Evaluation
I. Main Problem:
Các mô hình AI hiện đại đạt điểm cao trên nhiều benchmark chuẩn nhưng vẫn thất bại trên những tác vụ con người thấy tầm thường — ví dụ: đếm số lượng chính xác, tạo chuỗi ký tự đúng độ dài, vẽ đồng hồ đúng giờ, hoặc tạo hình con chó 5 chân. Các benchmark hiện tại thiếu khả năng đo lường điểm mù (blind spots) này, khiến nhà phát triển khó phát hiện các điểm yếu cụ thể còn sót lại trong hệ thống.
II. Main Idea:
Blind-Spots-Bench là một benchmark 235 câu hỏi được thu thập từ sinh viên khóa học AI sau đại học, những người được yêu cầu đề xuất các bài toán dễ với người nhưng khiến các mô hình frontier thời điểm tháng 10/2025 thất bại. Mỗi câu hỏi được làm sạch, gán nhãn định dạng câu hỏi (text-only, image-gen, multi-to-text), và phân loại vào taxonomy gồm ba nhóm lớn:
- Object-centric: đếm đối tượng, nhận dạng thuộc tính, suy luận không gian
- Abstract reasoning: lập luận logic, suy luận hình học/đồ thị, số học
- Language and knowledge: thao tác ký tự, kiến thức ngôn ngữ
Pipeline đánh giá tự động sử dụng một model solver trả lời không có chain-of-thought, rồi một model grader (gemini-3-flash) chấm đúng/sai so với lời giải tham chiếu có cấu trúc. Kết quả chấm được kiểm định với người đạt độ chính xác 96.6% trên văn bản và 90.9% trên sinh ảnh.
Ví dụ đời thường: giống như bài kiểm tra môn tư duy mà học sinh lớp một làm được nhưng sinh viên đại học đôi khi lại sai vì quen suy nghĩ theo khuôn mẫu phức tạp — benchmark này cố tình chọn những câu đơn giản nhưng bẫy để lộ chỗ hệ thống thực sự chưa hiểu.
III. Main Results:
- Gemini-3.1-Pro dẫn đầu tổng thể: ≈83.3% trên text-only và ≈66.9% trên multimodal.
- GPT-5.5 rất mạnh trên văn bản (≈84%) nhưng kém chuyển sang câu hỏi trực quan (≈58.7%).
- Mô hình closed-source vượt open-weight khoảng 10% ngay cả khi chúng có điểm benchmark chuẩn tương đương.
- Không có mô hình nào thống trị mọi loại tác vụ: GPT và Gemini bổ sung điểm mạnh; DeepSeek-V4 giỏi thao tác ký tự; Kimi-2.5 giỏi số học; GLM-5.2, Qwen3.5 và DeepSeek-V4 hiệu quả về chi phí hơn các mô hình frontier cùng tầm giá.
- Thị giác tinh vi vẫn là điểm nghẽn chung: đếm đối tượng trong ảnh không vượt quá 60% ở bất kỳ model nào; nhận dạng thuộc tính/mẫu chỉ đạt ~41.7%.
- Công cụ code execution không luôn có lợi: Gemini-3.1-Flash cải thiện đáng kể, nhưng GPT-5.4 và Qwen3.5-397B lại điểm thấp hơn do xử lý sai đầu vào dù sinh code đúng.
- Tăng kích thước mô hình không đảm bảo cải thiện: Qwen3.5-122B thua 35B trên nhiều tác vụ lập luận; Gemma-4 26B thua E2B ở khả năng chống nhiễu ngữ cảnh.
IV. Conclusion & Future Works:
Blind-Spots-Bench cung cấp một stress test chẩn đoán để phát hiện các điểm yếu cụ thể của mô hình đa phương thức, đặc biệt là những kỹ năng đơn giản với người nhưng khó với AI. Kết quả cho thấy benchmark chuẩn có thể che giấu khoảng cách giữa closed-source và open-weight, và rằng mở rộng quy mô hay bật công cụ không phải lúc nào cũng là giải pháp. Hướng tương lai: mở rộng dataset và cân bằng hơn giữa các sub-task, thêm baseline người thực, và tự động hóa việc sinh câu hỏi blind-spot để giảm thiên lệch theo các model frontier cụ thể.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Blind-Spots-Bench sang các lĩnh vực âm thanh, video và embodied AI để đánh giá điểm mù trong môi trường đa phương thức phong phú hơn.
- Phát triển phương pháp tự động sinh câu hỏi blind-spot từ phản hồi sai của model, giúp benchmark luôn cập nhật theo các thế hệ mô hình mới.
- Kết hợp taxonomy của blind-spots với phân tích lỗi bằng interpretability để xác định nguyên nhân gốc rễ của từng điểm mù (ví dụ: tokenization, spatial attention, reasoning chain).
2. Patent:
- Ứng dụng kiểm thử mô hình AI tự động trên điện thoại: trước khi tung ra chatbot, hệ thống chạy Blind-Spots-Bench trên đám mây để phát hiện các điểm yếu cơ bản (đếm, đọc chữ, tuân thủ độ dài) và cảnh báo nhà phát triển.
- Công cụ hỗ trợ học tập trên điện thoại: dùng các câu hỏi blind-spot để tạo bài tập kiểm tra lỗ hổng tư duy cho học sinh, ví dụ nhận diện ảo giác số học hoặc lỗi không gian trong hình ảnh.
- Hệ thống kiểm tra chất lượng hình ảnh AI tạo sinh: tự động gửi các yêu cầu như vẽ đồng hồ 3 giờ 15 hoặc con chó 5 chân, rồi dùng pipeline chấm điểm để đánh giá độ tin cậy của model trước khi đưa vào ứng dụng thiết kế đồ họa.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.08317 |
| ArXiv Abstract | https://arxiv.org/abs/2607.08317 |
| PDF Download | https://arxiv.org/pdf/2607.08317.pdf |
| Github Repository | https://github.com/matteosantelmo/reasoning-blind-spots |
5. Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models (19 votes)
Tác giả: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, et al.
Xuất bản lúc: 2026-07-14
Tag: Coding Agents, Fill-in-the-Middle, Mid-Training, Chain-of-Thought, SWE-Bench, Code LLMs, Tool Use
I. Main Problem:
Các coding agent hiện đại phải liên tục tích hợp kết quả trả về từ công cụ bên ngoài (observation) vào luồng suy luận tiếp theo — cấu trúc action → observation → continuation. Tuy nhiên:
- Pre-training left-to-right thông thường chỉ điều kiện hóa theo một chiều, nên mô hình không được tiếp xúc đủ với dạng suy luận hai chiều này.
- Post-training agentic đơn thuần (ví dụ R2E-Gym, SWE-Smith) tuy nâng SWE-Bench nhưng lại làm xói mòn nghiêm trọng các khả năng khác: LiveCodeBench, BFCL, τ-bench đều sụt điểm hai con số. Nhóm tác giả xác định khoảng trống giữa pre-training và post-training như một cơ hội để thêm một giai đoạn mid-training chuyên biệt.
II. Main Idea:
Nhóm đề xuất Function-Aware Fill-in-the-Middle (FIM) mid-training, dựa trên nhận xét: một bước của coding agent (history → action → observation → continuation) cấu trúc tương đồng với một lời gọi hàm (pre-call context → call → return → downstream usage). Mã nguồn thông thường trên internet chứa vô số ví dụ như vậy ở quy mô lớn.
Quy trình:
- Chọn hàm để che (mask) từ đồ thị phụ thuộc chương trình (PDG) — cạnh gọi hàm và cạnh sibling trong cùng class.
- Áp dụng tiêu chí kép complexity–inferability (ký hiệu Ĥ và Î): hàm phải đủ phức tạp nhưng vẫn suy được từ ngữ cảnh xung quanh.
- Nhúng chain-of-thought (CoT) vào phần middle của FIM: model học cách viết lý giải trước, rồi mới đến code, phản ánh kiểu think-then-act của agent.
- Đặt toàn bộ mục tiêu này ở giai đoạn mid-training riêng biệt, ngay trước post-training agentic.
Ví dụ đời thường: giống như đầu bếp nhìn nguyên liệu và món thành phẩm rồi tự suy ra các bước nấu ở giữa — phải điền đúng phần bị thiếu dựa trên cả phía trước lẫn phía sau.
III. Main Results:
- SWE-Bench-Verified tăng +2.80 (Qwen2.5-Coder-7B), +3.00 (Qwen2.5-Coder-14B), +3.20 (Qwen3-8B).
- SWE-Bench-Lite tăng +3.67 (7B), +4.00 (14B), +5.40 (Qwen3-8B).
- Hiệu quả giữ vững qua hai pipeline post-training khác nhau (R2E-Gym và SWE-Smith) và học mô hình nền khác (Qwen3-8B với SWE-Lego).
- Khôi phục khả năng bị xói mòn so với post-training đơn thuần: LiveCodeBench +11.10, BFCL +2.40, τ-bench +3.90, Terminal-Bench 2.0 +1.25.
- Tỷ lệ hồi phục sau quan sát lỗi (negative observation) tăng từ 24.8% lên 28.8% (+4.0 pp).
- Lợi ích tập trung vào các tác vụ cần suy luận đa hàm trong một file: +9.1 pp trên patch sửa ≥2 hàm, gấp hơn 4 lần so với patch chỉ sửa 1 hàm (+2.1 pp).
IV. Conclusion & Future Works:
Function-aware FIM mid-training chứng minh rằng cấu trúc lời gọi hàm trong mã nguồn thông thường là nguồn tín hiệu self-supervised quy mô internet cho khả năng agent. Giai đoạn này không chỉ nâng các benchmark agent mà còn giảm thiểu xói mòn năng lực ngoài miền, cải thiện đáng kể tỷ lệ lợi ích–chi phí của post-training agentic. Hướng tương lai: mở rộng sang ngôn ngữ không phải Python, thay thế CoT từ Gemini-3-Flash bằng teacher mã nguồn mở tương đương, và kết hợp mid-training với reinforcement learning post-training.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng selection pipeline sang Java, C++, Rust và đánh giá khả năng chuyển giao cấu trúc lời gọi hàm đa ngôn ngữ cho coding agent.
- Thay thế CoT distillation từ Gemini-3-Flash bằng quy trình self-CoT hoặc học sinh mở để xây dựng pipeline hoàn toàn mã nguồn mở mà vẫn giữ hiệu quả.
- Kết hợp FIM mid-training với RL post-training (PPO/GRPO) để xem prior về cấu trúc lời gọi hàm có tăng tốc và ổn định học reinforcement cho agent không.
2. Patent:
- Module tự động huấn luyện giữa kỳ cho IDE lập trình: IDE phân tích đồ thị phụ thuộc của repository, chọn hàm phù hợp để che và sinh CoT, rồi fine-tune model cục bộ để gợi ý sửa lỗi đa bước tốt hơn mà không cần dữ liệu agent tốn kém.
- Trợ lý code trên điện thoại tự thích ứng với API lạ: ứng dụng nhận diện các hàm gọi API trong project, dùng FIM-aware mid-training để model học cách điền đúng đoạn xử lý kết quả API trả về, giúp lập trình viên viết flow action→observation→continuation trên thiết bị di động.
- Hệ thống kiểm thử và sửa lỗi tự động cho codebase Python: dùng đồ thị phụ thuộc để tìm các hàm có xác suất lỗi cao, che body hàm và yêu cầu model sinh lại kèm lý giải, từ đó tạo patch sửa lỗi cho các trường hợp test thất bại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.12463 |
| ArXiv Abstract | https://arxiv.org/abs/2607.12463 |
| PDF Download | https://arxiv.org/pdf/2607.12463.pdf |
| Github Repository | https://github.com/TIGER-AI-Lab/FIM-Midtraining |