🤗 Daily Hugging Face Paper Digest - 2026-07-21

Báo cáo được tạo tự động vào lúc 2026-07-22 10:33:56 bằng mô hình hermes-agent.

📰 Summary of Papers

1. TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs (143 votes)

Tác giả: Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, et al.

Xuất bản lúc: 2026-07-19

Tag: Video Temporal Grounding, Multimodal LLMs, Vision-Language Models, Reinforcement Learning, Wasserstein Distance, GRPO

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) cho video mô tả được sự kiện gì xảy ra nhưng thường không xác định được khi nào bằng chứng xuất hiện trong video. Các phương pháp huấn luyện hiện tại không khớp với bản chất tập hợp của bài toán temporal grounding:

Gán nhãn video dài thường dựa vào một lượt duyệt toàn cục dễ sai, khiến nhầm lẫn sự kiện lặp lại, bỏ sót bằng chứng lặp hoặc ranh giới không chính xác.
Phần thưởng reinforcement learning như tIoU gán 0 cho mọi dự đoán không giao, không phân biệt được gần đúng với sai hoàn toàn; các phương pháp matching lại mong manh trước phân đoạn không đều và số lượng khoảng khác nhau.

II. Main Idea:

TimeLens2 xử lý bằng chứng thời gian như một tập hợp khoảng interval (interval set) trong cả giám sát và tối ưu. Quy trình gồm hai phần chính:

TimeLens2-93K: đường ống xây dựng dữ liệu gồm 5 giai đoạn để tạo nhãn đa khoảng đáng tin cậy:
- Caption phân cấp có timestamp đề xuất truy vấn và khoảng thô
- Hai agent định vị độc lập từ chính video để xác minh
- Consensus thời gian giữ lại khoảng hai agent đồng ý
- Kiểm chứng ngữ nghĩa loại bỏ bằng chứng không liên quan đến truy vấn
- Tinh chỉnh ranh giới cục bộ chỉ trên các cửa sổ ±3 giây đã xác minh
Temporal Wasserstein reward: thay vì matching từng cặp, phương pháp gộp các khoảng dự đoán và mục tiêu thành một phân phối đều trên trục thời gian, rồi tính khoảng cách Wasserstein-1 chiều (W1) chính xác. Phần thưởng này cung cấp tín hiệu gradient dày đặc, không cần matching, bất biến với cách chia đoạn tương đương, và xử lý được số lượng khoảng khác nhau. tIoU được dùng bổ sung để đo độ giao chính xác.

Ví dụ đời thường: giống như khi tìm đoạn trong một cuốn nhật ký dài, ta không đọc hết một lượt rồi đánh dấu, mà lập mục lục (caption), nhờ hai người độc lập xác minh lại các đoạn, rồi dùng thước đo khoảng cách vận chuyển để sửa vị trí đánh dấu cho khớp nhất.

III. Main Results:

TimeLens2-2B/4B/8B đạt mIoU trung bình 44.5 / 47.7 / 48.0, vượt mọi baseline cùng cỡ trên 7 benchmark.
Các biến thể 2B, 4B, 8B cải thiện hơn backbone Qwen3-VL tương ứng 14.2, 13.0, 18.1 điểm mIoU.
TimeLens2-4B vượt cả Qwen3.5-397B-A17B trên 6/7 benchmark, hơn trung bình 7.5 điểm mIoU.
Temporal Wasserstein reward khôi phục tín hiệu cho 75.8% các nhóm GRPO có tIoU bằng 0.
Dữ liệu chỉ chứa truy vấn khai báo (declarative) vẫn nâng MomentSeeker dạng câu hỏi từ 15.3 lên 25.8 mIoU, chứng tỏ mô hình học khả năng tìm bằng chứng thay vì bắt chước mẫu câu.

IV. Conclusion & Future Works:

TimeLens2 cho thấy cần xử lý bằng chứng thời gian như một tập hợp khoảng trong cả xây dựng dữ liệu và tối ưu, thay vì làm nhãn toàn cục hoặc dự đoán đơn lẻ. Cách tiếp cận kết hợp giám sát có thể xác minh với phần thưởng có nhận thức hình học giúp mô hình nhỏ vượt các hệ thống lớn hơn nhiều lần. Hướng tương lai: mở rộng đường ống dữ liệu sang các lĩnh vực grounding khác (ví dụ: địa điểm không gian trong video), và tích hợp phản hồi của người dùng trực tiếp để làm mịn nhãn đa khoảng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng temporal Wasserstein reward cho các tác vụ grounding tập hợp khác như video moment detection và highlight detection, khẳng định tính tổng quát của hình học Wasserstein trên chuỗi thời gian.
Kết hợp TimeLens2-93K với active learning để tự động chọn các video và truy vấn có lợi nhất cho việc gán nhãn đa khoảng, giảm chi phí kiểm chứng chéo agent.
Nghiên cứu khả năng từ chối (refusal) trong grounding: mô hình học cách trả về tập rỗng khi truy vấn không có bằng chứng trong video, cân bằng giữa độ chính xác và độ tin cậy.

2. Patent:

Hệ thống tìm kiếm bằng chứng trong video trên điện thoại: người dùng nhập mô tả hoặc câu hỏi, ứng dụng trả về các đoạn timestamp chính xác trong video dài (buổi học, cuộc họp, vlog) mà không cần tải video lên máy chủ nếu mô hình nhỏ chạy cục bộ.
Trợ lý gia đình thông minh từ camera an ninh: người dùng hỏi "khi nào chú mèo vào nhà?", mô hình định vị đa khoảng tất cả lần xuất hiện và ghép chúng thành danh sách phát tóm tắt.
Công cụ kiểm chứng nội dung video cho nhà báo: nhập tuyên bố cần xác minh, hệ thống tự động tìm các đoạn video gốc chứa bằng chứng hỗ trợ hoặc bác bỏ, kèm timestamp để dẫn nguồn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.17423
ArXiv Abstract	https://arxiv.org/abs/2607.17423
PDF Download	https://arxiv.org/pdf/2607.17423.pdf
Github Repository	https://github.com/MCG-NJU/TimeLens2

2. EvolvingWorld: An Open-Schema Framework for Co-Evolving Role-Play Agents and World Model in Interactive Literary World (74 votes)

Tác giả: Qing Zong, Yue Guo, Mengxin Yang, Yiwen Guo, Yangqiu Song

Xuất bản lúc: 2026-07-19

Tag: Role-Play Agents, World Model, LLM-as-Judge, Open-Schema, Long-Horizon Simulation, Interactive Literary Worlds, Multi-Agent Systems, Character Evolution, LLMs

I. Main Problem:

Các hệ thống role-play và mô phỏng văn học hiện tại chỉ bắt chước persona tĩnh hoặc sinh từng cảnh đơn lẻ, không nắm bắt được cách nhân vật và thế giới cùng tiến hóa trong thời gian dài. Cụ thể:

Agent nhân vật thường dùng hồ sơ cố định hoặc ngữ cảnh hội thoại ngắn, không tự cập nhật sâu.
Môi trường multi-agent dựa trên sandbox thủ công, khó mở rộng sang các thế giới văn học đa dạng.
Các hệ thống dựa trên sách chỉ mô phỏng một cảnh hoặc cập nhật một vài trường có sẵn, bỏ qua sự thay đổi toàn cục, địa điểm, vật thể và mối quan hệ.

Hệ quả là trạng thái nhân vật và thế giới nhanh chóng mất liên tục khi câu chuyện kéo dài.

II. Main Idea:

EvolvingWorld định khung open-schema co-evolution: mô phỏng văn học là quá trình dài hơi trong đó nhân vật tương tác, cảnh tiến triển, và trạng thái cả nhân vật lẫn thế giới được cập nhật liên tục. Kiến trúc gồm hai module liên kết:

Character Agent: nhập vai đa nhân vật với hồ sơ open-schema, có thể tự tiến hóa; dùng hidden tracker để lưu tín hiệu yếu hoặc mới nổi trước khi chúng đủ bằng chứng để cập nhật hồ sơ, giúp các chiều thay đổi với tốc độ khác nhau (cảm xúc nhanh, tính cách cần tích lũy).
World Model dựa trên LLM: duy trì trạng thái thế giới toàn cục (bối cảnh, trật tự xã hội) và trạng thái địa điểm / vật thể chi tiết, đồng thời điều phối cảnh và tiến triển câu chuyện.

Toàn bộ được tách thành 7 nhiệm vụ huấn luyện có giám sát: chọn diễn viên, chọn địa điểm + kịch bản, cập nhật động lực, chọn nhân vật tiếp theo, sinh tương tác, cập nhật thế giới, cập nhật nhân vật.

Ví dụ đời thường: giống như một vở kịch không có kịch bản cứng: diễn viên vừa đóng vai vừa thay đổi tính cách theo từng trận đấu, còn đạo diễn liên tục sửa bối cảnh sân khấu, đạo cụ và ánh sáng để phù hợp với những gì vừa xảy ra.

III. Main Results:

Huấn luyện trên dữ liệu EvolvingWorld giúp cả Character Agent và World Model vượt trội so với các baseline chỉ học role-play như CoSER và Crab trên cùng backbone.
Trên World Model, Qwen-32B (EW-ours) đạt Avg. 59.87, vượt cả Claude-4.6-Sonnet và Gemini-2.5-Flash, cho thấy việc theo dõi trạng thái có cấu trúc là kỹ năng ít được pretraining bao phủ.
So với BookWorld, EvolvingWorld cải thiện đáng kể các chỉ số tiến hóa dài hạn như Profile Update Fidelity (PUF), Profile Evolution Smoothness (PES) và Motivation Quality (MQ), đồng thời Scene Continuity & Coherence (SCC) không bị sụt giảm khi số cảnh tăng.
Tập dữ liệu xây dựng từ 57 cuốn sách, tạo 138.596 mẫu huấn luyện và 222 snapshot kiểm tra, cùng giao thức đánh giá LLM-as-Judge với 10 chiều / 20 chỉ số.

IV. Conclusion & Future Works:

EvolvingWorld cho thấy việc mô hình hóa đồng tiến hóa nhân vật và thế giới với trạng thái open-schema rõ ràng giúp giảm sụt giảm hiệu suất dài hạn và nâng cao tính liên tục của mô phỏng văn học. Hướng tương lai:

Mô hình hóa thế giới chủ quan cho từng nhân vật (nhận thức và trí nhớ sai lệch khác nhau) thay vì một trạng thái chung duy nhất.
Tích hợp đầu vào đa phương thức (hình ảnh, bản đồ) để mô tả thế giới chi tiết hơn trong giới hạn context.
Mở rộng sang tiểu thuyết hiện đại, game, thế giới do người dùng tạo để kiểm chứng khả năng thích ứng open-schema.

V. Brainstorming Space:

1. Publish Papers:

Mô hình thế giới chủ quan cho từng nhân vật: mỗi agent duy trì một bản đồ nhận thức riêng với trí nhớ sai lệch và thiên lệch, từ đó tạo ra hành vi đa dạng và tranh cãi trong mô phỏng văn học.
Kết hợp đầu vào đa phương thức (ảnh, sơ đồ không gian) với World Model dựa trên LLM để mô tả địa điểm và vật thể chi tiết hơn cho mô phỏng dài hơi.
Điều khiển tiến triển câu chuyện: nghiên cứu cách can thiệp vào Character Agent và World Model để đạt được các kết cục hoặc chủ đề mong muốn trong thế giới văn học tương tác.
Mở rộng đánh giá chuỗi thời gian (trajectory-level) sang các lĩnh vực ngoài văn học, như mô phỏng xã hội, game nhập vai mở, và huấn luyện agent đa tác nhân.

2. Patent:

Ứng dụng tiểu thuyết tương tác trên điện thoại: người dùng chọn một cuốn sách, hệ thống dùng EvolvingWorld để nhập vai đa nhân vật, tự động cập nhật tính cách nhân vật và bối cảnh thế giới sau mỗi cuộc hội thoại, cho phép câu chuyện rẽ nhánh theo hành vi người chơi.
Game AR trên điện thoại với thế giới văn học liên tục tiến hóa: camera điện thoại xác định địa điểm thật, World Model duy trì trạng thái địa điểm ảo và vật thể; nhân vật AI thay đổi quan hệ, động lực theo thời gian dựa trên tương tác của người dùng.
Trợ lý sáng tác trên điện thoại cho nhà văn: cung cấp snapshot thế giới và nhân vật, hệ thống mô phỏng trước nhiều nhánh cốt truyện, đánh giá tính liên tục và tiến hóa nhân vật để tác giả chọn hướng phù hợp.
Hệ thống chatbot nhân vật cá nhân hóa trên di động: mỗi nhân vật có hồ sơ open-schema tự cập nhật qua các lần trò chuyện, lưu tracker ẩn để tránh thay đổi tính cách quá nhanh, tạo cảm giác quen thuộc và nhất quán trong dài hạn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.17250
ArXiv Abstract	https://arxiv.org/abs/2607.17250
PDF Download	https://arxiv.org/pdf/2607.17250.pdf
Github Repository	https://github.com/HKUST-KnowComp/EvolvingWorld

3. DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment (74 votes)

Tác giả: Xinyu Geng, Xuanhua He, Sixiang Chen, Yanjing Xiao, Fan Zhang, et al.

Xuất bản lúc: 2026-07-08

Tag: Self-Distillation, Web Agents, Tool-Use Agents, Long-Horizon Agents, ReAct, Multi-hop QA, Self-Evolving Agents, Process Verification

I. Main Problem:

Huấn luyện tác nhân dùng công cụ để tự cải thiện từ trải nghiệm của chính mình gặp ba rào cản chính:

Supervised Fine-Tuning (SFT) dễ bão hòa vì chỉ bắt chước các quỹ đạo cố định từ mô hình giáo viên, bị giới hạn bởi năng lực sẵn có của backbone.
Reinforcement Learning (RL) phụ thuộc phần thưởng thưa ở cuối chuỗi hành động dài, không chỉ rõ lỗi nằm ở khâu viết truy vấn, chọn công cụ, trích xuất bằng chứng hay tổng hợp câu trả lời.
On-Policy Self-Distillation (OPSD) thiếu ổn định vì phân phối giáo viên từng bước có thể nhiễu trong môi trường công cụ không xác định.

Kết quả là các tác nhân tìm kiếm sâu khó tự tiến hóa qua nhiều bước.

II. Main Idea:

Tác giả xây dựng DeepSearch-World, một môi trường công cụ ngoại tuyến xác định và có thể kiểm chứng dựa trên Wikipedia, rồi đề xuất DeepSearch-Evolve — vòng lặp tự chưng cất qua các quỹ đạo đã kiểm chứng. Quy trình:

Môi trường kiểm chứng: 420K câu hỏi đa bước (multi-hop) xây dựng từ các bước đi ngẫu nhiên trên đồ thị thực thể Wikipedia, với hai công cụ: search (tìm kiếm BM25) và visit (đọc toàn bộ trang). Mỗi lần gọi công cụ đều có thể đối chiếu với tập thực thể mục tiêu để xác nhận tiến trình.
Scaffold teacher agent: mỗi rollout chia thành 3 pha — Plan (lập kế hoạch và bộ nhớ làm việc), Act (chọn công cụ, cập nhật trạng thái, nhận phản hồi từ môi trường khi thất bại), End (đưa ra câu trả lời dựa trên bằng chứng đã xác minh).
Lọc và chuyển đổi: giữ các quỹ đạo trả lời đúng, lọc chất lượng bằng một mô hình ngôn ngữ, rồi chuyển scaffold thành dạng ReAct chuẩn — gộp kế hoạch, phản chiếu và hành động vào khối suy nghĩ.
Evolving SFT: huấn luyện sinh viên trên quỹ đạo đã kiểm chứng, rồi dùng sinh viên làm giáo viên cho vòng tiếp theo, kết hợp lấy mẫu theo độ quan trọng để ưu tiên dữ liệu mới và tránh quên kiến thức cũ.

Ví dụ đời thường: giống như học lái xe trong buồng lái mô phỏng — mỗi lần đánh lái, phanh hay ga đều được hệ thống chấm điểm ngay và chỉ rõ sai ở đâu, tài xế tự sửa động tác mà không cần giáo viên ngồi cạnh; sau nhiều vòng lặp, kỹ năng dần lên cấp.

III. Main Results:

DeepSearch-World-9B (từ Qwen3.5-9B) đạt hiệu suất cạnh tranh mà không cần chưng cất từ mô hình mạnh hơn: 31.2% trên BrowseComp, 61.5% trên GAIA, 93.4% trên HotpotQA.
So với backbone Qwen3.5-9B-Instruct, cải thiện toàn diện: +23.8 điểm BrowseComp, +22.9 BrowseComp-ZH, +9.0 HLE, +37.6 GAIA, +29.0 xbench, +48.1 HotpotQA.
Phân tích hành vi công cụ: số bước tương tác trung bình tăng từ 4.7 lên 18.0, lượt tìm kiếm từ 3.8 lên 12.6, lượt đọc trang từ 0.9 lên 5.4, cho thấy khả năng duy trì tương tác dài hơn và tra cứu bằng chứng tích cực hơn.
Điểm năng lực nâng cao trên tập kiểm định nội bộ tăng từ 19% (backbone) lên 70% về lập kế hoạch, bộ nhớ, lập luận, tự sửa lỗi và thu thập bằng chứng.
Ablation: lọc theo đáp án đúng mang lại lợi ích chính; kết hợp với lọc chất lượng quỹ đạo đạt 58.2% trên SearchQA. Việc viết lại phản chiếu và đưa trạng thái tiến trình vào suy nghĩ của sinh viên đều cần thiết — bỏ viết lại phản chiếu khiến hiệu suất sụt mạnh.

IV. Conclusion & Future Works:

DeepSearch-World chứng minh rằng một môi trường công cụ xác định và kiểm chứng được có thể thay thế một phần giám sát từ mô hình giáo viên mạnh, cho phép tác nhân tìm kiếm sâu tự tiến hóa qua nhiều vòng lặp. Hướng tương lai: mở rộng môi trường ra ngoài Wikipedia sang các nguồn tri thức đa dạng hơn, và kết hợp các cập nhật kiểu tăng cường hoặc tự chưng cất trực tiếp trên chính sách để tăng tính linh hoạt và khái quát hóa, đồng thời nghiên cứu cách nhúng các kỹ năng cấp cao (lập kế hoạch, phục hồi lỗi, chiến lược dùng công cụ) trực tiếp vào huấn luyện tăng cường.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng môi trường kiểm chứng từ Wikipedia sang web động và giao diện lập trình ứng dụng thực, đồng thời thiết kế tín hiệu xác minh quy trình cho các công cụ đa dạng như gọi dịch vụ, truy vấn cơ sở dữ liệu và duyệt trang.
Kết hợp DeepSearch-Evolve với học tăng cường nhóm trong môi trường có thể kiểm chứng, sử dụng phản hồi quy trình dày đặc để cấp phần thưởng từng bước thay vì chỉ phần thưởng cuối chuỗi.
Nghiên cứu cách chuyển giao kỹ năng tự sửa lỗi và quản lý bộ nhớ từ tác nhân đã huấn luyện trong môi trường ngoại tuyến sang tác nhân hoạt động trên web thực với công cụ tìm kiếm và trình duyệt trực tuyến.

2. Patent:

Trợ lý tìm kiếm sâu ngoại tuyến trên điện thoại: một sandbox xác định lưu trữ bách khoa toàn thư cục bộ, cho phép AI thực hiện nhiều bước tra cứu và kiểm chứng mà không cần kết nối mạng, đảm bảo quyền riêng tư và tái lập kết quả.
Hệ thống tự huấn luyện chatbot doanh nghiệp: môi trường nội bộ mô phỏng công cụ tìm kiếm tài liệu công ty và trang wiki, tự động tạo quỹ đạo đã xác minh để nâng cấp mô hình hỗ trợ khách hàng qua các vòng lặp không cần dữ liệu nhãn từ chuyên gia.
Module tự kiểm tra và sửa lỗi cho trợ lý AI trên thiết bị di động: khi câu trả lời đa bước bị nghi ngờ, AI tự động lập kế hoạch lại, thử các truy vấn thay thế, đối chiếu với kho kiến thức ngoại tuyến và đưa ra câu trả lời kèm bằng chứng đã xác minh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.07820
ArXiv Abstract	https://arxiv.org/abs/2607.07820
PDF Download	https://arxiv.org/pdf/2607.07820.pdf
Github Repository	https://github.com/ornamentt/DeepSearch-World

4. SWE-Pruner Pro: The Coder LLM Already Knows What to Prune (65 votes)

Tác giả: Yuhang Wang, Yuling Shi, Shaoqiu Zhang, Jialiang Liang, Shilin He, et al.

Xuất bản lúc: 2026-07-20

Tag: LLMs, Code Agents, Context Compression, Pruning, Mixture-of-Experts, Software Engineering

I. Main Problem:

Các coding agent trong thực tế tiêu tốn phần lớn token cho tool outputs (cat, grep, ls, python...) dài và chứa nhiều thông tin dư thừa, thậm chí không bao giờ được tham chiếu lại. Ngữ cảnh dài kéo dài làm tăng chi phí và giảm chất lượng theo thời gian. Các phương pháp cũ gặp hai hạn chế:

Prompt compression chung (perplexity, cú pháp...) dùng metric cố định, không theo kịp ý định thay đổi của agent.
Task-specific pruner như SWE-Pruner cần mô hình chấm điểm riêng và goal-hint query agent phải viết mỗi turn, tốn thêm lời gọi mô hình và làm phức tạp pipeline.

II. Main Idea:

SWE-Pruner Pro dựa trên quan sát: chính backbone của agent đã tạo ra các representation cho biết dòng nào quan trọng khi đọc tool output. Thay vì dùng mô hình ngoài để đánh giá, phương pháp đọc tín hiệu keep/prune trực tiếp từ hidden states tầng cuối trong lúc prefill.

Quy trình:

Khi agent đọc raw tool response, backbone chạy prefill như thường; SWE-Pruner Pro tái sử dụng hidden states này qua một lightweight head nhỏ.
Head dự đoán keep-or-prune theo từng dòng, sau đó thay response đã cắt bớt vào lịch sử turn tiếp theo.
Hai thành phần then chốt:
- Length-aware embedding: head nhận biết response dài/ngắn để ứng xử khác nhau (cắt nhầm 1 dòng trong output 5 dòng là thảm họa, nhưng trong 300 dòng thì không đáng kể).
- Per-sample balanced focal loss: cân bằng lại keep/prune trong từng sample, giúp các mẫu cực đoan (rất ít dòng giữ hoặc rất ít dòng bỏ) vẫn đóng góp tín hiệu mạnh.

Backbone được đóng băng hoàn toàn, không cần fine-tune lại agent.

Ví dụ đời thường: giống như người đọc báo cáo dài đã tự biết đoạn nào liên quan đến công việc mình đang làm; thay vì thuê thêm người tóm tắt, ta chỉ cần hỏi chính người đọc đó đánh dấu những dòng cần giữ.

III. Main Results:

Tiết kiệm token nhất quán: trên SWE-QA, SWE-QA-Pro và Oolong, SWE-Pruner Pro giảm token trong mọi cấu hình, lên tới 39% trên SWE-QA-Pro (Qwen3-Coder-Next) và 30% trên Oolong (MiMo-V2-Flash), trong khi các baseline khác thường làm tăng token hoặc sụt chất lượng.
Giữ/gia tăng chất lượng: Qwen3-Coder-Next đạt +0.02 (SWE-QA), +0.24 (SWE-QA-Pro), chỉ -1.4 điểm Oolong. MiMo-V2-Flash tăng +2.2 điểm Oolong accuracy.
SWE-Bench Verified: MiMo-V2-Flash cải thiện +3.8% resolve rate với overhead token chỉ bằng khoảng một nửa so với SWE-Pruner. Qwen3-Coder-Next giảm ít solve nhất (-1.2 điểm) đồng thời giảm input token nhiều nhất (-13.5%).
Chi phí inference thấp: head chạy trong inference engine, tận dụng prefill sẵn có, chỉ thêm 15.0% wall time tổng so với generation time.

IV. Conclusion & Future Works:

SWE-Pruner Pro chỉ ra một nguyên tắc chung: backbone đã hình thành tín hiệu về mức độ liên quan của quan sát ngay khi đọc nó, nên không cần mô hình chấm điểm riêng hay goal-hint query. Việc đọc tín hiệu nội bộ này vừa tiết kiệm token, vừa giữ chất lượng, vừa có overhead nhỏ. Hướng tương lai: mở rộng sang các ngôn ngữ lập trình khác ngoài Python, thử nghiệm trên các backbone khác, và tối ưu further hidden-state quantization để giảm thêm độ trễ.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng tư tưởng 'internal representation as pruning signal' cho các loại agent khác ngoài coding, ví dụ web-browsing agent hoặc database-agent, để cắt bớt observation dài mà không cần reward model ngoài.
Kết hợp pruning dựa trên hidden states với reinforcement learning để head học cách cắt sao cho tối đa hóa end-to-end task success thay vì chỉ bắt chước nhãn tĩnh.
Nghiên cứu khả năng trích xuất tín hiệu tầm quan trọng từ các tầng trung gian hoặc attention weights thay vì chỉ tầng cuối, để tìm kiếm trade-off giữa độ chính xác và chi phí tính toán.

2. Patent:

Trợ lý lập trình trên điện thoại: ứng dụng coding agent chạy local/cloud tự động cắt bớt output của terminal, log, và file log dài, chỉ giữ lại đoạn code/dòng lỗi liên quan đến bug đang sửa, giảm dữ liệu di động và tăng tốc độ phản hồi.
Hệ thống CI/CD tích hợp LLM: agent tự đọc kết quả build/test dài hàng trăm dòng, dùng internal representation để rút gọn thành báo cáo lỗi gọn gàng cho developer, giảm token gửi lên LLM và tiết kiệm chi phí API.
Plugin IDE thông minh: khi lập trình viên gọi lệnh tìm kiếm hoặc đọc file lớn trong IDE, plugin dùng chính mô hình code assistant để ẩn các dòng không liên quan, chỉ hiển thị snippet cần thiết ngay trong editor hoặc chat panel.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.18213
ArXiv Abstract	https://arxiv.org/abs/2607.18213
PDF Download	https://arxiv.org/pdf/2607.18213.pdf
Github Repository	https://github.com/Ayanami1314/swe-pruner-pro

5. HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement (46 votes)

Tác giả: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, et al.

Xuất bản lúc: 2026-07-20

Tag: Video Generation, Diffusion Transformers, Multimodal Large Language Models, Subject-driven Personalization, Human-Object Interaction

I. Main Problem:

Cá nhân hóa video lấy con người và vật thể làm trung tâm (HOCVP) gặp hai hạn chế chính:

Cá nhân hóa liên chủ thể (inter-subject): khi số chủ thể tăng, các phương pháp hiện tại khó cân bằng giữa độ trung thực chủ thể và tương tác chính xác, dễ tạo hiện tượng "dán ảnh" cứng nhắc; đặc biệt thất bại với khái niệm trừu tượng như logo cần suy luận vị trí đặt trong video.
Cá nhân hóa trong chủ thể (intra-subject): thiếu cơ chế hiểu mối liên hệ tiềm ẩn giữa nhiều ảnh tham khảo của cùng một đối tượng (ví dụ: bản đồ OCR hay đa góc nhìn), dẫn đến tạo ra các thực thể trùng lặp hoặc không tận dụng được thông tin bổ trợ.

II. Main Idea:

HOMIE giữ nguyên bộ mã hóa văn bản UmT5 để duy trì khả năng điều khiển câu lệnh, đồng thời đưa đặc trưng từ Multimodal Large Language Model (MLLM) vào dòng đầu vào đa phương thức thống nhất (video + ảnh tham khảo + đặc trưng MLLM). Hai cơ chế chính:

Global Multimodal Guidance (GMG): trong tầng self-attention, HOMIE rút ra biểu diễn toàn cục từ đặc trưng MLLM, rồi điều chỉnh query/key của token video bằng phép biến đổi affine nhẹ, giúp token video nhận được ngữ nghĩa và thông tin tương tác mà không làm xáo trộn self-attention gốc.
Modality-Reference Embedding (MRE): gắn embedding học được để phân biệt token từ video / ảnh tham khảo / đặc trưng MLLM, đồng thời gán cùng một embedding tham chiếu cho các ảnh cùng chủ thể (intra-subject) và embedding khác nhau cho các chủ thể khác (inter-subject).

Ví dụ đời thường: giống như đạo diễn phim giữ nguyên biên kịch để đảm bảo lời thoại đúng, nhưng thêm một chuyên gia hình ảnh xem toàn bộ ảnh tham khảo, ngầm suy luận mối quan hệ giữa người/vật/logo, rồi gợi ý vị trí và tương tác cho diễn viên; đồng thời dán nhãn "cùng một nhân vật" lên các ảnh chụp nhiều góc của một đối tượng để không bị nhầm thành vai phụ.

III. Main Results:

HOMIE đạt kết quả state-of-the-art trên nhiều chỉ số HOCVP so với các phương pháp mã nguồn mở dựa trên Wan-14B.
OCR accuracy tăng 21.8% so với SkyReels-V3, cho thấy khả năng tận dụng bản đồ OCR rất hiệu quả.
Trên cá nhân hóa đa góc nhìn (intra-subject), HOMIE vượt các baseline về DINO rec và DINO acc, duy trì độ trung thực và đa dạng góc nhìn.
Nghiên cứu người dùng với 40 người tham gia cho thấy HOMIE được chọn nhiều nhất về chất lượng tổng thể (64.7%), tuân thủ văn bản (57.9%) và nhất quán chủ thể (66.1%).
Ablation cho thấy: thiếu GMG làm giảm khả năng suy luận logo; thiếu MRE khiến ảnh OCR và đa góc bị hiểu nhầm thành chủ thể riêng biệt.

IV. Conclusion & Future Works:

HOMIE chứng minh rằng cách tích hợp MLLM đúng đắn — giữ bộ mã hóa văn bản và dùng MLLM để suy luận mối quan hệ giữa các tham khảo — vượt trội hơn việc thay thế hoàn toàn text encoder hoặc ép đặc trưng MLLM vào không gian UmT5. Hướng tương lai: mở rộng cho nhiều chủ thể hơn, tích hợp thêm loại tham khảo trong chủ thể (pose, depth, 3D), và tinh chỉnh chiến lược đào tạo đa giai đoạn để giảm chi phí GPU-hours.

V. Brainstorming Space:

1. Publish Papers:

Tích hợp MLLM với các điều kiện bổ trợ khác như pose, depth map và 3D Gaussian Splatting để cải thiện cá nhân hóa trong chủ thể mà không cần giám sát 3D đắt đỏ.
Mở rộng HOMIE cho tác vụ cá nhân hóa video dài (long-form) với nhiều cảnh và chuyển cảnh, đảm bảo nhất quán chủ thể xuyên suốt thời gian.
Nghiên cứu cách dùng MLLM để tự động sinh prompt cấu trúc và gán nhãn quan hệ giữa người-vật, giảm phụ thuộc vào prompt thủ công trong HOCVP.

2. Patent:

Ứng dụng quảng cáo sản phẩm trên điện thoại: người dùng chụp ảnh sản phẩm (logo, bao bì, mặt hàng) và nhập mô tả ngắn; ứng dụng tự tạo video người mẫu giới thiệu sản phẩm, giữ đúng logo và tương tác tự nhiên như cầm, xoay, đưa lên gần camera.
Hệ thống tạo video đa góc nhìn cho thương mại điện tử: người bán tải lên vài ảnh sản phẩm chụp từ nhiều góc, hệ thống tạo video mẫu xoay sản phẩm 360 độ hoặc video người dùng cầm sản phẩm mà không cần quay studio.
Công cụ marketing cá nhân hóa: doanh nghiệp nhập ảnh đại diện thương hiệu (logo, mascot, người đại diện) và mô tả kịch bản; hệ thống tự sinh video quảng cáo ngắn với các nhân vật và logo tương tác đúng ngữ cảnh, phù hợp cho quảng cáo mạng xã hội trên di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.18217
ArXiv Abstract	https://arxiv.org/abs/2607.18217
PDF Download	https://arxiv.org/pdf/2607.18217.pdf
Github Repository	https://github.com/YIYANGCAI/HOMIE

6. RynnBrain 1.1: Towards More Capable and Generalizable Embodied Foundation Model (41 votes)

Tác giả: Kehan Li, Bohan Hou, Minghao Zhu, Tianyi Zhang, Zesen Cheng, et al.

Xuất bản lúc: 2026-07-20

Tag: Vision-Language-Action, Robotics, Embodied AI, 3D Grounding, Cross-Embodiment Learning, Foundation Models

I. Main Problem:

Trí thông minh nhúng thân đòi hỏi mô hình vượt xa nhận diện hình ảnh và hiểu ngôn ngữ: robot phải hiểu cấu trúc 3D, lập luận không gian, xác định vùng tương tác và chuyển hiểu biết thành hành động thực thi. Các mô hình ngôn ngữ đa phương thức (MLLM) tuy mạnh trong trả lời câu hỏi hình ảnh/video, nhưng thiếu liên kết với thế giới vật lý. RynnBrain 1.0 đã chứng minh khả thi nhưng chưa làm rõ hai vấn đề cốt lõi:

Làm sao đưa biểu diễn và đầu ra của mô hình gần hơn với thao tác robot?
Làm sao dùng RynnBrain làm điểm khởi tạo hiệu quả cho huấn luyện VLA downstream?

II. Main Idea:

RynnBrain 1.1 nâng cấp từ 1.0 theo hướng gần gũi hơn với thao tác robot thông qua hai nhiệm vụ mới trong giai đoạn pretrain:

Contact point prediction: dự đoán điểm tiếp xúc trung tâm và góc xoay trong mặt phẳng của gripper, thay vì hình chữ nhật nắm 4 góc như trước.
Native 3D grounding: dự đoán trực tiếp 3D bounding box trong hệ tọa độ camera (vị trí, kích thước, góc quay theo mét/radian), áp dụng cho mô hình 2B và 9B.

Để triển khai trên robot thật, nhóm xây dựng RynnBrain-VLA: một chính sách VLA dùng không gian hành động thống nhất 81 chiều, được chia thành các nhóm bộ phận cơ thể (tay, gripper, bàn tay linh hoạt, thân, đầu). Mỗi robot chỉ kích hoạt các chiều tương ứng qua embodiment-specific mask, cho phép huấn luyện chung trên nhiều robot khác nhau trong một policy duy nhất mà không cần căn chỉnh thủ công các không gian hành động không tương thích.

Ví dụ đời thường: giống như một người không chỉ nhìn và đọc tên đồ vật, mà còn biết chỗ nào cầm vừa tay và hướng nào dễ nhấc, đồng thời dùng chung một "từ vựng điều khiển cơ thể" để vận hành cả công cụ, cánh tay robot hay con rối khác nhau bằng cách chỉ động những khớp cần thiết.

III. Main Results:

Mô hình 122B-A10B vượt trội tất cả các mô hình proprietary và open-source được đánh giá trên VSI-Bench, MMSI và RefSpatial-Bench.
Hiệu năng tăng dần theo quy mô: 2B → 9B → 122B-A10B, cho thấy xu hướng scaling rõ rệt trong tác vụ nhúng thân.
Các mô hình 2B và 9B sau khi thêm 3D grounding có khả năng định vị 3D theo ngôn ngữ mạnh mẽ.
RynnBrain-VLA triển khai trên ba nền tảng robot khác biệt: Unitree G1, Astribot-S1 và Tianji-Wuji, vượt trội so với chính sách VLA khởi tạo từ Qwen và các generalist VLA đại diện.
Huấn luyện chung multi-task + multi-embodiment cải thiện điểm quá trình (process score) và tỷ lệ thành công so với huấn luyện riêng từng tác vụ.

IV. Conclusion & Future Works:

RynnBrain 1.1 rút ngắn khoảng cách giữa nhận thức đa phương thức và hành động robot bằng cách bổ sung contact point prediction và 3D grounding, đồng thời đưa ra cách tổ chức không gian hành động thống nhất cho robot đa dạng. Hướng tương lai: mở rộng 3D grounding lên mô hình 122B-A10B, nghiên cứu sâu hơn khả năng chuyển giao kiến thức giữa các hình thái robot khác nhau, và thu thập thêm dữ liệu thực tế để củng cố khái quát hóa trên robot thật.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng native 3D grounding lên mô hình 122B-A10B và phân tích quy luật scaling của khả năng lập luận không gian 3D trong embodied foundation models.
Nghiên cứu chuyển giao kiến thức cross-embodiment trong VLA: làm thế nào để dữ liệu từ cánh tay đơn giản giúp cải thiện chính sách cho bàn tay linh hoạt và người máy hình người.
Tự học điểm tiếp xúc (contact point) từ video không cần nhãn nắm thủ công, kết hợp với mô hình động lực học để dự đoán độ sâu và hướng tiếp cận.

2. Patent:

Ứng dụng điện thoại điều khiển robot gia đình: người dùng chỉ camera điện thoại vào vật thể, ứng dụng dùng mô hình 3D grounding để tính điểm cầm và góc xoay, sau đó gửi lệnh thực thi cho robot dọn nhà/phục vụ.
Bộ điều khiển robot đa nền tảng trên đám mây: nhận mô tả ngôn ngữ và hình ảnh, xuất ra chuỗi hành động 81 chiều, tự động kích hoạt đúng nhóm khớp cho từng loại robot (cánh tay đơn, bàn tay linh hoạt, người máy) mà không cần lập trình lại.
Kính AR hỗ trợ huấn luyện robot công nghiệp: hiển thị điểm tiếp xúc và hộp 3D grounding chồng lên đồ vật thật, cho phép người vận hành xem trước và điều chỉnh kế hoạch nắm của robot trước khi thực thi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.17977
ArXiv Abstract	https://arxiv.org/abs/2607.17977
PDF Download	https://arxiv.org/pdf/2607.17977.pdf
Github Repository	N/A

7. Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning (40 votes)

Tác giả: Zishuo Li, Bowen Yang, Changtao Miao, Kai Zhu, Hao Chen, et al.

Xuất bản lúc: 2026-07-15

Tag: Egocentric Video, Embodied Learning, Robotics, Dataset, Hand Reconstruction, VLA, World Models, Cross-Embodiment Retargeting

I. Main Problem:

Các mô hình embodied intelligence cần dữ liệu tương tác thực tế quy mô lớn, nhưng các nguồn egocentric hiện có thường thiếu bộ công cụ mở liền mạch từ thu thập đến huấn luyện. Cụ thể:

phần cứng chuyên dụng (camera đeo đầu, AR/VR) giới hạn tiếp cận và khó mở rộng
video quy mô lớn thường thiếu nhãn cấu trúc về tay, camera, hành động
các pipeline xử lý tồn tại riêng lẻ, không tạo thành cơ sở hạ tầng dùng chung.

II. Main Idea:

Open-AoE là một dataset và toolchain mở cho phép thu thập dữ liệu thao tác egocentric bằng điện thoại thông thường rồi chuyển thành dữ liệu huấn luyện có cấu trúc. Quy trình gồm ba phần:

AoE Capture App: ghi hình trên smartphone với phát hiện tay, kiểm soát chất lượng, ẩn danh hóa và đồng ý thu thập
Data Processing Pipeline: kiểm tra chất lượng, gán nhãn cảnh, ước lượng quỹ đạo camera, tái tạo tay MANO, và cắt thành các hành động nguyên tử
Downstream Toolchain: trực quan hóa, tái tạo 4D, retargeting chuyển động sang robot, và chuẩn bị dữ liệu cho VLA, WAMs, World Models

Lần phát hành đầu tiên chứa khoảng 2.000 giờ video từ 500+ người đóng góp, 400+ mẫu điện thoại, 400+ cảnh và 8.000+ tác vụ.

Ví dụ đời thường: giống như một thợ quay phim dùng điện thoại cá nhân để ghi lại cách làm việc hàng ngày, rồi hệ thống tự động cắt ghép, đo chuyển động tay và dạy lại cho robot bắt chước theo.

III. Main Results:

Khoảng 2.000 giờ video egocentric thao tác thực tế được thu bằng smartphone tiêu dùng trong môi trường tự nhiên
Cung cấp nhãn text mô tả hành động, tư thế tay MANO 21 khớp, quỹ đạo camera 6-DoF, và các đoạn hành động nguyên tử có thời gian
Pipeline xử lý gồm 4 giai đoạn: edge-side online detection, offline QC & scene labeling, reconstruction & annotation, quality inspection & delivery
Toolchain hỗ trợ tái tạo 4D tay-vật thể, retargeting sang nhiều robot (Unitree G1, Galbot, Sharpa, XHand), tạo video robot hóa, và chuyển đổi dữ liệu cho VLA, WAMs, World Models
Phân tích 100 giờ ngẫu nhiên cho thấy 32.407 mô tả hành động, 175 động từ, 8.030 loại vật thể, 135 nhãn cảnh, và độ bao phủ thời gian 99.99%

IV. Conclusion & Future Works:

Open-AoE không chỉ là một bộ dữ liệu video mà là cơ sở hạ tầng mở gồm thu thập - xử lý - tái tạo - huấn luyện, giúp hạ rào cản đóng góp dữ liệu và sử dụng dữ liệu cho cộng đồng embodied intelligence. Hướng tương lai: mở rộng quy mô, cải thiện chất lượng ước lượng tay-vật thể, hỗ trợ thêm nhiều nền tảng robot và tích hợp sâu hơn với các mô hình VLA/WAM.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu ảnh hưởng của đa dạng mẫu điện thoại (400+ model) đến khả năng khái quát hóa của chính sách robot học từ video egocentric.
Phát triển phương pháp tự động kiểm tra chất lượng và gán nhãn ngữ nghĩa cho dữ liệu thao tác người dùng tự thu thập.
Xây dựng mô hình world model tổng quát sử dụng latent action được trích xuất từ chuyển động tay MANO trong Open-AoE.

2. Patent:

Hệ thống thu thập dữ liệu robot qua ứng dụng di động: người dùng dùng điện thoại cá nhân ghi lại thao tác hàng ngày, ứng dụng tự động kiểm tra chất lượng, ẩn danh và tải lên đám mây để xây dựng dataset robot.
Công cụ chuyển đổi video điện thoại thành chuyển động robot trên đám mây: nhận video egocentric, ước lượng quỹ đạo tay và camera, rồi retargeting sang nhiều nền tảng robot (tay song song, bàn tay nhiều ngón, humanoid) để điều khiển trực tiếp.
Module huấn luyện chính sách robot trên điện thoại: ứng dụng di động thu thập video, gán nhãn hành động tự động, và đồng bộ với mô hình Vision-Language-Action để người dùng có thể dạy robot bằng video cá nhân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.14183
ArXiv Abstract	https://arxiv.org/abs/2607.14183
PDF Download	https://arxiv.org/pdf/2607.14183.pdf
Github Repository	https://github.com/ant-research/Open-AoE

8. Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence (39 votes)

Tác giả: Runmao Yao, Kairui Hu, Yukang Cao, Ruisi Wang, Shulin Tian, et al.

Xuất bản lúc: 2026-07-17

Tag: Video Generation, Physical Intelligence, World Models, Chain-of-Frames, Benchmarking, Classical Mechanics, MLLM Evaluation

I. Main Problem:

Các mô hình tạo video hiện đại thường chỉ được đánh giá ở mức đầu ra có trông thuyết phục không, chứ không kiểm chứng chúng có thực sự dùng lý luận dựa trên định luật vật lý hay không. Hệ quả:

khi tạo ra video đúng, ta không biết model thực sự hiểu định luật hay chỉ "đoán mò" trông giống thật
khi sai, ta không biết model sai ở đâu: nhận diện đại lượng, chọn định luật, hay suy luận động lực học

II. Main Idea:

Apple-π là benchmark đầu tiên neo đánh giá mô hình video vào định luật vật lý cụ thể, phân tích quy trình suy luận thành ba giai đoạn:

Perception (Nhận thức): đọc các đại lượng và xác định vật thể từ khung hình đầu
Formulation (Hình thức hóa): chọn định luật vật lý đúng và dự đoán trạng thái tại thời điểm mục tiêu
Deduction (Suy diễn): tạo toàn bộ video chuyển động phù hợp với định luật theo thời gian

Quy trình dùng chain-of-frames prompting trên khung hình đầu được chú thích infographic, coi video sinh ra là "dấu vết suy nghĩ" có thể kiểm tra. Bộ dữ liệu Orchard gồm 400 video trải rộng 10 tác vụ cơ học cổ điển, chia thành tác vụ đơn định luật để chẩn đoán và đa định luật để thử khái quát hóa.

Ví dụ đời thường: giống như thầy giáo vật lý không chỉ nhìn quả táo rơi và nói "trông đúng rồi", mà yêu cầu học sinh ghi lại đại lượng, viết công thức (v = gt), rồi vẽ từng vị trí quả táo theo thời gian để kiểm chứng suy luận.

III. Main Results:

Model tạo video tốt nhất (Seedance 2.0) chỉ đạt 0.473/1, cho thấy khoảng cách lớn đến mô hình thế giới đáng tin cậy.
Model thống nhất hiểu-sinh (GPT Image 2, Nano Banana 2) đạt ~0.70, vượt trội hơn hẳn các model tạo video thuần túy, chứng tỏ hiểu biết trực quan显式 giúp đọc chú thích, chọn định luật và dự đoán trạng thái.
Bottleneck tiến triển: Perception dễ nhất, Formulation khó hơn, Deduction khó nhất. Sự thành công ở giai đoạn trước không đảm bảo giai đoạn sau.
Khái quát hóa đa định luật yếu: các model làm tốt hơn tác vụ đơn định luật, nhưng khi phải chuyển trạng thái vật lý qua nhiều định luật (ví dụ: mặt phẳng nghiêng dẫn đến chuyển động ném xiên) thì điểm sụt giảm rõ rệt.
Sim-to-Real gap: hiệu suất trên video thực tế thấp hơn đáng kể so với video mô phỏng, cho thấy các model còn yếu trong việc grounding và theo dõi dưới điều kiện thị giác thực tế.

IV. Conclusion & Future Works:

Apple-π cho thấy các model tạo video hiện tại có priors vật lý hữu ích từ dữ liệu video quy mô lớn, nhưng vẫn xa mới là những world simulator đáng tin cậy dựa trên định luật. Hướng đi tương lai:

tích hợp module hiểu biết显式 trước khi sinh video
xây dựng dữ liệu lý luận vật lý phong phú hơn
phát triển post-training hướng đến suy luận để cải thiện khả năng duy trì động lực học theo thời gian và qua các chuyển tiếp định luật

V. Brainstorming Space:

1. Publish Papers:

Kết hợp Apple-π với phương pháp test-time scaling để xem liệu tăng tài nguyên suy nghĩ tại thời điểm kiểm tra có giúp model tạo video khắc phục bottleneck Deduction không.
Mở rộng đánh giá law-grounded từ cơ học cổ điển sang các miền vật lý khác như quang học, điện từ học và cơ học chất lỏng trên các model tạo video dài hơn.
Phát triển kiến trúc model tạo video tích hợp module vật lý显式 (ví dụ: mô phỏng vi phân hoặc constraint solver) để cải thiện điểm Deduction trong khi vẫn giữ tính thực tế của hình ảnh.

2. Patent:

Ứng dụng kiểm tra tính an toàn vật lý trong video tổng hợp cho xe tự hành: sinh các kịch bản va chạm, rơi tự do, hoặc trượt trên mặt phẳng nghiêng, sau đó dùng Apple-π để xác minh các video tuân thủ định luật Newton trước khi đưa vào huấn luyện mô hình dự đoán.
Công cụ hỗ trợ giảng dạy vật lý trên điện thoại: người dùng chụp ảnh thí nghiệm, ứng dụng tự chú thích các đại lượng và sinh video minh họa chuyển động đúng định luật, đồng thời đánh giá video đó bằng các tiêu chí Apple-π để đảm bảo tính chính xác.
Hệ thống tạo nội dung quảng cáo/game tự kiểm tra vật lý: khi sinh video sản phẩm (ví dụ bóng rơi, nước chảy), module Apple-π tự động phát hiện nếu chuyển động vi phạm định luật cơ bản, tránh phát tán nội dung không thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.16401
ArXiv Abstract	https://arxiv.org/abs/2607.16401
PDF Download	https://arxiv.org/pdf/2607.16401.pdf
Github Repository	https://github.com/21yrm/Apple-PI

9. GigaChat Audio: Time-aware Large Audio Language Model (30 votes)

Tác giả: Aleksandr Kutsakov, Mariia Sadovina, Georgii Gospodinov, Alexandr Maximenko, Oleg Kutuzov, et al.

Xuất bản lúc: 2026-07-11

Tag: Large Audio Language Models, Temporal Grounding, Long-form Audio, Synthetic Data, Audio Question Answering

I. Main Problem:

Các mô hình audio-language hiện tại có thể trả lời nội dung âm thanh nhưng thất bại trong việc neo thời gian chính xác trên ghi âm dài như cuộc họp, podcast, bài giảng, log tổng đài. Hệ quả:

sinh ra timestamp không parse được hoặc quá thô (làm tròn phút/giờ)
đưa ra thời điểm không được âm thanh hỗ trợ (hallucination thời gian)
hiệu suất sụt giảm thảm hại khi audio dài hơn vài phút, đặc biệt với các mô hình như Qwen3-Omni-30B chỉ đạt 3.6 mIoU trên grounding 20–40 phút.

II. Main Idea:

GigaChat Audio làm cho thời gian hiện hữu rõ ràng trong luồng đầu vào bằng cách xen kẽ các inter-timing marker định kỳ vào chuỗi continuous audio tokens. Quy trình:

encoder âm thanh biến audio thành embeddings liên tục ở tốc độ 160 ms/frame
chèn marker thời gian định kỳ (dạng hh:mm:ss hoặc token đặc biệt) mỗi 60s (hoặc dày hơn)
mô hình 10B-A1.8B MoE với context 256k tokens được fine-tune để trả lời câu hỏi, mô tả đoạn, và tóm tắt đều có timestamp gắn kèm
dữ liệu temporal tổng hợp được sinh từ transcript có timestamp, cắt nhỏ để tránh front-loading bias (câu hỏi tập trung đầu ghi âm), và kiểm chứng bằng verifier toàn cục
huấn luyện trên hỗn hợp độ dài đa dạng từ giây đến 120 phút để khái quát hóa

Ví dụ đời thường: giống như xem phim dài mà có nút đánh dấu mốc thời gian cài sẵn mỗi phút, để khi ai hỏi "cảnh đó ở đâu?", mình có thể tua nhanh đến đúng phút gần đó thay vì lục từ đầu.

III. Main Results:

Hỗ trợ đầu vào đến 120 phút và xuất câu trả lời, mô tả đoạn, tóm tắt đều có timestamp rõ ràng.
Vượt trội trên benchmark dài: đạt 53.8 mIoU trên temporal grounding 20–40 phút, trong khi Qwen3-Omni-30B chỉ 3.6 và Gemini 3 Flash 56.1; tuy nhiên model với anchor 7s đạt 65.2 mIoU.
Inter-timings là bắt buộc: xóa marker thời gian làm mIoU trên ghi âm dài giảm từ 53.8 xuống 14.2, và làm sụt cả tóm tắt có thời gian.
Tần suất anchor kiểm soát độ chính xác: anchor 7s cho MAE 1.5s, anchor 60s cho MAE 3.0s; marker thưa (1 phút/lần) vẫn đủ tốt trong khi tiết kiệm token.
Khái quát hóa độ dài bất đối xứng: huấn luyện chỉ trên audio ngắn không khái quát sang dài, và ngược lại; mô hình huấn luyện trên mọi độ dài vượt trội hầu hết các chế độ.
Định dạng hh:mm:ss và các biến thể ngắn gọn (phút) hoạt động tốt; định dạng pure seconds kém hơn nhiều.

IV. Conclusion & Future Works:

GigaChat Audio chứng minh rằng temporal grounding trên ghi âm dài không thể đạt được bằng cách mở rộng đơn thuần context window, mà cần anchor thời gian định kỳ trong luồng token và hỗn hợp độ dài trong huấn luyện. Công bố bao gồm model weights, bộ dữ liệu 10k+ giờ, và pipeline tổng hợp có verifier.

Hướng tương lai: tối ưu hóa token đặc biệt cho thời gian (hiện tại cần tỷ lệ timing cao mới bằng plain-text), giảm chi phí tính toán của anchor dày đặc, mở rộng sang đa ngôn ngữ và các định dạng timestamp khác.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế chiến lược cross-duration training cho audio LLM: curriculum hoặc balanced sampling tự động giúp mô hình khái quát hóa từ audio ngắn sang dài mà không cần dữ liệu thủ công đắt đỏ.
Tối ưu hóa tần suất và định dạng marker thời gian: học adaptive anchor frequency dựa trên độ biến động nội dung âm thanh thay vì cố định 7s/60s/120s.
Phát triển metric tự động cho timed summarization: tương quan hơn với đánh giá con người thay vì hoàn toàn phụ thuộc LLM-as-a-judge.

2. Patent:

Ứng dụng ghi âm cuộc họp trên điện thoại: ghi âm các buổi họp kéo dài hàng giờ, sau đó người dùng hỏi "Quyết định tăng ngân sách được đưa ra lúc nào?" ứng dụng trả về timestamp chính xác và phát lại đoạn âm thanh tương ứng.
Ứng dụng ghi chú bài giảng trên smartphone: tự động tạo tóm tắt có thời gian cho bài giảng dài, ví dụ "12:15 Giới thiệu định lý, 25:40 Giải bài tập", cho phép sinh viên nhấn vào mỗi mục để nghe đúng đoạn.
Ứng dụng quản lý cuộc gọi khách hàng trên điện thoại doanh nghiệp: phân tích cuộc gọi dài, tự động trích xuất các sự kiện quan trọng (lời hứa, khiếu nại, thông tin liên hệ) kèm thời điểm xảy ra trong cuộc gọi để kiểm chứng và đào tạo nhân viên.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.10387
ArXiv Abstract	https://arxiv.org/abs/2607.10387
PDF Download	https://arxiv.org/pdf/2607.10387.pdf
Github Repository	N/A

10. GigaAM Multilingual: Foundation Model for Underrepresented Languages (28 votes)

Tác giả: Andrei Kuzmenko, Alexandr Maximenko, Aleksandr Kutsakov, Georgii Gospodinov, Dmitrii Bolotov, et al.

Xuất bản lúc: 2026-07-11

Tag: ASR, Multilingual Speech, Self-Supervised Learning, Low-Resource Languages, HuBERT, Conformer, Data Balancing

I. Main Problem:

Nhận dạng giọng nói đa ngôn ngữ (ASR) vẫn bất đều nghiêm trọng: các ngôn ngữ nhiều dữ liệu (tiếng Anh, Nga) hoạt động tốt, còn các ngôn ngữ ít dữ liệu (Kazakh, Kyrgyz, Uzbek) thì tỷ lệ lỗi quá cao để dùng thực tế.

Nguyên nhân chính:

Mất cân bằng dữ liệu: kho dữ liệu lệch về ngôn ngữ đầu (head languages).
Tăng cấp đơn giản (naive upsampling) lại dễ gây overfit hoặc làm giảm chất lượng trên ngôn ngữ đầu.
Thiếu chiến lược trộn và định trọng dữ liệu có nguyên tắc trong cả giai đoạn pre-train và fine-tune.

II. Main Idea:

GigaAM Multilingual là một bộ mã hóa Conformer 600M tham số, pre-train theo phong cách HuBERT trên 2 triệu giờ âm thanh đa ngôn ngữ. Thay vì để dữ liệu tự nhiên lệch hoàn toàn về các ngôn ngữ đầu, tác giả đề xuất hai cơ chế cân bằng:

Cân bằng ở cấp nhóm (cluster-level) trong pre-train: nhóm ~70 ngôn ngữ thành 5 cụm dựa trên đồ thị đồng xuất hiện ngôn ngữ (có chuẩn hóa), sau đó lấy mẫu theo cụm để tăng tỷ trọng cho nhóm ngôn ngữ Trung Á.
Lấy mẫu theo miền (domain-aware) trong fine-tune: trong mỗi ngôn ngữ, điều chỉnh trọng số giữa dữ liệu thật, dữ liệu tổng hợp TTS, và dữ liệu giám sát yếu để tránh tập tổng hợp chiếm ưu thế, từ đó tổng quát hóa tốt hơn trên lời nói tự nhiên.

Quy trình fine-tune dùng mục tiêu CTC với bảng chữ cái chung cho 5 ngôn ngữ, kết hợp dữ liệu mở, dữ liệu crowdsourcing có kiểm soát chất lượng, dữ liệu tổng hợp TTS được lọc bằng ASR, và dữ liệu giám sát yếu từ căn chỉnh thời gian.

Ví dụ đời thường: giống như một đầu bếp làm món lẩu cho cả nhóm — thay vì chỉ múc nhiều loại rau/thịt mình thích, người đó chia nguyên liệu thành các nhóm đạm-rau-carb rồi điều chỉnh tỷ lệ từng nhóm, trong mỗi nhóm lại cân đủ tươi-khô-đông để nồi lẩu vừa đủ dinh dưỡng lại không bị nhạt hay mặn.

III. Main Results:

Vượt trội trên các ngôn ngữ ít dữ liệu: GigaAM Multilingual đạt WER thấp hơn rõ rệt so với Whisper large v3, Omnilingual-1B và Seamless-M4T v2 trên Kazakh, Kyrgyz và Uzbek ở cả Common Voice, FLEURS và tập kiểm thử nội bộ ngoài đời thực.
Cân bằng cụm trong pre-train (E2): WER Kyrgyz giảm từ 9.4% xuống 8.5%, Uzbek từ 10.5% xuống 9.7%, trong khi tiếng Nga gần như không đổi (4.6%→4.7%).
Lấy mẫu theo miền trong fine-tune: cải thiện đáng kể trên lời nói tự nhiên (Internal split), ví dụ Kazakh Internal từ 18.0% xuống 15.8%, Kyrgyz Internal từ 11.4% xuống 9.8%.
Hiệu quả mô hình nhỏ: bộ mã hóa GigaAM 240M tham số, khi fine-tune CTC cùng pipeline, vượt Whisper Large v3 và Omnilingual 1B trung bình (WER 12.2% so với 14.1% và 16.6%).
Khả năng chuyển giao ngôn ngữ đuôi dài: với chỉ dữ liệu Common Voice, GigaAM đạt WER 3.8% trên tiếng Georgia và 3.6% trên tiếng Bashkir, trong khi Whisper đạt 13.4%/11.1% và Omnilingual đạt 7.8%/8.2%.

IV. Conclusion & Future Works:

Cân bằng dữ liệu ở cấp cụm trong pre-train và lấy mẫu theo miền trong fine-tune là hai yếu tố then chốt để ngăn các ngôn ngữ đầu chiếm ưu thế, giúp xây dựng mô hình ASR chất lượng cao cho các ngôn ngữ ít dữ liệu như Kazakh, Kyrgyz, Uzbek. Mô hình nhỏ cũng học chuyển giao tốt, cho phép thích ứng nhanh với ít dữ liệu có nhãn. Hướng tương lai: mở rộng chiến lược cân bằng cụm cho nhiều nhóm ngôn ngữ hơn, cải thiện pipeline tổng hợp và giám sát yếu, và ứng dụng bộ mã hóa cho các tác vụ giọng nói đa ngôn ngữ khác ngoài ASR.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng chiến lược cân bằng cụm ngôn ngữ cho mô hình âm thanh đa ngôn ngữ với hàng trăm ngôn ngữ, trong đó đồ thị đồng xuất hiện được học động thay vì cố định.
Kết hợp lấy mẫu theo miền với active learning để tự động điều chỉnh trọng số dữ liệu tổng hợp và thật trong quá trình fine-tune ASR đa ngôn ngữ.
Áp dụng bộ mã hóa đã học tự giám sát cho bài toán nhận diện ngôn ngữ nói và phân tích ngữ điệu ở các ngôn ngữ có tài nguyên hạn chế.

2. Patent:

Ứng dụng ghi chú cuộc họp đa ngôn ngữ trên điện thoại: ứng dụng di động tự động nhận diện giọng nói tiếng Kazakh, Kyrgyz hoặc Uzbek trong cuộc gọi hội nghị và chuyển thành văn bản chính xác ngay cả khi người nói dùng từ địa phương hoặc nói tự nhiên.
Trợ lý giọng nói cho người lái xe ở Trung Á: hệ thống nhúng trong ô tô hoặc điện thoại hiểu lệnh thoại bằng tiếng Kazakh, Kyrgyz, Uzbek, hỗ trợ điều khiển bản đồ, nhạc và gọi điện mà không cần kết nối mạng liên tục.
Hệ thống học ngoại ngữ qua điện thoại: ứng dụng phát âm tiếng Kyrgyz hoặc Uzbek cho người học, dùng mô hình ASR để đánh giá độ chính xác phát âm và gợi ý chỉnh sửa trong thời gian thực.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.10371
ArXiv Abstract	https://arxiv.org/abs/2607.10371
PDF Download	https://arxiv.org/pdf/2607.10371.pdf
Github Repository	https://github.com/salute-developers/GigaAM

11. FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry (25 votes)

Tác giả: Dingyun Zhang, Lixue Gong, Wei Liu

Xuất bản lúc: 2026-07-20

Tag: Diffusion Models, Video Editing, Image Editing, Flow Matching, Modality Mimicry, Text-to-Video, Text-to-Image, Referring Expression Segmentation, Data Generation, DiT

I. Main Problem:

Việc xây dựng dữ liệu huấn luyện chỉnh sửa video hiện tại tốn công, khó mở rộng và phụ thuộc nhiều vào từng tác vụ: cần gán mask bằng MLLM/VLM, tổng hợp cặp video qua mô hình I2V và ControlNet gây lỗi, rồi lọc/chỉnh sửa bằng VLM hoặc RL. Hệ quả:

số lượng và đa dạng tác vụ chỉnh sửa video kém xa so với chỉnh sửa ảnh;
các cặp video tạo ra thường phải điều chỉnh cho phù hợp với nhận thức của người, thay vì tối ưu cho mô hình học;
các phương pháp thống nhất hình ảnh và video thường huấn luyện nhiều giai đoạn hoặc cần thêm module MLLM, mask rõ ràng khi suy diễn.

II. Main Idea:

FlowMimic đề xuất trường chảy dịch chuyển thời gian (pixel-pair temporal warped flow field) để biến cặp ảnh chỉnh sửa thành cặp video chỉnh sửa ngay trong lúc huấn luyện, không cần mask hay dữ liệu video thật. Cách làm:

xem ảnh gốc và ảnh đã chỉnh sửa như hai tập điểm ảnh tương ứng;
áp dụng cùng một chuỗi biến dạng không gian-thời gian (pan, zoom, xoay, stretch địa phương/toàn cục, elastic, composite) lên cả hai, giữ nguyên tương ứng pixel từng khung hình;
mô hình học sự tương ứng chỉnh sửa theo thời gian, thay vì học nội dung video dễ hiểu với người;
để hình ảnh và video thống nhất, thiết kế modality mimic generation loss (T2I bắt chước T2V) và modality mimic editing loss (V2V bắt chước I2I);
tăng khả năng hiểu ngôn ngữ, thị giác và định vị vùng chỉnh sửa bằng các tác vụ sense-related như referring expression segmentation, cùng loss ở latent và attention, để mô hình tự nội tại hóa việc xác định và sửa đúng vùng mô tả, không cần mask hay MLLM hỗ trợ khi suy diễn.

Ví dụ đời thường: giống như hai tờ giấy in đè khít nhau cùng bị bóp méo, xoay, kéo theo một nhịp; dù hình dạng tổng thể thay đổi, các vị trí tương ứng trên hai tờ giấy vẫn khớp nhau, giúp người học nhận ra quy luật chỉnh sửa thay vì phải hiểu từng bức tranh riêng lẻ.

III. Main Results:

Mô hình Wan2.1-T2V-1.3B được post-training trực tiếp chỉ với cặp ảnh chỉnh sửa và cặp video sinh online qua flow field, không dùng dữ liệu video chỉnh sửa nào khác.
Với learning rate thấp tăng dần từ 5×10⁻⁶ đến 1×10⁻⁵, mô hình bắt đầu đáp ứng các tác vụ chỉnh sửa video chỉ trong vài nghìn bước huấn luyện.
Có khả năng chỉnh sửa đa tác vụ: relighting, stylization, head swapping, object insertion, virtual try-on và một số tác vụ cấp cao như referring expression segmentation, cùng tác vụ cấp thấp như deblurring.
So với pretrained T2IV, FlowMimic cho kết quả T2I camera-authentic hơn và phân phối đầu ra của chỉnh sửa ảnh, video tương đối căn chỉnh hơn.
Bản đồ cross-attention cho thấy mô hình định vị chính xác cụm từ mô tả đến vùng thị giác tương ứng trong reference, chỉ sửa đúng vùng cần thiết mà không cần mask đầu vào.
Kết hợp referring expression segmentation, mô hình đạt khả năng phân đoạn và theo dõi đối tượng theo mô tả ngôn ngữ trong video, tương tự SAM3.

IV. Conclusion & Future Works:

FlowMimic chứng minh rằng mô hình có thể học chỉnh sửa video chỉ từ cặp ảnh chỉnh sửa đa dạng thông qua một flow field dịch chuyển đơn giản, đồng thời đối xử hình ảnh như một trường hợp đặc biệt của video để căn chỉnh phân phối đầu ra giữa hai modal. Hướng tương lai: mở rộng flow field cho các tác vụ kiểm soát chuyển động phức tạp hơn, tối ưu cường độ chuyển động theo từng loại chỉnh sửa, và áp dụng paradigm cho các bài toán video cấp cao (segmentation, điều khiển generation từ condition map) cũng như low-level video restoration.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các quy tắc tự động điều chỉnh cường độ và loại chuyển động trong flow field cho từng tác vụ chỉnh sửa video, từ rigid editing đến non-rigid shape editing.
Mở rộng pixel-pair warped flow field sang dữ liệu điều khiển chuyển động theo điều kiện (depth map, pose, optical flow) để huấn luyện video generation có điều khiển mà không cần video thật.
Kết hợp modality mimicry với distillation giữa nhiều độ phân giải/khung hình, giúp một mô hình T2IV duy nhất đồng thời tạo ảnh chất lượng cao và video mượt mà hơn.
Xây dựng một không gian ẩn chung cho ngôn ngữ và vùng chỉnh sửa, cho phép mô hình thực hiện các tác vụ referring expression và grounded editing trên cả ảnh tĩnh và video động.

2. Patent:

Ứng dụng chỉnh sửa video trên điện thoại: người dùng chỉnh sửa một khung ảnh (thêm vật, đổi phong cách, thay đầu, thử đồ), sau đó chọn hiệu ứng camera (pan/zoom/xoay); ứng dụng tự tạo video ngắn đồng bộ chuyển động và hiệu ứng chỉnh sửa mà không cần mask thủ công.
Công cụ thử đồ ảo thời gian thực: người dùng chụp ảnh trang phục mẫu và ảnh bản thân, hệ thống tạo video mặc thử với chuyển động tự nhiên, giữ đúng form dáng và texture của quần áo theo từng góc quay.
Tính năng tách và theo dõi đối tượng trong video bằng ngôn ngữ tự nhiên trên di động: người dùng nói “cô gái áo vàng” hoặc “chiếc xe màu đỏ”, ứng dụng tự phân đoạn và theo dõi đối tượng đó xuyên suốt video để làm nổi bật, làm mờ nền hoặc thay thế.
Hệ thống tạo quảng cáo sản phẩm tự động: từ ảnh sản phẩm và video/tảng người dùng, mô hình chèn sản phẩm vào đúng vị trí, đồng bộ ánh sáng, góc quay và chuyển động camera để xuất video quảng cáo ngắn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.18227
ArXiv Abstract	https://arxiv.org/abs/2607.18227
PDF Download	https://arxiv.org/pdf/2607.18227.pdf
Github Repository	N/A

12. Group Entropy-Controlled Policy Optimization (24 votes)

Tác giả: Guangran Cheng, Chengqi Lyu, Songyang Gao, Wenwei Zhang, Kai Chen

Xuất bản lúc: 2026-07-18

Tag: Reinforcement Learning, LLMs, GRPO, Entropy Control, Multi-task Learning, Policy Optimization, Post-training

I. Main Problem:

Khi tinh chỉnh LLM bằng RL trên hỗn hợp tác vụ đa dạng (toán, lý, code, instruction following), các tác vụ khác nhau tạo ra các chế độ entropy khác nhau ngay cùng một policy. Các phương pháp entropy control hiện tại chỉ hoạt động ở policy level hoặc token level, áp dụng đồng nhất cho mọi response nên không đáp ứng được nhu cầu khám phá/khai thác khác biệt giữa các tác vụ. Hơn nữa, GRPO chuẩn hóa advantage trong từng nhóm prompt nhưng điều này tạo ra bias phụ thuộc entropy: các nhóm low-entropy và high-entropy có phân phối advantage không so sánh được, khiến tối ưu mất cân bằng và một số tác vụ bị bỏ lại.

II. Main Idea:

GEPO tính group entropy từ các rollout đã có của từng prompt (không tốn thêm sampling), rồi dùng nó làm tín hiệu điều chỉnh advantage một cách bất đối xứng:

Nhóm entropy thấp: giảm nhẹ các advantage dương để tránh over-exploitation và thu hẹp entropy thêm.
Nhóm entropy cao: giảm nhẹ các advantage âm để không dập tắt khám phá sớm.
Ngưỡng entropy low/high được tính tự động từ mean/std của batch và làm mượt bằng exponential moving average, thích ứng với từng base model và giai đoạn training.
Hệ số bất đối xứng α_high < α_low vì nhóm low-entropy dễ bị can thiệp mạnh dẫn đến length collapse, nên cần nudge nhẹ hơn.

Ví dụ đời thường: giống như giáo viên dạy lớp học có học sinh khác nhau — em tự tin đã nắm bài thì khuyên đừng vội vàng bỏ qua chi tiết; em còn mơ hồ thì nhắc đừng quá nghiêm khắc với lỗi nhỏ để em còn dám thử, thay vì cả lớp chung một mức kỷ luật.

III. Main Results:

Intern-S1-mini: GEPO đạt 54.2 điểm trung bình, vượt GRPO (51.5), AEPO (51.8), Clip-Cov (51.5), KL-Cov (51.8); tốt nhất ở 7/13 benchmark (AIME25, IMO-Bench, Physics, IFBench, MMLU-Pro, GPQA, MMMU-Pro).
Qwen3.5-9B: GEPO đạt 71.2 trung bình, vượt GRPO (70.7), AEPO (67.1), KL-Cov (69.9), sánh ngang Clip-Cov (70.9); tốt nhất ở IMO-Bench, CMPhysBench, MMMU-Pro, SFE, MicroVQA.
Ổn định training: GEPO tăng đều và ít variance, trong khi GRPO bị collapse trên Qwen3.5-9B (AIME25 rơi từ ~85% xuống ~40%), AEPO dao động, KL-Cov cũng collapse sau 100 bước.
Entropy dynamics: GEPO giữ entropy ở mức lành mạnh và bảo toàn chế độ entropy khác nhau giữa các tác vụ, không ép mọi tác vụ về một mức entropy như AEPO.
Ablation: bỏ high-entropy control gây sụt nhiều nhất (51.3 vs 54.2); bỏ low-entropy control cũng sụt (52.6); bỏ asymmetric shaping sụt (53.0).

IV. Conclusion & Future Works:

GEPO cho thấy group entropy là tín hiệu thực tiễn và hiệu quả để cân bằng tối ưu trong RL đa tác vụ cho LLM, với chi phí tính toán gần như bằng không so với GRPO. Phương pháp bảo toàn chế độ khám phá đặc thù của từng tác vụ thay vì ép đồng nhất entropy. Hướng tương lai: mở rộng cho các thuật toán policy optimization nhóm khác, phân tích lý thuyết sâu hơn về mối quan hệ entropy-advantage, và ứng dụng cho các miền tác vụ rộng hơn như agent đa modal hoặc long-horizon reasoning.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng GEPO cho các phương pháp policy optimization nhóm khác ngoài GRPO (ví dụ PPO, REINFORCE++), kiểm tra tính tổng quát của advantage shaping dựa trên group entropy.
Phân tích lý thuyết chi tiết về bias entropy trong normalized advantages, đặc biệt khi hỗn hợp tác vụ có accuracy group khác biệt lớn.
Kết hợp group entropy với curriculum learning hoặc active sampling để tự động điều chỉnh trọng số tác vụ theo chế độ khám phá hiện tại.

2. Patent:

Trợ lý học tập trên điện thoại: khi người dùng làm bài toán/đọc tài liệu đa lĩnh vực, ứng dụng đo mức độ chắc chắn của model theo từng câu hỏi và tự động điều chỉnh: câu model đã giỏi thì đẩy nhanh, câu model còn mơ hồ thì khuyến khích thử nhiều cách giải.
Trợ lý lập trình thông minh: với mỗi đoạn code cần sửa, model đánh giá độ tập trung của phân phối câu trả lời theo từng vấn đề — bug dễ thì giảm gợi ý quá cụ thể, bug khó thì giảm phạt các gợi ý khác biệt để lập trình viên khám phá thêm phương án.
Hệ thống đào tạo nhân viên tự động: nền tảng đào tạo dựa trên RL điều chỉnh phản hồi theo mức độ nắm vững của từng học viên trong từng chủ đề, tránh khen quá nhiều khi đã giỏi và tránh phạt nặng khi học viên còn đang khám phá kiến thức mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.16850
ArXiv Abstract	https://arxiv.org/abs/2607.16850
PDF Download	https://arxiv.org/pdf/2607.16850.pdf
Github Repository	N/A

13. ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams (24 votes)

Tác giả: Xiaokang Ma, Yifan Sun, Zhihong Jin, Jie Gu, Yudong Luo, et al.

Xuất bản lúc: 2026-07-14

Tag: Multimodal Memory, Long-Term Memory, Video Understanding, Entity-Centric Memory, Streaming Video, Vision-Language Models, Episodic Memory, Semantic Memory

I. Main Problem:

Các trợ lý AI cần quan sát liên tục thế giới thực (kính thông minh, robot gia đình, điện thoại) và nhớ lại những gì đã thấy sau thời gian dài. Hệ thống hiện tại gặp hạn chế:

Lưu trữ trong context mô hình hoặc kho đặc trưng phẳng, giới hạn độ dài video và không mở rộng được.
Tổ chức theo frame/token thay vì thực thể, khiến việc theo dõi 'ai/đã xuất hiện khi nào' yếu.
Append-only — không thể sửa hoặc xóa tri thức cũ khi có bằng chứng mới.
Chưa có hệ thống hoàn chỉnh xử lý luồng video mở (open-ended) trong thực tế.

II. Main Idea:

ReflectWorld-MM là hệ thống bộ nhớ đa phương thức tổ chức xung quanh thực thể (người/vật) cho luồng video mở, gồm ba phần:

Perception front-end: chuyển luồng nghe-nhìn thành quan sát có xác định thực thể, trong đó quá khứ tham gia vào nhận thức hiện tại qua bộ nhớ ngắn hạn, ngữ cảnh cảnh, và lịch sử từng thực thể. Một agent cấp cao còn điều hướng chú ý của mô hình nhận thức.
Bộ nhớ dài hạn phân cấp dựa trên lý thuyết bộ nhớ người:
- Episodic memory: 3 cấp — entity (quan sát từng thực thể), trace (tóm tắt từng đoạn), schema (chương câu chuyện dài).
- Semantic memory: tri thức bền vững theo từng thực thể, có thể Add/Update/Delete và củng cố độ tin cậy qua thời gian.
- Procedural memory: lưu quy tắc người dùng để phản hồi chủ động.
Triển khai thực tế: dịch vụ lưu trữ bền vững, có chỉ mục, hỗ trợ nhiều nguồn video và tích hợp với trợ lý off-the-shelf.

Ví dụ đời thường: giống như một nhân viên quản lý nhà hàng vừa nhìn camera vừa nhớ từng khách hàng — không chỉ ghi 'lúc 14h có ai đi qua', mà còn biết 'ông A thường ngồi bàn góc và hay gọi cà phê đen', để khi ông A quay lại lần sau có thể nhận ra và đón tiếp đúng cách.

III. Main Results:

Tốt nhất trên cả 6 benchmark: VideoMME-Long, LVBench, HippoVlog, EgoLife-QA, M3-bench-robot, M3-bench-web.
Trên M3-bench (phụ thuộc thực thể), vượt M3-Agent +9.1 điểm (robot) và +10.4 điểm (web).
EgoLife-QA: đạt 46.8%, cao hơn cả GPT-5 (42.6%) và mô hình dùng nhãn thủ công có ID (45.5%).
Các benchmark dài thông thường: VideoMME-L 76.9%, LVBench 69.4%, HippoVlog 80.9%, đều vượt WorldMM và GPT-5.
Chất lượng bộ nhớ cao: chỉ fallback về video gốc 4.6% (EgoLife-QA) và 6.8% (VideoMME-L), cho thấy câu trả lời chủ yếu dựa trên bộ nhớ đã xây dựng.
Ablation cho thấy entity association, schema memory và semantic memory đều đóng góp vào hiệu suất.

IV. Conclusion & Future Works:

ReflectWorld-MM chứng minh bộ nhớ đa phương thức nên là thành phần hệ thống chủ động, không chỉ nơi lưu trữ thụ động: nó tham gia vào nhận thức, tổ chức trải nghiệm theo thực thể, và cung cấp giao diện cho các agent tổng quát truy vấn luồng video dài hạn. Hiệu quả rõ nhất ở bài toán entity-centric — nơi cần theo dõi danh tính và sự kiện qua thời gian. Hướng tương lai: mở rộng quy mô triển khai thực tế trên nhiều nguồn luồng đồng thời, cải thiện độ chính xác của re-identification trong điều kiện ánh sáng/camera thay đổi, và tích hợp khả năng học liên tục (continual learning) cho tri thức ngữ nghĩa.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế quên và củng cố trong bộ nhớ semantic của thực thể, tối ưu hóa công thức cập nhật importance score dựa trên lý thuyết ghi nhớ người.
Mở rộng kiến trúc ReflectWorld-MM cho nhiều camera đồng bộ, giải quyết vấn đề re-identification xuyên camera và tổng hợp bộ nhớ từ nhiều góc nhìn.
Kết hợp bộ nhớ thủ tục (procedural memory) với hệ thống cảnh báo chủ động trong nhà thông minh, đánh giá độ chính xác và tỷ lệ báo động giả.

2. Patent:

Trợ lý kính thông minh (smart glasses) ghi nhớ người và đồ vật: khi người đeo đi qua văn phòng hoặc nhà, hệ thống tự động nhận diện lại đồng nghiệp, nhắc tên, gợi ý 'bình nước của bạn để ở bàn họp A' mà không cần người dùng tìm kiếm.
Hệ thống camera gia đình chủ động cảnh báo: người dùng đặt quy tắc 'báo khi chó lên ghế sofa', hệ thống theo dõi thực thể (chó), chuyển bằng chứng thành tín hiệu ngữ nghĩa, rồi quyết định gửi thông báo một lần duy nhất đúng lúc, tránh spam.
Ứng dụng điện thoại ghi nhớ cuộc sống cá nhân: điện thoại ghi lại luồng video egocentric liên tục, tự động tổng hợp thói quen (tập gym, ăn trưa quán nào), sau đó trả lời câu hỏi tự nhiên như 'tuần này tôi đã gặp ai, làm gì nhiều nhất?'.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.09759
ArXiv Abstract	https://arxiv.org/abs/2607.09759
PDF Download	https://arxiv.org/pdf/2607.09759.pdf
Github Repository	https://github.com/addxai/ReflectWorld

14. SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction (19 votes)

Tác giả: Xue Yu, Bo Yuan, Pengshuai Yang, Kailin Zhao, Hong Hu, et al.

Xuất bản lúc: 2026-07-17

Tag: Mobile GUI Agents, World Models, Safety, Vision-Language Models, Risk Assessment

I. Main Problem:

Tác nhân giao diện đồ họa di động (mobile GUI agents) dựa trên Vision-Language Models có thể thực hiện những hành động sai lầm gây hậu quả không thể đảo ngược như:

mua hàng trái ý
rò rỉ dữ liệu cá nhân
xóa dữ liệu hoặc cấu hình sai hệ thống

Các cơ chế an toàn hiện tại chủ yếu phản ứng sau sự cố (post-hoc verification) hoặc chỉ sàng lọc chỉ dẫn đầu vào mà không xem xét ngữ cảnh GUI thực tế, nên bỏ sót nhiều rủi ro phụ thuộc vào trạng thái màn hình.

II. Main Idea:

SeerGuard là framework consequence-aware gồm hai tầng:

Instruction-level screening: chặn ngay các yêu cầu có ý đồ độc hại rõ ràng trước khi tương tác.
Action-level risk assessment: trước khi thực thi mỗi hành động, dùng Safety-Augmented World Model (SAWM) để dự đoán trạng thái tiếp theo ở dạng ngôn ngữ ngữ nghĩa (semantic next-state) rồi gán nhãn an toàn.

Thay vì sinh ảnh pixel tốn kém, SAWM dự đoán mô tả chức năng của màn hình kế tiếp, giúp kiểm toán hậu quả nhanh và đủ cho quyết định an toàn. Mô hình được fine-tune đa nhiệm trên Qwen3-VL-8B với 148K mẫu kết hợp dữ liệu an toàn văn bản, dữ liệu rủi ro đa phương thức và dữ liệu tổng hợp.

Ví dụ đời thường: giống như người lái xe nhìn gương và tưởng tượng "nếu mình rẽ phải bây giờ sẽ đâm vào xe đạp" trước khi thực sự đánh lái, thay vì đợi va chạm rồi mới phanh.

III. Main Results:

Trên MobileSafetyBench, SeerGuard giúp Qwen3-VL giảm Risk-Cost Score từ 0.347 xuống 0.130 (α=0.8) và tăng Safety-Utility Score từ 0.191 lên 0.596 (ω=0.8).
Cũng cải thiện rõ trên GPT-5.1 (RCS 0.301→0.145) và Gemini-3.1 (RCS 0.368→0.180), cho thấy khả năng tổng quát qua nhiều backbone.
Instruction-level screening: SAWM đạt F1 = 0.922 trên Prompt Injection, vượt các guard model như WildGuard, Qwen3Guard.
Action-level risk assessment: trên MobileRisk, SAWM đạt F1 = 0.723 và Step Score = 0.361, cao nhất so với OS-Sentinel, MobileWorld và Qwen3-VL.
Next-state prediction: trên Next-State-QA, SAWM 8B đạt accuracy 0.762, vượt cả Intern-VL3-78B (0.610) và Qwen3-VL-235B-A22B (0.651).
Độ trễ: SeerGuard không làm tăng thời gian chạy; nhờ chặn sớm các tác vụ nguy hiểm, thời gian trung bình giảm từ 3.49 phút xuống 3.35 phút mỗi tác vụ.

IV. Conclusion & Future Works:

SeerGuard chứng minh rằng việc dự đoán hậu quả ngữ nghĩa trước khi thực thi là cách hiệu quả để bảo vệ mobile GUI agents, cải thiện đáng kể trade-off giữa an toàn và tiện ích trên nhiều mô hình khác nhau. Hướng tương lai: nâng cao khả năng phát hiện rủi ro trên các tác vụ fine-grained đồng thời giảm từ chối nhầm các tác vụ vô hại.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SAWM sang web agents và desktop agents để kiểm tra xem dự đoán hậu quả ngữ nghĩa có hiệu quả tương tự trong các môi trường giao diện khác.
Kết hợp world model với reinforcement learning để tối ưu chính sách từ chối/hành động dưới ràng buộc rủi ro thay vì chỉ gán nhãn nhị phân.
Nghiên cứu dự đoán đa bước (multi-step rollout) cho các tác vụ dài hạn, trong đó hậu quả nguy hiểm chỉ xuất hiện sau nhiều hành động liên tiếp.

2. Patent:

Hệ thống bảo vệ giao dịch tài chính trên điện thoại: trước khi xác nhận thanh toán, agent dự đoán màn hình tiếp theo và chặn nếu phát hiện chuyển tiền/đăng ký dịch vụ trái ý.
Module chống prompt injection trong ứng dụng nhắn tin và mạng xã hội: khi tin nhắn hoặc bài đăng chứa lệnh ẩn, agent nhận diện hành động mở ứng dụng/tài khoản ngân hàng và từ chối thực thi.
Trợ lý cài đặt và xóa dữ liệu an toàn: trước khi xóa ảnh, đặt lại máy hoặc gỡ ứng dụng, agent mô phỏng hậu quả chức năng và yêu cầu xác nhận bổ sung nếu rủi ro cao.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.15550
ArXiv Abstract	https://arxiv.org/abs/2607.15550
PDF Download	https://arxiv.org/pdf/2607.15550.pdf
Github Repository	https://github.com/Autonomous-Agent-Team/SeerGuard

15. Environment-free Synthetic Data Generation for API-Calling Agents (15 votes)

Tác giả: Seanie Lee, Sanjoy Chowdhury, Chao Jiang, Cheng-Yu Hsieh, Ting-Yao Hu, et al.

Xuất bản lúc: 2026-07-18

Tag: API-Calling Agents, Synthetic Data Generation, LLM-as-Simulator, Supervised Fine-Tuning, Agentic Trajectories, World Modeling, AppWorld, OfficeBench

I. Main Problem:

Huấn luyện tác nhân gọi API đòi hỏi lượng lớn quỹ đạo đa bước chất lượng cao, nhưng thu thập dữ liệu thật thường cần môi trường thực thi đầy đủ, API khả thi và cơ sở dữ liệu backend đã điền trạng thái thực tế. Việc xây dựng hạ tầng này cho từng hệ sinh thái API mới tạo thành nút thắt cổ chai lớn về khả năng mở rộng.

II. Main Idea:

ESAT (Environment-Free Synthetic Agentic Trajectory generation) sinh quỹ đạo tác nhân chỉ từ API specifications, không cần môi trường thực thi. Quy trình gồm ba giai đoạn:

Task synthesis: LLM tạo nhiệm vụ đa dạng từ đặc tả API, sau đó judge LLM lọc nhiệm vụ không hợp lệ.
Trajectory synthesis: teacher agent LLM lần lượt gọi API; LLM simulator đóng vai trò world model số, tự tổng hợp phản hồi môi trường nhất quán dựa trên ngữ cảnh nhiệm vụ và lịch sử tương tác.
Trajectory filtering: judge LLM chọn quỹ đạo đúng, đầy đủ, không dư thừa để làm tập huấn luyện.

Simulator tuân theo bốn quy tắc: nhất quán trạng thái, đa dạng dữ liệu, realism, và tuân thủ schema; đồng thời kiểm tra chất lượng qua lỗi schema, lỗi ngữ nghĩa và lịch sử.

Ví dụ đời thường: giống như người chơi mô phỏng tựa game sandbox mà không cần cài game thật — chỉ cần đọc luật chơi và tự tưởng tượng kết quả của từng hành động dựa trên những gì đã "xảy ra" trước đó.

III. Main Results:

AppWorld: fine-tuning trên ESAT đạt tới 50.5% trên Test-N và 60.5% trên Test-C với Qwen3.5-9B; các mô hình Qwen3/Qwen3.5 (1.7B–27B) đều có cải thiện rõ rệt so với zero-shot.
Dữ liệu ESAT từ 52 ứng dụng tổng hợp hoàn toàn mới (ESAT-S52) vẫn mang lại gain lớn (8.4–47.0%), cho thấy khả năng khái quát hóa sang API chưa từng thấy.
ESAT-S52-AW7 (kết hợp dữ liệu từ AppWorld APIs và synthetic apps) vượt trội hơn cả dữ liệu AWT thu thập từ môi trường AppWorld thật trên hầu hết cấu hình.
OfficeBench: ESAT-OB mang lại gain 5.2–60.5%, vượt xa Simia và các baseline lớn như GPT-4o, Nemotron-3-120B ở nhiều kích cỡ mô hình.
Chất lượng simulator: GPT-5.1 đánh giá 93.7% phản hồi simulated hợp lệ; judge Gemini-3.1-Pro đạt precision 95.2% so với verifier thực và 95% agreement với người đánh giá (Cohen’s kappa 0.90).

IV. Conclusion & Future Works:

ESAT chứng minh rằng có thể tạo dữ liệu giám sát hiệu quả cho tác nhân gọi API mà không cần xây dựng môi trường thực thi, bằng cách dùng LLM như world model động. Điều này mở đường mở rộng nhanh chóng sang đa dạng hệ sinh thái API. Hướng tương lai: cải thiện simulator để giảm tỷ lệ lỗi với phản hồi dài (hiện tại 23% với >2K tokens), tích hợp thêm cơ chế tự sửa lỗi, và áp dụng cho các tác vụ agent thực tế ngoài benchmark.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LLM simulator thành world model cho hệ sinh thái API công khai phức tạp (OAuth, rate-limit, async callback) mà không cần sandbox.
Kết hợp ESAT với reinforcement learning để tạo dữ liệu không chỉ cho SFT mà còn cho reward modeling và online policy improvement.
Nghiên cứu cách tự động đồng bộ hóa đặc tả API cập nhật (versioning) với simulator để dữ liệu huấn luyện không bị lỗi thời.

2. Patent:

Nền tảng huấn luyện tác nhân ảo cho điện thoại thông minh: chỉ cần đầu vào là đặc tả API của các ứng dụng di động, hệ thống tự sinh hàng nghìn kịch bản người dùng và phản hồi giả lập để tinh chỉnh trợ lý gọi API cục bộ mà không cần cài đặt ứng dụng thật.
Công cụ tạo dữ liệu đào tạo cho trợ lý doanh nghiệp: từ bộ API nội bộ (CRM, ERP, email), hệ thống tự động tổng hợp quỹ đạo đa bước và lọc bằng LLM judge, giúp triển khai agent tự động hóa văn phòng mà không đụng chạm hệ thống backend thật.
Module mô phỏng API an toàn cho thử nghiệm tác nhân: thay vì chạy API thật trong giai đoạn phát triển, dùng LLM simulator để tạo phản hồi nhất quán, tránh rủi ro thay đổi dữ liệu người dùng thực hoặc gọi nhầm API gây hậu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.16900
ArXiv Abstract	https://arxiv.org/abs/2607.16900
PDF Download	https://arxiv.org/pdf/2607.16900.pdf
Github Repository	N/A

16. Do Language Models Dream of Binding Molecules? Benchmarking LLMs under Spatial Constraints (12 votes)

Tác giả: Thomas MacDougall, Maksim Kuznetsov, Roman Schutski, Rim Shayakhmetov, Maxim Malkov, et al.

Xuất bản lúc: 2026-07-20

Tag: LLMs, Structure-Based Drug Design, 3D Molecular Generation, Diffusion Models, Pharmacophore, Anchor Fragment, Benchmark

I. Main Problem:

Thiết kế thuốc dựa trên cấu trúc (SBDD) đòi hỏi sinh ra các phân tử vừa khít với túi protein, vừa thỏa mãn nhiều ràng buộc không gian khác nhau như mảnh neo (anchor fragments), điểm pharmacophore, và tương tác bắt buộc với protein. Các mô hình diffusion chuyên biệt dẫn đầu nhưng việc cân bằng đồng thời nhiều loại điều kiện khác tỷ lệ, độ cứng và mức độ quan trọng vẫn rất khó. Trong khi đó, khả năng của LLM đa năng trong việc lý luận về vật lý và môi trường 3D hầu như chưa được kiểm chứng có hệ thống.

II. Main Idea:

3D-Fit là một chiến lược đánh giá giúp LLM sinh phân tử 3D dưới nhiều ràng buộc không gian khác nhau. Cụ thể:

Biểu diễn điều kiện dạng văn bản: túi protein, mảnh neo, điểm pharmacophore và tương tác bắt buộc được mô tả gọn bằng tọa độ, loại tương tác, nguyên tử và dung sai.
Định dạng đầu ra Simplified SDF: phiên bản rút gọn của SDF, chỉ giữ lại chỉ số nguyên tử, ký hiệu, tọa độ, điện tích và liên kết, giúc tiết kiệm token và ít lỗi định dạng hơn SMILES+XYZ.
Đánh giá đa điều kiện: so sánh LLM với các mô hình diffusion chuyên biệt trên CrossDocked2020 và PLINDER với các mức độ ràng buộc từ chỉ túi protein đến túi + tương tác + mảnh neo + pharmacophore.

Ví dụ đời thường: giống như người thợ được đưa bản vẽ khung gỗ (túi protein), yêu cầu đặt một mấu then (mảnh neo) đúng chỗ, đảm bảo một điểm bắt vít (pharmacophore) và một mối hàn bắt buộc (tương tác) — LLM phải đọc bản hướng dẫn bằng chữ và chế tạo ra khối gỗ 3D vừa khít.

III. Main Results:

LLM có khả năng tuân thủ ràng buộc không gian đang nổi lên, đặc biệt khi số lượng điều kiện tăng; thêm điều kiện từ ligand gốc giúp cải thiện các chỉ số túi protein.
Anchor fragments và pharmacophore points là hai điều kiện LLM làm tốt nhất, vì chúng gần với dạng đầu ra cần sinh.
Mandatory pocket-ligand interactions là điều kiện khó nhất với LLM, do bản chất trừu tượng và đòi hỏi hiểu sâu về tương tác protein-ligand.
Trước tối ưu UniDock, điểm docking của LLM rất kém (thường > -6 kcal/mol, thậm chí dương), cho thấy va chạm steric nghiêm trọng.
Sau tối ưu UniDock, điểm docking LLM cải thiện đáng kể nhưng vẫn kém hơn các mô hình diffusion hàng đầu như MolSnapper, PocketXMol, PDMD.
Tính hợp lý nội phân tử (PoseBusters Intra) của LLM yếu hơn diffusion; tỷ lệ đạt các bộ lọc liên phân tử (PB Inter) thấp khi chưa tối ưu, nhưng tăng lên sau tối ưu.

IV. Conclusion & Future Works:

3D-Fit cho thấy LLM đa năng đã có thể xử lý các yêu cầu sinh phân tử đa ràng buộc, nhưng vẫn chưa đạt được tính vật lý hợp lý và chất lượng kết hợp bằng các mô hình diffusion chuyên biệt. Hướng tương lai:

phát triển biểu diễn phân tử 3D tiết kiệm và giàu thông tin hơn cho LLM
huấn luyện chuyên biệt hoặc kết hợp LLM với diffusion để cải thiện hình học và docking
xây dựng các bộ đánh giá chặt chẽ hơn cho sinh đa điều kiện trong SBDD

V. Brainstorming Space:

1. Publish Papers:

Kết hợp LLM với mô hình diffusion để sinh phân tử 3D dưới nhiều ràng buộc không gian: LLM chịu trách nhiệm lập kế hoạch và tuân thủ điều kiện, diffusion chịu trách nhiệm tối ưu hình học và giảm va chạm.
Phát triển biểu diễn văn bản 3D dành riêng cho hóa học: từ Simplified SDF sang các token có cấu trúc hơn, giúp LLM nắm bắt quan hệ không gian và tương tác vật lý tốt hơn.
Mở rộng 3D-Fit với các điều kiện động như độ mềm túi protein, entropy nước, và tính linh hoạt của ligand để đánh giá LLM trong các kịch bản thực tế hơn.

2. Patent:

Ứng dụng di động hỗ trợ hóa dược sĩ nhập mô tả túi protein và các ràng buộc 3D bằng văn bản, LLM sinh phân tử thô, sau đó tối ưu trên đám mây và trả về cấu trúc 3D có thể xem xét trên điện thoại.
Nền tảng thiết kế thuốc dựa trên AI cho phép nhà khoa học mô tả điểm pharmacophore, mảnh neo cố định và tương tác bắt buộc bằng ngôn ngữ tự nhiên; hệ thống tự động chuyển đổi thành định dạng 3D-Fit và sinh nhiều ứng viên để đánh giá.
Module kiểm tra độ hợp lý vật lý tích hợp vào pipeline LLM sinh phân tử: tự động phát hiện va chạm steric, góc liên kết bất thường và độ phẳng vòng thơm, sau đó gợi ý sửa chữa trước khi gọi công cụ docking tốn kém.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.18144
ArXiv Abstract	https://arxiv.org/abs/2607.18144
PDF Download	https://arxiv.org/pdf/2607.18144.pdf
Github Repository	https://github.com/insilicomedicine/bench-3d-fit

17. DiffGI: Differentiable Geometry Images for High-Fidelity Thin-Shell 3D Generation (12 votes)

Tác giả: Eungjune Shim, Hansol Lee, Eunjung Ju

Xuất bản lúc: 2026-07-15

Tag: 3D Mesh Generation, Geometry Images, TSDF, Differentiable Marching Squares, Latent Diffusion Models, Thin-Shell Modeling, Garment Generation

I. Main Problem:

Các mô hình sinh 3D hiện tại chủ yếu dựa trên biểu diễn thể tích ngầm (SDF, occupancy, NeRF), chúng mặc định yêu cầu bề mặt kín (watertight) và thất bại khi biểu diễn các cấu trúc mỏng, không kín, không manifold như quần áo, khung nội thất. Hậu quả:

bề mặt mỏng bị dày hóa nhân tạo hoặc trộn lẫn mặt trước/sau;
lưới trích từ Marching Cubes thiếu UV, khó dùng trong mô phỏng vật lý và chỉnh sửa vật liệu.

Các phương pháp geometry image hiện có dùng occupancy map nhị phân, khiến vị trí biên phụ thuộc độ phân giải: xuống mẫu mạnh tạo hiện tượng cầu thang và mất chi tiết; các bước hậu xử lý như boundary snapping lại không khả vi, tách rời huấn luyện và khôi phục lưới.

II. Main Idea:

DiffGI thay thế occupancy map nhị phân bằng 2D Truncated Signed Distance Function (TSDF) liên tục trên geometry image, để mã hóa vị trí biên ở độ chính xác subpixel ngay cả khi dùng lưới cố định thấp. Từ trường này, Differentiable Marching Squares (DMS) tìm zero-crossing bằng nội suy tuyến tính khả vi, đưa gradient từ lỗi bề mặt 3D về không gian 2D một cách trơn tru.

Quy trình:

Mesh → DiffGI: UV packing, lấy mẫu position map 1024×1024, tính 2D TSDF, sau đó downsample mạnh xuống 256×256×4 mà không mất thông tin biên.
DiffGI → Mesh: DMS khôi phục lưới 3D với gradient đầy đủ.
DiffGI-VAE: nén 256×256×4 xuống latent 32×32×4, dùng geometry-aware normal rendering loss qua nvdiffrast để bảo toàn nếp nhăn vải và cạnh sắc.
Latent Diffusion: transformer DiT + flow matching trên latent 32×32, hỗ trợ sinh theo label, theo ảnh (DINOv2), và theo sewing pattern/silhouette.

Ví dụ đời thường: giống như thay vì vẽ viền bằng các ô vuông đen trắng bị răng cưa, ta vẽ một bản đồ độ sáng mờ dần xung quanh mép và dùng thước nội suy để xác định chính xác điểm đường biên ở giữa hai ô, cho phép học và chỉnh sửa hình dạng bằng cách điều chỉnh gradient thay vì bật tắt từng pixel.

III. Main Results:

Nén cực mạnh mà vẫn tốt hơn baseline: DiffGI-VAE chỉ dùng latent 32×32×4, trong khi Omages cần tensor 64×64×4 chưa nén; trên ABO, DiffGI đạt CD 0.83, EMD 0.23, JSD 0.89, NC 0.83; trên GarmageSet đạt CD 0.46, EMD 0.16, JSD 1.24, NC 0.96 — vượt trội Omages và GarmageNet ở CD/EMD/JSD.
Bảo toàn bề mặt mỏng và biên sắc: trên GarmageSet, DiffGI đạt NC cao nhất (0.96), chứng tỏ khả năng giữ cấu trúc non-manifold của quần áo tốt hơn các biểu diễn occupancy.
Ablation rõ rệt: trên GarmageSet, TSDF + normal loss đạt CD 0.461, EMD 0.160, JSD 1.244, NC 0.961; so với occupancy không normal loss (CD 1.503, NC 0.906) là cải thiện lớn.
Hiệu quả tính toán: DMS chạy với độ phức tạp O(N²) trên lưới 2D, nhẹ hơn nhiều so với các phương pháp 3D voxel/tetrahedral O(N³) như DMTet/FlexiCubes.
Sinh có điều kiện đa dạng: huấn luyện thành công các mô hình diffusion theo label, theo ảnh, và theo occupancy pattern (may vá), cho thấy latent DiffGI sẵn sàng cho các tác vụ sinh 3D thực tế.

IV. Conclusion & Future Works:

DiffGI cho thấy rằng việc đưa trích xuất iso-surface khả vi vào geometry image 2D — thay vì dùng occupancy nhị phân hoặc trường 3D cồng kềnh — là con đường hiệu quả để sinh và nén bề mặt mỏng, không manifold chất lượng cao. Kết hợp TSDF liên tục, DMS, normal rendering loss và latent diffusion trên không gian 32×32, phương pháp đạt độ trung thực cao với chi phí tính toán thấp. Hướng tương lai: mở rộng lên các cấu trúc topo phức tạp hơn, cải thiện mô hình diffusion để tạo đa dạng và ổn định hơn, và tích hợp trực tiếp vào pipeline mô phỏng vật lý / sản xuất 3D.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DiffGI sang biểu diễn đa chart tự động, giảm méo UV và tăng khả năng bao phủ cho các bề mặt topo phức tạp như giày dép hoặc phụ kiện thời trang.
Kết hợp DiffGI với mô hình ngôn ngữ-ảnh để sinh 3D từ mô tả văn bản: dùng CLIP hoặc mô hình đa模 thái để điều kiện hóa latent DiffGI từ prompt tự nhiên.
Xây dựng biểu diễn TSDF 2D động theo thời gian cho mô phỏng vải: dùng latent DiffGI làm trạng thái và huấn luyện mô hình dự đoán chuyển động gấp nếp, d draping dưới tác động vật lý.

2. Patent:

Ứng dụng thiết kế thời trang trên điện thoại: người dùng vẽ 2D sewing pattern hoặc chọn silhouette, ứng dụng sinh ngay mô hình 3D quần áo với UV sẵn có để xem thử trên avatar và điều chỉnh chất liệu vải.
Thử đồ ảo từ một ảnh chụp: người dùng chụp ảnh trước mặt hàng quần áo, hệ thống dùng mô hình image-conditioned DiffGI để khôi phục bề mặt sau và tạo lưới 3D mỏng, sau đó hiển thị lên người dùng qua camera AR.
Thiết kế nội thất nhanh trên máy tính bảng: người dùng chọn loại đồ nội thất (ghế, đèn, kệ), hệ thống sinh mô hình 3D chi tiết với khung mỏng và kết cấu hở, xuất ra định dạng có UV để chỉnh sửa vật liệu trong phần mềm 3D.
Module kiểm tra chất lượng in 3D may mặc: so sánh mô hình 3D quần áo sinh từ DiffGI với quét thực tế bằng Chamfer/Boundary Chamfer Distance để tự động phát hiện lỗi cắt may, méo biên hoặc mất chi tiết trước khi sản xuất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.13365
ArXiv Abstract	https://arxiv.org/abs/2607.13365
PDF Download	https://arxiv.org/pdf/2607.13365.pdf
Github Repository	N/A

📰 Summary of Papers​

1. TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs (143 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. EvolvingWorld: An Open-Schema Framework for Co-Evolving Role-Play Agents and World Model in Interactive Literary World (74 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment (74 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. SWE-Pruner Pro: The Coder LLM Already Knows What to Prune (65 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement (46 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. RynnBrain 1.1: Towards More Capable and Generalizable Embodied Foundation Model (41 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning (40 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. GigaChat Audio: Time-aware Large Audio Language Model (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs (143 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. EvolvingWorld: An Open-Schema Framework for Co-Evolving Role-Play Agents and World Model in Interactive Literary World (74 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment (74 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. SWE-Pruner Pro: The Coder LLM Already Knows What to Prune (65 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement (46 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. RynnBrain 1.1: Towards More Capable and Generalizable Embodied Foundation Model (41 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning (40 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. GigaChat Audio: Time-aware Large Audio Language Model (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: