Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-09-25

Báo cáo được tạo tự động vào lúc 2026-09-26 10:07:24 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Training Object Permanence in World Models (185 votes)​

Tác giả: Haotian Zhang, Fengyuan Yu, Dezhi Luo, Haoran Sun, Zehong Zhao, et al.

Xuất bản lúc: 2026-09-23

Tag: World Models, Video Generation, Object Permanence, Intuitive Physics, Benchmark, Synthetic Data, Diffusion Models, Cognitive Science

I. Main Problem:​

Các mô hình sinh video hiện đại (Sora, Veo, Kling...) được xem là world models, nhưng vẫn thất bại ở hai kỹ năng cốt lõi mà trẻ sơ sinh đã có từ 3-6 tháng tuổi:

  • Object Permanence (OP): vật biến mất sau vật che khuất rồi xuất hiện ở vị trí bất khả thi
  • Object Solidity (OS): vật xuyên qua vật cản rắn không bị chệch hướng

Hậu quả nghiêm trọng vì đây là nền tảng: mô hình cho phép xuyên vật thì không thể sinh va chạm hoặc sự kiện gỡ đỡ vật đúng vật lý, và mọi suy luận nhân quả cấp cao hơn sẽ kế thừa lỗi này. Các benchmark trước còn thiếu: chỉ môi trường 2D, không có tập huấn luyện, và phụ thuộc VLM làm giám khảo — trong khi VLM tự nó thiếu core knowledge nên không đáng tin để chấm đúng sai vật lý.

II. Main Idea:​

WROP (World Reasoning with Object Permanence): hạ tầng dữ liệu gồm 150 generator Blender viết tay, chia thành 6 nhóm tác vụ lấy cảm hứng từ thí nghiệm tâm lý học phát triển (Baillargeon, Spelke):

  • OP-1 Baillargeonian Occlusion: vật đi sau vật che phải hiện lại đúng vị trí, hướng, kích thước
  • OP-2 Static Occlusion: vật che trượt qua cảnh tĩnh phải khôi phục đúng số lượng, bố cục vật ẩn
  • OP-3 Container Permanence: vật trong hộp phải bám theo vị trí mới của hộp khi hộp dịch chuyển/đổi chỗ
  • OS-1 Obstruction: vật đi qua lỗ nhỏ hơn thì bị chặn, lỗ lớn hơn thì đi qua
  • OS-2 Object Drop: gỡ đỡ vật thì vật rơi xuống, lọc theo kích thước
  • OS-3 Collision: va chạm phải bảo toàn số vật, truyền động lượng hợp lý

Cơ chế: mỗi video 120 khung được cắt đúng tại đỉnh sự kiện vật lý — 60 khung đầu làm input, 60 khung chứa hậu quả vật lý làm target để mô hình dự đoán. Tham số cấu trúc (số vật, quỹ đạo, cấu hình che khuất) biến thiên có hệ thống; tham số bề mặt (màu sắc, ánh sáng, góc camera) ngẫu nhiên để chống ghi nhớ. Kết quả: 1.5 triệu mẫu huấn luyện + bài thi 300 câu, chấm bằng so sánh blind pairwise của người thật (Elo/Bradley–Terry), không dùng VLM. Mô hình PWM-WROP (16B) được fine-tune từ Cosmos3-Nano trên chính bộ dữ liệu này.

Ví dụ đời thường: giống trò úp-bát (object permanence test) với trẻ con — cho trẻ xem nửa đầu video quả bóng lăn sau tấm màn, rồi đòi trẻ mô tả tiếp kết cục; trẻ nào "tỉnh" sẽ nói bóng lăn ra phía sau, trẻ nào "mơ" sẽ bảo bóng biến mất hoặc xuyên qua màn.

III. Main Results:​

  • Bảng xếp hạng Elo (20 người chấm blind, 361 cặp so sánh): hai mô hình reference-to-video thương mại Wan 3.0 Prime và MiniMax H3 đồng hạng 1 (Elo 1723.6); PWM-WROP đứng 3 toàn cục (1679.5) và hạng 1 trong lớp true-continuation, hơn đối thủ continuation tiếp theo (Grok Imagine) tới 224 điểm Elo.
  • Reference-to-video thống trị vì được tạo lại cảnh trên timeline riêng, tự do hơn trong sinh hậu quả vật lý mạch lạc — nhưng đánh đổi bằng việc đôi khi không giữ nguyên danh tính vật từ input.
  • Interface type phân biệt bảng xếp hạng tốt hơn quy mô mô hình: xác suất top-1 của 4 mô hình đầu là 46.8% / 36.4% / 12.3% / 4.5%, mọi mô hình khác = 0%. Các mô hình edit/transfer bóp buộc ở khoảng giữa vì repaint từng khung nên khó thể hiện sự kiện xảy ra sau khi input kết thúc.
  • Fine-tune trên dữ liệu ngách có hiệu quả rõ rệt: PWM-WROP chỉ 320×192 (đối thủ 720p-1080p) mà vẫn đứng top 3; ở cùng độ phân giải, nó đạt LPIPS và MS-SSIM tốt nhất so với video ground truth.
  • Chất lượng chấm điểm đáng tin: người chấm vượt 8/10 câu sàng lọc, trả lời đúng 90% attention check, tự đồng thuận 93.5% (κ = 0.891), không lệch vị trí trái/phải.
  • MAGI-1 24B đứng bét (1248) cho thấy mô hình lớn không fine-tune vẫn yếu về vật lý trực giác.

IV. Conclusion & Future Works:​

WROP chứng minh vật lý trực giác (OP/OS) là có thể huấn luyện được bằng dữ liệu tổng hợp thiết kế theo nguyên tắc core-cognition — mô hình continuation fine-tune đúng 1 epoch trên 1.5M mẫu đã vượt các hệ thống thương mại cùng lớp và cạnh tranh sát nút với reference-to-video ở độ phân giải thấp hơn nhiều. Bộ dữ liệu công khai đầy đủ (video, prompt, trajectory, metadata, code Blender, trọng số PWM-WROP, stack PWM trên AWS Trainium2) biến vấn đề từng là đánh giá định tính thành bài toán có thể train, chấm bằng người, và kiểm soát thực nghiệm.

Hướng tương lai (suy luận từ kết quả): mở rộng sang các thành phần core knowledge khác (năng lượng, định lượng), huấn luyện OP/OS cho các kiến trúc reference-to-video để kết hợp tự do sinh cảnh với bản chất continuation, và dùng trajectory metadata để giám sát học sâu hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng WROP sang các thành phần core knowledge khác của Spelke (định lượng, năng lượng, tương tác xã hội) thành bộ benchmark vật lý trực giác đầy đủ cho world models.
  2. Fine-tune các mô hình reference-to-video hàng đầu trên WROP để kiểm tra giả thuyết kết hợp: tự do tạo lại cảnh + huấn luyện OP/OS có vượt được PWM-WROP không.
  3. Khai thác trajectory và scene-state metadata để huấn luyện có giám sát thay vì chỉ V2V, và nghiên cứu curriculum theo độ tuổi phát triển nhận thức của trẻ (mô phỏng Piaget/Baillargeon).
  4. Đánh giá chuyển giao: mô hình học OP/OS trên dữ liệu tổng hợng Blender có giữ được khả năng trên video thế giới thật hay không (sim-to-real cho intuitive physics).

2. Patent:​

  1. Hệ thống kiểm thử và huấn luyện vật lý trực giác cho mô hình AI trên điện thoại/đám mây: tự sinh hàng triệu video thí nghiệm "úp-bát" 3D với tham số cấu trúc và bề mặt tách biệt, chấm điểm bằng so sánh cặp ẩn danh của người dùng thật để xếp hạng và cải thiện mô hình sinh video tích hợp sẵn.
  2. Công cụ tạo video có kiểm soát vật lý cho sản xuất nội dung: người dùng upload video nửa đầu, hệ thống sinh nửa sau đảm bảo vật không biến mất khi bị che và không xuyên qua vật cản, dùng để dựng phim hoạt hình, quảng cáo hoặc hiệu ứng trên điện thoại.
  3. Bộ dữ liệu huấn luyện có siêu dữ liệu truy xuất nguồn cho robot/mô phỏng: mỗi mẫu video gắn quỹ đạo vật thể và trạng thái cảnh theo từng khung hình, cho phép doanh nghiệp audit và tái tạo chính xác điều kiện sinh dữ liệu khi cần tuân thủ hoặc gỡ lỗi mô hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.28654
ArXiv Abstracthttps://arxiv.org/abs/2609.28654
PDF Downloadhttps://arxiv.org/pdf/2609.28654.pdf
Github Repositoryhttps://github.com/hokindeng/object-permanence

2. Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs (55 votes)​

Tác giả: Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk, Nikita Dragunov, Temurbek Rahmatullaev, et al.

Xuất bản lúc: 2026-09-24

Tag: Transformers, LLMs, Linear Superposition, Interpretability, Efficient Inference, Self-Distillation

I. Main Problem:​

Transformer dùng đầy đủ thành phần phi tuyến (softmax attention, MLP) nhưng vẫn được coi như xử lý một luồng ngữ nghĩa duy nhất mỗi forward pass. Muốn xử lý hai văn bản độc lập cùng lúc, người ta phải:

  • chạy hai forward pass riêng biệt, hoặc
  • tuần tự hóa xử lý, hoặc
  • sửa kiến trúc (thêm lớp mux/demux) để tránh nhiễu giữa hai đầu vào.

Câu hỏi cốt lõi: liệu ánh xạ đầu-vào–đầu-ra của LLM có đủ tuyến tính để khi trộn hai luồng token (lấy trung bình embedding), mô hình trả về superposition của hai phân phối next-token riêng lẻ — và tính chất này là thiên kiến kiến trúc hay khả năng học được?

II. Main Idea:​

Tác giả đề xuất Superposition Linearity Hypothesis: trộn hai luồng embedding theo từng vị trí (z = ½(E(xA) + E(xB))), đưa qua LLM chuẩn, và đo xem phân phối đầu ra P_mix có gần với ½(P_A + P_B) hay không. Quy trình:

  • Phân tích rank: kiểm tra next-token đúng của từng luồng còn nằm trong top-k của phân phối trộn không.
  • Theo dõi qua pre-training: đo additivity của hidden states qua các checkpoint để phân biệt thiên kiến kiến trúc vs khả năng học được.
  • Attention patching: so sánh donor patching (giữ cấu trúc attention, đổi nội dung) và permutation patching (phá cấu trúc attention) để tách vai trò của frequency prior vs hình dạng attention.
  • Fine-tune nhẹ: self-distillation — student xử lý embedding trộn, teacher (bản đóng băng của chính nó) cung cấp target ½(P_A + P_B), tối thiểu hóa KL divergence; chỉ dùng ~200k bước, < 0.025% dữ liệu pre-training.
  • Joint Contrastive decoding: dùng một mô hình nhỏ hướng dẫn tách từng luồng: ℓ̃_A = ℓ_large + α·ℓ_small(A) − β·ℓ_small(B), tạo hai continuation mạch lạc từ một forward pass duy nhất.

Ví dụ đời thường: giống người phiên dịch nghe hai cuộc trò chuyện cùng lúc qua một tai nghe trộn âm — ban đầu vẫn bắt được ý chính của cả hai, và chỉ cần luyện thêm một chút là tách rõ từng câu chuyện thay vì phải nghe lại hai lần.

III. Main Results:​

  • Tín hiệu sống sót ở mô hình gốc: next-token đúng của mỗi luồng xuất hiện trong top-10 khoảng 30–40% trường hợp, top-50 khoảng 50–60%, top-100 tới 60–65% — rất cao so với từ điển ≥ 50k token. Ratio R_KL < 1 nhất quán trên Pythia, Llama, Qwen, OLMo, Gemma.
  • Superposition là tính chất bẩm sinh của kiến trúc: lỗi additivity của hidden state nhỏ nhất ngay lúc khởi tạo và tăng đều theo pre-training — pre-training làm suy giảm tuyến tính chứ không tạo ra nó. Hiệu ứng vẫn giữ ở N=3 luồng (suy giảm định lượng, không đổi định tính).
  • Phân tích attention: donor patching cho thấy chỉ frequency prior + cấu trúc attention tự nhiên thì chưa đủ — trộn embedding còn giữ nhiều tín hiệu ngữ nghĩa riêng hơn trên các token 'content' khó (LAMBADA: 2.25% vs 0.5%, rank trung vị 339 vs 2.350).
  • Fine-tune phục hồi mạnh: KL của Pythia-2.8B giảm từ 1.86 → 0.27, R_KL từ 0.42 → 0.06; xác suất token đúng trong top-5 tăng từ ~30% → >60%; token content khôi phục hoàn toàn (rank trung vị 284 → 5, top-1 agreement 4.2% → 22.8%). Chi phí: chất lượng single-stream giảm nhẹ (LAMBADA 0.544 → 0.357).
  • Decoding hai luồng: Joint Contrastive nâng LAMBADA accuracy trên forward trộn từ 0.06–0.18 lên 0.11–0.43 (Llama-3.2-3B đạt 0.43 so với baseline single-stream nhỏ 0.54), đồng thời giữ Jaccard overlap giữa hai luồng thấp.
  • Rào cản hình học: phân phối trộn theo logits tuyến tính tương ứng geometric mean √P_A·P_B của hai phân phối, nên token rất đặc trưng cho một luồng bị phạt — việc giải mã hoàn chỉnh là bài toán còn mở.

IV. Conclusion & Future Works:​

LLM chuẩn có khả năng xử lý đồng thời hai luồng văn bản dưới dạng superposition tuyến tính — tính chất thiên kiến kiến trúc bị pre-training làm suy giảm nhưng phục hồi được bằng fine-tune cực nhẹ, và có thể tách thành hai continuation mạch lạc từ một forward pass. Hệ quả thực tiễn: tăng ~2× throughput inference và giảm gần một nửa KV-cache mỗi luồng. Hướng tương lai: vượt qua rào cản geometric mean để giải mã hoàn chỉnh, mở rộng sang context dài hơn và đa ngôn ngữ, và kiểm tra superposition trên mô hình đa phương thức (trộn text với image patches).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển thuật toán decoding khử hoàn toàn rào cản geometric mean — ví dụ dùng vòng lặp chiếu (projection) lên phân phối của từng luồng — để đạt độ chính xác tách luồng ngang mức chạy forward đơn lẻ.
  2. Mở rộng superposition lên batch nhiều luồng (N > 3) kèm phân tích giới hạn nhiễu theo số luồng và chiều embedding, cho ứng dụng inference song song quy mô lớn.
  3. Kiểm chứng superposition tuyến tính trên mô hình đa phương thức (text + ảnh + âm thanh) và xây dựng phép trộn embedding xuyên phương thức cho suy luận song song.

2. Patent:​

  1. Hệ thống trả lời song song hai câu hỏi trên điện thoại: trộn embedding của hai câu hỏi khách hàng thành một forward pass duy nhất, mô hình lớn kèm mô hình nhỏ hướng dẫn sẽ tách ra hai câu trả lời đầy đủ — giảm một nửa thời gian và pin so với chạy tuần tự hai lần.
  2. Trợ lý ảo thực hiện hai tác vụ cùng lúc: vừa soạn tin nhắn vừa tóm tắt tài liệu bằng cách nén cả hai luồng vào một biểu diễn chung, tiết kiệm bộ nhớ đệm và tăng tốc phản hồi trên thiết bị cá nhân.
  3. Dịch thuật đa ngôn ngữ gộp batch: trộn embedding các câu cần dịch của nhiều ngôn ngữ vào một lượt chạy mô hình, rồi tách kết quả từng ngôn ngữ — giảm chi phí máy chủ dịch vụ dịch thuật trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.29845
ArXiv Abstracthttps://arxiv.org/abs/2609.29845
PDF Downloadhttps://arxiv.org/pdf/2609.29845.pdf
Github RepositoryN/A

3. WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation (28 votes)​

Tác giả: Yubo Zhu, Yawen Shao, Ziyun Dai, Zixun Fang, Kai Zhu, et al.

Xuất bản lúc: 2026-09-24

Tag: Text-to-Video, Prompt Enhancement, LLMs, RLHF, GRPO, Video Generation, Cinematic Planning

I. Main Problem:​

Các hệ sinh video hiện đại (Wan3.0, Seedance 2.5) tạo video đến 30 giây với chuyển động camera, ánh sáng và câu chuyện phức tạp, khiến vai trò của prompt enhancer thay đổi căn bản:

  • Trước đây prompt chỉ là mở rộng mô tả cho video ngắn (kiểu 'làm đẹp câu chữ')
  • Nay prompt phải đóng vai trò kịch bản điện ảnh, lên kế hoạch đồng bộ hành động, camera, ánh sáng, thoại và âm thanh xuyên suốt nhiều shot trong thời gian dài

Hai thách thức cốt lõi:

  • Phương pháp forward rewriting (từ yêu cầu người dùng viết lại thành mô tả chi tiết) tạo ra phân phối văn bản lệch xa phân phối caption gắn với video thật mà video generator được huấn luyện trên — gây training–inference mismatch
  • Khó giữ nguyên ý định người dùng (nhân vật, thoại, camera, thứ tự sự kiện) khi kế hoạch dàn trải qua nhiều shot: dễ bị bỏ sót, đổi nghĩa, gán sai chủ thể hoặc mâu thuẫn giữa các shot.

II. Main Idea:​

WanPE đảo ngược quy trình xây dựng dữ liệu huấn luyện (video-grounded reverse construction) thay vì viết lại forward:

  • Thu thập ~1.05M clip video thật (đến 30s, 10 thể loại, lọc đa tầng về chất lượng)
  • Dùng multimodal captioner mô tả từng video thành kế hoạch điện ảnh phân cấp: tóm tắt video-level + shot-level có timestamp (bố cục, nhân vật, hành động, ánh sáng, camera, chuyển cảnh, thoại, nhạc, âm thanh)
  • Dùng LLM tái tạo ngược một yêu cầu người dùng tự nhiên từ caption đó (dựa trên 2K yêu cầu viết tay của người annotate làm few-shot) → cặp (x, y) với y nằm đúng phân phối caption gắn video thật
  • SFT mô hình trên các cặp này, rồi tinh chỉnh bằng SC-GRPO: nhóm 9 chiều đánh giá (style, chủ thể, hành động, thoại, âm thanh, camera, ánh sáng, quan hệ không gian, bối cảnh) để phạt mọi lỗi bỏ sót/đổi nghĩa/gán sai/thứ tự sai xuyên shot, dùng Qwen làm judge chấm điểm reward và cập nhật bằng GRPO

Mô hình scale từ 4B đến 397B (khởi tạo từ Qwen3.5), benchmark trên WanPEval (249 yêu cầu, 5–30 giây, ~11K đánh giá so sánh cặp blind bởi 60 chuyên gia điện ảnh).

Ví dụ đời thường: giống thay vì tưởng tượng ra cách nấu một món rồi viết công thức (forward), WanPE quay phim lại món ăn nấu thật trước, rồi từ đoạn phim đó viết lại công thức và 'đoán' ngược xem khách gọi món ban đầu nói gì — nên công thức luôn khớp với cách nấu thực tế, và người đầu bếp (video generator) đọc vào là làm đúng ngay.

III. Main Results:​

  • Vượt mọi đối thủ thương mại ở 5–15 giây: WanPE-397B + Wan3.0 đạt preference score 50.61 (Bradley–Terry 61.85), hơn Seedance 2.0 (7.19 điểm) và tất cả Kling 3.0, HappyHorse 1.1, MiniMax-H3, LTX-2.5; ở 30 giây cạnh tranh ngang Seedance 2.5 (đặc biệt animation 81.25, speech 73.68).
  • Prompt enhancement càng quan trọng khi video càng dài: cải thiện so với raw prompt là +10.66 / +16.28 / +18.84 điểm ở 5/10/15 giây, và +50.86 điểm ở 30 giây (9.38 → 60.24).
  • Reverse construction thắng forward rewriting: WanPE-397B-SFT (49.86) hơn Forward Rewriting (+10.37) và Forward-target SFT (+14.69), dẫn đầu cả 7 thể loại nội dung — chứng minh caption gắn video thật là điều kiện huấn luyện tốt hơn target forward.
  • SC-GRPO cải thiện consistency 18.6–23.3 điểm ở cả 4 quy mô mô hình; tỉ lệ output 'hoàn hảo' tăng mạnh (WanPE-397B: 29.7% → 85.5%), tỉ lệ thất bại giảm 36.9% → 2.8%; downstream video quality cũng tăng (42.70 → 49.69).
  • Chuyển giao xuyên generator: sau khi chuyển định dạng, WanPE-397B thắng prompt enhancer native trên LTX-2.5-Base (+14.45) và MiniMax-H3-Base (+5.17).

IV. Conclusion & Future Works:​

WanPE chứng minh prompt của video generator hiện đại không còn là caption trang trí mà là bản thiết kế điều phối toàn bộ sản xuất điện ảnh trước khi render pixel. Hai chìa khóa: học cấu trúc điện ảnh từ video thật qua reverse SFT, và giữ nguyên yêu cầu người dùng bằng SC-GRPO. Scaling 4B→397B cải thiện nhất quán cả fidelity lẫn chất lượng video. Tác giả định vị đây là nền tảng cho giai đoạn tiếp theo của prompt enhancement — kế hoạch cinematic có thể tái sử dụng cho nhiều generator khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp WanPE với tinh chỉnh dựa trên phản hồi thẩm mỹ của người xem để tối ưu prompt kế hoạch điện ảnh theo sở thích cộng đồng, không chỉ theo tính nhất quán ngữ nghĩa.
  2. Kéo dài cinematic planning vượt quá 30 giây bằng cấu trúc kịch bản phân cấp nhiều chương, với cơ chế kiểm tra tính nhất quán toàn cục xuyên chương.
  3. Mở rộng SC-GRPO sang đánh giá đa phương thức (hình ảnh + âm thanh + nhịp biên tập) thay vì text-only reward, để phần thưởng khớp hơn với chất lượng video thực tế.

2. Patent:​

  1. Ứng dụng quay video tự động trên điện thoại: người dùng nhập một câu ý tưởng ('buổi picnic gia đình lúc hoàng hôn'), ứng dụng sinh kịch bản phân shot có timestamp với chỉ dẫn camera, ánh sáng và nhạc nền, rồi điều khiển camera điện thoại quay từng shot theo kế hoạch đó.
  2. Trợ lý biên tập video cá nhân hóa: phân tích các video quay sẵn trong máy, tự động đề xuất kịch bản quay bổ sung (góc máy, thời lượng, ánh sáng) để ghép thành câu chuyện mạch lạc kiểu điện ảnh.
  3. Hệ tạo quảng cáo ngắn cho doanh nghiệp nhỏ: nhập mô tả sản phẩm vài dòng, hệ thống sinh kế hoạch multi-shot đầy đủ (lời thoại, âm thanh, chuyển cảnh) và render video quảng cáo 30 giây, tự động kiểm tra không bỏ sót thông tin sản phẩm nào trong kịch bản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.30221
ArXiv Abstracthttps://arxiv.org/abs/2609.30221
PDF Downloadhttps://arxiv.org/pdf/2609.30221.pdf
Github RepositoryN/A

4. OmniEcho: Spatial Audio Understanding for Embodied Agents (20 votes)​

Tác giả: Ruixun Liu, Yuxuan Wang, Jiacheng Xie, Yuhuan You, Donghua Cai, et al.

Xuất bản lúc: 2026-09-20

Tag: Spatial Audio, Embodied AI, Omni-modal Model, Vision-Language Navigation, Benchmark, FOA Ambisonics, MLLMs

I. Main Problem:​

Con người nghe được hướng âm thanh (tiếng chuông, tiếng kêu cứu) và kết hợp với thị giác để định vị vật thể bị che khuất hoặc nằm ngoài tầm nhìn, nhưng tác nhân embodied AI gần như không có khả năng này. Ba rào cản:

  • Thu thập dữ liệu audio không gian thật cực tốn kém: tín hiệu phụ thuộc đồng thời vào vị trí nguồn, vị trí người nghe, hình học cảnh, phản xạ và vang — khó ghi lại và gán nhãn chính xác.
  • Dữ liệu mô phỏng phải đồng nhất vật lý với quan sát thị giác và quỹ đạo di chuyển của tác nhân, không chỉ là audio render đơn thuần.
  • Các mô hình omni-modal pretrained xử lý tốt ngôn ngữ/nghe/nhìn, nhưng không rõ cách tích hợp thông tin không gian của audio vào kiến trúc sẵn có.

II. Main Idea:​

OmniEchoBench: benchmark thống nhất gồm 2,972 câu hỏi-đáp trên 197 cảnh thật (hướng nguồn âm, định vị 3D, chuyển động nguồn, góc xoay camera, bản đồ nhận thức - cognitive map) và 900 tác vụ điều hướng bằng âm thanh trên 30 môi trường thật với 12,900 bản ghi FOA (First-Order Ambisonics, audio 4 kênh ghi toàn hướng). Kèm theo là pipeline render audio không gian có kiểm soát để tổng hợp dữ liệu huấn luyện quy mô lớn, bảo toàn tính nhất quán hình học giữa nguồn âm, khung hình và quỹ đạo tác nhân.

OmniEcho: mô hình omni-modal xây trên Qwen3-Omni, bổ sung một FOA encoder chạy song song với nhánh audio ngữ nghĩa gốc: kênh W được down-mix về mono cho audio tower cũ (giữ ngữ nghĩa), đồng thời FOA encoder tạo spatial tokens chiếu vào không gian embedding ngôn ngữ qua projector và chèn ngay sau token audio tương ứng. Huấn luyện 3 giai đoạn: (1) căn chỉnh ngữ nghĩa với CLIP text encoder, (2) tinh chỉnh cho định vị nguồn theo truy vấn, (3) tích hợp vào backbone omni với FOA encoder đóng băng.

Ví dụ đời thường: giống người đeo tai nghe 4 mic đặc biệt — tai phải vẫn nghe được nội dung tiếng nhạc như bình thường, còn tai trái là bộ cảm biến riêng chỉ báo tiếng đó đến từ hướng nào, xa bao nhiêu mét; hai luồng thông tin được ghép lại trong đầu để vừa hiểu âm thanh vừa biết đi về phía nào.

III. Main Results:​

  • OmniEchoBench-QA: OmniEcho đạt 28.5% overall (audio+vision), vượt xa Qwen3-Omni gốc (18.5%) và Spatial-Omni-7B (11.4%); các mô hình hiện có gần như thất bại trên dữ liệu thật.
  • Bỏ input thị giác, hiệu suất các tác vụ hướng/định vị/chuyển động nguồn gần như không đổi → model suy luận không gian chủ yếu từ FOA; riêng Camera Rotation phụ thuộc mạnh vào vision.
  • OmniEchoBench-Nav: điều hướng bằng âm thanh thuần đạt SR 16.2% / SPL 11.5%, vượt các baseline text-guided cổ điển (Seq2Seq 11.3%, CMA 9.8%) và chỉ thua InternVLA-N1 (17.8/16.7) dùng chỉ dẫn văn bản; SoundSpaces với audio binaural chỉ đạt 5.4%.
  • VLN-CE R2R với audio mô phỏng: SR 22.2%, tương đương các baseline VLN đời đầu — xác nhận âm thanh không gian là tín hiệu điều hướng khả thi.
  • Ablation: bắt buộc giữ cả hai encoder (ngữ nghĩa + không gian); đóng băng FOA encoder ở giai đoạn 3 tốt hơn cập nhật; đầu vào 5 kênh đặc trưng (log-mel + active-intensity + diffuseness) với lỗi azimuth 17.9° so với 30.5° khi dùng waveform thô.

IV. Conclusion & Future Works:​

Spatial audio là tín hiệu giá trị cho suy luận cảnh và điều hướng embodied — OmniEcho chứng minh nghe + nhìn + ngôn ngữ có thể học chung trong một mô hình duy nhất, và điều hướng bằng âm thanh đã tiệm cận VLN dạng văn bản. Thách thức mở còn lại: định vị không gian mịn (fine-grained) và ước lượng khoảng cách, cùng hiệu suất điều hướng vẫn còn thấp. Hướng tương lai: thu nhỏ sim-to-real gap bằng ít dữ liệu thật, cải thiện hiệu quả đường đi và cơ chế dừng của tác nhân.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Điều hướng chủ động bằng đa nguồn âm: tác nhân phân tách và theo dõi đồng thời nhiều nguồn âm thanh không gian (người nói + báo động) để ưu tiên mục tiêu trong môi trường đông đúc.
  2. Học ít dữ liệu thật để hiệu chỉnh phân phối: dùng một lượng nhỏ bản ghi FOA thật để tinh chỉnh mô hình huấn luyện trên dữ liệu tổng hợp, khắc phục thiên lệch của pipeline render.
  3. Audio không gian cho robot thao tác: tích hợp định vị nguồn âm vào tác vụ manipulation để robot tìm và thao tác vật phát ra tiếng động trong không gian 3D.

2. Patent:​

  1. Điện thoại thông minh định hướng bằng âm thanh: dùng micro đa hướng của điện thoại để xác định hướng tiếng kêu của thiết bị bị thất lạc (chìa khóa, tivi, điện thoại khác) rồi hiển thị mũi tên chỉ hướng và ước lượng khoảng cách cho người dùng.
  2. Robot hỗ trợ gia đình tìm người kêu cứu: robot di chuyển theo tiếng nói có định hướng (kể cả khi người ở phòng khác, ngoài tầm nhìn camera) để tới vị trí người bị nạn, kết hợp giọng nói với bản đồ tầng nhà.
  3. Hệ thống an ninh thông minh: camera kết hợp micro ghi âm không gian phát hiện tiếng vỡ kính, tiếng la hét từ hướng cụ thể và tự điều hướng camera hoặc drone tuần tra tới đúng vị trí nguồn tiếng thay vì quét toàn khu vực.
  4. Ứng dụng hướng dẫn cho người khiếm thị: điện thoại đeo tai hoặc kính thông minh phân tích âm thanh môi trường xung quanh (tiếng xe, tiếng còi, tiếng bước chân) để thông báo hướng và khoảng cách của chướng ngại vật hoặc điểm đến.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.23407
ArXiv Abstracthttps://arxiv.org/abs/2609.23407
PDF Downloadhttps://arxiv.org/pdf/2609.23407.pdf
Github Repositoryhttps://github.com/PKU-VaLuE-Lab/OmniEcho

5. Agent-Editing World Model: Rethinking World Modeling for LLM Agents (13 votes)​

Tác giả: Shuang Sun, Guoxin Chen, Fanzhe Meng, Jia Deng, Huatong Song, et al.

Xuất bản lúc: 2026-09-23

Tag: LLM Agents, World Model, Agent Editing, Rejection Sampling Fine-Tuning, Reinforcement Learning from Environment Feedback, Self-Correction

I. Main Problem:​

Các world model ngôn ngữ hiện tại cố dự đoán phản hồi của công cụ/môi trường, nhưng điều này ít giá trị với agent thực tế vì:

  • Quan sát môi trường entropy cao, phụ thuộc execution: kết quả tìm kiếm thay đổi theo nội dung web, output terminal phụ thuộc filesystem/runtime — dự đoán khó và không cần khi công cụ thật đã cung cấp phản hồi grounded.
  • Task-state contamination: agent duy trì giả định không có bằng chứng, kế hoạch đã lỗi thời, hoặc nhầm tiến độ tạm thời là hoàn thành. Các lỗi này lưu lại trong lịch sử và bị khuếch đại qua các bước hành động 'nghe có vẻ hợp lý'.

II. Main Idea:​

AEWM (Agent-Editing World Model) thay vì mô phỏng quan sát môi trường, mô hình hóa cách quyết định của agent định hình tiến trình nhiệm vụ, gồm hai năng lực trong một mô hình:

  • Action Judge: phân loại quyết định đề xuất thành CRITICAL (đóng khoảng trống quan trọng), EXPLORATORY (giảm bất định), NOISY (ít tiến bộ, lặp lại, sai hướng).
  • State Revision: với quyết định noisy, sinh lại cả reasoning lẫn action từ cùng lịch sử quan sát, thay thế trực tiếp continuation đang ô nhiễm.
  • EditAct: vòng lặp suy luận — hành động — hướng dẫn: giữ quyết định productive, sửa quyết định noisy rồi thực thi trong môi trường thật. Không chỉ góp ý phê bình, mà chỉnh sửa trực tiếp trạng thái agent trước khi hành động.

Đào tạo: mid-training 52B tokens trên 3 domain (Search, Terminal, SWE) + SFT 120K ví dụ (60K Action Judge + 60K State Revision). AEWM-RFT: dùng các trajectory EditAct đã xác minh để rejection sampling fine-tune, internalize khả năng tự sửa vào agent.

Ví dụ đời thường: giống người biên tập viên ngồi cạnh nhân viên mới — trước khi bấm gửi mỗi email, biên tập viên xem thử và nếu thấy suy luận sai, viết lại ngay đoạn đó thay vì chỉ nhận xét chê bai sau khi email đã gửi đi.

III. Main Results:​

  • Action Judge: AEWM đạt 70.5% macro-F1, vượt baseline mạnh nhất (DeepSeek-V4-Pro, 59.9%) tới +10.6 điểm, nhất quán trên cả 3 domain.
  • EditAct: cải thiện trung bình +6.7 / +5.2 / +3.2 điểm so với baseline mạnh nhất trên 6 benchmark với ba backbone Qwen3.5-4B / 9B / 35B-A3B. Qwen3.5-9B + EditAct còn vượt Qwen3.5-35B + ReAct (44.1 vs 42.2). Gains giữ được cả trên benchmark out-of-distribution.
  • AEWM-RFT: vượt Self-RFT +2.2 đến +2.6 điểm trên 3 domain mà không cần AEWM tại inference; số lượt tương tác giảm tới 30%.
  • Ablation: sửa trực tiếp state hiệu quả hơn resampling agent hay hint phê bình; sửa đồng thời reasoning+action tốt hơn sửa từng phần; mid-training + SFT kết hợp tốt hơn từng giai đoạn riêng.

IV. Conclusion & Future Works:​

Bài báo chứng minh world modeling cho LLM agent nên dự đoán hiệu ứng của quyết định và can thiệp vào trạng thái agent thay vì tái tạo quan sát môi trường entropy cao. Agent-state editing chống task-state contamination hiệu quả, có tính chuyển giao qua domain (Search → Terminal → SWE) và qua cả fine-tuning offline (AEWM-RFT). Hướng tương lai không nêu trực tiếp trong phần trích, nhưng kết quả mở ra khả năng áp dụng agent editing cho các agent backbone mạnh hơn và mở rộng sang thêm domain.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng agent-editing world model sang môi trường multi-agent: world model không chỉ sửa trạng thái một agent mà dự đoán cách quyết định của từng agent ảnh hưởng lẫn nhau trong quá trình cộng tác.
  2. Kết hợp AEWM với reinforcement learning trực tiếp: dùng Action Judge như reward hình thành từ dự đoán tiến trình nhiệm vụ để huấn luyện agent mà không cần verifier ngoài.
  3. Nghiên cứu agent editing cho tác vụ dài hàng trăm bước: cơ chế nén lịch sử để State Revision vẫn grounded khi context bị giới hạn.

2. Patent:​

  1. Trợ lý ảo trên điện thoại cho người vận hành phần mềm: trước mỗi thao tác, ứng dụng chạy ngầm mô hình phân loại thao tác là quan trọng / thăm dò / vô ích; nếu vô ích thì tự gợi ý lại cả lý do lẫn thao tác đúng, tránh người dùng đi lạc hướng trong quy trình dài.
  2. Plugin trình duyệt hỗ trợ nghiên cứu: theo dõi quá trình tìm kiếm của người dùng, phát hiện khi người dùng chỉ lặp lại cùng một giả định chưa kiểm chứng, và tự đề xuất truy vấn mới cùng nguồn bằng chứng đối lập để mở rộng thông tin.
  3. Trợ lý lập trình tích hợp IDE: đánh giá từng lệnh terminal hoặc đoạn sửa code trước khi thực thi; khi phát hiện suy luận dựa trên giả định thư viện sai hoặc bỏ qua kiểm thử tương thích, tự viết lại cả phần giải thích lẫn lệnh chạy kiểm chứng phù hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.28416
ArXiv Abstracthttps://arxiv.org/abs/2609.28416
PDF Downloadhttps://arxiv.org/pdf/2609.28416.pdf
Github Repositoryhttps://github.com/RUCAIBox/Agent-Editing-World-Model

6. Parts-of-Speech as Emergent Categories in SAE Latent Space (10 votes)​

Tác giả: Alessandro Bondielli, Lucia Passaro, Serena Auriemma, Alessandro Lenci

Xuất bản lúc: 2026-09-24

Tag: Sparse Autoencoders, Mechanistic Interpretability, LLMs, Probing Classifiers, Morpho-syntax, Part-of-Speech

I. Main Problem:​

Sparse AutoEncoders (SAEs) được kỳ vọng biến activations dày đặc của LLM thành các latent thưa, dễ giải thích (monosemantic), nhưng vẫn chưa rõ các danh mục ngôn ngữ học thật sự được mã hóa thế nào trong không gian latent:

  • Liệu một danh mục ngữ pháp (ví dụ danh từ, động từ) tương ứng một latent riêng lẻ, hay phân tán trên nhiều latent?
  • Probing accuracy cao chỉ cho biết thông tin có tồn tại, không giải thích nó tổ chức ra sao — và có thể chỉ là ghi nhớ từ vựng (lexical memorisation) chứ không phải trừu tượng hóa ngữ pháp.

II. Main Idea:​

Dùng Part-of-Speech (POS) — các nhãn ngữ pháp rời rạc, đã được gán chú thích độc lập (Universal Dependencies) — làm bài test có kiểm soát để khảo sát latent space của SAE trên LLaMA-3-8B. Quy trình 3 bước:

  • Probing nhị phân one-vs-rest (logistic regression L1) để kiểm tra POS có khôi phục được từ SAE activations không (RQ1)
  • Feature salience + coverage: xếp hạng latent theo hệ số probe, đo cần bao nhiêu latent để kích hoạt trên 95% token của từng nhãn (RQ2)
  • Validation trên held-out data và tập controlled (180 câu mẫu câu tối thiểu) để kiểm tra tính ổn định và độ riêng của nhóm latent (RQ3)

Kết luận cốt lõi: POS không ánh xạ 1-latent-1-nhãn, mà mỗi danh mục được hỗ trợ bởi một nhóm compact các latent thưa, kích thước biến đổi tùy bản chất ngôn ngữ của nhãn (lớp Closed như mạo từ, giới từ: nhóm nhỏ và chọn lọc; lớp Open như danh từ, động từ: nhóm rộng và lan tỏa).

Ví dụ đời thường: giống như trong một công ty, không có một nhân viên duy nhất phụ trách 'kế toán' — mà một nhóm nhỏ người cùng xử lý việc kế toán; bộ phận ít biến động (bảo vệ) cần ít người hơn bộ phận đa dạng (kinh doanh).

III. Main Results:​

  • RQ1 — POS khôi phục được tốt: probing one-vs-rest đạt F1 cao cho hầu hết nhãn; lớp Closed và dấu câu dễ nhất; danh từ/động từ là Open POS tốt nhất. Control với nhãn ngẫu nhiên chỉ đạt 0.54 accuracy so với 0.88 thật → không thể quy về ghi nhớ từ vựng.
  • RQ2 — Tổ chức phân tán có cấu trúc: mỗi nhãn dựa vào nhóm nhiều latent dương (không phải latent đơn lẻ); số latent cần cho 95% coverage biến đổi mạnh giữa các nhãn.
  • Compact feature set: hợp các nhóm tối thiểu chỉ 498 latent (12% chia sẻ giữa 2+ nhãn) nhưng huấn luyện classifier đa lớp đạt hiệu suất ngang classifier dùng toàn bộ không gian SAE.
  • RQ3 — Ổn định nhưng không độc quyền: recall trên held-out test set ≥0.95 cho hầu hết nhãn; điểm Distinctiveness trung bình 0.27 (trên mức ngẫu nhiên 0.06) cho thấy các nhóm latent chồng lấp giữa nhãn liên quan (ADJ↔NOUN, SCONJ↔ADP...) do trùng từ vựng, vị trí cú pháp và quy ước gán nhãn.
  • Controlled data: latent kích hoạt cộng tính theo token — thêm tính từ vào câu kích hoạt thêm latent ADJ; lớp Closed (DET) sụp về gần như một activation duy nhất khi mẫu câu không đổi.
  • Baseline: SAE probe ngang raw activations layer 30 và embedding với ~8 lần ít đặc trưng hơn; thay ngẫu nhiên latent trong tập L* làm hiệu suất sụt mạnh (0% overlap → accuracy 0.24).

IV. Conclusion & Future Works:​

POS được LLM biểu diễn nội tại như các tập hợp latent có thể định vị nhưng phân tán trong không gian SAE, chứ không phải đặc trưng ngữ pháp nguyên tử. Khẳng định interpretability ở cấp latent nên được đánh giá với hệ thống danh mục ngôn ngữ học có lý thuyết, thay vì chỉ nhìn ví dụ kích hoạt cao nhất. Hướng tương lai (từ phần Limitations):

  • Mở rộng sang các cấp ngôn ngữ giàu hơn: đặc trưng hình thái chi tiết, quan hệ phụ thuộc, vai trò ngữ nghĩa, hiện tượng discourse
  • Thử nghiệm nhiều mô hình, nhiều layer, nhiều biến thể SAE khác nhau để kiểm chứng tính tổng quát
  • Dùng can thiệp nhân quả thay vì chỉ hệ số probe để chứng minh latent thật sự được mô hình dùng cho xử lý ngữ pháp
  • Xây tập controlled data rộng hơn, phủ đa nghĩa, thứ tự từ, hình thái và độ phức tạp câu; thử ngôn ngữ đa typology

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích tương tự cho các cấp ngôn ngữ sâu hơn (quan hệ phụ thuộc, vai trò ngữ nghĩa) trong SAE latent space, xem liệu tổ chức latent có khác với POS không.
  2. So sánh hệ thống cách tổ chức latent ngữ pháp giữa nhiều họ mô hình (LLaMA, Qwen, Mistral) và nhiều layer, để lập bản đồ 'vị trí hóa' thông tin cú pháp theo độ sâu mạng.
  3. Nghiên cứu đa ngôn ngữ: kiểm tra liệu các nhóm latent POS ở các ngôn ngữ typologically khác nhau (ví dụ ngôn ngữ chia động từ phong phú) có phản ánh sự khác biệt hình thái không.
  4. Kết hợp phát hiện latent với can thiệp nhân quả (activation patching) để xác lập vai trò nhân quả của nhóm latent POS trong các hiện tượng đồng thuận chủ–động từ.

2. Patent:​

  1. Công cụ kiểm tra chất lượng SAE cho ứng dụng ngôn ngữ trên điện thoại: trước khi triển khai, đo mức độ nhóm latent có tổ chức (coverage, distinctiveness) qua POS probing để cảnh báo nếu SAE chỉ đang ghi nhớ từ điển thay vì nắm cấu trúc ngữ pháp.
  2. Hệ thống sửa lỗi ngữ pháp thời gian thực: phát hiện nhóm latent POS bất thường (ví dụ cụm latent động từ kích hoạt ở vị trí danh từ) để gợi ý chỉnh câu trong bàn phím điện thoại trước khi người dùng gửi tin nhắn.
  3. Bộ lọc nội dung nhẹ cho thiết bị di động: dùng tập compact gồm vài trăm latent POS-relevant đã xác định sẵn (thay vì toàn bộ mô hình) để phân loại cấu trúc câu và phát hiện mẫu câu đáng ngờ với chi phí tính toán thấp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.29362
ArXiv Abstracthttps://arxiv.org/abs/2609.29362
PDF Downloadhttps://arxiv.org/pdf/2609.29362.pdf
Github Repositoryhttps://github.com/colinglab/pos-sae-latents