Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-10-29

Báo cáo được tạo tự động vào lúc 2026-10-30 10:05:49 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images (47 votes)​

Tác giả: Junyeong Ahn, Geonwoo Kim, Kinam Kim, Gihwi Kim, Hoonjin Jung, et al.

Xuất bản lúc: 2026-10-26

Tag: Video Generation, Diffusion Models, Subject-Driven Video, 3D Reconstruction, Multi-View Generation, LoRA

I. Main Problem:​

Bài toán subject-to-video (S2V): tạo video của một chủ thể cụ thể từ vài ảnh tham chiếu, giữ nguyên ngoại hình khi camera di chuyển. Các hạn chế hiện tại:

  • Phương pháp một ảnh tham chiếu phải suy đoán phần bề mặt không nhìn thấy, dẫn đến hình dáng/bề mặt thay đổi khi camera xoay vòng quanh.
  • Các phương pháp đa ảnh tham chiếu (MV-S2V, 3DreamBooth) không mô hình hóa rõ ràng cấu trúc 3D nối các góc nhìn; dữ liệu huấn luyện cũng không đảm bảo thay đổi góc nhìn đi kèm cùng một chủ thể 3D.
  • Khó khăn cốt lõi là hình học, không chỉ là vấn đề bề ngoài: mô hình phải suy ra 3D từ dữ liệu 2D thiếu.

II. Main Idea:​

OmniShowcase kết hợp một pipeline tổng hợp dữ liệu tự động với điều kiện hóa dựa trên hình học, gồm hai thành phần:

  • Pipeline tổng hợp dữ liệu tự động: render video từ tài nguyên 3D (mesh) của Objaverse với 12 loại chuyển động camera / 88 cấu hình quỹ đạo (orbit, helix, arc, dolly...), rồi dùng video inpainting để ghép chủ thể vào cảnh nền chân thực. Vì mọi frame xuất phát từ một mesh, tính nhất quán 3D được đảm bảo.
  • Geometry-conditioning: từ 4 ảnh tham chiếu, tái tạo 3D bằng bộ ước lượng pointmap feed-forward, chuyển thành Gaussian, rồi render thành turntable các bản đồ pháp tuyến bề mặt (surface-normal) theo quỹ đạo xoay cố định. Các pháp tuyến này được nối vào cùng dãy latent với ảnh tham chiếu và video đích qua cơ chế in-context conditioning (cùng một bộ LoRA chỉnh sửa trên I2V diffusion transformer), không cần căn khung thời gian giữa turntable pháp tuyến và video đích vì turntable là gợi ý hình học độc lập với quỹ đạo camera.
  • Kèm theo SHOWCASE-4K (4.000 video có điều kiện pháp tuyến) và SHOWCASEBENCH (benchmark có ground-truth mesh và tham số camera).

Ví dụ đời thường: giống như người họa sĩ không chỉ xem 4 tấm ảnh chụp một món đồ mà còn được cho xoay một khung xương bằng dây (wireframe quay vòng) của món đồ đó trước khi vẽ, nên khi vẽ camera đi vòng quanh, mọi góc khuất vẫn đúng khối.

III. Main Results:​

  • Trên SHOWCASEBENCH (50 chủ thể) và NAVI (35 chủ thể), OmniShowcase đạt tốt nhất cả 4 metric cốt lõi: DINO (0.799/0.828), CLIP (0.925/0.918), MEt3R (0.190/0.249), GT-CD (0.0824/0.0975) — vượt Phantom-MV, MAGREF-MV, MV-S2V và 3DreamBooth, trong khi text alignment và chất lượng video vẫn cạnh tranh.
  • Ablation cho thấy bỏ điều kiện hình học làm GT-CD tệ đi gấp ~2.5 lần; dùng render có màu thay pháp tuyến khiến màu sắc cạnh tranh với ảnh tham chiếu và phá text alignment; rút gọn turntable 25→9 khung làm giảm độ phủ góc nhìn.
  • Baselines thất bại điển hình: Phantom/MAGREF gần như không xoay hết quỹ đạo; MV-S2V sinh chi tiết sai (ấm trà mọc thêm vòi) trong một clip; 3DreamBooth lệch cả danh tính lẫn hình học.

IV. Conclusion & Future Works:​

OmniShowcase cho thấy cặp dữ liệu render 3D nhất quán toàn hướng + điều kiện pháp tuyến tái tạo từ ảnh tham chiếu (không cần căn khung thời gian) đủ để dẫn đầu về giữ danh tính chủ thể và tính nhất quán 3D đa góc nhìn. Hạn chế: nền đôi khi trông giả tạo; chưa xử lý chủ thể biến dạng phi cứng giữa các ảnh tham chiếu. Tác giả dự định công khai dữ liệu, benchmark và code.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng conditioning hình học cho chủ thể phi cứng (quần áo, động vật, người) bằng cách thay turntable pháp tuyến tĩnh bằng trường biến dạng 4D tái tạo từ đa ảnh.
  2. Cải thiện tính chân thực của nền cảnh trong pipeline tổng hợp dữ liệu, ví dụ ghép nền dựa trên ảnh thật thay vì chỉ inpainting theo prompt.
  3. Áp dụng turntable pháp tuyến cho bài toán novel-view video synthesis từ ảnh chụp thật ít góc (2-4 ảnh điện thoại) để tạo video quay vòng sản phẩm cho thương mại điện tử.

2. Patent:​

  1. Ứng dụng điện thoại tạo video quay vòng 360° sản phẩm từ 4 ảnh người dùng chụp quanh món đồ: điện thoại tái tạo hình dạng 3D, render dãy ảnh pháp tuyến, gửi lên máy chủ sinh video quay vòng với nền cảnh theo mô tả.
  2. Hệ thống chụp ảnh bất động sản/nội thất toàn cảnh: từ vài ảnh phòng, tái tạo cấu trúc 3D và sinh video camera bay xoay quanh đồ vật trưng bày mà không biến dạng, phục vụ catalogue ảo.
  3. Dịch vụ ảnh profile 3D cho người dùng mạng xã hội: người dùng tải 4 ảnh selfie quanh đầu, hệ thống sinh video avatar quay 360° làm ảnh động giới thiệu bản thân.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.35684
ArXiv Abstracthttps://arxiv.org/abs/2610.35684
PDF Downloadhttps://arxiv.org/pdf/2610.35684.pdf
Github Repositoryhttps://github.com/justin4ai/OmniShowcase

2. Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success (21 votes)​

Tác giả: Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei

Xuất bản lúc: 2026-10-23

Tag: Embodied AI, Vision-Language-Action, World Action Models, Platonic Representation Hypothesis, Robot Evaluation, Representation Learning

I. Main Problem:​

Đánh giá các robot foundation model hiện nay phải dựa vào closed-loop rollout trong mô phỏng hoặc robot thật — chậm, nhiễu, phụ thuộc benchmark và tốn kém. Các proxy offline hiện có đều bỏ qua yếu tố cốt lõi của robotics:

  • VQA scores (cho VLM) chỉ đo hiểu ngôn ngữ/hình ảnh thụ động
  • Video-quality metrics (FID, SSIM, PSNR) chỉ đo chất lượng pixel
  • Không metric nào đo đại diện đã được tổ chức cho hành động chưa — trong khi hai cảnh nhìn giống nhau có thể đòi hỏi chuyển động hoàn toàn khác nhau.

II. Main Idea:​

Bài báo mở rộng Platonic Representation Hypothesis (PRH) sang robotics: nếu ảnh và văn bản là hai hình chiếu của cùng thế giới vật lý, thì chuỗi chuyển động của robot là hình chiếu thứ ba — mô hình càng giỏi, đại diện cảm giác (vision-text features) của nó càng khớp với hình học của chuyển động vật lý.

Từ đó tác giả đề xuất Sensorimotor Alignment (S2) — metric không cần training đo độ khớp này:

  • Mỗi episode trong dataset (DROID, BridgeDataV2) được mã hóa thành đại diện cảm giác (embedding ảnh + chỉ dẫn) và đại diện vận động (quỹ đạo end-effector: vị trí, góc quay SO(3), trạng thái gripper)
  • Tìm k nearest neighbors trong từng không gian (cosine distance cho cảm giác, Dynamic Time Warping cho quỹ đạo)
  • S2 = mức độ chồng lấp giữa hai tập hàng xóm — hàng xóm gần nhau về mặt nhìn thấy cũng phải là hàng xóm gần nhau về mặt chuyển động

Ví dụ đời thường: giống như xếp hàng cho người thuê nhà — nếu danh sách nhà gợi ý theo 'ngoại hình căn nhà' và danh sách theo 'cách sinh hoạt thực tế của người ở' trùng khớp nhau, thì bạn hiểu đúng căn nhà thật sự phù hợp; hai bản danh sách càng trùng nhau, hiểu biết của bạn càng sát thực tế.

III. Main Results:​

  • VLA (12 mô hình, SimplerEnv): S2 tương quan mạnh với tỉ lệ thành công, Pearson r = +0.717 (p = 0.004)
  • Raw VLM (8 backbone): S2 tính trước khi fine-tune đã dự đoán thành công của VLA sau fine-tuning, r = +0.681 — trong khi VQA scores gần như không tương quan (r = −0.154)
  • WAM (6 mô hình, RoboTwin 2.0): r = +0.718; trên 3 WAM có so sánh, S2 đạt r = +0.999, vượt xa SSIM (+0.558), PSNR (+0.468); FID thậm chí tương quan ngược
  • Robot thật (5 policy, 40 tác vụ của MolmoBot): r = +0.831 với tỉ lệ thành công vật lý
  • Độ vững: tương quan giữ vững qua 8 lựa chọn tính toán (dataset tham chiếu, horizon, DTW...); negative control với embodiment không khớp (WAM hai tay trên data một tay) làm tương quan sụt từ +0.999 xuống +0.246 — chứng tỏ S2 đo đúng cơ chế
  • Giải thích ở tầng representation:
    • VLA sau fine-tune dựa vào vision features (r = +0.694) chứ không phải text (r = +0.237) → giải thích hiện tượng bỏ qua chỉ dẫn ngôn ngữ
    • Freeze vision encoder làm S2 giảm 41% và success giảm 40%
    • WAM có thể bỏ qua iterative denoising vì S2 đã cao ngay ở bước đầu tiên
    • Block độ sâu giữa (Block 14/30) mang S2 mạnh nhất — trùng với tầng quan trọng cho reasoning ngữ nghĩa

IV. Conclusion & Future Works:​

S2 làm cho sensorimotor alignment có thể đo lường được, mở rộng PRH sang robotics và cung cấp một công cụ rẻ, offline, ở tầng representation mà tỉ lệ thành công closed-loop không tiết lộ — vừa là proxy để sàng lọc mô hình/backbone trước khi fine-tuning tốn kém, vừa là công cụ chẩn đoán giải thích các lựa chọn thiết kế của VLA/WAM. Hướng mở: áp dụng S2 cho nhiều tác vụ/tư thế robot hơn, và dùng làm tín hiệu tối ưu hóa trực tiếp trong huấn luyện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp S2 trực tiếp làm hàm mục tiêu huấn luyện, tối ưu hóa độ khớp cảm giác-vận động ngay trong quá trình fine-tune VLA thay vì chỉ dùng làm metric đánh giá.
  2. Mở rộng S2 sang các dạng embodiment khác (robot chân, điều khiển xe) và các modal cảm giác bổ sung (độ sâu, lực xúc giác) để kiểm chứng tính phổ quát của giả thuyết Platonic trong robotics.
  3. Nghiên cứu sàng lọc multi-backbone VLM bằng S2 kết hợp với kiến trúc action head, để dự đoán tổ hợp backbone + recipe fine-tuning tối ưu trước khi chạy thực nghiệm.

2. Patent:​

  1. Ứng dụng điện thoại sàng chọn mô hình robot đám mây: người dùng tải checkpoint lên, hệ thống tính độ khớp giữa đại diện hình ảnh-ngôn ngữ và quỹ đạo tay robot trên dataset chuẩn, trả về điểm dự đoán khả năng thành công trước khi triển khai thật.
  2. Công cụ chẩn đoán cho kỹ sư fine-tune robot: hiển thị độ khớp cảm giác-vận động theo từng lớp mạng và từng bước khử nhiễu, giúp quyết định nên freeze hay mở khóa encoder hình ảnh mà không cần chạy đánh giá closed-loop.
  3. Hệ thống kiểm thử robot công nghiệp trước khi xuất xưởng: đo độ khớp giữa cách mô hình 'nhìn' cảnh làm việc và quỹ đạo vận hành thực tế, cảnh báo sớm mô hình có nguy cơ thất bại khi lắp vào dây chuyền.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.31670
ArXiv Abstracthttps://arxiv.org/abs/2610.31670
PDF Downloadhttps://arxiv.org/pdf/2610.31670.pdf
Github Repositoryhttps://github.com/yunfeixie233/sensorimotor-alignment

3. TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving (18 votes)​

Tác giả: Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin

Xuất bản lúc: 2026-10-27

Tag: LLM Inference, Scheduling, Agentic Serving, KV Cache, Dynamic Programming, Systems

I. Main Problem:​

Các dịch vụ agentic luân phiên giữa suy luận mô hình trên cụm GPU và thực thi công cụ bên ngoài trên CPU phân tán (kịch bản CGDC — Clustered-GPUs with Distributed-CPUs). Hệ thống hiện tại có hai lỗ hổng chính:

  • Bỏ quên thời điểm công cụ trả kết quả (tool-return readiness): các scheduler chỉ dùng latency công cụ như proxy cho KV reuse hoặc số token, lãng phí nguồn lực GPU khi phiên chưa cần suy luận lại.
  • Ra quyết định heuristic, ngắn hạn: chấm điểm và đặt từng phiên một cách độc lập (vLLM, SGLang, llm-d), không xét cạnh tranh năng lực giữa các phiên — việc nhận một phiên có thể chặn tổ hợp phiên giá trị hơn, dẫn đến lựa chọn suboptimal và KV-cache thrashing.

II. Main Idea:​

TAO (Tool-Aware jOint scheduling) cải tiến mô hình evaluate-then-decide theo hai tầng:

  1. Session evaluation — gán mỗi cặp phiên–node một bộ ba giá trị từ điển (lexicographic):

    • KV-cache credit có suy giảm theo thời gian: giá trị cache tái sử dụng giảm theo hàm mũ với chu kỳ bán rã 10 giây, ưu tiên bằng chứng cache còn mới.
    • Tool-return readiness (nhị phân): dự đoán phiên nào sẽ cần GPU trong cửa sổ lập lịch ngắn (horizon 1 giây), dùng tiến độ công cụ, lệnh sleep, lịch sử thời lượng công cụ (sai số tuyệt đối trung bình 0.41 giây, 82.9% sai số < 0.5 giây).
    • Token footprint: ưu tiên context lớn hơn khi hai tín hiệu trên hòa nhau.

  2. Joint decision making — dynamic programming (dạng multiple-knapsack / generalized-assignment) chọn và đặt đồng thời toàn bộ phiên trong waiting pool dưới ràng buộc dung lượng node, tối đa hóa tổng giá trị bộ ba; chạy bất đồng bộ và revalidate trước khi áp dụng (chi phí < 0.12% thời gian chạy). Tách riêng evaluation khỏi optimizer nên dễ mở rộng tín hiệu mới.

Ví dụ đời thường: giống quản lý bếp ăn không xếp món theo thứ tự đến mà nhìn cả hàng chờ: ưu tiên món có nguyên liệu sẵn ở chảo nào (cache credit), món mà khách sắp đòi (tool-return readiness), rồi xếp một lượt sao cho lấp đầy bếp không chỗ nào trống phí (joint placement).

III. Main Results:​

Đánh giá trên DeepSeek-V4 Flash (2 node × 4 H100), Qwen3-32B (4 node × 2 H100), GLM-4.7 (1 node × 8 H100) với các workload SWE-Lite, Terminal-Bench 2.0, SWE-verified, AutomationBench; so với baseline tốt nhất từng metric (Dynamo, vLLM w/ RR, vLLM w/ CA, ThunderAgent):

  • Giảm latency tới 26.8%, giảm TTFT tới 36.3%, tăng decode throughput tới 29.5% trong 12 cấu hình model–workload–concurrency.
  • Readiness tăng throughput 4.03%, giảm trễ tool-end→first-token 10.88%, giảm pause wait từ 1.067 → 0.972 giây.
  • Cache-aware valuation tăng prefix-cache hit rate +0.31 điểm phần trăm, throughput +1.68% so với ThunderAgent.
  • Ablation: bỏ cache value, readiness, hoặc thay DP bằng best-fit-decreasing (1233.72 so với 1417.97 tok/s) đều làm hiệu năng giảm rõ — cả evaluation và decision đều đóng góp.
  • Tương thích workload hỗn hợp (agent + chatbot) và tích hợp được với TokenCake.

IV. Conclusion & Future Works:​

TAO chứng minh rằng timing của công cụ bên ngoài là tín hiệu lập lịch hạng nhất, ngang hàng với khả năng tái sử dụng KV cache, và rằng tối ưu chung (joint optimization) vượt heuristic từng phiên trong kịch bản agentic. Kiến trúc tách evaluation khỏi optimizer cung cấp cách mở rộng: thêm tín hiệu workload mới (multi-agent orchestration, Looped Agents) mà không đổi thủ tục lập lịch. Hướng mở rộng gợi mở: điều chỉnh half-life decay theo workload, thuật toán dự đoán thời lượng công cụ chính xác hơn, và kết hợp speculative/partial tool execution để che thêm độ trễ công cụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển bộ dự đoán thời lượng công cụ học máy (thay estimator lịch sử tĩnh) cho tool-return readiness, khai thác luồng tiến độ chi tiết từ Claude Code Monitor và OpenCode để thu hẹp sai số dưới 0.1 giây.
  2. Mở rộng dynamic program sang bài toán lập lịch đa mục tiêu (SLO-aware) cho multi-agent orchestration, nơi nhiều phiên agent chia sẻ cùng pool GPU và công cụ.
  3. Kết hợp TAO với kỹ thuật che latency công cụ (partial execution, overlap, speculation kiểu Conveyor/PASTE) để pipeline hóa toàn bộ vòng đời phiên agentic.

2. Patent:​

  1. Hệ thống hẹn giờ thông minh trên điện thoại: trợ lý AI dự đoán khi nào ứng dụng bên ngoài (bản đồ, dịch thuật, thanh toán) sẽ trả kết quả, và chỉ khi đó mới đánh thức mô hình ngôn ngữ trên điện thoại lên xử lý tiếp — tiết kiệm pin và giảm độ trễ cảm nhận được của trợ lý.
  2. Trình quản lý tác vụ đa ứng dụng cho smartphone: khi người dùng yêu cầu xuyên nhiều app (chụp ảnh → dịch chữ → tạo ghi chú), hệ thống dự đoán thời điểm từng app xong việc để sắp xếp lượt xử lý AI trung tâm, tránh chiếm bộ nhớ vào lúc app còn đang chạy.
  3. Bộ điều phối GPU đám mây cho doanh nghiệp dùng trợ lý AI: gom các phiên làm việc của nhân viên đang chờ công cụ nội bộ (truy vấn cơ sở dữ liệu, build code) vào hàng đợi, rồi dùng quy hoạch động để xếp lượt GPU sao cho tổng thời gian hoàn thành công việc toàn công ty là nhỏ nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.37230
ArXiv Abstracthttps://arxiv.org/abs/2610.37230
PDF Downloadhttps://arxiv.org/pdf/2610.37230.pdf
Github RepositoryN/A

4. RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents (17 votes)​

Tác giả: Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, et al.

Xuất bản lúc: 2026-10-15

Tag: LLM Agents, CLI Agents, Human-AI Collaboration, Benchmark, Agent Evaluation, Human-in-the-loop

I. Main Problem:​

Các benchmark cho CLI agent (SWE-bench, Terminal-Bench...) hiện có hai lỗ hổng lớn:

  • Giả định đặc tả cố định: agent nhận đầy đủ yêu cầu ngay từ đầu và chạy tự trị suốt quá trình, trong khi thực tế người dùng thường bổ sung thông tin, sửa ràng buộc, quyết định phê duyệt khi tác vụ đang chạy.
  • Chỉ chấm kết quả cuối: đánh giá dựa trên trạng thái môi trường cuối, bỏ qua chất lượng cộng tác lúc chạy — agent có hiểu và tuân theo can thiệp của người dùng không, có kiểm tra trạng thái và phục hồi lỗi không, có trung thực về rủi ro và giữ ranh giới an toàn không. Hệ quả: agent có task success cao vẫn có thể hỏng hoàn toàn ở khả năng cộng tác, mà benchmark hiện tại không phát hiện được.

II. Main Idea:​

REALCLI là benchmark ghép cặp (paired) đánh giá đồng thời hiệu quả tác vụ và chất lượng cộng tác trên cùng một tập 101 tác vụ CLI thực tế (10 danh mục, 52 subdomain), với hai chế độ:

  • REALCLI-EXEC: đưa đặc tả đầy đủ ngay đầu, agent chạy tự trị.
  • REALCLI-COLLAB: một user được viết script tung thông tin theo từng lát (information slices) và chèn các probe tương tác (yêu cầu làm rõ, sửa sai, đổi ràng buộc, xin phê duyệt) đúng lúc trong quá trình chạy.

Chất lượng cộng tác được đo bằng khung 5 chiều dựa trên lý thuyết HCI: Understandability (kế hoạch/trạng thái dễ theo dõi), Steerability (người dùng đổi hướng được), Observation & Recovery (tự kiểm tra và phục hồi), Trust Calibration (nói thật về giới hạn và rủi ro), Safety & Risk Awareness (giữ quyền kiểm soát trước thao tác nguy hiểm) — chi tiết hóa thành 22 sub-dimension và 51 scenario template, chấm qua 1,658 checklist item theo logic tổng hợp 4 tầng, và điểm tổng hợp J_collab = task success × collaboration score để phạt nghiêm khắc bất kỳ mảng yếu nào.

Ví dụ đời thường: giống thử việc bếp trưởng giao làm món ăn — EXEC là giao công thức đầy đủ rồi để đó; COLLAB là khách dặn dần từng bước giữa chừng ("đổi ít muối", "bỏ món này"), và người đầu bếp giỏi không chỉ nấu xong món mà còn hỏi rõ khi mơ hồ, nhớ cả yêu cầu cũ lẫn mới, và từ chối gói cả chai nước mắm lạ vào hộp mang về khi khách bảo "gói hết giùm".

III. Main Results:​

  • Thách thức lớn với frontier agents: cấu hình tốt nhất (Claude Opus 5) chỉ đạt trung bình 49.2%; với J_collab, cao nhất chỉ 37.6%.
  • Hiệu quả tác vụ và chất lượng cộng tác lệch nhau mạnh: GPT-5.6 Sol đạt R_exec 58.5% nhưng J_collab tụt 50 điểm còn 8.5%; task success cao không hàm ý cộng tác tốt.
  • Tương tác người dùng không phải lợi thế đảm bảo: pass rate trung bình gần như không đổi (46.8% vs 47.4%), nhưng 17.9% ca fail→success trong khi 18.5% ca success→fail; mô hình hỏng khi chủ quan chạy theo thông tin từng phần, mô hình tốt chủ động hỏi làm rõ và tích hợp sửa đổi.
  • Khả năng cộng tác mất cân đối: tất cả model làm tốt Understandability và Observation & Recovery (nhờ RLHF thưởng suy nghĩ từng bước) nhưng yếu hệ thống ở Steerability, Trust Calibration và Safety (SR của GPT-5.6 Sol chỉ 0%).
  • Lỗi cốt lõi là duy trì mục tiêu xuyên lượt hội thoại: pass 98.8% khi đổi yêu cầu liên tiếp nhưng chỉ 54.4% giữ ràng buộc cũ và 29.3% xử lý chỉ dẫn mâu thuẫn; 91.0% trajectory thành công vẫn trượt ít nhất một checklist cộng tác.

IV. Conclusion & Future Works:​

REALCLI chứng minh đánh giá chỉ theo kết quả che giấu lỗi cộng tác mang tính hệ thống của CLI agent. Muốn tiến xa hơn, các agent cần được phát triển coi cộng tác là năng lực đo lường được ngang hàng với thực thi tác vụ — có thể điều chỉnh theo hướng dẫn, trung thực về rủi ro và giữ ranh giới an toàn. Benchmark cung cấp nền tảng tái lập nghiêm ngặt (container cô lập, avg@3) để cộng đồng đo và cải thiện khả năng này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung 5 chiều của REALCLI sang các môi trường agent khác ngoài CLI (IDE, trình duyệt, GUI desktop) để kiểm chứng tính tổng quát của thang đo cộng tác.
  2. Nghiên cứu huấn luyện nhắm vào các chiều yếu (Steerability, Trust Calibration, Safety) bằng dữ liệu tương tác có người thật, đo mức cải thiện qua scenario template của REALCLI.
  3. Phát triển kỹ thuật duy trì ràng buộc xuyên lượt hội thoại (constraint retention) như cơ chế bộ nhớ mục tiêu dài hạn cho agent, đối phó với lỗ hổng lớn nhất hiện nay (chỉ ~54% pass).
  4. Xây dựng user simulator thích ứng thay vì script cố định, để đánh giá cộng tác trong các kịch bản đối thoại không lường trước được.

2. Patent:​

  1. Trợ lý gõ lệnh trên điện thoại có chế độ tương tác an toàn: khi người dùng nhắn yêu cầu dạng thiếu ("dọn dữ liệu giùm"), ứng dụng hỏi làm rõ từng phần, nhớ tất cả yêu cầu cũ và mới, và chặn các lệnh nguy hiểm như xóa toàn bộ thư mục nếu chưa được xác nhận rõ ràng.
  2. Hệ thống chấm điểm agent kỹ thuật cho doanh nghiệp: chạy thử agent trên tập tác vụ nội bộ với người dùng giả lập, tự động chấm theo nhiều chiều (có dễ điều khiển, có trung thực về rủi ro, có giữ bí mật) và xuất báo cáo điểm cộng tác riêng khỏi điểm hoàn thành công việc.
  3. Tính năng bảo vệ thông tin nhạy cảm cho trợ lý lập trình: trước khi đóng gói hoặc tải lên mã nguồn, trợ lý tự quét cây thư mục, phát hiện file chứa khóa bí mật (như file cấu hình môi trường) và tự động loại trừ hoặc cảnh báo, kể cả khi người dùng yêu cầu nén toàn bộ.
  4. Giao diện quản lý tác vụ dài hạn cho điện thoại: hiển thị cho người dùng kế hoạch, trạng thái và rủi ro của agent đang chạy trên máy chủ, cho phép dừng/đổi hướng giữa chừng và yêu cầu agent xin phê duyệt trước mọi thao tác có tác động lớn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.22507
ArXiv Abstracthttps://arxiv.org/abs/2610.22507
PDF Downloadhttps://arxiv.org/pdf/2610.22507.pdf
Github RepositoryN/A

5. PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas (13 votes)​

Tác giả: Haoming Li, Defu Cao, Xu Hu, Yingtao Luo, Yiyang Wang, et al.

Xuất bản lúc: 2026-10-16

Tag: Computer-Use Agents, LLM Agents, Benchmark, User Simulation, Personalization, Web Agents, Human-AI Interaction

I. Main Problem:​

Các benchmark đánh giá computer-use agents (CUA) hiện nay dùng chỉ dẫn cố định, trong khi người dùng thực tế thường nói thiếu yêu cầu, thêm ràng buộc cá nhân, hoặc đòi xác nhận trước hành động quan trọng. Hoàn thành đúng đặc tả không đồng nghĩa phục vụ đúng người hỏi:

  • Agent phải suy đoán điều người dùng không nói và quyết định khi nào nên hỏi/xác nhận
  • Sai lệch có hậu quả thật: tiêu tiền nhầm, gửi email nhầm, lộ thông tin
  • Điểm checker theo chỉ dẫn gốc có thể mâu thuẫn với ý muốn người dùng (ví dụ user bảo dừng ở bản nháp nhưng checker chấm là thất bại)

II. Main Idea:​

Giữ nguyên 74 tác vụ (từ Odysseys + REAL, 11 lĩnh vực) và chỉ thay đổi ai đang hỏi. Quy trình 3 giai đoạn:

  • Giai đoạn 1 — Persona agent: một agent mô phỏng người dùng với hồ sơ 44 persona / 4 nhóm (expert, senior, young, practical), dựa trên 37 thuộc tính của schema MatrAIx, diễn đạt lại chỉ dẫn gốc bằng lời của chính mình — có thể nói thiếu, nói mơ hồ hoặc thêm ràng buộc mới
  • Giai đoạn 2 — Tương tác: CUA chỉ thấy hội thoại, không thấy hồ sơ hay chỉ dẫn gốc; được phép hỏi lại persona agent tối đa 5 lần
  • Giai đoạn 3 — Chấm điểm kép: task completion theo rubric/checker gốc + mức hài lòng 1–5 do chính persona agent chấm, đồng thời phân tích từng yêu cầu ở 3 trạng thái: được nêu ra (raised) — được agent tiếp nhận (engaged) — được đáp ứng (met)

Ví dụ đời thường: giống như thợ sửa đến nhà chỉ nghe khách mô tả qua điện thoại ('máy lạnh nó quá kém') mà không được xem hóa đơn bảo hành gốc — khách già thì nói thiếu chi tiết, khách kỹ tính thì chêm đủ ràng buộc, và thợ phải tự đoán hoặc gọi lại hỏi trước khi tháo máy.

III. Main Results:​

  • Task completion sụt mạnh với mọi backbone: trung bình giảm từ 0.689 → 0.441 (-36%) trên 3.330 lượt chạy với 9 mô hình (MiniMax M3, Kimi K3, Grok 4.6, Qwen 3.8, Gemini 3.8 Flash, GPT-6 Astra, DeepSeek V4.1, Claude Opus 5.5, Muse Glimmer 30B); từng mô hình mất 28–45%. Nhóm senior (-42%) và young (-40%) chịu tổn thất lớn nhất
  • Phân tích 1.230 ô mất điểm: 59.9% agent đã nghe đúng yêu cầu nhưng xử lý sai; 17.1% user không bao giờ nêu yêu cầu (senior 22.9% vs expert chỉ 6.2%); 11.2% là dừng đúng ý user nhưng bị checker chấm sai; 9.7% agent tự dừng không được yêu cầu
  • Completion ≠ hài lòng, lệch cả hai chiều: ô hoàn thành trọn vẹn mà user chỉ 62.7% cho 5/5 (so với 84.1% với yêu cầu gốc); 56% ô thất bại bị user tưởng là xong (còn 27% sau khi kiểm tra trạng thái site), do agent tự dừng đúng yêu cầu hoặc báo cáo sai kết quả (45% ô mất điểm thông tin)
  • Hai can thiệp đều thất bại trên GPT-6 Astra: cho agent xem hồ sơ user không phục hồi được điểm (information task còn giảm thêm); bắt agent phải hỏi trước khi làm cũng không giúp — chỉ 24% trong 609 câu hỏi nhắm đúng yêu cầu user đã bỏ sót
  • Thứ hạng mô hình đổi theo nhóm user (Gemini đứng gần đầu với yêu cầu gốc nhưng thứ 7 với senior): 'ai hỏi' ảnh hưởng ngang 'chạy mô hình nào'

IV. Conclusion & Future Works:​

Đặc tả cố định đánh đồng hai thứ khác nhau: khả năng thực thi của agent và khoảng cách giữa lời yêu cầu của user với đặc tả đó. Cổ chai thật sự không phải thiếu thông tin hay thiếu câu hỏi, mà là giữ vững ý user xuyên suốt chuỗi hành động dài. Vì completion và satisfaction tách rời, CUA cá nhân hóa cần được đánh giá từ phía người dùng, với user mô phỏng được kiểm chứng lại bằng người thật. Hướng mở rộng: tương tác lặp lại với bộ nhớ user lâu dài, mở rộng nghiên cứu can thiệp sang các backbone khác, và vượt ra ngoài web (desktop app, coding workflow).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển benchmark tương tác đa lượt trong đó CUA tích lũy bộ nhớ người dùng qua nhiều phiên, đo mức giảm điểm persona có thu hẹp dần theo thời gian phục vụ hay không.
  2. Nghiên cứu cơ chế hỏi đáp chủ động: huấn luyện agent đặt câu hỏi nhắm đúng yêu cầu bị bỏ sót (hiện chỉ 24%) thay vì hỏi mang tính hình thức, và đo lợi ích thật trên task completion.
  3. Xây dựng phương pháp chấm điểm CUA dựa trên intent của người dùng: hài hòa hóa rubric checker gốc với các trường hợp dừng đúng yêu cầu user (ví dụ chỉ gửi bản nháp), giải quyết xung đột completion-satisfaction.
  4. Kiểm chứng user mô phỏng bằng người thật: chạy song song cùng tác vụ với người dùng thật ở 4 nhóm nhân khẩu học để đo độ lệch hành vi và thang hài lòng giữa mô phỏng và thực tế.
  5. Phân tích rủi ro an toàn theo persona: đo tần suất agent thực hiện hành động có hậu quả (thanh toán, gửi tin) mà không xin xác nhận, tương ứng với mức cảnh giác khác nhau của từng nhóm người dùng.

2. Patent:​

  1. Trợ lý đặt vé/mua sắm trên điện thoại tự nhận diện kiểu người dùng từ cách viết tin nhắn, tự động hỏi lại các yêu cầu bị thiếu (ngân sách, giờ bay) và bắt buộc hiện nút xác nhận trước khi thanh toán.
  2. Hệ thống chấm điểm hội thoại cho chatbot dịch vụ khách hàng: ghi nhận từng yêu cầu khách nêu, trạng thái agent đã tiếp nhận và đáp ứng chưa, kèm điểm hài lòng do chính mô phỏng khách chấm, phát hiện agent báo cáo sai kết quả.
  3. Trợ lý email thông minh trên điện thoại: khi người dùng có phong cách thận trọng (nhóm chuyên gia/senior), hệ thống luôn dừng ở bản nháp chờ duyệt; khi người dùng vội (nhóm thực dụng), hệ thống tự động gửi sau khi tóm tắt hành động sắp làm.
  4. Bộ kiểm thử tự động cho trợ lý AI: tự sinh nhiều phiên bản câu hỏi của cùng một tác vụ theo các nhóm người dùng khác nhau (tuổi, học vấn, áp lực thời gian) và báo cáo mức suy giảm hiệu suất để nhà phát triển khắc phục.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.22990
ArXiv Abstracthttps://arxiv.org/abs/2610.22990
PDF Downloadhttps://arxiv.org/pdf/2610.22990.pdf
Github Repositoryhttps://github.com/MatrAIx-ai/PersonaCUABench

6. Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes (150 votes)​

Tác giả: Wendi Sang, Kai Li, Yifan Li, Jianqiang Huang, Xiaolin Hu

Xuất bản lúc: 2026-10-23

Tag: Audio-Visual Target Speaker Extraction, Speech Separation, Streaming Causal Models, Benchmark Dataset, Contrastive Learning, Edge Deployment

I. Main Problem:​

Bài toán tách giọng người nói mục tiêu bằng audio-visual (AVTSE) theo kiến trúc causal (chỉ dùng quá khứ + hiện tại, cần cho họp video, thiết bị trợ thính) đang thiếu hụt nghiêm trọng ở hai khía cạnh:

  • Dữ liệu đánh giá không giống thực tế: các benchmark chuẩn (LRS2-2Mix, LRS3-2Mix, VoxCeleb2-2Mix) cố định 2 người nói, bỏ qua nhiễu gần/xa, vọng âm (reverberation), tiếng ồn bất ngờ; không có tập ghi âm thật để kiểm chứng khả năng triển khai.
  • Kiến trúc causal quá nặng: các mô hình causal mạnh (AV-TFGridNet, AV-Mossformer2) có quá nhiều tham số và FLOPs, vượt ngân sách độ trễ thời gian thực trên thiết bị biên; các phương án nhẹ (SwiftNet) lại lặp lại separator nhiều vòng, làm tăng tính toán và xóa tan lợi ích nhẹ.
  • Hàm mất mát SI-SNR chỉ kéo ước lượng về gần tín hiệu sạch mà không đẩy nó ra khỏi người nói gần, gây rò rỉ âm thanh từ các nguồn ở gần micro.

II. Main Idea:​

Bài báo đề xuất hai đóng góp bổ sung cho nhau:

  • RealSSA — benchmark mới gồm RealSSA-Sim (cảnh mô phỏng kiểm soát được: 1–5 người nhiễu gần động, thêm 10–15 người nhiễu xa trong cảnh xa; 4 loại bối cảnh từ phòng nhỏ tới đường phố; RT60, tiếng ồn môi trường và tiếng ồn bất ngờ được sample đồng thời) và RealSSA-Real (tập ghi âm thật bằng một thiết bị di động, chỉ dùng để đánh giá khái quát hóa).
  • Falcon — mô hình causal AVTSE một lượt truyền (single-pass): Separator dạng U-Net bất đối xứng, trong một lần đi qua encoder–decoder thực hiện mô hình hóa đa tỷ lệ theo trục tần số, trục thời gian và tần số–thời gian kết hợp ở các mức decoder từ thô tới mịn (thay vì lặp separator nhiều vòng như SwiftNet), kèm module Global Context Injection đưa ngữ cảnh toàn cục vào các skip connection.
  • Encoder-space speaker contrastive loss: hàm mất mát mới tính trong không gian encoder STFT, kéo ước lượng lại gần tín hiệu mục tiêu sạch và đẩy xa từng người nhiễu gần (có margin 60°); chỉ hoạt động khi huấn luyện, chi phí suy luận bằng 0, và cắm được vào mọi backbone AVTSE.

Ví dụ đời thường: giống như lọc tiếng của một người trong quán cà phê đông đúc — Falcon chỉ 'lướt qua căn phòng' một lần nhưng nhìn ở nhiều độ chi tiết (nghe trầm/thời gian/chi tiết tần số) như người thợ chụp một bức ảnh panorama đa tỷ lệ thay vì chụp đi chụp lại nhiều lần; còn hàm contrastive giống việc vừa bảo 'giữ đúng giọng người này' vừa chỉ tay 'đẩy giọng mấy người ngồi cạnh ra xa', nên không còn lẫn tiếng người ngồi gần.

III. Main Results:​

  • Chất lượng tách: Falcon đạt SI-SNRi/SDRi cao nhất trên cả 4 benchmark mô phỏng (RealSSA-Sim 7.7/8.2 dB; LRS2 14.1; LRS3 16.4; VoxCeleb2 10.5 dB, hơn Swift-Net-12 tới 1.1 dB).
  • Chất lượng thực tế: trên RealSSA-Real đạt DNSMOS cao nhất (3.276, ngang Swift-Net-12, hơn AV-TFGridNet 3.030); WER thấp nhất trên RealSSA-Sim (25.47%); speaker similarity cao nhất ở cả hai tập (43.05 / 42.23).
  • Hiệu quả tính toán so với AV-TFGridNet: giảm 91.9% tham số, giảm 20.2× MACs (10.6 G so với 213.8 G), giảm 11.1× độ trễ GPU (51.3 ms so với 567.8 ms), dùng bộ nhớ thấp nhất trong các mô hình so sánh.
  • Ablation: độ sâu 3 tầng downsampling tối ưu (+0.6 dB so với 1 tầng); contrastive loss cải thiện +0.4 dB trên Falcon và cả +0.2–0.3 dB khi gắn vào SwiftNet-12, Dolphin; anneal nhiệt độ τ từ 0→1 tốt hơn mọi lịch cố định.
  • Dữ liệu quan trọng: huấn luyện trên RealSSA-Sim thay VoxCeleb2 cải thiện DNSMOS cho cả 5 kiến trúc (Falcon: NISQA 2.43→3.62), chứng minh phủ âm học có hệ thống giúp khái quát hóa thực địa.

IV. Conclusion & Future Works:​

RealSSA lấp khoảng trống đánh giá AVTSE dưới điều kiện số người nói biến đổi, nhiễu gần/xa, vọng âm và tiếng ồn bất ngờ, kèm bản ghi thật kiểm chứng khái quát hóa. Falcon cho thấy một lượt multi-scale separator + contrastive loss không tốn chi phí suy luận là đủ để vừa chất lượng state-of-the-art vừa chạy được trên thiết bị biên. Hướng tương lai: mở rộng sang đa kênh (hiện chỉ đơn kênh); mở rộng RealSSA-Real (hiện ~84 phút, 10 người, 8 môi trường); thích ứng contrastive loss với dữ liệu thật không nhãn (hiện cần tín hiệu sạch từng nguồn của mô phỏng).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Falcon và hàm speaker contrastive loss cho bài toán AVTSE đa kênh micro trên điện thoại, khai thác thông tin không gian để tách tốt hơn trong phòng vọng lớn.
  2. Phương pháp contrastive learning tự giám sát trên bản ghi thật không nhãn để huấn luyện tách giọng mà không cần tín hiệu sạch từng nguồn trong mô phỏng.
  3. Mở rộng RealSSA sang các ngôn ngữ không phải tiếng Anh và tăng quy mô tập ghi thật để đánh giá khái quát hóa xuyên ngôn ngữ và xuyên vùng miền.

2. Patent:​

  1. Chế độ 'tập trung vào người đang nói' cho cuộc gọi video trên điện thoại: camera đọc chuyển động môi của người được chọn, mô hình Falcon nhẹ chạy ngay trên máy lọc giọng người đó ra khỏi tiếng ồn quán cà phê hay đường phố theo thời gian thực.
  2. Thiết bị trợ thính thông minh: nhận diện người đối diện qua camera nhỏ, khuếch đại chỉ giọng người đó và đẩy lùi tiếng người xung quanh, hoạt động liên tục với độ trễ thấp nhờ kiến trúc chỉ một lượt tính toán.
  3. Trợ lý ghi chép cuộc họp trên điện thoại: tự động tách và chuyển văn bản giọng từng người phát biểu trong phòng họp đông người bằng cách kết hợp video môi từng người với âm thanh micro đơn, không cần micro riêng cho từng người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.32749
ArXiv Abstracthttps://arxiv.org/abs/2610.32749
PDF Downloadhttps://arxiv.org/pdf/2610.32749.pdf
Github Repositoryhttps://github.com/JusperLee/Falcon