Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-11-06

Báo cáo được tạo tự động vào lúc 2026-11-07 10:16:49 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding (96 votes)​

Tác giả: Yu-Cheng Chou, Shihao Wang, Jin Huang, Chi-Pin Huang, Chiao-An Yang, et al.

Xuất bản lúc: 2026-11-05

Tag: Vision-Language Models, Robotics, Autonomous Driving, Speculative Decoding, Diffusion Models, Visual Planning, Trajectory Prediction, Motion Forecasting, Object Detection, Edge Computing

I. Main Problem:​

Các mô hình thị giác-ngôn ngữ cho robot và xe tự hành thường phải xuất kế hoạch không gian: điểm, khung bao, quỹ đạo 2D/3D, chuyển động điểm dày. Với giải mã tự hồi quy, mỗi tọa độ là một token nối tiếp, nên:

  • quỹ đạo càng dài, vật thể càng nhiều, từ 2D lên 3D thì độ trễ tăng gần tuyến tính
  • agent cần cập nhật kế hoạch theo quan sát mới bị giới hạn về độ chi tiết không gian và tần suất cập nhật
  • giải mã suy đoán kiểu cũ vẫn đòi trùng từng token với mô hình đích; lệch một bin tọa độ nhỏ cũng bị bác dù lỗi hình học không đáng kể
  • mô hình ngôn ngữ diffusion nhanh hơn nhưng thường có đánh đổi tốc độ-chất lượng.

II. Main Idea:​

Flash Primitive Decoding khai thác một điểm then chốt: cấu trúc của primitive thường đã biết trước khi giải mã tọa độ. Một lệnh gọi công cụ cho biết kiểu đầu ra, số chiều và độ dài; khi đó ranh giới khối và vai trò từng vị trí là cố định, chỉ giá trị tọa độ cần suy ra.

Cách hoạt động:

  • Một token bắt đầu primitive kích hoạt tool calling, xác định schema và độ dài khối
  • Một drafter diffusion nhẹ, điều kiện trên đặc trưng của mô hình mục tiêu đã đóng băng, dự đoán toàn bộ primitive trong một forward pass
  • Training dùng nhãn từ tọa độ annotated/rendered grid, không bắt buộc trùng token của mô hình tự hồi quy
  • Inference áp ràng buộc theo vị trí: tọa độ, dấu phân cách chỉ lấy từ từ vựng hợp lệ; hộp có thêm guard độ tin cậy không gian
  • Primitive hợp lệ được chấp nhận trọn khối; phần chữ và sub-task vẫn giữ speculative decoding có kiểm chứng

Điểm mới là tiêu chuẩn chấp nhận chuyển từ token-level agreement sang hợp lệ cấu trúc + chính xác không gian. Giống như điền một phiếu có sẵn khung: khi biết đây là mẫu 10 điểm gồm cả ảnh 2D và không gian 3D, mọi ô đã in sẵn vị trí; ta điền toàn bộ tọa độ trong một lượt thay vì gõ từng ký tự rồi nhờ giáo viên duyệt lại từng ký tự.

III. Main Results:​

  • 2D trajectory: VFlash thấp hơn mô hình tự hồi quy cùng target ở cả 6 lỗi trên ShareRobot-Bench và VABench-V; trên VABench-V cắt mọi lỗi khoảng 40% so với prior model mạnh nhất liệt kê.
  • Bounding box: với AR fallback, F1 trung bình ngang AR nhưng nhanh 2.6-2.8×; không fallback thì F1 trung bình giảm khoảng 20 điểm trên Dense200.
  • 3D robot trajectory: cải thiện cả 4 metric trên InternA1, AgiBot, MolmoBot; ADE giảm 18-49% với target 3D-only và 28-61% với target 2D+3D; SR@5 trên AgiBot tăng từ 50% lên 73% và từ 40% lên 74%.
  • Dense 3D motion: trên PointMotionBench, DAVIS ADE/FDE giảm 27%/19%, HOT3D FDE giảm 8%; single-rollout nhanh khoảng 25×.
  • Điều khiển robot MolmoSpaces: world action model điều kiện trên plan của VFlash đạt 70.2% success trung bình, so với 62.6% baseline; lợi lớn nhất ở Pick & Place và Close.
  • LIBERO family: cải thiện baseline +0.8, +1.9, +6.8 điểm trên LIBERO, LIBERO-Plus, LIBERO-PRO; lợi ích tăng khi có nhiễu/perturbation.
  • Lái xe: NAVSIM PDMS đạt 87.1 sau SFT và 90.7 sau RL; Waymo RFS đạt 7.79 sau SFT và 7.86 sau RL, cạnh tranh với các hệ thống liệt kê.
  • Độ trễ: giảm 5.1-5.2× mỗi bước MolmoSpaces trên Jetson Thor/DGX Spark và 3.6× trên H100; NAVSIM giảm 3.4-3.6× trên Thor/Spark và 2.6× trên H100; Waymo H100 giảm 4.5×. Trên Thor, phần decoding giảm 12-42×.

IV. Conclusion & Future Works:​

Bài báo cho thấy với đầu ra không gian có cấu trúc, trùng token của mô hình tự hồi quy không phải trần chất lượng. Khi primitive đã có schema, có thể dự đoán toàn khối song song, chấp nhận theo hợp lệ cấu trúc và độ lỗi hình học, trong khi vẫn giữ kiểm chứng cho ngôn ngữ. Đây là bước hướng tới chế độ System-1 visual planning trong vòng cảm nhận-hành động. Hướng đi tự nhiên là mở rộng sang primitive dài/dense hơn, nhiều camera/nhiều đối tượng hơn, chính sách chấp nhận tin cậy hơn cho box, và tối ưu đồng thời độ dài/density của visual plan với latency ngân sách trên thiết bị biên.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thay acceptance test theo từng token bằng acceptance test theo lược đồ, ràng buộc chéo giữa các tọa độ và ngưỡng lỗi hình học cho mọi đầu ra không gian của mô hình thị giác-ngôn ngữ.
  2. Mở rộng layout block tự thích ứng cho quỹ đạo rất dài, nhiều vật thể, nhiều camera và cả tọa độ dạng chữ lẫn token tọa độ đặc biệt trong một framework chung.
  3. Co-design drafter nhẹ và action/world model để chọn số điểm quỹ đạo, độ dày motion field và tần suất xin plan tối ưu theo cả latency lẫn success rate trên robot thật và xe tự hành.

2. Patent:​

  1. Trợ lý robot trên điện thoại: người dùng chĩa camera và nói 'nhặt cốc lên'; ứng dụng vẽ đồng thời khung vật, đường đi trên ảnh và đường đi trong không gian một lượt rồi gửi lệnh điều khiển, giảm độ trễ khi robot cần phản hồi nhanh.
  2. Cảnh báo lái xe/mô tô bằng camera điện thoại: hệ thống dự đoán trong một lần chạy cả các điểm quỹ đạo an toàn lẫn khung vùng nguy hiểm quanh xe, người đi bộ và vật cản, rồi vẽ đường tránh hoặc rung/cảnh báo sớm trên màn hình.
  3. Kính thông minh cho người khiếm thị: camera quan sát phía trước, mô hình tạo đồng thời khung chướng ngại vật và chuỗi điểm đường đi an toàn, chuyển thành hướng dẫn âm thanh/rung theo nhịp thời gian thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.08449
ArXiv Abstracthttps://arxiv.org/abs/2611.08449
PDF Downloadhttps://arxiv.org/pdf/2611.08449.pdf
Github RepositoryN/A

2. SLA: Scaling Spatial-Language-Action Model via Continual Pre-training (95 votes)​

Tác giả: Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, et al.

Xuất bản lúc: 2026-11-05

Tag: Vision-Language-Action, Robotics, Continual Pre-training, 3D Perception, Spatial Alignment, Robot Manipulation

I. Main Problem:​

Các mô hình VLA (Vision-Language-Action) hiện nay kế thừa biểu diễn thị giác 2D từ pre-training ảnh–văn bản, nên thiếu hiểu biết không gian 3D — trong khi thao tác robot đòi hỏi điều khiển chính xác trong không gian ba chiều. Các hướng tiếp cận bổ sung 3D sau này gặp giới hạn:

  • Dữ liệu cảm biến 3D khó thu thập: depth map/point cloud nhiễu, thiếu sót, và nhiều bộ dữ liệu robot lớn hoàn toàn không có depth.
  • Tính không đồng nhất cao: loại cảm biến, vị trí camera, hiệu chuẩn khác nhau giữa các robot.
  • Các phương pháp như Spatial Forcing chỉ áp dụng ở post-training, khiến năng lực không gian chỉ là phần bổ sung mang tính task-specific, không tạo được foundation model 3D có khả năng chuyển giao.

II. Main Idea:​

SLA (Spatial-Language-Action) phát triển hiểu biết không gian 3D như một năng lực của foundation model thông qua continual pre-training, thay vì ghép 3D vào sau. Cách hoạt động:

  • Khởi tạo từ policy π0.5 đã pre-trained, giữ nguyên kiến trúc backbone và action head.
  • Dùng một mô hình nhận thức 3D đông lạnh (OmniVGGT) làm "giáo viên": nó trích xuất biểu diễn không gian từ ảnh RGB, kết hợp depth/camera calibration nếu có (thiếu thì dùng placeholder token).
  • Trong lúc training, căn chỉnh (cosine similarity) các embedding thị giác trung gian của VLA với biểu diễn không gian của giáo viên, song song với mất mát dự đoán hành động.
  • Cổng chọn lớp thích ứng (feature-dependent gates): tổng hợp embedding từ nhiều lớp transformer của VLA với trọng số học được, vì dữ liệu đa dạng khiến một lớp cố định không phù hợp cho mọi domain.
  • State dropout: ngẫu nhiên bỏ token trạng thái robot để policy phụ thuộc vào quan sát hình ảnh thay vì "học vẹt" quỹ đạo demo.
  • Tất cả thành phần phụ trợ (giáo viên, projector, gates) chỉ dùng khi training — khi suy luận, mô hình giữ nguyên kiến trúc gốc, không cần cảm biến 3D hay tính toán thêm.

Dữ liệu: hợp nhất ~1,7 triệu episode / 14.330 giờ từ 6 nguồn (AgiBot World, DROID, RoboCOIN, RoboCasa365, InternData-A1, MolmoAct), chuẩn hóa action về end-effector pose với khung tọa độ thống nhất và rotation vector qua SO(3).

Ví dụ đời thường: giống học sinh ngồi cạnh giáo viên giỏi hình học không gian — giáo viên chỉ giảng thầm phía sau trong giờ học (training), còn khi thi (inference) học sinh tự làm một mình, không cần giáo viên bên cạnh, nhưng cách nhìn không gian đã ngấm vào tư duy.

III. Main Results:​

  • LIBERO-Plus: 87,4% success rate dưới nhiễu quan sát/ngôn ngữ/cảnh, vượt các baseline.
  • RoboTwin 2.0: 72,3% ở setting Clean2Random, trung bình 79,2% — tổng quát tốt ngoài điều kiện training.
  • RoboCasa-Panda: 68,4% chỉ với 50 demo/task, vượt các policy cần 300–3.000 demo/task.
  • RoboDojo-Real: 33,9% với một policy trên 3 embodiment, so với 12,8% của π0.5.
  • Triển khai thực tế (8 điều kiện): trung bình 83,8%, cao hơn π0.5 tới 24,0 điểm phần trăm, dẫn đầu mọi điều kiện (phối hợp hai tay, tổng quát không gian/động, few-shot cross-embodiment, instruction following).
  • Data scaling: áp dụng alignment ở cả hai giai đoạn (pre-training + post-training) luôn tốt hơn chỉ một giai đoạn ở mọi tỷ lệ dữ liệu.

IV. Conclusion & Future Works:​

SLA chứng minh rằng hiểu biết không gian 3D nên được rèn trong continual pre-training như năng lực nền tảng rồi được củng cố ở post-training, thay vì vá vào sau — và điều này làm được mà không đổi kiến trúc inference, không yêu cầu cảm biến 3D lúc triển khai. Các thí nghiệm kiểm soát ủng hộ cả ba thành phần: chọn lớp thích ứng, state dropout và giám sát hai giai đoạn. Hướng mở: mở rộng quy mô dữ liệu và đa dạng embodiment hơn nữa, và khai thác sâu hơn các biểu diễn không gian ngầm cho các tác vụ đòi hỏi lý luận 3D dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng SLA cho điều khiển bimanual tinh vi: căn chỉnh không gian riêng cho từng nhánh tay để phối hợp hai tay trong không gian chung chính xác hơn.
  2. Kết hợp continual pre-training không gian với học từ video người (egocentric) để tận dụng nguồn dữ liệu thao tác quy mô lớn hơn nhiều so với dữ liệu teleop robot.
  3. Khảo sát hệ thống tỷ lệ dữ liệu: xác định điểm bão hòa của lợi ích spatial alignment khi tăng số giờ và độ đa dạng của corpus pre-training.
  4. Áp dụng nguyên lý teacher-student không gian ngầm cho robot di động (mobile manipulation), nơi việc ước lượng vị trí 3D tương đối giữa robot và môi trường còn quan trọng hơn.

2. Patent:​

  1. Robot gia đình không cần cảm biến depth: chỉ dùng camera RGB thường có sẵn, mô hình được huấn luyện theo kiểu căn chỉnh không gian ngầm để gắp đồ vật, rót nước chính xác mà không tốn thêm phần cứng.
  2. Hệ thống "một lần học, dùng nhiều robot": huấn luyện tập trung một mô hình điều khiển trên đám mây với dữ liệu từ nhiều loại cánh tay robot, rồi đẩy xuống điện thoại/điều khiển từng robot bằng ít demo riêng (few-shot adaptation).
  3. Cánh tay robot tự vận hành trong kho với camera lắp vội, chưa hiệu chuẩn: mô hình tự thích nghi góc nhìn mới nhờ biểu diễn không gian đã học sẵn, giảm thời gian setup từ giờ xuống phút.
  4. Module chọn lớp thích ứng cho mô hình AI trên thiết bị biên: tự điều chỉnh trọng số các lớp thị giác tùy môi trường (sáng/tối, kho/bếp) để giữ độ chính xác thao tác mà không tăng chi phí tính toán lúc chạy.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.08373
ArXiv Abstracthttps://arxiv.org/abs/2611.08373
PDF Downloadhttps://arxiv.org/pdf/2611.08373.pdf
Github RepositoryN/A

3. Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training (55 votes)​

Tác giả: Kangning Zhang, Wenxiang Jiao, Bowen Fang, Shuai Shao, Jiachen Zhu, et al.

Xuất bản lúc: 2026-11-03

Tag: Language Model Agents, Agent Harnesses, Reinforcement Learning, GRPO, Harness Routing, Knowledge Transfer

I. Main Problem:​

Hiệu suất của một agent phụ thuộc đồng thời vào policy (trọng số mô hình) và harness (prompt, giao diện công cụ, cơ chế ngữ cảnh, quy tắc thực thi). Tối ưu harness hiện gặp hai giới hạn căn bản:

  • Locality: mỗi chỉnh sửa harness chỉ sửa được một tập hợp lỗi cục bộ nhưng gây hồi quy (regression) ở tác vụ trước đó đã giải được; ghép mọi sửa chữa vào MỘT harness hoàn hảo là cực khó vì các sửa chữa có thể xung đột.
  • Coupled harness–policy evolution (vặn harness và policy luân phiên) tốn kém chi phí tiến hóa liên tục, khó tái sử dụng harness, và quan trọng nhất: lợi ích thường mất đi khi policy quay lại harness gốc H0. Thêm vào đó có tính Nonstationarity: giá trị của một harness thay đổi theo tiến trình học của policy — harness từng tốt hơn H0 có thể trở nên tệ hơn, thứ hạng các biến thể đảo chiều giữa các checkpoint.

II. Main Idea:​

Thay vì tìm một harness 'vạn năng', Harness-S dùng các sibling harnesses (biến thể cùng gốc H0) để cứu có chọn lọc các ca thất bại của hệ thống gốc, rồi chuyển giao khả năng thu được vào một policy duy nhất vẫn hiệu quả dưới H0 ban đầu. Ba thành phần:

  • Directional Harness Evolution: từ H0, phân tích nguyên nhân gốc của các ca thất bại và sinh từng biến thể con theo một hướng sửa chữa riêng; chọn cha mẹ theo độ phủ hợp lệ, nhưng giữ lại mọi biến thể chạy được vào một Sibling Harness Pool cố định suốt quá trình huấn luyện.
  • Complementary Harness Rescue Training: với mỗi tác vụ, policy tạo K rollout dưới H0; nếu tất cả thất bại, Adaptive Harness Router chọn Top-k harness phụ, policy cùng tạo rollout mới dưới chúng, và nhóm rollout 'cứu' này thay thế nhóm thất bại để cập nhật GRPO. Nhóm cứu chứa cả thành công lẫn thất bại nên tạo contrast phần thưởng trong tác vụ — tín hiệu học mà nhóm toàn-thất-bại không có.
  • Adaptive Harness Router: dùng Harness Behavior Profiles (điều kiện tác vụ mà từng biến thể giúp/hại policy so với H0) kết hợp bỏ phiếu xếp hạng qua nhiều LLM; định kỳ re-anchoring làm mới profile từ trajectory của policy hiện tại để bắt kịp tính nonstationarity. Router này tái sử dụng được cả lúc inference (Rank-1).

Ví dụ đời thường: giống học lái xe — thay vì chỉnh một chiếc xe duy nhất cho hoàn hảo, thầy giáo đổi qua vài chiếc xe khác nhau để bạn vượt qua từng lỗi riêng (chiếc này dễ vào cua, chiếc kia dễ lùi), rồi kỹ năng đã học giữ nguyên khi bạn lái lại chiếc xe ban đầu.

III. Main Results:​

  • RQ1 (hiệu suất tổng thể): Harness-S vượt mọi baseline policy-only training, harness evolution với policy đóng băng, và joint adaptation, trên cả H0 lẫn H_rank1 tại AppWorld, SWE-Gym, DBBench với Qwen3.5-4B và 9B. Ví dụ AppWorld 9B: Pass@3 72.52% dưới H0 (so với 65.65% của GRPO+H0 rescue); với Rank-1 đạt 75.19%. Policy 4B routed còn vượt cả policy 9B GRPO+H0 rescue, và 9B routed vượt cả frontier models trên DBBench.
  • RQ2 (cơ chế học): tỷ lệ Effective Group (nhóm có cả thành công lẫn thất bại) đạt 79.38% so với 70.94% (H0 rescue) và 64.69% (GRPO); share token huấn luyện hiệu quả 80.88% — cho thấy cứu bổ sung (complementary rescue) tạo tín hiệu học tốt hơn resampling hay trộn harness cố định.
  • RQ3 (chiến lược cứu): router thích ứng với re-anchoring (Top-8 Adaptive) đạt rescue success cao nhất ở mọi giai đoạn và Avg@3 cao hơn 4.71 điểm so với profile cố định.
  • RQ4 (chuyển giao hành vi): dưới H0, policy học được tra cứu schema API trước khi dùng (67.6% so với 38.2% của GRPO), lặp phân trang, đọc lại sau ghi; trên SWE-Gym tự viết assertion checks (18.4%) và chuyển sang assertions khi test bị chặn (48.5% so với 13.3%). Các hành vi cứu thành công tái xuất hiện trên instance chưa từng thấy (set-intersection, quy trình khôi phục tài khoản).
  • RQ5–RQ6: thứ hạng router dự đoán đúng chất lượng thực thi trước và sau huấn luyện; sau training H0 được xếp Rank-1 ở 22.52% tác vụ (từ 1.53%); cải thiện truyền sang cả harness chưa từng thấy mà không cần cập nhật thêm.

IV. Conclusion & Future Works:​

Harness-S chứng minh rằng hỗ trợ thực thi chuyên biệt từ sibling harnesses có thể cải thiện bản thân policy và lợi ích bền vững khi gỡ bỏ hỗ trợ quay về H0 — giải quyết trực tiếp giới hạn của tối ưu harness truyền thống. Điểm then chốt: diversity của harness chỉ phát huy khi được điều phối có chọn lọc đến đúng tác vụ thất bại, kèm bằng chứng hành vi được làm mới theo policy. Hướng mở: mở rộng pool sibling cho môi trường đa dạng hơn, tinh chỉnh chi phí tiến hóa harness, và kết hợp routing sâu hơn với quá trình học (thay vì chỉ re-anchor định kỳ).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng rescue có chọn lọc cho agent đa bước dài hạn (long-horizon) với pool harness động tự mở rộng, trong đ các sibling mới chỉ được sinh khi pool hiện tại bão hòa khả năng cứu.
  2. Nghiên cứu lý thuyết về điều kiện chuyển giao hành vi harness→policy: khi nào hành vi elicited bởi harness phụ thực sự nội hóa vào policy dưới GRPO thay vì chỉ là hiệu ứng ngữ cảnh tạm thời.
  3. Kết hợp Harness Router với meta-learning để router tự học cách bỏ phiếu từ lịch sử cứu thành công/thất bại thay vì dựa vào LLM voters cố định.

2. Patent:​

  1. Hệ thống hỗ trợ khách hàng tự học trên điện thoại: khi trợ lý AI trên app thất bại giải quyết yêu cầu của người dùng sau vài lần thử, hệ thống tự chuyển sang một 'giao diện thao tác' phụ khác (ví dụ giao diện đọc chi tiết lịch sử đơn hàng) để hoàn thành tác vụ, rồi ghi nhớ cách làm đó để lần sau xử lý trực tiếp qua giao diện chính mà không cần chuyển đổi.
  2. Trợ lý lập trình trong IDE: khi agent sửa bug liên tục thất bại bằng quy trình mặc định, hệ thống tự đề xuất một quy trình thay thế (ví dụ bắt buộc viết kiểm thử tự động trước khi sửa), học từ phiên thành công đó, về sau tự áp dụng thói quen kiểm thử ngay cả trong quy trình mặc định.
  3. Trợ lý vận hành doanh nghiệp (tra cứu cơ sở dữ liệu, gửi báo cáo): app duy trì nhiều 'cách thao tác' biến thể trên cùng một hệ thống; khi một tác vụ nào đó luôn thất bại theo cách mặc định, hệ thống ghi lại ngữ cảnh tác vụ, chọn biến thể phù hợp nhất qua bỏ phiếu của nhiều mô hình, và định kỳ cập nhật lại hồ sơ hành vi của từng biến thể theo trình độ hiện tại của trợ lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04277
ArXiv Abstracthttps://arxiv.org/abs/2611.04277
PDF Downloadhttps://arxiv.org/pdf/2611.04277.pdf
Github Repositoryhttps://github.com/DeepExperience/Harness-S

4. Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand (50 votes)​

Tác giả: George Ling, Shanshan Zhong, Lijin Yang, Hao Yang, Nanxiang Li, et al.

Xuất bản lúc: 2026-10-31

Tag: Benchmark Compression, LLM Evaluation, Subset Selection, Sampling Theory, Long-Tailed Distributions, Vision-Language-Action

I. Main Problem:​

Đánh giá LLM/VLM trên toàn bộ benchmark rất tốn thời gian và tính toán, nên người ta thường nén benchmark: chấm điểm mô hình trên một tập con nhỏ rồi ước lượng kết quả đầy đủ. Vấn đề là:

  • Độ chính xác và độ tin cậy của ước lượng này chưa được lý giải một cách lý thuyết.
  • Lấy mẫu ngẫu nhiên hoạt động khá tốt với xác suất cao, nhưng thi thoảng cho sai số cực lớn (phân phối đuôi dài), gây bất ổn.
  • Các phương pháp dựa trên học từ dữ liệu lịch sử thì đắt chi phí thu thập và kém bền khi phân phối thay đổi.

II. Main Idea:​

BestRand giữ nguyên sự đơn giản của lấy mẫu ngẫu nhiên nhưng chặn đuôi lỗi lớn bằng chọn lọc nhẹ qua 'probe models':

  • Lý thuyết: sai số ước lượng tuân theo phân phối gần chuẩn đa biến với đuôi dài; thành phần lỗi chính là common shift (độ lệch độ khó trung bình của tập con). Thang đo lỗi tỷ lệ với tương quan hành vi ρ giữa các mô hình — và ρ cao là bản chất của foundation models (dùng chung backbone, dữ liệu huấn luyện, distillation), nên thêm mô hình đánh giá cũng không triệt tiêu được.
  • Thủ tục (4 bước): rút một pool gấp n lần kích thước mục tiêu → chấm p probe models trên pool → rút m tập con ứng viên → chọn tập có probe mean gần nhất với trung bình pool → chấm mọi mô hình mục tiêu chỉ trên tập được chọn.
  • Lý thuyết chứng minh chọn lọc này cắt phần phương sai của common shift được probe giải thích, còn chi phí chỉ thêm một lượt chấm probe duy nhất trên pool nhỏ.

Ví dụ đời thường: giống như kiểm tra chất lượng một lô hàng — thay vì đếm ngẫu nhiên một vài thùng rồi tin luôn (đôi khi vớ phải lô toàn hàng lỗi), người kiểm tra lấy nhiều mẫu thử, so nhanh độ đặc trưng của từng mẫu với mặt bằng chung rồi chỉ giữ mẫu 'đại diện nhất' để kiểm kỹ.

III. Main Results:​

  • Trên 70+ benchmark (44 text, 16 multimodal, 10 agent) và mở rộng sang VLA, ở 6 mức giữ lại từ 2%–50%:
  • Giảm sai số ước lượng (MAE) trung bình 16.4% so với Random, ZipBench, TinyBenchmarks.
  • Giảm rủi ro sai số cao 50.2% (xác suất rơi vào vùng đuôi dài), phân phối MAE tập trung sát 0.
  • Chỉ tốn 51.3% chi phí xây dựng trung bình so với các baseline dựa trên dữ liệu (ở 2% retention chỉ 8.0%).
  • OOD tốt nhất: giảm sai số ngoài phân phối 21.8% trung bình qua 3 loại dịch chuyển (score-range, model-family, temporal) — trong khi các phương pháp học từ dữ liệu lịch sử thậm chí kém hơn cả Random.
  • Vượt baseline kể cả khi số mô hình xây dựng tăng lên hàng nghìn; lý thuyết khớp thực nghiệm (R² = 0.938–0.993).
  • Robust với cách chọn probe và norm matching; mặc định p=5, m=128, n=4.

IV. Conclusion & Future Works:​

Bài báo chứng minh cải thiện nén benchmark không cần cơ chế chọn lọc phức tạp — điều cần là hiểu khi nào và tại sao lấy mẫu ngẫu nhiên thất bại (đuôi dài do tương quan hành vi nội tại giữa các foundation models) rồi vá đúng chỗ đó với chi phí thấp. BestRand cung cấp khung lý thuyết dự đoán được độ chính xác/reliability theo kích thước tập con. Hướng mở rộng tiềm năng: áp dụng khung lý thuyết cho các dạng đánh giá khác (VLA đã thử), và kết hợp probe-guided selection với các tín hiệu đa dạng hơn khi dữ liệu xây dựng dồi dào.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BestRand cho đánh giá đa chiều (không chỉ accuracy mà cả latency, an toàn, độc hại) bằng cách mở rộng tiêu chí matching đa mục tiêu trên probe models.
  2. Nghiên cứu chiến lược chọn probe models tối ưu dựa trên lý thuyết tương quan hành vi — thay vì ngẫu nhiên, chọn probe đa dạng nhất để tối đa phần phương sai common shift được giải thích.
  3. Khung lý thuyết đuôi dài cho cả đánh giá online/adaptive testing: dự đoán sai số khi chọn câu hỏi động thay vì tập con cố định.

2. Patent:​

  1. Dịch vụ đánh giá mô hình AI trên điện thoại/nền web: thay vì chạy hàng nghìn câu hỏi, hệ thống rút một tập hỏi nhỏ, dùng vài mô hình tham chiếu để chọn tập đại diện nhất, rồi chấm mô hình của người dùng — giảm chi phí kiểm thử xuống một nửa mà độ chính xác tương đương.
  2. Công cụ kiểm tra chất lượng mô hình trong doanh nghiệp: khi phải đánh giá nhiều phiên bản mô hình nội bộ hằng ngày, hệ thống tự chọn bộ câu hỏi nén ổn định, tránh trường hợp ngẫu nhiên báo kết quả sai lệch lớn dẫn đến quyết định sai.
  3. Hệ thống benchmark cho xe tự hành và robot (VLA): chọn tập tình huống thử nghiệm nhỏ nhưng đại diện từ kho tình huống lớn, dùng một số mô hình lái tham chiếu để cân bằng độ khó, giảm số giờ chạy mô phỏng tốn kém.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.00883
ArXiv Abstracthttps://arxiv.org/abs/2611.00883
PDF Downloadhttps://arxiv.org/pdf/2611.00883.pdf
Github Repositoryhttps://github.com/George-Ling3/BestRand

5. WeLM-Image: A Unified Image Generation Model towards Visual Intelligence (39 votes)​

Tác giả: Canmiao Fu, Chen Li, Guohui Zhang, Hao Lu, Hongyang Wei, et al.

Xuất bản lúc: 2026-11-05

Tag: Text-to-Image, Image Editing, Multi-Reference Generation, Mixture-of-Experts, Flow Matching, Bilingual Text Rendering, Distillation, Efficient Inference

I. Main Problem:​

Mô hình sinh ảnh thống nhất phải đồng thời đáp ứng các yêu cầu rất khác nhau: hiểu prompt dài tiếng Trung/tiếng Anh, dựng chữ trong ảnh chính xác, chỉnh sửa theo lệnh mà giữ nguyên chủ thể, kết hợp nhiều ảnh tham chiếu không nhầm thuộc tính, và chạy được trong dịch vụ người dùng lớn với chi phí thấp. Nhóm tác giả chỉ ra rằng hiểu ảnh và sinh ảnh có áp lực tối ưu khác biệt, trong khi mở rộng kiến trúc dày đặc dễ làm tăng mạnh tham số kích hoạt và chi phí suy luận.

II. Main Idea:​

WeLM-Image biểu diễn mọi đầu vào — prompt, ảnh tham chiếu, latent ảnh đích — thành một chuỗi đan xen duy nhất, rồi dùng backbone Mixture-of-Transformers để tách riêng tham số đường hiểu và đường sinh, trong khi vẫn chia sẻ self-attention để ảnh đích nhiễu đọc được ngữ cảnh chữ và ảnh. Mỗi đường được trang bị Mixture-of-Experts riêng: đường hiểu kích hoạt ít chuyên gia hơn, đường sinh kích hoạt nhiều chuyên gia hơn, cho tổng 31.7B tham số lưu trữ nhưng chỉ khoảng 5.4B tham số sinh trên mỗi token latent đích. Đi kèm là bộ mã hóa/giải mã ảnh tự huấn luyện theo ba giai đoạn để giữ chi tiết và chữ trong ảnh; vị trí ảnh dùng unified 3D RoPE tương thích embedding ngôn ngữ; dữ liệu được cân bằng bằng từ vựng thị giác gắn kiến thức và phân cụm thị giác lớn; sau đó sinh ảnh và chỉnh sửa được tối ưu riêng bằng phần thưởng rubric/checklist rồi hợp nhất bằng noise-aware on-policy distillation. Bản rút gọn WeLM-Image-Turbo dùng MeanFlow few-step distillation để tạo ảnh 1024 x 1024 trong 8 bước không cần classifier-free guidance. Cơ chế giống một xưởng chung có hai bộ dụng cụ chuyên biệt — bộ để đọc hiểu, bộ để tạo hình — nhưng cùng làm việc trên một bàn lớn để mỗi chi tiết được nặn ra luôn nhìn được toàn bộ bản thiết kế và các ảnh mẫu đã đặt sẵn.

III. Main Results:​

  • Bản độ phân giải 1536 xếp đầu trong các mô hình open-source được đánh giá trên PRISM-Bench, Qwen-Image-Bench, UnicBench và WEGenEditBench theo báo cáo của tác giả.
  • WeLM-Image-Turbo tạo ảnh 1024 x 1024 trong 4.98 s trên một NVIDIA H20, nhanh hơn 11.4 lần so với mô hình gốc 50 bước dùng classifier-free guidance.
  • Với chỉnh sửa có từ một tới bốn ảnh đầu vào, Turbo hoàn thành trong khoảng 6.78-13.17 s và vẫn ra ảnh 1024 x 1024.
  • Bộ mã hóa/giải mã riêng đạt PSNR cao nhất trên các tập COCO 512, ImageNet 512 và poster giàu chữ 1024; thử nghiệm sinh ImageNet 256 cho IS cao nhất và FID thấp nhất trong nhóm tokenizer 16 kênh latent.
  • Thiết kế đóng gói token theo ngân sách, FSDP và context parallelism hỗ trợ mô hình cỡ 30B với chuỗi tới 64K token.

IV. Conclusion & Future Works:​

Bài báo củng cố luận điểm: tách tham số giữa hiểu và sinh nhưng giữ tương tác chung là cách thực dụng để xây mô hình ảnh thống nhất vừa mạnh vừa triển khai được trên một GPU. Điểm mới quan trọng nằm ở kết hợp đại diện tác vụ đan xen, MoT-MoE, dữ liệu có phản hồi trong huấn luyện, tối ưu hậu kỳ riêng theo tác vụ, và chưng cất ít bước thành một pipeline hoàn chỉnh cho sản phẩm đại chúng. Hướng đi hợp lý tiếp theo là nâng độ phân giải và độ dài ngữ cảnh nhiều ảnh, giảm thêm số bước suy luận, cải thiện kiểm soát chữ dài và bố cục phức tạp, đồng thời mở rộng đánh giá ngoài các benchmark nội bộ và tương thích mở.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích định lượng mức độ nhiễu tối ưu giữa hiểu ảnh và sinh ảnh trong kiến trúc hai đường chuyên gia, đề xuất quy tắc phân bổ chuyên gia theo tầng thay vì cố định theo đường.
  2. Benchmark độc lập cho khả năng giữ danh tính chủ thể khi chỉnh sửa bằng ngôn ngữ tự nhiên ở độ phân giải cao, có kiểm soát số lượng thay đổi cục bộ và toàn cục.
  3. Phương pháp chọn dữ liệu chỉnh sửa có xác minh thay đổi thật giữa ảnh trước/sau, nhằm giảm cặp dữ liệu sai nhãn và cải thiện độ tin cậy của phần thưởng checklist.
  4. Nghiên cứu chưng cất on-policy nhạy mức nhiễu cho mô hình đa phương thức, đo mất mát khi gộp chính sách sinh ảnh và chỉnh sửa có tiêu chí chất lượng khác nhau.
  5. Hệ thống suy luận tiết kiệm cho dịch vụ ảnh người dùng lớn: cache token điều kiện, giảm bước lặp, cân bằng chất lượng và độ trễ theo loại yêu cầu.

2. Patent:​

  1. Ứng dụng điện thoại tạo ảnh quảng cáo có chữ tiếng Việt/tiếng Anh: người dùng nhập mô tả ngắn, chọn tỷ lệ khung hình; hệ thống tạo poster, thẻ giá, biển hiệu và tự đặt chữ vào đúng vùng thiết kế trước khi xuất file in hoặc chia sẻ mạng xã hội.
  2. Tính năng chỉnh ảnh bằng một câu nói trên điện thoại: chụp ảnh rồi nói "bỏ người đi ngang phía sau, đổi áo thành màu xanh, giữ nguyên mặt"; hệ thống thực hiện các thay đổi cục bộ, kiểm tra vùng bị sửa có khớp lệnh và vùng còn lại có giữ nguyên không.
  3. Trình soạn ảnh ghép nhiều nguồn trên mobile: kéo ảnh chân dung, ảnh thú cưng và ảnh phông nền vào cùng một khung; ứng dụng giữ đúng thuộc tính từng ảnh, tự căng ánh sáng, tư thế và bố cục để tạo một ảnh cuối tự nhiên.
  4. Bộ công cụ thiết kế trên điện thoại cho người không chuyên: nhập ý tưởng bằng giọng nói, chọn phong cách giấy cắt, tối giản hoặc ảnh chân dung; hệ thống sinh nhiều phương án, cho phép sửa tiếp bằng lệnh ngôn ngữ và xuất bản in chất lượng cao.
  5. Dịch vụ biên tập ảnh hội thoại hai chiều: sau mỗi lần sửa, ứng dụng hỏi người dùng muốn giữ hay đổi chi tiết nào; dùng phản hồi đó làm ràng buộc cho lần tạo tiếp theo, giảm số lần tạo lại và tiết kiệm pin, dung lượng máy chủ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.07392
ArXiv Abstracthttps://arxiv.org/abs/2611.07392
PDF Downloadhttps://arxiv.org/pdf/2611.07392.pdf
Github RepositoryN/A

6. TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing (37 votes)​

Tác giả: Ruikang Li, Zixuan Chen, Jiarui Wu, Mingde Yao, Yiyuan Zhang, et al.

Xuất bản lúc: 2026-11-04

Tag: Diffusion Models, Image Editing, Multi-turn Editing, Text-to-Image, On-Policy Training, Drift Reduction

I. Main Problem:​

Các mô hình chỉnh sửa ảnh theo hướng dẫn hiện nay rất mạnh ở lượt chỉnh sửa đơn, nhưng sụp đổ trong workflow nhiều lượt: ảnh đã sửa trở thành đầu vào của lượt tiếp theo, nên các lỗi nhỏ cộng dồn thành drift trầm trọng — chi tiết mịn bị nhòe, đối tượng/khuôn mặt không phải mục tiêu bị thay đổi, nền méo mó.

Các hướng khắc phục hiện có đều có giới hạn:

  • Gắn module phụ / ràng buộc (mask, LoRA, hiệu chỉnh tần số): đánh đổi một phần generative prior của mô hình nền, chỉ xử lý được dạng edit hẹp.
  • Cải tiến representation (tinh chỉnh VAE, pixel-diffusion): giảm lỗi trong một lượt nhưng vẫn suy giảm qua nhiều lượt.
  • Bộ nhớ cross-turn (cache latent, context ảnh): giữ thông tin lịch sử nhưng không cải thiện bản thân mô hình, lại tốn thêm chi phí inference.

Bài toán: làm sao tăng độ bền multi-turn ngay trong foundation model, không thêm module lúc inference.

II. Main Idea:​

TailSteer — khung huấn luyện giai đoạn cuối (final-stage training) chỉ điều chỉnh đuôi của quỹ đạo denoising.

Quan sát nền tảng: diffusion sampling theo tiến trình coarse-to-fine — cấu trúc tần số thấp được thiết lập sớm, còn chi tiết tần số cao chỉ hoàn thiện ở giai đoạn cuối quỹ đạo, và sai số bảo toàn vùng không thay đổi vẫn còn sửa được ngay tận bước cuối.

Cơ chế:

  • Giữ nguyên động lực học sớm: giai đoạn đầu quỹ đạo được ép khớp với base model gốc, không đụng vào prior đã học.
  • Steer phần đuôi: từ điểm steering onset k_s trở đi, mục tiêu vận tốc chuyển dần từ v_base sang hướng bảo toàn (velocity blending λ(k) giảm 1→0).
  • Supervision "data-free": không cần cặp ground-truth chỉnh sửa. Dùng chính rollout on-policy của mô hình, với nội dung ảnh nguồn làm chuẩn bảo toàn — endpoint mục tiêu x_tgt = M⊙x_src + (1−M)⊙x_base (M là mask vùng cần giữ, suy ra từ hai dạng edit: identity editing cho bảo toàn toàn ảnh, local editing cho bảo toàn cục bộ).
  • On-policy training: mô hình tinh chỉnh tự rollout, mọi mục tiêu vận tốc được tính lại tại trạng thái mô hình thực đạt tới, thu hẹp khoảng cách train-test ở cấp quỹ đạo.
  • Inference tối giản: một mô hình duy nhất chạy trọn quỹ đạo, không switch model, không adapter, không cơ chế bổ sung.

Ví dụ đời thường: giống như đọc lại bản thảo trước khi gửi — toàn bộ nội dung chính giữ nguyên, chỉ dành công sửa những lỗi nhỏ còn sót ở đoạn kết để bản cuối sạch và trung thành với bản gốc.

III. Main Results:​

  • Khử drift cộng dồn rõ rệt qua 15–20 lượt chỉnh sửa trên cả bốn backbone: FLUX.1 Kontext [dev], FLUX.2 [klein] Base 9B, SenseNova-U1.5-8B-MoT, Qwen-Image-2.1 — chứng tỏ tính tổng quát xuyên họ mô hình (không phụ thuộc kiến trúc, latent representation hay cơ chế attention).
  • Bảo toàn gần như trọn vẹn năng lực gốc: điểm text-to-image (Qwen-Image-Bench, BizGenEval) và single-turn editing (GEdit, RISE, ImgEdit) sau TailSteer sát base model; trong khi FreqEdit, ConsLoRA, VAE-LFA làm suy giảm đáng kể GEdit và hành vi chỉnh sửa.
  • Benchmark mới Add & Preserve (100 ảnh, 10 lượt thêm/xóa vật thể trong khung đỏ, đo drift ngoài khung và độ đúng của vật thể bằng COA): TailSteer cải thiện PSNR/SSIM/LPIPS trên mọi backbone và mọi steering onset với COA gần như không đổi — drift giảm thật, không phải vì bị đè không chịu edit.
  • TailSteer-Klein vượt GPT-Image-2.5 Sunburst (API thương mại) trên cả ba metric bảo toàn; TailSteer-SenseNova giảm drift với COA gần như nguyên vẹn.
  • Trên MSE-Bench và EdiVal (multi-turn tổng quát): consistency cải thiện đều, success rate cao hơn ở các onset được chọn.
  • Ghi chú thú vị: preservation tốt nhất đạt được ở onset sớm hoặc giữa chứ không phải muộn nhất — nên steer trước vài bước cuối; mở rộng dữ liệu rollout lớn hơn, đa dạng hơn còn cải thiện thêm khả năng chống drift.

IV. Conclusion & Future Works:​

Bài học chính: đuôi quỹ đạo denoising là điểm can thiệp then chốt cho multi-turn editing — chi tiết tinh được chốt ở đó và sai số bảo toàn còn sửa được mà không phải định hình lại toàn bộ prior của mô hình. Robustness dài hạn có thể mở khóa sau huấn luyện (post-hoc) cho foundation model thay vì học lại từ đầu, và cách tiếp cận này bổ sung (không thay thế) các giải pháp agentic ở tầng workflow.

Hướng mở rộng hợp lý từ kết quả của bài: (i) scaling bộ dữ liệu rollout lớn hơn/đa dạng hơn để tăng khả năng chống drift; (ii) tinh chỉnh cách chọn steering onset cho từng backbone; (iii) áp dụng tư tưởng tail-steering on-policy cho các mô hình chỉnh sửa video và on-device nhỏ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng trajectory-tail steering sang chỉnh sửa video nhiều lượt: giữ nguyên động lực học denoising sớm, chỉ can thiệp các bước cuối để ngăn sai lệch nhân vật/bối cảnh cộng dồn qua hàng chục lượt chỉnh sửa tự nhiên.
  2. Kết hợp TailSteer với bộ nhớ cross-turn và agentic planning: mô hình nền đã chống drift bản thân, bộ nhớ bên ngoài chỉ cần lưu ý định tính, giảm độ phức tạp và chi phí inference của hệ thống tác tạo ảnh hội thoại.
  3. Nén quy trình huấn luyện tail-steering cho mô hình biên on-device: khám phá rollout ngắn hơn và onset sớm hơn để nâng cấp khả năng multi-turn cho mô hình ảnh chạy cục bộ trên điện thoại mà không cần dữ liệu chỉnh sửa ground-truth.

2. Patent:​

  1. Trình chỉnh sửa ảnh nhiều lượt trên điện thoại: người dùng liên tục ra lệnh bằng giọng nói hoặc bàn phím (đổi màu, thêm vật, xóa chi tiết); mô hình ảnh được huấn luyện theo kiểu chỉ chỉnh các bước khử nhiễu cuối nên sau hàng chục lượt chỉnh sửa, khuôn mặt và phông nền trong ảnh vẫn giữ nguyên như bản gốc.
  2. Ứng dụng camera có chế độ 'biên tập tích lũy': chụp một ảnh rồi thêm dần sticker, văn bản, nhân vật qua nhiều ngày; hệ thống tự chống hiện tượng ảnh bị nhòe, méo màu sau mỗi lần thêm mới mà không cần lưu hay so sánh với ảnh gốc tại thời điểm dùng.
  3. Nền tảng thiết kế hình ảnh cho thương mại điện tử: cùng một ảnh sản phẩm được nhiều người trong nhóm chỉnh sửa nối tiếp nhau (đổi màu, đổi bối cục, thêm mẫu vật); hệ thống tự bảo toản chi tiết sản phẩm khỏi bị lệch dần qua các phiên chỉnh sửa, tránh phải chụp lại ảnh mẫu.
  4. Công cụ tạo ảnh chân dung gia đình nhiều lượt: người dùng dần thay đổi trang phục, tư thế, phông cảnh qua nhiều lệnh; mô hình giữ nguyên đặc trưng khuôn mặt của từng người qua mọi lượt chỉnh mà không cần cơ chế nhận diện khuôn mặt riêng chạy song song.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.06741
ArXiv Abstracthttps://arxiv.org/abs/2611.06741
PDF Downloadhttps://arxiv.org/pdf/2611.06741.pdf
Github Repositoryhttps://github.com/Lyricccco/tailsteer

7. EvoMemState: Evolving Memory State for Personal Agents (20 votes)​

Tác giả: Zhishang Xiang, Yunbo Tang, Zhongqiao Liu, Junkai Chen, Zerui Chen, et al.

Xuất bản lúc: 2026-11-02

Tag: LLMs, Long-Term Memory, Personal Agents, Reinforcement Learning, GRPO, Ontology, Retrieval-Augmented Generation, User Modeling

I. Main Problem:​

Các hệ thống bộ nhớ dài hạn cho LLM agents (MemGPT, MemoryBank, Mem0, A-MEM, LightMem...) đều theo mô hình fact-centric: lưu trữ từng dữ kiện về người dùng như các bản ghi độc lập. Hai hậu quả chính:

  • Mất quan hệ giữa các dữ kiện: hơn 58% trường hợp các hệ thống không truy xuất đủ các bản ghi liên quan (cập nhật, xung đột, ràng buộc), khiến từng sự thật riêng lẻ thiếu ngữ cảnh để diễn giải đúng.
  • Có đủ bộ nhớ vẫn dùng sai: ngay cả khi truy xuất đầy đủ, agent có thể dùng thông tin lỗi thời, không phân biệt được trường hợp nào nên áp dụng/nên bỏ qua; prompt self-reflection cố định không cải thiện (accuracy thậm chí giảm từ 50.5% xuống 48.9%).

II. Main Idea:​

EvoMemState chuyển từ lưu sự thật sang lưu trạng thái: bộ nhớ = Persistent Facts + hai loại state bổ sung:

  • Relational States (mỗi dữ kiện gắn với validity, scope và quan hệ SUPERSEDES/CONFLICTS_WITH/CONTAINS): được xây dựng qua Ontology-Guided Memory State Induction — dựng tăng dần một đồ thị ontology cá nhân (concept nodes + fact nodes), giữ nguyên bản ghi gốc nhưng ghi nhận việc dữ kiện mới thay thế, mâu thuẫn hay ràng buộc dữ kiện cũ.
  • Reasoning State (xác định dữ kiện nào áp dụng được, vai trò và độ ưu tiên cho yêu cầu hiện tại): được tạo bởi Memory State Evolution Policy — một policy học qua reinforcement learning (GRPO), thử sinh nhiều reasoning state, cộng điểm thưởng khi state giúp agent (đang đóng băng) trả lời đúng hơn, qua đó thấm nhuần kinh nghiệm dùng bộ nhớ.
  • State-Aware Reasoning: truy xuất seed facts gần nghĩa, duyệt hai chiều theo quan hệ để gom đủ bằng chứng liên quan, rồi kết hợp Relational States + Reasoning State để dẫn dắt phản hồi.

Ví dụ đời thường: giống hồ sơ bệnh án — không chỉ ghi chép từng triệu chứng, mà mỗi ghi chép còn đánh dấu "ghi chú mới thay thế ghi chú cũ", "hai kết quả xét nghiệm đang mâu thuẫn chưa giải quyết", và bác sĩ mỗi lần khám đều kẻ sẵn "dòng này cần ưu tiên, dòng kia chỉ là tiền sử" trước khi ra quyết định.

III. Main Results:​

  • MemSyco-Bench: accuracy 57.6% (Qwen3-8B) và 58.9% (GPT-4o-mini), vượt baseline mạnh nhất lần lượt +12.2% và +5.9%; đồng thời đạt When/How to Use tốt nhất, tỷ lệ sycophancy thấp nhất, Correct Use cao nhất.
  • LoCoMo-Refined: judge score cao nhất với cả hai backbone, hơn baseline mạnh nhất +6.1% và +7.0%; MemTrapBench đạt Safety/Task Boundary tốt nhất (79.1 và 78.7 trung bình tổng).
  • Truy xuất đầy đủ (complete retrieval rate) đạt 85.6%, ngang hệ tốt nhất; Acc@complete đạt 70.8% (LoCoMo-Refined) và 68.5% (MemSyco) — hơn baseline mạnh nhất +11.5% và +31.2%, chứng tỏ reasoning state quyết định việc dùng đúng.
  • Tổng quát hóa chéo: ghép policy với 6 hệ bộ nhớ khác (NaiveRAG, Mem0, A-MEM...) đều cải thiện +0.2% đến +4.9%.
  • Ablation: bỏ Relational State giảm tới 8.9% (MemSyco); bỏ RL training (giữ cơ chế sinh rule) gần như mất toàn bộ lợi ích → cả hai state và RL đều cần thiết.

IV. Conclusion & Future Works:​

Bộ nhớ cá nhân đáng tin cậy đòi hỏi cả hai: dựng state mạch lạc (Relational States nối các dữ kiện phân mảnh, bảo toàn cập nhật và xung đột) và tiến hóa state theo kinh nghiệm sử dụng (RL sinh Reasoning State theo từng request). Cải thiện rõ nhất ở các tình huống preference update và bằng chứng mâu thuẫn. Hạn chế & hướng tương lai: hiện chỉ xử lý lịch sử hội thoại dạng text; cần mở rộng ontology và cấu trúc state cho dữ liệu đa phương thức (tài liệu, hình ảnh, sản phẩm cá nhân khác).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EvoMemState sang bộ nhớ cá nhân đa phương thức: xây dựng ontology và Relational States thống nhất cho văn bản, hình ảnh và tài liệu người dùng, kèm policy RL học cách ưu tiên nguồn bằng chứng khác nhau cho cùng một yêu cầu.
  2. Học tự động độ tin cậy của bộ nhớ theo thời gian: mở rộng Reasoning State để mô hình hóa độ tin cậy suy giảm của dữ kiện và quyết định khi nào nên lưu trữ lạnh hoặc xóa bản ghi, từ phản hồi thực tế của người dùng.
  3. Áp dụng state-centric memory cho nhóm/nhiều agent: dùng Relational States (SUPERSEDES, CONFLICTS_WITH) để hợp nhất bộ nhớ của nhiều thành viên hoặc nhiều agent cộng tác, với RL học chiến lược giải quyết xung đột giữa các nguồn.

2. Patent:​

  1. Trợ lý ảo trên điện thoại có bộ nhớ tự cập nhật: ứng dụng xây dựng ontology sở thích của người dùng, tự gắn nhãn thông tin mới là "đã thay thế" hay "đang mâu thuẫn" thông tin cũ, và trước mỗi câu hỏi sinh một lớp chỉ dẫn ưu tiên (ví dụ: ngân sách hiện tại 900 USD, con số 500 USD chỉ là quá khứ) để câu trả lời không dùng nhầm dữ liệu lỗi thời.
  2. Hệ gợi ý cá nhân hóa học từ tương tác: ứng dụng học ngôn ngữ hoặc mua sắm ghi nhận từng sở thích người dùng, duyệt quan hệ hai chiều để khi gợi ý luôn kèm đầy đủ bối cảnh (sở thích mới nhất, ràng buộc ngân sách, mâu thuẫn chưa giải quyết) thay vì chỉ nối các dữ kiện riêng lẻ.
  3. Công cụ chăm sóc khách hàng có bộ nhớ khách hàng theo trạng thái: hệ thống lưu lịch sử khách hàng kèm trạng thái quan hệ giữa các ghi chú (cam kết cũ bị cam kết mới thay thế, hai yêu cầu đang xung đột) và một module học tăng cường tự sinh "phác thảo ưu tiên" cho từng phiên chat, giúp nhân viên/agent không áp dụng sai chính sách đã lỗi thời.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.03743
ArXiv Abstracthttps://arxiv.org/abs/2611.03743
PDF Downloadhttps://arxiv.org/pdf/2611.03743.pdf
Github Repositoryhttps://github.com/XMUDeepLIT/EvoMemState

8. Towards Foundation Decision Models: Drex (18 votes)​

Tác giả: Nischay Dhankhar, Alisher Amantay, Zhanibek Datbayev, Darkhan Akhmetov, Yash Shah, et al.

Xuất bản lúc: 2026-11-05

Tag: Decision Models, Discriminative Inference, LLM Inference, Reinforcement Learning from Feedback, Calibration, Multimodal Models, Open-Weight Models

I. Main Problem:​

Cách tiếp cận autoregressive với LLM (long chain-of-thought) đạt độ chính xác cao nhưng trong môi trường production lại không nhất quán, cần parse output, tốn kém và chậm. Các giải pháp thay thế hiện có đều có hạn chế:

  • Classification head / reranker / embedding head: dạng output cố định từ trước khi deploy, không xử lý được tập lựa chọn thay đổi theo từng input.
  • Constrained decoding: xác suất tính theo tích xác suất từng token, bị lệch khi các lựa chọn chia sẻ tiền tố hoặc khác độ dài; tốn một forward pass mỗi option nếu chấm điểm riêng.
  • Mô hình chuyên biệt theo domain: chỉ quyết định được một loại quyết định duy nhất.

Câu hỏi cốt lõi: liệu một mô hình duy nhất có thể phục vụ tập option tùy ý với xác suất calibrated, trả lời nhiều câu hỏi trên một context dài, ổn định khi đảo thứ tự option, và vẫn đạt độ trễ production?

II. Main Idea:​

Decision model là mô hình nhận (state, câu hỏi, danh sách option do người dùng cung cấp) và trả về phân phối xác suất trực tiếp trên các option, không cần autoregressive decoding. Bài báo giới thiệu Drex — họ 4 mô hình mở trên cùng một interface:

  • Pointer models (DLM 8B, v1.5 9B, v2.0 35B/3B active): state được encode một lần và cache, chia sẻ cho nhiều câu hỏi; mỗi option được chấm bằng tích vô hướng giữa hidden state tại token </opt> (key) và tại token <decide> (query), rồi softmax — chi phí thấp, độ trễ thấp.
  • Drex Max (27B dense multimodal): mã hóa lại toàn bộ context cho mỗi câu hỏi với attention hai chiều (bỏ causal mask ở 16 lớp full-attention, giữ DeltaNet recurrence ở 48 lớp còn lại), kèm encoder ảnh ViT; mỗi option gắn mã một token (A, B, ...) và readout head (linear không bias, 255 logits) đọc câu trả lời — đổi cache lấy độ chính xác cao hơn.
  • Công thức huấn luyện 3 giai đoạn: SFT (với 2 loss consistency chống đảo option/state), RLAF (reinforcement learning từ phản hồi điều chỉnh: kết hợp đáp án đúng đã xác minh với xác suất của judge model, regularized bằng KL so với checkpoint SFT), và vision SFT cho Max.

Ví dụ đời thường: giống như thay vì bắt khách hàng viết một bài luận dài để rồi nhân viên đoán ý (chain-of-thought), nhân viên chỉ cần nhìn danh sách các lựa chọn in sẵn và chấm điểm từng lựa chọn một lượt, đưa ra tỉ lệ ưu tiên ngay lập tức — nhanh, và không sợ cách trình bày câu trả lời bị lệch.

III. Main Results:​

  • Decision Index 0.4.1: Drex Max đạt 67.52 (public suite), vượt Jev 1.14.0 (60.70); trên Artificial Analysis Decision Index xếp thứ 2 trong số decision models (64 vs 65 của ba model dẫn đầu).
  • Decision Bench v4: thắng Jev 1.14 và các model Drex khác; ngang thống kê với d3-turbo và GPT-6 Sol; kém Claude Opus 5.5 đúng 1.6 điểm; cao nhất trong decision models trên DecideBench.
  • Tốc độ: latency trung vị 183 ms mỗi request, so với ~2.0 s (GPT-6 Sol) và ~3.5 s (Claude Opus 5.5).
  • Calibration (RQ1): đo trên ~230k quyết định mỗi model; chỉ cần một nhiệt độ toàn cục fit trên dữ liệu held-out là cải thiện calibration.
  • Độ nhạy thứ tự option (RQ2): trên 1,591 quyết định x 3 thứ tự, option đứng đầu chủ yếu đổi ở câu có nhiều option và độ tin cậy thấp; lọc theo flip-rate không tốt hơn lọc theo confidence thấp; trung bình 3 phân phối cải thiện log loss nhưng không cải thiện accuracy.
  • Ablation RLAF (RQ3): RLAF cải thiện Decision Index +2.0 điểm; consistency losses hạ flip rate từ 6.3% xuống 4.2%; giai đoạn vision không làm giảm accuracy trên input text.
  • Drex Max với ảnh (RQ4): xử lý ảnh trực tiếp qua image encoder thay vì mô tả text; mọi câu hỏi trong request đều attend được tất cả ảnh.

IV. Conclusion & Future Works:​

Bài báo chứng minh decision models là lớp mô hình khả thi cho production: một interface duy nhất chạy được trên 4 kiến trúc backbone khác nhau (diffusion LM, hybrid Gated DeltaNet, sparse MoE, dense multimodal), với độ chính xác ngang frontier model trên các tác vụ quyết định well-defined ở phần nhỏ chi phí và độ trễ. Pointer models tối ưu cho nhiều câu hỏi trên context dài (state cache được); Drex Max đổi chi phí re-encode lấy accuracy và khả năng đa phương thức. Tác giả thừa nhận hầu hết bằng chứng là so sánh tương quan, không phải nhân quả, và liệt kê các thí nghiệm chưa chạy — ví dụ thay đổi thiết kế nào của Max thật sự tạo ra lợi thế. Hướng mở: cô lập yếu tố kiến trúc vs dữ liệu trong công thức huấn luyện, và cải thiện order robustness vượt ra ngoài consistency losses.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích nhân quả có kiểm soát (controlled ablation) để xác định thành phần thiết kế nào của Drex Max — attention hai chiều, readout head, hay dữ liệu mở rộng — thật sự tạo ra phần lớn lợi thế accuracy so với pointer models.
  2. Phương pháp huấn luyện bảo đảm order robustness bằng cấu trúc (permutation-equivariant architecture) thay vì bằng loss penalty, áp dụng cho readout head của Max.
  3. Mở rộng decision models sang các loại quyết định có cấu trúc đầu ra phức tạp hơn (ranking, phân phối đa biến) trong khi giữ giao diện phân phối-xác-suất-trực-tiếp và latency thấp.

2. Patent:​

  1. Trợ lý quyết định tích hợp trên điện thoại cho chăm sóc khách hàng: ứng dụng nhận hồ sơ khách hàng và câu hỏi dạng 'nên hoàn tiền, đổi hàng hay từ chối?', trả về xác suất cho từng phương án ngay lập tức dưới 200 mili-giây ngay cả khi offline, thay vì gọi mô hình sinh văn bản chậm và tốn kém trên đám mây.
  2. Hệ thống chấm điểm hồ sơ tuyển dụng hoặc vay vốn trên điện thoại: người dùng chụp ảnh giấy tờ, mô hình đọc trực tiếp ảnh và đưa ra phân phối xác suất 'duyệt / từ chối / cần xem lại' kèm độ tin cậy, với xác suất không đổi khi đảo thứ tự các lựa chọn để kết quả ổn định giữa các phiên chấm.
  3. Bộ định tuyến (router) thông minh cho ứng dụng AI đa năng: một request chứa nhiều câu hỏi về cùng một ngữ cảnh dài được xử lý qua một lần mã hóa ngữ cảnh chia sẻ cho tất cả câu hỏi, giảm đáng kể pin và thời gian xử lý trên thiết bị di động so với việc gọi mô hình sinh riêng cho từng câu hỏi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.07854
ArXiv Abstracthttps://arxiv.org/abs/2611.07854
PDF Downloadhttps://arxiv.org/pdf/2611.07854.pdf
Github Repositoryhttps://github.com/nace-ai/drex-decision-models

9. VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal Agents (17 votes)​

Tác giả: ZhengXian Wu, Qianhao Nie, Zhuohong Chen, Junjie Gao, Yuyao Zhang, et al.

Xuất bản lúc: 2026-11-03

Tag: Multimodal Agents, Visual Search, Benchmark, MLLMs, Tool Use, Web Search, Evaluation

I. Main Problem:​

Các benchmark tìm kiếm đa phương thức hiện có chủ yếu dùng ảnh để nhận diện một thực thể khởi đầu, sau đó dựa gần như hoàn toàn vào tìm kiếm văn bản. Điều này:

  • Không kiểm tra được khả năng kết nối thông tin trực quan qua nhiều bước tìm kiếm
  • Bỏ qua yêu cầu quản lý visual context — tức tổ chức, liên kết thông tin hình ảnh với dữ kiện bên ngoài khi bằng chứng tích lũy dần
  • Đếm số lượng image search/tool call cao cũng không đồng nghĩa với độ phức tạp thật của ngữ cảnh trực quan

II. Main Idea:​

Tác giả đề xuất VisSearch-Bench, benchmark 204 tác vụ do con người viết, thuộc 7 lĩnh vực chính và 25 lĩnh vực con, kiểm tra visual context management trong tìm kiếm web mở. Năm dạng tác vụ:

  • Set-wise Visual Search: thu thập và kiểm tra thông tin trực quan cho một tập hợp đối tượng rồi lọc/so sánh/ghép kết quả
  • Sequential Visual Search: manh mối hình ảnh ở bước trước dẫn hướng bước sau
  • Hybrid Wide–Deep Search: kết hợp tìm kiếm tuần tự với tìm kiếm theo tập hợp, kết quả giai đoạn này xác định phạm vi giai đoạn kia
  • Competitive Visual Disambiguation: phân biệt các ứng viên trông giống nhau bằng chi tiết cục bộ (hình dạng, vân, đánh dấu)
  • Visual-Structure-Guided Search: dùng thứ tự, vị trí không gian, liên kết giữa các vật trong ảnh để định hướng tìm kiếm

Quy trình xây dựng do người chú thích dẫn đầu: chọn nguồn công khai → dựng evidence graph có truy vết → viết câu hỏi che giấu kết quả trung gian → cổng kiểm tra tự động (khả năng truy cập nguồn, tái tính đáp án, chặn đường tắt) → rà soát người. Đánh giá bằng Accuracy (toàn bộ câu trả lời đúng) và Process Score (tỉ lệ trạng thái tới hạn/nhánh con được khôi phục đúng).

Ví dụ đời thường: giống người chơi trốn tìm với bản đồ kho báu — không chỉ nhìn một bức ảnh để đoán địa điểm, mà phải ghi nhớ chi tiết từng manh mối ở mỗi điểm dừng, nối chúng với nhau, và dùng manh mối trước để quyết định bước tiếp theo đi đâu cho đến khi ghép đủ toàn bộ bức tranh.

III. Main Results:​

  • Kết quả rất thấp: hệ thống tốt nhất (ReAct + Kimi-K3) chỉ hoàn thành đúng 26.47% tác vụ; trung bình toàn bộ hệ thống chỉ 8.58% Accuracy.
  • Mô hình không dùng công cụ gần như không giải được gì (≤6.4% Accuracy, 0% ở hầu hết dạng tác vụ ngoại trừ Visual-Structure-Guided).
  • Agent ReAct + GPT-5.5 đạt 25.49% Acc. và Process Score cao nhất 49.52%, cho thấy ngay cả khi đúng từng phần, việc tổng hợp thành đáp án hoàn chỉnh vẫn rất khó.
  • Dạng khó nhất là Competitive Visual Disambiguation — mô hình không dùng công cụ đạt 0% Accuracy ở hầu hết mọi hệ thống; cả agent tốt nhất cũng chỉ ~44% Process Score.
  • Lỗi phân bố ở cả ba khâu: sai không gian tìm kiếm, bỏ sót ứng viên trực quan, và tổng hợp bằng chứng sai — context window dài không giúp quản lý visual state tốt hơn.

IV. Conclusion & Future Works:​

VisSearch-Bench cho thấy quản lý visual context — liên kết bằng chứng hình ảnh qua nhiều bước tìm kiếm, so sánh ứng viên và tổng hợp kết quả — là điểm yếu hệ thống của các MLLM/agents hiện tại, dù đã có công cụ tìm kiếm. Benchmark cung cấp đáp án tham chiếu, evidence truy vết và thang điểm từng phần để phân tích lỗi. Hướng tương lai (suy ra): cải thiện cơ chế ghi nhớ/tổ chức trạng thái trực quan trong agent, tối ưu visual disambiguation bằng chi tiết cục bộ, và phát triển phương pháp huấn luyện trên trajectory tìm kiếm trực quan.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển agent có bộ nhớ visual state cấu trúc: duy trì bảng ghi các ứng viên, bằng chứng hình ảnh đã kiểm chứng và trạng thái lọc, để nối kết quả giữa các bước tìm kiếm thay vì dựa vào context window thuần.
  2. Nghiên cứu fine-tuning trên search trajectory cho tìm kiếm trực quan dài hạn, học cách quyết định khi nào cần kiểm tra chi tiết cục bộ (crop vùng ảnh) để phân biệt ứng viên giống nhau.
  3. Mở rộng Process Score thành phản hồi dạng reward cho RL: huấn luyện agent tối đa hóa số trạng thái tới hạn được khôi phục, không chỉ đáp án cuối đúng.

2. Patent:​

  1. Ứng dụng mua sắm trên điện thoại: chụp ảnh một bộ sưu tập vật phẩm (ví dụ bộ đĩa, bộ tem); ứng dụng tự kiểm tra từng món, tìm thông tin sản phẩm trên web và trả về bảng liệt kê đầy đủ từng món kèm điều kiện lọc do người dùng chọn.
  2. Trợ lý du lịch bằng ảnh: người dùng chụp mặt tiền tòa nhà lịch sử; ứng dụng xác định tòa nhà và cánh nhờ chi tiết kiến trúc, rồi tra cứu thông tin kiến trúc sư, năm hoàn thành và lối đi không bậc thang cho người khuyết tật.
  3. Công cụ xác thực đồ vật chống hàng giả: chụp ảnh chi tiết (vân gỗ, khắc, tem) của một món đồ; hệ thống so sánh với hồ sơ gốc từ nguồn công khai và đưa ra phán đoán mức độ khớp từng chi tiết, giúp phân biệt bản thật và bản sao trông giống nhau.
  4. Trợ lý sưu tầm số hóa: với ảnh chụp bản đồ ghế, sơ đồ triển lãm hoặc trang catalog, ứng dụng đọc thứ tự và vị trí các đối tượng trong ảnh, tự tra cứu thông tin từng mục theo đúng cấu trúc và xuất bảng kết quả hoàn chỉnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04894
ArXiv Abstracthttps://arxiv.org/abs/2611.04894
PDF Downloadhttps://arxiv.org/pdf/2611.04894.pdf
Github Repositoryhttps://github.com/antins-labs/VisSearch-Bench-v1

10. Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models (15 votes)​

Tác giả: Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, et al.

Xuất bản lúc: 2026-11-04

Tag: Embodied AI, Robot Learning, Egocentric Video Pretraining, World-Action Model, Human-Robot Hybrid Scaling, Visual Goal Conditioning, In-Context Learning

I. Main Problem:​

Video người quay từ góc nhìn thứ nhất là nguồn dữ liệu lớn và rẻ hơn nhiều so với điều khiển robot trực tiếp, nhưng thêm giờ video thô không tự động tạo ra chính sách robot tổng quát hóa tốt. Bài toán cốt lõi gồm:

  • thiếu công thức mở và có kiểm chứng để mở rộng pretraining từ quy mô nhỏ tới hàng chục nghìn giờ;
  • dữ liệu từ nhiều nguồn có khung camera, trục cổ tay và cách đo độ mở bàn tay khác nhau, khiến cùng một động tác vật lý được biểu diễn không nhất quán;
  • video thường chứa tay bị che, camera rung, chú thích sai và đoạn đứng yên, làm nhiễu quá trình học;
  • chưa rõ chỉ tăng số giờ hay tăng độ đa dạng tác vụ/cảnh, và khi nào nên kết hợp trải nghiệm người với dữ liệu robot.

II. Main Idea:​

Bài báo đề xuất Open-HumanWAM, một công thức mở toàn bộ để xây dựng và mở rộng mô hình nền tảng cho robot từ trải nghiệm của con người. Đầu tiên, nhóm tác giả xây dựng Open-HumanWAM-50K, tập khoảng 50.000 giờ video egocentric được lọc và chuẩn hóa, gồm khoảng 35,9 triệu clip, có ngôn ngữ và chuyển động bàn tay. Họ lọc các đoạn có bàn tay nhìn thấy, chuyển động ổn định, loại phần đứng yên, rồi ánh xạ mọi nguồn dữ liệu vào một không gian hành động hai tay 16 chiều thống nhất: vị trí, quaternion và độ mở của từng tay.

Từ đó, họ huấn luyện HumanWAM-Vanilla, một world–action model dựa trên Wan2.2 kết hợp video expert và action expert, chỉ pretrain trên video người. Họ phát hiện quy luật log-linear: tăng giờ pretraining giúp tỉ lệ thành công của robot sau post-training tăng đều, đặc biệt trong điều kiện lạ; tăng độ đa dạng tác vụ và cảnh tạo độ dốc cải thiện dốc hơn hẳn so với chỉ tăng số giờ.

Ở bước tiếp theo, họ kết hợp pretraining người–robot bằng HumanWAM-Goal, cho mô hình điều kiện hóa thêm hình ảnh mục tiêu cuối để biết vật cần nằm ở đâu. Mô hình học cách dùng quan sát hiện tại, ngôn ngữ và hình mục tiêu để sinh hành động; sau pretraining chung và post-training ngắn, nó có thể thực hiện tác vụ mới mà không cập nhật tham số, thậm chí thay đổi cách thao tác theo ảnh mục tiêu chưa từng thấy.

Ví dụ đời thường: giống như người học nghề không chỉ xem hàng nghìn video hướng dẫn từ góc nhìn người làm, mà mỗi video còn được gắn tọa độ bàn tay và lời thuyết minh để người học biết tay đang đi đâu; sau đó được tập trên máy móc thật, và khi có thêm tấm ảnh sản phẩm hoàn thành, người học tự suy ra mình cần di chuyển, xoay và kẹp vật thế nào để đạt đúng trạng thái đó.

III. Main Results:​

  • Quy luật mở rộng egocentric: từ 100 tới 50.000 giờ, pretraining trên video người cải thiện liên tục khả năng thích ứng robot; phần lớn lợi ích nằm ở khái quát hóa OOD, không chỉ trên dữ liệu sạch.
  • Đa dạng dữ liệu quan trọng hơn số giờ thuần: mở rộng đồng thời tác vụ và cảnh tạo độ dốc scaling cao hơn khoảng 61% so với chỉ tăng số giờ ở mức bao phủ cố định.
  • HumanWAM-Vanilla sau post-training đạt 92,08% trên RoboTwin 2.0 Clean2Clean, 68,88% Clean2Random, cùng 14,17% mean success và 19,00 mean progress trên RoboDojo.
  • Trên robot vật lý, khi đổi khăn trải bàn và ánh sáng, success trung bình trên bốn tác vụ tăng từ 2,5% không pretraining lên 67,5% với HumanWAM-Vanilla.
  • Hybrid human–robot scaling: thêm 45,9 nghìn giờ dữ liệu người vào 14,6 nghìn giờ dữ liệu robot làm success zero-shot trung bình trên 20 tác vụ thật tăng từ 20,0% lên 30,5%.
  • HumanWAM-Goal đạt 13,94% mean zero-shot success trên RoboTwin 2.0; sau post-training đạt 92,70% Clean2Clean, 84,60% Clean2Random, tức 88,65% average, vượt các baseline SOTA trong bảng so sánh.
  • Mô hình thể hiện embodied in-context learning: cùng một chính sách đổi cách thao tác theo ảnh mục tiêu mới, kể cả ảnh mục tiêu mang góc nhìn con người, mà không cần chỉnh tham số.
  • Nhóm tác giả mở toàn bộ corpus 50K giờ, pipeline lọc dữ liệu, pretraining, checkpoint, inference code và simulation evaluation suite để công trình có thể tái sản xuất.

IV. Conclusion & Future Works:​

Công trình cho thấy trải nghiệm người egocentric có thể trở thành nguồn pretraining mở rộng thật sự cho robot, miễn là dữ liệu được lọc chất lượng, chuẩn hóa hành động và huấn luyện theo công thức nhất quán. Kết quả quan trọng nhất là scaling không chỉ nâng điểm benchmark sạch, mà đặc biệt cải thiện khả năng chịu thay đổi bối cảnh và tác vụ mới; khi kết hợp dữ liệu người–robot và điều kiện hóa bằng mục tiêu hình ảnh, biên năng lực được đẩy xa hơn tới zero-shot và in-context learning. Hướng tương lai hợp lý gồm: mở rộng quy luật scaling sang nhiều hình thái robot hơn; cải thiện cách sinh và kiểm tra ảnh mục tiêu; kết hợp thêm cảm biến xúc giác hoặc trạng thái vật thể; và giảm chi phí post-training để mô hình khai thác tốt hơn corpus hàng chục nghìn giờ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu quy luật scaling cho mô hình nền tảng robot học từ video egocentric của con người ở quy mô hàng chục nghìn giờ, với kiểm chứng closed-loop trong mô phỏng và trên robot thật.
  2. Phát triển phương pháp pretraining lai dữ liệu người–robot với điều kiện hóa hình ảnh mục tiêu, nhằm nâng cao zero-shot generalization và embodied in-context learning cho robot thao tác hai tay.
  3. Xây dựng pipeline mở để làm sạch, chuẩn hóa và căn chỉnh hành động từ nhiều nguồn egocentric, tạo nền tảng dữ liệu tái sử dụng cho các nghiên cứu robot foundation models.
  4. Khảo sát hệ thống mức đóng góp của độ dài dữ liệu, độ đa dạng tác vụ/cảnh, biểu diễn hành động thống nhất và lượng dữ liệu robot cần cho thích ứng sau pretraining.

2. Patent:​

  1. Hệ thống dạy robot từ video điện thoại thông minh: người dùng quay video tự thao tác từ góc nhìn cá nhân; ứng dụng trên điện thoại trích xuất chuyển động bàn tay, gắn lời mô tả, chuẩn hóa tọa độ và gửi lên đám mây để huấn luyện robot thực hiện tác vụ tương tự.
  2. Module ra lệnh robot bằng ảnh kết quả: người dùng chụp ảnh món ăn đã bày sẵn, chai đã xếp vào hộp hoặc tủ đã gọn; robot quan sát hiện trạng, so với ảnh mục tiêu và tự lập chuỗi di chuyển, xoay, kẹp để đạt trạng thái đó mà không cần lập trình lại.
  3. Dịch vụ huấn luyện robot đa nguồn: nền tảng thu thập video người từ nhiều thiết bị đeo, điện thoại và camera công nghiệp, tự lọc đoạn mờ, rung, khuất tay, rồi chuyển mọi cử động về cùng một hệ tọa độ để huấn luyện một chính sách robot dùng chung.
  4. Phương pháp thích ứng robot trong ca làm việc: trước khi thực hiện lệnh mới, robot nhận một hoặc vài hình ảnh mục tiêu từ người vận hành, sau đó điều chỉnh đường tay, lực kẹp và thứ tự bước thao tác ngay trong lần chạy đầu tiên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.06817
ArXiv Abstracthttps://arxiv.org/abs/2611.06817
PDF Downloadhttps://arxiv.org/pdf/2611.06817.pdf
Github RepositoryN/A

11. On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer (12 votes)​

Tác giả: Zhenyi Shen, Junru Lu, Wei Liu, Jiangnan Ye, Jiazheng Li, et al.

Xuất bản lúc: 2026-11-04

Tag: LLMs, Latent Communication, Model Collaboration, Reinforcement Learning, Parameter-Efficient Fine-Tuning, Inference Efficiency

I. Main Problem:​

Mô hình ngôn ngữ lớn mạnh nhưng tốn kém khi decode, còn mô hình nhỏ nhanh nhưng yếu. PACT (Prefill-to-Autoregressive Cross-model Transfer) hứa hẹn kết hợp cả hai: mô hình lớn xử lý prompt (prefill), mô hình nhỏ tự sinh câu trả lời. Tuy nhiên:

  • Hệ thống đáng chú ý nhất (Mostik) closed-source, không tái lập được
  • Các phương pháp open-source hiện có kém hiệu quả
  • Vấn đề căn bản nhất: thắng benchmark không chứng minh được mô hình nhỏ thực sự hưởng lợi từ thông tin của mô hình lớn — lợi ích có thể chỉ đến từ cơ chế thích ứng phía receiver

II. Main Idea:​

Bài báo giới thiệu PLatour, framework PACT open-source gồm:

  • Cầu nối (bridge) tuyến tính, khởi tạo bằng zero: chiếu hidden states của sender vào residual stream của receiver theo độ sâu tương đối từng layer; cả hai backbone đóng băng, chỉ train bridge
  • Train trực tiếp bằng RL (GRPO) với task reward, bỏ qua SFT/distillation như các phương pháp trước
  • Chuyển hidden states thay vì KV cache → tương thích cả kiến trúc hybrid-attention

Sau đó, bài báo đề xuất PACT-Check, giao thức kiểm tra 4 sanity checks: Dummy Transfer (thay tín hiệu sender bằng tín hiệu không mang thông tin câu hỏi), Irrelevant Transfer (dùng câu hỏi khác), Self-Communication (receiver tự giao tiếp với chính mình — tương đương adapter), Trained Receiver (fine-tune receiver không cần sender). PACT-Score = độ chênh so với control mạnh nhất, đo lường phần lợi ích thực sự đến từ giao tiếp.

Ví dụ đời thường: giố như học sinh được phát tài liệu tham khảo trước giờ thi — điểm cao hơn không chắc do tài liệu hữu ích; có thể em chỉ tự ôn kỹ hơn. PACT-Check kiểm tra bằng cách đổi tài liệu thành giấy trắng (Dummy), tài liệu môn khác (Irrelevant), hoặc cho em tự ôn không tài liệu (Trained Receiver) để xem điểm có đổi không.

III. Main Results:​

  • PLatour vượt mọi baseline open-source (C2C, KV-Lingo) trên tất cả tác vụ generation; vượt cả Mostik closed-source trên benchmark toán/lập trình chung (AIME, LCB, HumanEval, MBPP) dù sender nhỏ hơn nhiều (35B so với 753B)
  • Scale được tới tỉ lệ sender:receiver > 100:1 và generation dài tới 16K token; chi phí suy luận tổng gần bằng receiver độc lập ở output dài
  • PACT-Check phơi bày kết quả giả tạo: trên GSM8K, cả 4 control (tín hiệu rác, tự giao tiếp, train receiver) đạt ngang PLatour → lợi ích không đến từ thông tin sender; trên Chemistry ngược lại, PLatour vượt rõ tất cả control → giao tiếp có thật
  • PACT-Score làm giảm mạnh lợi thế biểu kiến, đặc biệt trên toán/lập trình: không hệ thống Qwen3.5 nào vượt baseline Trained Receiver về trung bình domain
  • Bridge train bằng GRPO có norm tham số nhỏ hơn SFT → bền hơn trước nhiễu (IT) nhưng phụ thuộc sender ít hơn

IV. Conclusion & Future Works:​

PACT là hướng hứa hẹn để cân bằng năng lực và chi phí suy luận, nhưng cầu nối train được có thể chỉ là cơ chế thích ứng kiểu prefix-tuning/adapter mà không khai thác thông tin sender — một continuum giữa giao tiếp xuyên mô hình và thích ứng phía receiver. Vì vậy mọi hệ thống PACT tương lai cần được đánh giá bằng protocol kiểu PACT-Check thay vì chỉ nhìn điểm benchmark. Thách thức mở: khi nào thông tin sender thực sự cần thiết, làm sao thiết kế bridge bắt buộc khai thác thông tin đó, và mở rộng sang các kiến trúc/quy mô lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu điều kiện tác vụ khiến PACT thực sự cần thông tin sender: phân tích độ phức tạp kiến thức ngầm (như Chemistry) đối lập với tác vụ có thể cải thiện bằng RL thuần (như GSM8K).
  2. Thiết kế kiến trúc bridge có ràng buộc để ép việc khai thác thông tin đặc thù của câu hỏi, ví dụ bằng tín hiệu chống-collapse hoặc mutual information hạạ tầng.
  3. Mở rộng PACT-Check cho các dạng latent communication khác (KV cache transfer, soft prompt) để chuẩn hóa đánh giá giao tiếp xuyên mô hình nói chung.

2. Patent:​

  1. Dịch vụ đám mây trả lời câu hỏi trên điện thoại: máy chủ dùng mô hình lớn đọc câu hỏi một lần, trích xuất biểu diễn trung gian, nén và gửi xuống điện thoại; mô hình nhỏ trên máy tự sinh câu trả lời dài mà không cần máy chủ tham gia nữa, tiết kiệm pin và độ trễ.
  2. Hệ thống kiểm tra chất lượng giao tiếp giữa hai mô hình AI: tự động thay tín hiệu từ mô hình lớn bằng tín hiệu vô nghĩa hoặc từ ngữ cảnh khác rồi đo sự thay đổi độ chính xác, từ đó gắn nhãn 'giao tiếp có thật' cho từng tác vụ trước khi triển khai thương mại.
  3. Trợ lý học tập offline trên thiết bị yếu: phần 'đọc đề' chạy một lần khi có mạng với mô hình lớn, lưu biểu diễn vào bộ nhớ máy; học sinh dùng mô hình nhỏ trên máy luyện nhiều lần với chi phí gần như bằng không, hiệu suất vẫn cao hơn mô hình nhỏ thông thường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.06976
ArXiv Abstracthttps://arxiv.org/abs/2611.06976
PDF Downloadhttps://arxiv.org/pdf/2611.06976.pdf
Github Repositoryhttps://github.com/zhenyi4/platour

12. EDGAR: Efficient Diffusion-Driven Gaussian Avatar Refinement via Synthetic Failure (10 votes)​

Tác giả: Kwan Yun, Minhyeok Bang, Colette Suhjung Koo, Junyong Noh

Xuất bản lúc: 2026-11-05

Tag: Gaussian Splatting, 3D Avatar, Diffusion Models, Image Refinement, Mixture-of-Experts, Computer Vision, NeRF, Digital Human

I. Main Problem:​

Avatar đầu người dựng từ monocular video hoặc vài ảnh bằng 3D Gaussian Splatting thường bị under-constrained: vùng ít được quan sát như tóc, tai, miệng mở rộng, nhìn nghiêng lớn sinh artifact như nhòe, stretching, floating Gaussians, temporal instability. Các phương pháp refinement kiểu SDEdit dùng diffusion prior có thể làm ảnh đẹp hơn nhưng dễ đổi identity, jitter giữa các frame, và không bảo đảm consistency đa view. Vấn đề cốt lõi là thiếu dữ liệu cặp “avatar lỗi → ground-truth sạch → ảnh tham chiếu cùng người” để học refinement có kiểm soát.

II. Main Idea:​

EDGAR học cách chỉnh khung render lỗi của Gaussian avatar bằng một conditional one-step diffusion refiner, rồi distill ảnh 2D đã sửa ngược lại vào Gaussian 3D để avatar cuối render nhanh như cũ nhưng đẹp hơn.

  • EDGAR-SET: bộ triplet gồm ảnh lỗi (I_f), ground-truth (I_{gt}), reference (I_r) cùng identity; kết hợp dữ liệu thật NeRSemble/RGBAvatar và synthetic CAFCA/3DGS, mô phỏng nhiều mức lỗi từ ít view đến multi-view.
  • Conditioning identity: đặc trưng ảnh reference từ Sapiens được inject qua cross-attention vào backbone SD-Turbo; chỉ fine-tune self-attention/decoder LoRA, giữ pretrained prior.
  • MoE: router chọn một trong sáu expert xử lý degradation khác nhau: floating blobs, blur, geometry lệch, artifact nhẹ/nặng.
  • Giữ expression: thêm expression consistency loss từ POSTER V2 để môi, mắt, cơ mặt không bị méo.
  • Tối ưu lại avatar: render 50 view, chạy EDGAR, dùng ảnh refined làm pseudo-target với L1 + SSIM để cập nhật Gaussian gốc; không tăng số Gaussian nên không phát sinh chi phí inference.

Ví dụ đời thường: giống thợ ảnh chụp chân dung bị mờ do thiếu sáng, soi thêm một ảnh gốc rõ mặt người đó rồi “phục chế” từng khung; sau đó dạy lại bản 3D để lần render sau máy tự ra ảnh nét thay vì phải sửa từng tấm.

III. Main Results:​

  • Thử trên CAP4D, RGBAvatar, GaussianAvatars với nhiều mức input: EDGAR cải thiện đồng thời CLIP similarity, L1, LPIPS, PSNR ở hầu hết cấu hình; với RGBAvatar và GaussianAvatars dẫn cả bốn metric ở mọi số input.
  • So với SDEdit, EDGAR giảm artifact nhưng giữ identity tốt hơn; SDEdit thường oversmooth và làm drift identity, đặc biệt rõ ở cross-identity reenactment qua CSIM.
  • Cross-view consistency: với CAP4D và GaussianAvatars, refinement cải thiện depth discrepancy (E_d) và reprojection coverage (C) ở mọi input setting; RGBAvatar cải thiện ở 4 và 8 input nhưng có thể xấu hơn ở 1 input do geometry ước lượng từ ảnh render.
  • Temporal stability: EDGAR làm giảm temporal warping error cho CAP4D và RGBAvatar, tăng nhẹ cho GaussianAvatars nhưng trung bình ba pipeline giảm.
  • Robustness: kiểm tra head yaw lớn và miệng mở rộng cho thấy cải thiện trong vùng artifact khôi phục được; lỗi cấu trúc quá nặng vẫn không đáng tin cậy.
  • Chi phí: refinement một lần khoảng 5.04–16.60 phút/avatar tùy baseline; throughput render cuối gần như không đổi, trong hai pipeline còn tăng nhẹ.

IV. Conclusion & Future Works:​

EDGAR cho thấy có thể nâng cấp avatar Gaussian monocular/image-based bằng cách học từ synthetic failure có cặp ground-truth, rồi hấp thụ correction vào 3D representation thay vì chạy diffusion sau mỗi frame. Điểm mạnh là cân bằng giữa chất lượng perceptual, giữ identity, ổn định expression và không tăng inference cost; giới hạn là chỉ phù hợp artifact khôi phục được, chưa xử lý tốt lỗi hình học nghiêm trọng. Hướng mở rộng hợp lý là làm giàu degradation khó hơn, cải thiện consistency cho trường hợp input cực ít, và tối ưu chi phí dữ liệu synthetic.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EDGAR-SET sang full-body Gaussian avatars, mô phỏng lỗi ở tay, tóc dài, quần áo và tương tác vật lý, rồi kiểm chứng refinement trên cả reenactment và novel-view synthesis.
  2. Kết hợp EDGAR với estimator geometry đáng tin cậy như VGGT hoặc calibrated multi-view prior để xử lý tốt hơn trường hợp một ảnh/ một video và failure hình học nặng.
  3. Nghiên cứu refinement có điều kiện theo cử chỉ đầu và biên độ miệng, để mô hình tự chọn expert phù hợp với pose lớn, expression cực trị và vùng tóc/tai hay lỗi.
  4. Phát triển bản online/continual refinement cho avatar người dùng di động, cập nhật pseudo-target khi có thêm video selfie mới mà không cần train lại toàn bộ mô hình.

2. Patent:​

  1. Ứng dụng camera điện thoại tạo avatar 3D từ một video selfie: sau khi dựng Gaussian avatar, hệ thống render nhiều góc, dùng mô hình diffusion một bước có ảnh tham chiếu từ chính video để sửa nhòe/tóc bay, rồi tối ưu lại avatar 3D để gọi video AR hoặc game mượt hơn.
  2. Module làm đẹp avatar video call thời gian thực trên điện thoại: người dùng cung cấp một ảnh chân dung rõ mặt; hệ thống tinh chỉnh avatar Gaussian một lần, khi call chỉ render avatar đã sửa nên tiết kiệm pin và không cần chạy diffusion từng frame.
  3. Dịch vụ phục chế avatar kỹ niệm từ ảnh cũ hoặc quay màn hình: tải lên clip ngắn/ảnh ít góc, hệ thống tạo bản render lỗi có kiểm soát, so với ảnh gốc cùng người, rồi xuất avatar 3D nét hơn cho mạng xã hội hoặc video chia buồn.
  4. Hệ thống kiểm thử tự động cho studio capture avatar: mô phỏng giảm số camera, thay đổi biểu cảm, ánh sáng và góc quay để sinh bộ failure cases, từ đó đánh giá pipeline dựng avatar nào cần refinement trước khi bàn giao khách hàng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.07909
ArXiv Abstracthttps://arxiv.org/abs/2611.07909
PDF Downloadhttps://arxiv.org/pdf/2611.07909.pdf
Github Repositoryhttps://github.com/kwanyun/edgar-code