🤗 Daily Hugging Face Paper Digest - 2026-10-22
Báo cáo được tạo tự động vào lúc 2026-10-23 10:45:55 bằng mô hình hermes-agent.
📰 Summary of Papers
1. StreamEval: Evaluating Interactive Streaming Video Generation Models (367 votes)
Tác giả: StreamEval Team
Xuất bản lúc: 2026-10-20
Tag: Video Generation, Streaming Generation, Benchmark, Evaluation, Digital Human, World Models, Video Editing
I. Main Problem:
Video generation đang chuyển từ tạo clip một lần sang tạo video dạng streaming, tương tác theo thời gian thực (avatar hội thoại, thế giới ảo điều khiển trực tiếp, chỉnh sửa video trực tiếp). Vấn đề:
- Không có benchmark thống nhất cho bài toán này — các benchmark hiện có (VBench, WBench, LongV2VBench, VideoFDB...) mỗi cái chỉ phủ một miền riêng, không kiểm tra tương tác lâu dài và yêu cầu bảo toàn trạng thái.
- Khả năng tối quan trọng — thực thi yêu cầu người dùng đến dần trong khi giữ nguyên nội dung/trạng thái đã có — chưa được đo lường nghiêm ngặt với tiêu chí rõ ràng về thời điểm, phạm vi thay đổi và phần cần giữ nguyên.
II. Main Idea:
StreamEval là một benchmark thống nhất gồm 300 test case kịch bản hóa, mỗi case mô phỏng một phiên tương tác kéo dài 15–300 giây với ba thành phần:
- Tài nguyên khởi tạo: chân dung, cảnh, hoặc video nguồn liên tục (không lặp, không cắt ghép)
- Chuỗi yêu cầu đến dần theo thời gian: lời nói, văn bản, ảnh tham chiếu (1.347 sự kiện online tổng cộng), do scheduler phát hành tăng dần
- Oracle rõ ràng quy định gì phải thay đổi, giữ lại, hủy hoặc khôi phục ở từng mốc
Bài toán chia thành 5 tác vụ: dialogue với digital human, avatar biểu diễn theo chỉ định, world generation, instruction editing, reference editing. Chấm điểm bằng 10 chỉ số trên 4 chiều: task execution (Dialogue, Following, Edit Success), state consistency (Stability, Continuity, Preservation), visual fidelity (Quality, Identity, Reference), audiovisual coordination (A–V Sync), dùng VLM làm judge có hiệu chuẩn (false positive ≤ 5%).
Ví dụ đời thường: giống bài kiểm tra một nhân viên bồi bàn trong bữa tiệc dài — khách gọi món lẻ tẻ theo thời gian, đổi món giữa chừng, hủy món trước đó; nhân viên phải làm đúng món mới nhất mà không đánh đổ món đã dọn lên bàn và nhớ nguyên trạng bàn từ đầu buổi.
III. Main Results:
- Đánh giá 37 mô hình trên 300 test case, 3 lần lặp mỗi case. Vidu S2 Avatar dẫn đầu digital-human dialogue (93.98 Overall); MemFlow dẫn world generation; Vidu S2 Editing dẫn cả hai tác vụ editing.
- Phát hiện cốt lõi: chất lượng hình ảnh đẹp và giữ identity tốt không đồng nghĩa với thực thi yêu cầu đáng tin cậy. Ví dụ MuseTalk 1.5 đạt Quality 95.34 nhưng A–V Sync chỉ 38.09; AptAvatar có A–V Sync 70.32 nhưng Dialogue chỉ 35.98.
- Request execution là điểm yếu chung: điểm Following cao nhất trong avatar performance chỉ 36.90; world generation theo văn bản chỉ 25.93; Edit Success trong reference editing chỉ 15.00 — cho thấy các mô hình hiện tại gần như không hoàn thành được chỉnh sửa đầy đủ theo hợp đồng.
- Benchmark mở rộng thời lượng đánh giá gấp 5 lần LongV2VBench (300s so với 60s) và phủ đủ 5 tác vụ trong một khung chung.
IV. Conclusion & Future Works:
StreamEval cho thấy nút thắt của video tương tác thời gian thực không nằm ở độ đẹp từng frame mà ở khả năng thực thi yêu cầu đến dần, đúng thời hạn, đúng phạm vi, đồng thời duy trì trạng thái xuyên suốt phiên dài. Đây là thách thức trung tâm để hướng tới các hệ thống omni-modal tương tác thực sự. Toàn bộ dữ liệu, code và leaderboard (streameval.ai) được công bố mở để cộng đồng theo dõi tiến bộ.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu cải thiện khả năng Following cho avatar: mô hình kiểm soát cử chỉ (gaze, biểu cảm, tay) đáp ứng lệnh đến dần trong phiên dài mà không mất nội dung lời nói đã chỉ định.
- Phương pháp chỉnh sửa video trực tiếp với hợp đồng chỉnh sửa đầy đủ: thiết lập mục tiêu, cập nhật tăng dần, đổi ảnh tham chiếu giữa chừng, và khôi phục nguyên trạng video nguồn khi được yêu cầu.
- Kỹ thuật bảo toàn trạng thái dài hạn trong world generation: vật thể bị che khuất rồi xuất hiện lại vẫn giữ thuộc tính, camera di chuyển liên tục không vỡ không gian.
- Judge tự động đa phương thức cho đánh giá video tương tác: giảm tỷ lệ quyết định treo, hiệu chuẩn theo từng lớp lỗi (defect) với ngưỡng false positive/false negative chặt.
2. Patent:
- Trợ lý avatar video trên điện thoại: người dùng nói chuyện theo thời gian thực, có thể ngắt lời hoặc đổi chủ đề giữa chừng; avatar trả lời đúng ngữ cảnh hội thoại, giữ nguyên gương mặt và nhân cách, môi khớp với giọng nói.
- Ứng dụng tạo thế giới ảo tương tác cho điện thoại: người dùng ra lệnh bằng giọng nói hoặc chạm (đổi màu xe, di chuyển vật thể, xoay camera) trong khi cảnh đang chạy liên tục; các vật không liên quan giữ nguyên trạng thái.
- Công cụ chỉnh sửa video livestream trên điện thoại: đổi màu áo người nói theo lệnh thoại, sau đó đổi tiếp màu khác hoặc yêu cầu trả lại nguyên bản — hệ thống theo dõi vùng cần sửa theo thời gian, không làm méo chuyển động gốc.
- Hệ thống chấm điểm tự động cho dịch vụ tạo video tương tác: doanh nghiệp nộp mô hình, hệ thống chạy kịch bản có sự kiện đến dần, tự chấm mức độ hoàn thành yêu cầu và độ ổn định trạng thái rồi xếp hạng trên bảng công khai.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28402 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28402 |
| PDF Download | https://arxiv.org/pdf/2610.28402.pdf |
| Github Repository | https://github.com/StreamEval/StreamEval |
2. DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations (131 votes)
Tác giả: Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang, et al.
Xuất bản lúc: 2026-10-21
Tag: Robotics, Dexterous Manipulation, Bimanual Control, Reinforcement Learning, Behavioral Cloning, Imitation Learning, PPO, Dataset
I. Main Problem:
Các mô hình dexterous reference tracking hiện tại hầu hết chỉ xử lý một tay và tập tương tác hẹp, trong khi việc nhà như cầm chặt vật một tay và xoay/mở nó bằng tay kia đòi hỏi phối hợp hai tay không đối xứng. Xây dựng một tracker song tay tổng quát gặp hai khó khăn:
- Thiếu dữ liệu: các dataset công khai hiếm có chuỗi hand–object được track đầy đủ với tiếp xúc hai tay kéo dài (tỉ lệ đồng thời cao nhất công khai chỉ ~38.57%).
- Khó huấn luyện chung: hai tay đổi vai trò và thời điểm tiếp xúc liên tục; chính xác về pose tay không đảm bảo vận động được vật, và ép cả hai tay cùng thỏa điều kiện tiếp xúc có thể che mất tiến bộ của một tay. Ngoài ra độ khó không đều giữa các clip tạo độ lệch advantage làm suy yếu cập nhật học tăng cường.
II. Main Idea:
DONIC là tracker song tay tổng quát đầu tiên, huấn luyện một chính sách chung cho cả hai tay trên nhiều loại thao tác và nhiều nguồn dữ liệu người, kèm dataset mới BiHOI (1,575 chuỗi, 229 vật, 14.77 giờ, 32 camera, 65.91% frame có cả hai tay tiếp xúc). Kiến trúc gồm:
- Vòng lặp PPO + Behavioral Cloning: PPO học qua tương tác mô phỏng; các lần chạy thành công được kiểm chứng được tái sử dụng làm demonstration cho BC, xen kẽ lặp lại.
- Object-centered per-hand reward: luôn thưởng theo chuyển động của vật (vị trí, hướng, vận tốc), nhưng chỉ phạt/giám sát tiếp xúc của từng tay khi reference yêu cầu vai trò đó, cho phép hai tay tham gia không đồng bộ — tay giữ vật và tay thao tác được chấm điểm riêng đúng lúc.
- Clip-Centered Advantages (CCA): sau khi tính GAE, trừ đi trung bình advantage của từng clip trước khi cập nhật PPO, loại bỏ độ lệch do độ khó khác nhau giữa clip nhưng giữ nguyên thứ hạng chênh lệch bên trong từng clip.
Ví dụ đời thường: giống cách chấm điểm công bằng cho từng đề thi riêng thay vì một thang chung cho cả trường — học sinh làm đề khó vẫn được ghi nhận những câu đúng tương đối của mình, thay vì bị chìm vì đề cả lớp đều làm dở; còn thưởng-vạ tay nào chỉ khi đề thi giao việc cho tay đó.
III. Main Results:
- UNSEEN-TRAJ (53 quỹ đạo mới của vật đã huấn luyện): SR 86.79%, Comp 67.62% — hơn baseline mạnh nhất (Dexplore-bi, 9.43%) +77.36 điểm phần trăm; lỗi cổ tay giảm từ 21.88 xuống 3.96 cm.
- UNSEEN-OBJ (164 clip vật hoàn toàn mới): SR 57.32%, Comp 54.69% — hơn Dexplore-bi +45.73 điểm phần trăm.
- Ablation: bỏ CCA làm SR giảm 86.79→81.13 (trajectory) và 57.32→48.17 (object); bỏ contact gate giảm tương ứng xuống 81.13 và 48.78 — cả hai thành phần đều cần thiết.
- Thêm BiHOI (1,845→3,420 clip) cải thiện cả 7 chỉ số trên cả hai split: SR 88.68% / 59.76%; DexTrack-bi gần như thất bại hoàn toàn (SR 0%).
IV. Conclusion & Future Works:
DONIC chứng minh một checkpoint duy nhất có thể học phối hợp song tay qua nhiều loại thao tác và nguồn dữ liệu người mà không cần fine-tuning, nhờ reward đặt vật ở trung tâm và giám sát tiếp xúc theo vai trò từng tay, cùng CCA khử độ lệch advantage theo clip. Dataset BiHOI lấp đầy khoảng trống dữ liệu tiếp xúc song tay kéo dài và cho thấy thêm dữ liệu đa dạng cải thiện mọi chỉ số. Hướng tương lai (suy luận từ hạn chế hiện tại): mở rộng sang nhiều dạng bàn tay robot và môi trường thực ngoài mô phỏng, tăng tỉ lệ thành công trên vật hoàn toàn mới, và tích hợp thêm dữ liệu đa dạng hơn nữa.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng phương pháp reward đặt vật ở trung tâm theo vai trò từng tay cho robot có nhiều hơn hai tay (cánh tay phụ hỗ trợ), tự động xác định tay nào được chấm điểm tiếp xúc tại từng thời điểm từ reference.
- Kết hợp CCA với curriculum tự động sắp xếp độ khó clip để huấn luyện generalist tracker trên bộ dữ liệu vừa có độ khí chênh lệch lớn mà không mất tín hiệu học từ clip dễ.
- Xây dựng pipeline thu nhận demonstration từ video điện thoại thông minh (đơn camera hoặc vài camera tùy ý) rồi tái tạo và retarget thành reference robot song tay, hạ thấp rào cản phần cứng thu dữ liệu.
- Nghiên cứu reward dựa trên tiếp xúc bằng lực thực (không chỉ khoảng cách đầu ngón tay) để tracker hoạt động ổn định khi chuyển từ mô phỏng sang robot thật.
2. Patent:
- Ứng dụng điện thoại dạy robot gia đình làm việc hai tay: người dùng quay video mình thao tác vật (ví dụ mở hộp, gọt trái cây) bằng camera điện thoại; hệ thống tái tạo chuyển động tay, chuyển sang chuyển động robot và huấn luyện chính sách theo dõi, sau đó robot hai tay thực hiện lại ngay mà không cần lập trình.
- Hệ thống chấm điểm điều khiển robot theo vai trò từng tay cho dây chuyền lắp ráp: phần thưởng tập trung vào chuyển động của sản phẩm và chỉ giám sát tiếp xúc của tay nào đang được giao nhiệm vụ, giúp một chính sách chung vận hành nhiều công đoạn lắp ráp khác nhau mà không cấu hình lại từng công đoạn.
- Module chuẩn hóa độ khó khi huấn luyện đồng loạt nhiều nhiệm vụ robot: tự động trừ mức điểm trung bình của từng nhiệm vụ (tương tự CCA) trong quá trình học tăng cường trên đám mây, để robot học đều từ nhiệm vụ dễ và khó thay vì bỏ qua nhiệm vụ khó.
- Bộ sưu tập dữ liệu tương tác tay–vật chuẩn hóa cho thuê theo API: các nhà phát triển robot gửi video đa góc, nhận lại quỹ đạo tay và vật đã tái tạo, retarget và sàng lọc khả thi để huấn luyện chính sách bàn tay robot.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29997 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29997 |
| PDF Download | https://arxiv.org/pdf/2610.29997.pdf |
| Github Repository | https://github.com/Ropedia/DONIC |
3. SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes? (130 votes)
Tác giả: Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, et al.
Xuất bản lúc: 2026-10-19
Tag: Vision-Language Models, Active Perception, 3D Mapping, Spatial Intelligence, Embodied Agents, Benchmark
I. Main Problem:
Các benchmark spatial QA hiện tại chủ yếu chấm đáp án đúng/sai, nên mô hình có thể đoán đúng nhờ language priors, loại trừ đáp án, hoặc dùng phân bố câu trả lời mà không thật sự hiểu không gian. Điểm thiếu cốt lõi: chúng không kiểm chứng được cả vòng lặp chủ động thu thập bằng chứng → chọn góc nhìn → liên kết vật thể qua các view → ước lượng hình học → chỉnh bản đồ 3D. Vì vậy cần một bài test yêu cầu VLM agents tự dựng metric map các tâm vật thể trong cùng hệ tọa độ, với ngân sách tương tác có giới hạn.
II. Main Idea:
SpatialScout đánh giá spatial intelligence bằng active object-level 3D mapping: agent nhận object inventory, ảnh RGB ban đầu, camera intrinsics/poses, rồi tự điều khiển camera qua các tool như capture_image, move_camera, rotate_camera, triangulate_observations, submit_positions. Mỗi scene có 30–40 target; mô hình phải xác định tâm vật thể trong khung tọa độ chung, có thể nộp nhiều lần và sửa ước lượng, với ngân sách 100 model calls và 100 images. Điểm số dùng mean center error, coverage, và object-scale 3D IoU: target bị bỏ sót tính 0, vì vậy độ chính xác và độ đầy đủ bị phạt cùng lúc. Benchmark gồm 80 indoor scenes, 3,140 target objects, render bằng SAPIEN/ManiSkill3 từ iTHOR, RoboTHOR, ArchitecTHOR, ReplicaCAD, ProcTHOR. Khác các bài QA ngắn, nhiệm vụ này buộc mô hình duy trì một closed loop: ước lượng hiện tại quyết định điểm nhìn tiếp theo, điểm nhìn mới lại thay đổi bằng chứng và bản đồ. Giống như người lạ vào căn nhà phải tự đi vòng quanh, nhìn đồ từ trước/bên/hông, ghi nhớ vị trí rồi chỉnh lại khi phát hiện thiếu hoặc lệch; không thể đứng một chỗ đoán toàn bộ.
III. Main Results:
- Model mạnh nhất là Claude Opus 5.5: all-target mean IoU 41.71%, submitted-object mean IoU 46.69%, positive-overlap recall 77.36%, nhưng chỉ 47.23% target đạt IoU > 0.5 và 3.25% đạt IoU > 0.9.
- GPT-6 Astra đạt all-target mean IoU 33.16%, submitted-object mean IoU 41.16% theo bảng; IoU > 0.5 là 35.15%, IoU > 0.9 là 1.62%. Claude Sonnet 5.5: 32.26% all-target mean IoU; GPT-6 Sol: 20.83%.
- Các model yếu hơn gần như thất bại ở ngưỡng chặt: Kimi-K3 4.22%, DeepSeek V4.1 Flash 3.48%, Qwen3.8 Max 6.80% all-target mean IoU; tỉ lệ IoU > 0.9 đều 0%.
- Phân tích 40 trajectory: chỉ 6/40 thành công theo tiêu chí coverage ≥90% và center error ≤0.2 m; thất bại phổ biến là incomplete object coverage 26/34, correspondence errors dù triangulation residual thấp 21, geometric inconsistency 13, early termination 13.
- Hành vi tool-use khác rõ: Claude Opus 5.5 gọi nhiều tool nhất; GPT-6 Astra cân bằng observation, movement, mapping; DeepSeek/Qwen di chuyển camera nhiều nhưng observe/map ít hơn. Claude Opus 5.5 cũng đắt nhất, khoảng 28.85 USD/task.
IV. Conclusion & Future Works:
Kết quả cho thấy frontier VLMs phục hồi được layout thô, nhưng còn xa mới dựng được complete, precise metric maps: nhận diện vật thể hay phán đoán khoảng cách tương đối không đồng nghĩa với khả năng cập nhật tọa độ metric qua nhiều bước. SpatialScout cung cấp testbed để nghiên cứu active viewpoint selection, cross-view association, uncertainty-aware map revision, persistent spatial memory, và hiệu quả chi phí cho tác vụ agent dài hạn.
V. Brainstorming Space:
1. Publish Papers:
- Học chính sách chọn điểm nhìn tiếp theo cho VLM agents trong bản đồ vật thể 3D, ưu tiên view giảm occlusion, tăng parallax và bao phủ nhóm target còn thiếu.
- Nghiên cứu correspondence robustness: phát hiện khi pixel giống nhau không cùng điểm vật lý, kết hợp cảnh báo hình học với kiểm tra nhất quán ngữ nghĩa trước khi nộp tọa độ.
- Phát triển spatial memory có kiểm soất uncertainty để agent quyết định khi nào nên quan sát thêm, khi nào nên sửa vị trí đã nộp, và khi nào dừng vì ngân sách tương tác sắp hết.
- Tối ưu accuracy-cost frontier cho agentic 3D mapping: giảm số image captures và model calls mà không làm tăng omission hoặc center error.
2. Patent:
- Ứng dụng điện thoại quét phòng để dựng bản đồ đồ đạc: người dùng cầm điện thoại di chuyển quanh phòng, ứng dụng gợi ý hướng quay, ghép ảnh, ước lượng vị trí tâm bàn/ghế/tủ và xuất bản đồ AR để đặt lại đồ mới.
- Trợ lý robot gia đình tự học layout nhà: robot di chuyển có kiểm soát, chụp nhiều góc, lưu vị trí vật dụng vào bản đồ 3D để sau đó trả lời kiểu rẻ quạt nằm ở đâu hoặc đi lấy đồ chính xác hơn.
- Hệ thống kiểm kê kho hàng bằng camera cầm tay: nhân viên quét kệ theo gợi ý trên điện thoại, phần mềm dựng tọa độ tâm từng kiện hàng, phát hiện thiếu sót vì góc chụp bị che và đề xuất góc bổ sung trước khi chốt biên bản.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.26659 |
| ArXiv Abstract | https://arxiv.org/abs/2610.26659 |
| PDF Download | https://arxiv.org/pdf/2610.26659.pdf |
| Github Repository | https://github.com/JesseZZZZZ/SpatialScout |
4. Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation (129 votes)
Tác giả: Ruopeng Gao, Yukun Huang, Jiarui Hu, Shuai Wang, Wenbo Hu, et al.
Xuất bản lúc: 2026-10-21
Tag: Video Generation, Autoregressive Generation, Diffusion Models, Flow Matching, World Models, Representation Learning, Physical Plausibility
I. Main Problem:
Các mô hình autoregressive video diffusion sinh video từng chunk dựa trên lịch sử đã có, nhưng dùng teacher forcing khiến mô hình dễ học theo kiểu copy sự liên tục cục bộ thay vì hiểu cảnh đang tiến hóa thế nào. Vì video có dư thừa thời gian mạnh, chunk kế tiếp thường giống chunk trước, nên mô hình có thể tạo hình ảnh “hợp lý ngay lúc đó” nhưng sai bản chất vật lý: domino đổ sai hướng, mực nước không dâng khi đá tan. Điều này đặc biệt nghiêm trọng nếu mục tiêu là world models cần dự đoán trạng thái tương lai.
II. Main Idea:
Future Chunk Prediction (FCP) thêm một nhiệm vụ phụ trong lúc train: từ biểu diễn trung gian của chunk hiện tại, mô hình phải dự đoán một chunk tương lai cách xa hơn trong cùng video, nhưng không được xem các chunk nằm giữa. Điều này ép mô hình học thông tin mang tính dự báo thay vì chỉ nối tiếp hình ảnh cục bộ.
- Giữ nguyên teacher-forced denoising cho chunk kế tiếp.
- Thêm các predictor nhẹ cho từng khoảng cách tương lai, chạy song song, không chia sẻ luồng thông tin giữa các offset để tránh rò rỉ manh mối tương lai.
- Predictor nhận đặc trưng từ cả clean context và noisy target của generator, nhưng không dùng text để tránh lộ trước diễn biến.
- Loss phụ lan ngược vào generator, làm biểu diễn trung gian có cấu trúc hơn; khi inference, bỏ toàn bộ predictor nên quy trình sinh không đổi.
Ví dụ đời thường: như bị che mất đoạn giữa phim nhưng vẫn phải đoán cảnh sau đó chỉ từ trạng thái hiện tại; muốn đoán trúng thì phải hiểu quy luật vận động, không thể chỉ nhìn frame cuối rồi nối cho giống.
III. Main Results:
- Physics-IQ Verified: Wan2.1-1.3B tăng IQ từ 27.6 lên 30.9; Wan2.2-TI2V-5B tăng I2V từ 30.4 lên 33.8 và V2V từ 40.6 lên 44.4.
- Mô hình 5B + FCP vượt nhiều baseline lớn hơn hoặc cùng nhóm autoregressive, gồm Wan2.2-14B, HunyuanVideo-1.5, Cosmos3-Nano, MAGI-1-4.5B và Helios-Base trên bảng so sánh tổng thể.
- Ablation: dùng cả clean và noisy representations cho hiệu quả tốt nhất, +3.3 IQ so với teacher forcing; thiết kế parallel tốt hơn chained, 30.9 so với 30.1; bỏ text khỏi predictor tốt hơn có text, giữ IQ cao hơn 1.1 điểm.
- Hiệu quả train: so với biến thể dùng toàn bộ lịch sử ẩn, FCP cần ít hơn 42.6% FLOPs để đạt IQ 29 và ít hơn 50.7% để đạt IQ 30.
- Các benchmark bổ sung cũng tăng nhẹ: WorldModelBench total 7.22 → 7.64, PAI-Bench-G domain 81.13 → 82.38, PhyGround tăng nhẹ.
- Trực quan hóa cho thấy FCP tạo biểu diễn tập trung đúng vật thể và bám sự chuyển động qua thời gian tốt hơn teacher forcing.
IV. Conclusion & Future Works:
FCP là một nguyên tắc train đơn giản và tiết kiệm: khai thác chính video training để tạo tín hiệu dự báo tương lai, không cần encoder ngoài, không làm thay đổi inference, đồng thời cải thiện physical plausibility và làm không gian biểu diễn có cấu trúc hơn. Hướng mở: dùng predictor phụ để tăng tốc sampling bằng denoising giai đoạn sớm, kết hợp nhiều dự đoán tương lai để cải thiện generation, thêm dữ liệu mô phỏng vật lý, và xây dựng benchmark đo trực tiếp khả năng mô hình hóa diễn biến cảnh.
V. Brainstorming Space:
1. Publish Papers:
- Khảo sát hệ thống các khoảng cách tương lai trong autoregressive video generation: offset nào ép mô hình học động lực học tốt nhất, và làm sao chọn offset theo độ khó của video.
- Mở rộng future-chunk supervision thành mục tiêu học biểu diễn cho world models, kiểm tra xem cấu trúc không gian ẩn có cải thiện dự đoán hành động, tương tác vật lý và rollout dài hạn hay không.
- Kết hợp dự đoán tương lai với tự chọn ngữ cảnh lịch sử để giảm chi phí train cho video dài, giữ độ ổn định rollout mà không cần lưu toàn bộ lịch sử ẩn.
2. Patent:
- Ứng dụng điện thoại tạo video tiếp nối từ ảnh hoặc clip ngắn: người dùng chọn một khung hình, ứng dụng sinh các đoạn tiếp theo có chuyển động vật lý hợp lý hơn nhờ mô hình được huấn luyện với nhiệm vụ đoán chunk tương lai cách xa.
- Công cụ chỉnh sửa video trên điện thoại kiểm tra tính hợp lý vật lý: hệ thống so sánh cách vật thể di chuyển, đổ, nảy hoặc thay đổi mực chất lỏng với dự đoán tương lai để cảnh báo đoạn render bị sai.
- Trợ lý quay video thể thao hoặc vlog trên mobile: khi người dùng quay một hành động liên tục, ứng dụng gợi ý góc quay, thời điểm cắt và đoạn slow-motion bằng cách dự đoán diễn biến sắp xảy ra từ vài giây đầu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29989 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29989 |
| PDF Download | https://arxiv.org/pdf/2610.29989.pdf |
| Github Repository | https://github.com/TencentARC/Looking-Ahead |
5. Cache Engineering for Agents (114 votes)
Tác giả: Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, et al.
Xuất bản lúc: 2026-10-20
Tag: LLM Agents, KV Cache, Context Engineering, Inference Optimization, Serving Systems, Cache Eviction, Recursive Self-Improvement
I. Main Problem:
Khi LLM agent chạy tác vụ dài hàng trăm lượt, KV cache trở thành chi phí chủ đạo: cache read chiếm tới 82.4% tổng API cost, đồng thời trajectory dễ vượt context window và làm độ chính xác sụt giảm.
Cách truyền thống là context engineering: cắt hoặc tóm tắt lịch sử hội thoại. Nhưng sửa phần đầu trajectory làm invalid toàn bộ cache phía sau, buộc re-prefill lại phần còn giữ. Cắt quá sớm hoặc tóm tắt quá mạnh thì mất thông tin, giảm accuracy; giữ nhiều quá thì cost tăng mạnh. Đây là dilemma giữa re-prefill cost và task accuracy.
II. Main Idea:
Bài báo đề xuất cache engineering: agent không sửa text trajectory, mà trực tiếp điều khiển active KV cache bằng ba phép toán:
- append: thêm cache cho token mới như bình thường.
- drop: loại bỏ các KV entry được chọn khỏi attention sau này, nhưng giữ nguyên retained cache, position encoding và logical sequence; không cần re-prefill phần còn lại.
- repos: xoay RoPE key để gán lại position encoding cho cache còn giữ, tránh đạt giới hạn position dù logical trajectory rất dài.
Ý chính: cùng giữ “bộ nhớ làm việc” nhỏ hơn, nhưng vẫn tái sử dụng cache cũ thay vì tính lại. Vì cache state phụ thuộc lịch sử drop/repos, bài báo đồng thiết kế AKV serving engine với giao diện stateless, extended radix tree phân biệt token prefix + cache operation history, drop-aware eviction, và segment-batch attention để restore thiếu cache trong một prefill pass.
Policy ví dụ: tool-response rolling-drop — giữ reasoning và các tool response gần, drop cache tool response cũ hơn. Agent cũng có thể tự cải thiện policy qua recursive self-improvement.
Ví dụ đời thường: giống như người làm việc vẫn giữ nguyên cuốn sổ ghi chép dài, nhưng che đi những trang cũ không cần nhìn nữa thay vì xé trang, rồi dùng thẻ đánh dấu lại trang còn dùng để mở nhanh đúng chỗ.
III. Main Results:
- So với threshold-triggered summarization, policy tool-response rolling-drop cải thiện +1.7 điểm benchmark trung bình và giảm 27.7% cost.
- Với AKV server: tới 1.18× output throughput, 1.51× P95 request latency speedup.
- Recursive self-improvement giảm thêm 7.1% cost so với policy thiết kế thủ công.
- Trên nhiều model: MiniMax-M2.7, GPT-OSS-120B, MiroThinker-1.7-Mini; benchmark BrowseComp-Plus, GAIA-Text, SWE-bench Verified, xbench-DeepSearch.
- Ablations: tool drop + repos tốt nhất; repos nâng BCP từ 55% lên 62%, cho phép vượt position limit.
- Đưa cache control thành tool cho agent đạt pass rate cao trên BCP subset: GPT-OSS-120B 61.0%, MiniMax-M2.7 64.0%.
IV. Conclusion & Future Works:
Cache engineering cho phép agent kiểm soát trực tiếp active KV cache mà không phải viết lại lịch sử hay trả giá re-prefill, đồng thời AKV biến lợi thuật lý thành throughput cao hơn và latency thấp hơn cho workload agent thật. Giới hạn: còn nhiều chiến lược cache chưa khám phá, chưa train agent trong scheme này, và chưa mở rộng cho linear attention models.
V. Brainstorming Space:
1. Publish Papers:
- Formal hóa đầy đủ hơn không gian chính sách cache engineering cho agent đa bước, bao gồm drop/repos theo message role, recency và mục tiêu task cụ thể.
- Training agent trực tiếp với cache operations như hành động có gradient-free policy search, để agent học khi nào nên drop, repos hoặc giữ cache.
- Mở rộng AKV cho linear attention / hybrid attention models và đánh giá trên serving đa tenant, multi-agent, shared prefixes nặng.
- Nghiên cứu cache engineering an toàn cho retrieval-heavy agents: balance giữa cost, latency, grounding và giảm hallucination khi lịch sử dài.
2. Patent:
- Hệ thống điều khiển bộ nhớ LLM agent trên điện thoại: app agent giữ nguyên lịch sử chat, nhưng gửi lệnh drop cache cho tool response cũ và repos key để tiếp tục trả lời dài mà không tải lại toàn bộ context.
- Dịch vụ API cho agent có cờ cache operation: client gửi messages kèm drop/reposition sequence; server tự tái sử dụng, eviction và restore KV cache đúng theo lịch sử thao tác, giảm bill inference cho ứng dụng trợ lý ảo.
- Cơ chế tiết kiệm pin và băng thông cho assistant di động: khi cuộc hội thoại vượt ngưỡng, thiết bị chỉ yêu cầu giữ cache gần đây và xoay position encoding thay vì gửi lại toàn bộ transcript lên server.
- Hệ quản trý cache cho nhiều agent cùng prefix: dùng radix tree mở rộng để nhiều request share cache chung nhưng vẫn cô lập drop/repos của từng agent, phù hợp productivity suite trên điện thoại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28577 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28577 |
| PDF Download | https://arxiv.org/pdf/2610.28577.pdf |
| Github Repository | https://github.com/thu-nics/AKV |
6. Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents (102 votes)
Tác giả: Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, et al.
Xuất bản lúc: 2026-10-08
Tag: World Models, GUI Agents, Agent Safety, Self-Supervised Learning, Anomaly Detection, Vision-Language Models
I. Main Problem:
Các GUI agent (tác tử tương tác giao diện đồ họa) bị tấn công bằng cách chuyển hướng kết quả sau hành động: màn hình đăng nhập xuất hiện sau khi bấm Sign in là bình thường, nhưng cùng màn hình đó, từng pixel, xuất hiện sau khi bấm View order là một cuộc tấn công đánh cắp thông tin.
- Vấn đề cốt lõi: an toàn là thuộc tính của chuyển tiếp (transition), không phải của màn hình. Mọi bộ giám sát chỉ nhìn màn hình kết quả đều có thể bị đánh lừa bằng cách tái sử dụng một màn hình hợp lệ.
- Các world model GUI hiện có dự đoán tương lai dưới dạng text, code hoặc ảnh render, nên việc so sánh với màn hình thực tế lại cần một mô hình thứ hai làm trọng tài (judge) — chưa giải quyết vấn đề, chỉ dời chỗ tin cậy.
- Chi phí cao: render một chuyển tiếp mất 1-2 phút trong các world model sinh hiện nay.
II. Main Idea:
LGWM (Latent GUI World Model) — world model điều kiện hóa theo hành động, không có decoder, dự đoán trực tiếp biểu diễn (representation) của màn hình kế tiếp trong cùng không gian embedding của encoder quan sát, huấn luyện tự giám sát trên 1,85 triệu chuyển tiếp GUI thật, không cần nhãn ngữ nghĩa.
- Vì dự đoán và quan sát cùng không gian, việc kiểm chứng chỉ là một phép so sánh vector (cosine similarity) trong 17ms, không cần decoder hay judge.
- Hai tín hiệu từ một phần dư (residual): độ lớn của phần dư phát hiện chuyển tiếp bất thường (không cần huấn luyện); hướng của phần dư qua một linear head phân biệt vi phạm có hại vs vô hại (thông báo push, thay đổi layout bất ngờ nhưng không nguy hiểm).
- Kỹ thuật chính: kiến trúc joint-embedding predictive (JEPA, nguồn cảm hứng từ V-JEPA), loss cân theo vùng thay đổi (λ=8) vì GUI thay đổi rất thưa, tọa độ chạm và patch hình ảnh dùng chung một hệ positional encoding, cộng thêm VICReg (chống collapse) và inverse dynamics (giữ thông tin hành động).
Ví dụ đời thường: giống như nhân viên bưu điện biết chắc gửi thư đi Hà Nội thì phải thấy biên nhận, nếu người đưa lại một tờ hóa đơn mua hàng thì dù tờ giấy trông hoàn toàn bình thường, anh ta vẫn nhận ra ngay vì kết quả không khớp với giao dịch vừa làm — không cần ai khác giải thích.
III. Main Results:
- Trên RSWT-BENCH (benchmark mới: 222 cặp màn hình credential giống pixel tuyệt đối nhưng một cái hợp lệ, một cái bị cướp — mọi detector chỉ nhìn kết quả đều ở mức AUC 0.5 theo chứng minh toán học), điểm integrity training-free của LGWM đạt 0.987 AUC, ngang các VLM closed-source mạnh nhất (Gemini 3.7 Flash, GPT-5.6 Luna) và cao hơn ~10 điểm so với world model sinh (gWorld 0.885, Code2World 0.870).
- Chi phí cực thấp: 17ms/quyết định, 0.408 TFLOPs, 1.09GB VRAM — nhanh hơn ~3 bậc độ lớn so với world model sinh (93-124s mỗi quyết định) và gấp 64x về độ trễ so với Qwen3-VL-8B.
- Hướng phần dư phân biệt hại vs vô hại đạt 0.953 AUC, trong khi mọi VLM được prompt chỉ ở gần mức ngẫu nhiên; còn điểm magnitude chỉ đạt 0.513 ở tác vụ này — chứng tỏ hai readout đo hai thứ khác nhau.
- Ngang con người: annotators đạt 0.958 AUC, LGWM ở trong phạm vi 3 điểm.
- Chứng minh đây là world model thật: dự đoán gần tương lai (cos 0.618) hơn hiện tại (0.245); retrieval R@1 68.3% vs 44.6% của baseline ghi nhớ; nhạy với thay đổi hành động cả ở tọa độ chạm; duy trì chính xác qua 10 bước dự đoán lặp.
- Ablations: bỏ rollout training, inverse dynamics, VICReg lần lượt làm giảm 10%, 32%, 49% chỉ số mục tiêu tương ứng.
IV. Conclusion & Future Works:
World model không chỉ làm simulator hay planner mà có thể đóng vai trò thứ ba: verifier (bộ kiểm chứng) — và với vai trò này, dự đoán trong không gian biểu diễn là thiết kế tự nhiên: render dành cho con người, dự đoán dành cho máy. Cổng kiểm tra latent có thể chạy ở mọi bước của agent (17ms), chỉ cần gọi VLM judge cho số ít trường hợp bị gắn cờ. Tấn công giờ phải giả mạo kết quả trong chính không gian biểu diễn của agent — một mục tiêu khó hơn chưa được lượng hóa. Hướng tương lai: định lượng độ khó của việc đánh lừa verifier dạng expectation, mở rộng verifier cho các loại tấn công khác, kết hợp cổng latent với renderer ở tầng trên.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu khả năng tấn công adversarial nhắm vào chính không gian latent của LGWM: liệu kẻ tấn công có thể tạo màn hình độc hại mà embedding của nó khớp với dự đoán của world model hay không, và cách huấn luyện chống lại.
- Mở rộng phần dư hướng (directional residual) từ linear head sang phân loại đa lớp các loại vi phạm cụ thể: tấn công credential, lỗi hệ thống, thay đổi server-side, để agent tự phân loại và phản ứng.
- Kiến trúc hybrid hai tầng: cổng latent siêu nhanh chạy ở mọi bước, chỉ định tuyến các trường hợp nghi vấn sang world model sinh + VLM judge để giải thích có ngữ nghĩa cho người dùng.
2. Patent:
- Bộ bảo vệ an toàn tích hợp trong agent điện thoại: mô hình nhỏ (261M tham số) chạy ngay trên thiết bị dự đoán màn hình tiếp theo từ ảnh chụp và thao tác chạm; nếu màn hình thực tế lệch khỏi dự đoán theo hướng nguy hiểm, hệ thống chặn gửi mật khẩu/thẻ tín dụng và cảnh báo người dùng trong tích tắc.
- Trình duyệt web có chế độ agent tự động: mỗi lần agent bấm nút, một module kiểm chứng so khớp màn hình mới với kỳ vọng; phát hiện form đăng nhập lạ xuất hiện sau thao tác không liên quan thì tự động đóng tab và ghi nhận trang lừa đảo.
- Hệ thống giám sát độ tin cậy cho ứng dụng tự động hóa doanh nghiệp: cổng latent chạy liên tục phát hiện cả lỗi giao diện (nút không phản hồi, layout thay đổi bất ngờ) lẫn tấn công chuyển hướng, gửi cảnh báo phân loại theo mức độ nghiêm trọng cho quản trị viên.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.11942 |
| ArXiv Abstract | https://arxiv.org/abs/2610.11942 |
| PDF Download | https://arxiv.org/pdf/2610.11942.pdf |
| Github Repository | https://github.com/jiamingzhang94/lgwm |
7. Spectral-Spatial Interpretation (99 votes)
Tác giả: Haotian Ma, Ruqi Yang, Philip Townsend
Xuất bản lúc: 2026-10-15
Tag: Explainable AI, Shapley Value, Multispectral Imaging, Image Attribution, Post-hoc Interpretation, Hyperspectral
I. Main Problem:
Các phương pháp giải thích hậu kỳ cho mô hình ảnh chỉ nhìn một mặt: hoặc là heatmap không gian (Grad-CAM, RISE) cho biết model nhìn ở đâu nhưng gộp hết kênh, hoặc là xếp hạng kênh toàn cục (SHAP, mutual information) cho biết kênh nào quan trọng nhưng trung bình hóa trên toàn ảnh.
Với dữ liệu đa phổ (Sentinel-2, Landsat, ảnh chim RGB), đây là giả định sai: cùng một băng quang phổ có thể mang ý nghĩa vật lý quyết định ở vùng này nhưng vô nghĩa ở vùng khác (ví dụ NIR mạnh ở ranh giới thảm thực vật, SWIR mạnh trong vết cháy). Mô hình rank-1 (heatmap × vector kênh) không đủ khả năng biểu diễn cấu trúc này.
II. Main Idea:
Spectral-Spatial Interpretation (SSI) gán điểm attribution đồng thời cho từng cặp (vị trí, kênh) thay vì chỉ heatmap hoặc ranking kênh. Cơ chế:
- Chia ảnh thành lưới ô không gian g; mỗi ô chứa C kênh phổ.
- Với mỗi vị trí, giữ nguyên toàn bộ ngữ cảnh xung quanh như ảnh thật, chỉ biến thiên C kênh tại ô đó — tạo thành một conditional game cục bộ nhỏ.
- Áp dụng Shapley value chuẩn lên game nhỏ này để chia phần đóng góp cho từng kênh tại ô đó.
Kết quả là ma trận attribution đầy đủ Φ(g, c), có thể gộp thành heatmap (tổng theo kênh) hoặc xếp hạng kênh (tổng theo vị trí). Hai tính chất nổi bật:
- Local Shapley fairness: công bằng Shapley trong từng vị trí.
- Contextual aggregation consistency: tổng theo kênh tại một ô chính xác bằng độ chênh khi thay cả ô đó bằng baseline.
Khác với Owen value (cũng nhóm position-channel nhưng trung bình hóa trên mọi liên minh không gian bên ngoài), SSI chỉ hỏi: các kênh tại ô này đóng góp thế nào trong ngữ cảnh thực tế đã quan sát. Nhờ game nhỏ (C người chơi thay vì toàn bộ lưới), SSI rẻ hơn Owen rất nhiều.
Ví dụ đời thường: giống như đánh giá vai trò từng nhân viên trong một phòng ban — thay vì xáo trộn toàn công ty để xem ai quan trọng (Owen), sếp giữ nguyên toàn bộ công ty như hiện tại, chỉ thay lần lượt từng người trong phòng đó để đo mỗi người đóng góp bao nhiêu.
III. Main Results:
Đánh giá trên CUB-200 (RGB chim), EuroSAT (13 băng Sentinel-2) và HLS Burn Scar (6 băng, segmentation), với cả mean baseline lẫn zero baseline:
- Joint deletion AUC thấp nhất và insertion AUC cao nhất trên cả 3 dataset, vượt IG, DeepSHAP, KernelSHAP (dense/flat) và RISE (rank-1). Trên CUB-200, insertion .7132 vượt RISE .6886 dù RISE dùng 8000 masks so với 2048 của SSI.
- Rank-1 diagnostic: chênh lệch giữa joint và rank-1 deletion tăng theo số kênh (nhỏ nhất C=3, lớn nhất C=13) — chứng minh factorization heatmap × channel vector không đủ.
- Spectral hit rate cao nhất mọi ngưỡng K trên EuroSAT và HLS (khớp các chỉ số vật lý như NBR cho vết cháy, NDVI/NDRE cho thảm thực vật); channel deletion AUC thấp nhất.
- Spatial localization dẫn đầu trên cả 2 dataset có annotation: HLS mIoU .389 tại Top-10% so với .277 (DeepSHAP), .191 (RISE).
- So với MC-Owen trên HLS: SSI thắng trên mọi metric giữ lại (joint/rank-1 deletion, channel deletion, insertion, localization, hit rate) chỉ với ~6% ngân sách evaluation (4,480 vs 76,800 forward passes).
- ROAD trên HLS: LeRF AUC cao nhất (.657), MoRF AUC thấp nhất (.1143) trong 9 phương pháp; đồng thời thắng Expected Gradients, Guided IG, FullGrad trên cả 10 metric.
IV. Conclusion & Future Works:
SSI cho thấy attribution vị trí-kênh với ngữ cảnh quan sát được cố định vừa có lợi thế lý thuyết (local Shapley fairness, contextual aggregation consistency) vừa vượt trội thực nghiệm với chi phí rất thấp. Tuy chi phí tăng tuyến tính theo số kênh, ảnh quang phổ cao (hàng trăm băng tương quan như EnMAP) có thể cần channel screening hoặc adaptive grouping để giảm dư thừa phổ trước khi chia Shapley. Hướng mở rộng: viễn thám hyperspectral vận hành, kính hiển vi y sinh, kiểm tra vật liệu công nghiệp.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng SSI cho ảnh quang phổ siêu cao (hàng trăm băng) bằng channel screening hoặc nhóm kênh thích ứng, kiểm chứng trên dữ liệu nhiệm vụ EnMAP thực tế.
- Kết hợp ngưỡng tương quan vật lý giữa các băng (như NDVI, NBR) như prior vào quá trình lấy mẫu Shapley cục bộ để tăng độ ổn định trên dữ liệu viễn thám nhiễu.
- Áp dụng formulation ngữ cảnh-quan-sát cho các miền ảnh đa kênh khác: kính hiển vi y sinh đa màu và kiểm tra lỗi vật liệu công nghiệp bằng ảnh multispectral.
2. Patent:
- Ứng dụng điện thoại chụp ảnh đa phổ (ảnh chụp qua các bộ lọc khác nhau): ứng dụng phân tích cây trồng hoặc da mặt hiển thị heatmap vùng bệnh kèm chỉ rõ bước sóng nào quyết định ở vùng đó, thay vì chỉ khoanh vùng chung chung.
- Hệ thống cảnh báo cháy rừng trên điện thoại cho nhân viên kiểm lâm: tải ảnh vệ tinh đa băng, dùng SSI để chỉ ra vùng nghi cháy và giải thích 'vùng này quyết định nhờ băng hồng ngoại ngắn', giúp người dùng tin và kiểm chứng cảnh báo.
- Ứng dụng camera đa phổ trong nông nghiệp chính xác trên máy bay không người lái: bản đồ độ khô hạn từng ô ruộng đi kèm xếp hạng băng phổ theo vùng, để nông dân biết khu vực nào cần tưới và dấu hiệu phổ nào cho thấy stress cây.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.21114 |
| ArXiv Abstract | https://arxiv.org/abs/2610.21114 |
| PDF Download | https://arxiv.org/pdf/2610.21114.pdf |
| Github Repository | https://github.com/AtheavenMa/Spectral-Spatial-Interpretation |
8. Agent World Model in the Wild: Computer-Use Agent Environment Synthesis (64 votes)
Tác giả: Zhaoyang Wang, Qianhui Wu, Haorui Wang, Simon Yu, Baolin Peng, et al.
Xuất bản lúc: 2026-10-19
Tag: Computer-Use Agents, Environment Synthesis, Reinforcement Learning, GUI Agents, Tool Use, Task Generation, Open-Source Models
I. Main Problem:
Huấn luyện agent computer-use (CUA) cần môi trường tương tác thực thi được, nhưng:
- Học trực tiếp trên máy thật đắt đỏ và rủi ro bảo mật (khó reset trạng thái, hành vi thăm dò gây hậu quả thật).
- Môi trường dựng thủ công khó mở rộng.
- Các phương pháp tổng hợp hiện có chỉ phủ một kiểu giao tiếp duy nhất (GUI, CLI hoặc tool-calling), trong khi tác vụ máy tính thực tế thường cần phối hợp nhiều giao diện.
- Tổng hợp tác vụ phải đảm bảo ba điều khó đồng thời: nhiệm vụ có lời giải (solvable), đủ khó để tạo tín hiệu học tập, và có verifier đáng tin — mà không giả định rằng một frontier model luôn đúng.
- Hầu hết pipeline trước đây phụ thuộc model độc quyền, thiếu tính tái lập.
II. Main Idea:
WildAWM là pipeline tổng hợp môi trường + tác vụ cho CUA chạy hoàn toàn bằng model mã nguồn mở, gồm hai giai đoạn:
- World Synthesis: một coding agent (GLM-5.2) tạo persona (nghề nghiệp, danh bạ, hoạt động đa ngày), rồi vật chất hóa dần từng ngày thành trạng thái máy tính: websites (kế thừa 15 mirror sites của WebHarbor), MCP services, dữ liệu database và file local. Có thư viện skill tái sử dụng (83 skill) để sinh dịch vụ/ứng dụng còn thiếu; mỗi trạng thái chỉ được giữ nếu replay hai lần cho kết quả giống nhau.
- XAI Task Synthesis: sinh tác vụ cross-interface (XAI) bắt buộc dùng cả ba giao diện GUI + CLI + MCP, kèm verifier dạng checklist nhị phân v1...vN. Mỗi tác vụ được 6 rollout thử lại bởi 18 cấu hình agent dị nhất (3 model mã nguồn mở × 6 harness), rồi qua 5 cổng kiểm soát chất lượng dựa trên thực thi:
- Initial Unsatisfaction: trạng thái ban đầu chưa được xem là hoàn thành.
- Judge Consistency: verifier, LLM judge, agent judge phải đồng ý trên mọi rollout.
- Task Solvability: ít nhất một rollout thành công và dùng đủ các giao diện khai báo.
- Task Difficulty: đếm số rollout không gợi ý thành công (k≤1 = hard, k=3 = quá dễ, bị trả về làm khó hơn).
- Counterfactual Probe: khai thác sycophancy của LLM — nói sai kết quả rồi xem judge có đổi ý không; đổi ý thì verifier thiếu vững.
Các tác vụ đạt chuẩn dùng làm môi trường + reward cho online RL (GRPO) với điểm thành phần checklist làm tín hiệu dầy (partial credit) cho tác vụ long-horizon.
Ví dụ đời thường: giống thầy giáo tự so đề thi cho lớp — không tin đáp án tự viết mà bắt nhiều học sinh khác nhau làm thử; đề chỉ được duyệt nếu có người làm được (solvable), không ai làm trót lọt (đủ khó), chấm điểm thống nhất giữa các giám khảo, và giám khảo không đổi điểm khi bị thí sinh lừa bảo đáp án khác.
III. Main Results:
- Tổng hợp 341 cặp môi trường–tác vụ XAI (273 hard, 68 medium), trung bình 4.2 sub-task và 3.1 lần chuyển giao diện, có tác vụ cần hơn 100 bước agent; tỉ lệ thành công rollout tổng hợp chỉ 21.3% (có gợi ý 45.6%).
- Cả frontier model cũng thấy khó: GPT-6-Astra chỉ đạt ~60% pass@1, thử 8 lần vẫn thất bại 27.3% tác vụ.
- Huấn luyện chỉ trong thế giới tổng hợp (SFT warm-start + RL GRPO trên 208 tác vụ) giúp cả hai model cải thiện trên cả 8 benchmark OOD (web, claw, computer-use): Qwen3.6-35B-A3B +10.58 điểm trung bình, Qwen3.5-4B +8.21.
- Model 35B sau huấn luyện ngang GLM-5.2 trên WebArena (67.26) và vượt GPT-5.5 trên Online-Mind2Web (80.77 vs 72.22); model lớn hưởng lợi nhiều hơn.
- Môi trường WildAWM đa dạng hơn CUA-Gym (Vendi score cao hơn mọi kích thước mẫu, cosine distance 0.25 vs 0.20) dù môi trường lớn gấp ~50 lần về token trung vị.
- Ablation gates: bỏ bất kỳ gate nào cũng sụt 2.6–9.3 điểm; thiếu Judge Consistency hoặc Initial Unsatisfaction khiến điểm validation trong-miền tụt từ 21.59 xuống ~3.
IV. Conclusion & Future Works:
Chứng minh model mã nguồn mở đơn thuần có thể tổng hợp môi trường và tác vụ computer-use chất lượng cao (khả năng thực thi, khả năng kiểm chứng, độ khó thách thức cả frontier model), và học hoàn toàn trong thế giới tổng hợp khái quát hóa rộng sang tác vụ ngoài phân phối. Khóa thành phần là kiểm soát chất lượng dựa trên thực thi thay vì tin model mạnh, cùng phần thưởng checklist dầy cho RL long-horizon. Hướng mở rộng tự nhiên: mở rộng quy mô pipeline (chưa bão hòa — 134 domain, 91 loại tác vụ, tỉ lệ chấp nhận 53%), dùng tác vụ đã tổng hợp để huấn luyện cả frontier model, và kết hợp môi trường tổng hợp với dữ liệu người thật.
V. Brainstorming Space:
1. Publish Papers:
- Hệ thống tự sinh kho đề kiểm thử cho trợ lý ảo trên điện thoại: pipeline mã nguồn mở tạo mô phỏng ứng dụng di động (cài đặt, tin nhắn, file) kèm đáp án chấm tự động, dùng nhiều agent khác nhau làm thử và cổng kiểm độ khó trước khi đưa vào huấn luyện.
- Kỹ thuật chống 'nịnh' (sycophancy) trong chấm điểm tự động: cho bộ chấm điểm AI đọc phản hồi cố tình sai về kết quả rồi đo mức độ nó giữ vững phán quyết, làm tiêu chuẩn chung cho mọi hệ thống đánh giá agent.
- Nền tảng tạo môi trường học tăng cường theo nhân vật người dùng: từ mô tả nghề nghiệp, hệ thống dựng dần 'câu chuyện ngày' thành trạng thái máy tính có thể chạy lại, tái sử dụng được cho nhiều công ty đào tạo chatbot vận hành thiết bị.
2. Patent:
- Trình mô phỏng máy tính cá nhân để đào tạo trợ lý ảo trên điện thoại: tự dựng các website, dịch vụ và file giả lập theo hồ sơ người dùng ảo, cho phép trợ lý thực hành bấm màn hình, gõ lệnh và gọi công cụ mà không động vào dữ liệu thật của khách hàng.
- Hệ kiểm duyệt tự động chất lượng nhiệm vụ cho trợ lý AI: mỗi nhiệm vụ được nhiều trợ lý AI khác nhau thực hiện thử; nhiệm vụ chỉ được chấp nhận nếu có ít nhất một bản làm đúng, không quá dễ, và ba bộ chấm điểm độc lập thống nhất — chấm điểm phải giữ nguyên kết luận ngay cả khi bị cung cấp thông tin kết quả sai.
- Máy tạo bài tập điều khiển máy tính theo cửa sổ thời gian: mô phỏng 'một tuần làm việc' của nhân viên văn phòng với email, tài liệu và lịch hẹn tích lũy dần, sinh bài tập yêu cầu kết hợp đọc màn hình, chạy lệnh và gọi dịch vụ, dùng làm kho luyện cho trợ lý ảo doanh nghiệp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.26828 |
| ArXiv Abstract | https://arxiv.org/abs/2610.26828 |
| PDF Download | https://arxiv.org/pdf/2610.26828.pdf |
| Github Repository | https://github.com/MSR-Orchard/WildAWM |
9. Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds (51 votes)
Tác giả: Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, et al.
Xuất bản lúc: 2026-10-20
Tag: Embodied AI, Continued Pre-Training, Scaling Laws, Vision-Language Models, Game Agents, Behavior Cloning, Generalization, Real-Time Inference
I. Main Problem:
Thế giới vật lý chia sẻ quy luật chung nhưng thế giới game ảo thì không: mỗi game có thể đổi đồng thời hình ảnh, vật lý, quy tắc, bộ điều khiển và mục tiêu. Vì vậy chưa rõ ba cách mở rộng quen thuộc — thêm dữ liệu, thêm đa dạng game, tăng kích thước mô hình — qua continued pre-training có tạo ra tác tử khái quát hóa được hay chỉ gây nhiễu giữa các thế giới. Các nghiên cứu trước thường đổi nhiều yếu tố cùng lúc, thiếu một lưới kiểm soát và thiếu đánh giá phân tầng từ game đã thấy tới game rất xa.
II. Main Idea:
Bài báo chạy 120 cấu hình gồm 4 backbone Qwen3.5 từ 0.8B tới 27B, 6 ngân sách dữ liệu từ 50 tới 1,600 giờ chơi, và 5 hỗn hợp dữ liệu có tỉ lệ Minecraft giảm dần 100%, 51.4%, 27.1%, 2.8%, 0%. Mô hình học tiếp bằng dự đoán token tiếp theo trên lịch sử xen kẽ ảnh-hành động, rồi được đo theo ba tầng: trong corpus, thế giới 3D chưa thấy nhưng tương tự, và thế giới xa về hình ảnh/điều khiển. Tác giả rút ra hai pha học: trước là interface phase khi mô hình học định dạng hành động, chuột-phím và tự điều khiển có lợi cho nhiều game; sau là world phase khi lợi ích gắn mạnh hơn với phân phối game đã học. Họ cũng mở rộng scaling law kiểu Chinchilla bằng tỉ lệ hỗn hợp dữ liệu để dự đoán loss validation. Giống như người chơi trước hết làm quen bàn phím-chuột và nhịp hành động chung, sau đó mới luyện sâu theo từng game: giai đoạn đầu mở khóa kỹ năng dùng được ở nhiều nơi, giai đoạn sau lãi tùy món game được cho vào giáo trình.
III. Main Results:
- Dữ liệu: sau khoảng 50 giờ, loss validation đã thấp hơn base model trên cả ba tập, kể cả game ngoài hỗn hợp; giai đoạn sau, Minecraft validation loss giảm trung bình khoảng 10.4% từ 50 tới 1,600 giờ với các hỗn hợp nghiêng Minecraft S1-S3, nhưng thêm dữ liệu không duy trì lợi ích ở thế giới xa.
- Đa dạng: S1 tốt nhất cho riêng Minecraft nhưng tệ nhất trên in-corpus, OOD, ViZDoom, OmniGameArena và GameWorld. Ở 1,600 giờ, OmniGameArena trung bình của S2-S5 cao gấp khoảng 2.8 lần S1; cả 16 cấu hình hỗn hợp đều thắng S1 cùng cỡ model. S5 không chứa Minecraft vẫn beat base model về Minecraft loss.
- Kích thước model: model lớn tiết kiệm dữ liệu hơn, có thể đạt ngưỡng hiệu năng với tới 32× ít giờ chơi; large model 50 giờ có thể vượt small model 1,600 giờ. Nhưng lợi ích không đều sau 9B; ở S1, 27B muộn kỳ bị giảm mạnh ngoài Minecraft, tới khoảng 17 điểm trên GameWorld; dữ liệu đa game làm suy giảm này nhẹ hơn nhưng không xóa hẳn.
- Scaling law: fit rất tốt cho training, Minecraft và in-corpus loss với R² = 0.980, 0.982, 0.995; dự đoán held-out có RMSE khoảng 0.0016-0.0027. OOD loss gần như không scale theo dữ liệu, beta xấp xỉ 0, cho thấy CPT mạnh trong corpus nhưng không cải thiện bền thế giới xa.
- So với frontier models: CPT nâng 27B khoảng 6× trên MCU và 2.6× trên OmniGameArena; 9B/27B chạm mức open models cỡ ~300B ở thế giới 3D. Với GameWorld, frontier models vẫn cao gấp đôi, xác nhận thế giới xa là bottleneck.
- Thời gian thực: frontier models sụt gần 90% trên MCU/ViZDoom do trễ quyết định, trong khi GameScaling 0.8B-9B giữ khoảng 88% hiệu năng time-paused và thắng frontier models vài lần; GameScaling-9B-S3 đạt trung bình real-time 25.3 so với frontier tốt nhất 19.2.
IV. Conclusion & Future Works:
CPT là nền tảng mạnh cho tác tử game khái quát, nhưng scaling đều trong corpus không đảm bảo chơi tốt thế giới xa. Ba kết luận thực tiễn: với ngân sách hạn chế, hỗn hợp train nên bám sát miền đánh giá mục tiêu; tăng model và giờ train phải đi kèm curation corpus chiến lược; benchmark cần báo cáo cả điểm, độ trễ và hạ tầng triển khai vì world không dừng. Hướng tương lai: mở rộng độ bao phủ thế giới, bổ sung phản hồi online trong lúc chơi thay vì chỉ bắt chước hành vi, và kết hợp cả hai paradigm để thu hẹp distant-world gap.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu distant-world transfer bằng cách cho agent nhận phản hồi thành công/thất bại trong lúc chơi, so sánh trực tiếp với pure behavior cloning trên cùng lưới model-dữ liệu-đa dạng.
- Thiết kế thuật toán chọn hỗn hợp game theo ngân sách dữ liệu và miền đánh giá, kiểm chứng khi nào nên tối ưu một game thành thạo và khi nào nên đánh đổi sang khái quát hóa nhiều game.
- Xây dựng benchmark và protocol đánh giá agent game theo tempo của thế giới, tách reasoning khi dừng thời gian khỏi năng lực hành động khi môi trường liên tục tiến hóa.
2. Patent:
- Trợ lý chơi game trên điện thoại tự hiệu chỉnh điều khiển: người dùng cầm điện thoại ở tư thế khác nhau, app cho agent thực hiện vài thao tác thử rất ngắn, dùng camera và cảm biến chuyển động để ước lượng độ lệch tay cầm ảo rồi chỉnh tốc độ và hướng chạm trước khi vào trận.
- Hệ thống chấm điểm độ sẵn sàng thời gian thực cho game cloud: đo cùng lúc độ chính xác hành động và độ trễ mạng điện thoại, sau đó điều phối giữa model nhỏ chạy gần người chơi và model lớn trên máy chủ để giữ quyết định không bị quá hạn.
- Dịch vụ gợi ý thực đơn dữ liệu luyện agent theo thể loại game đích: nhà phát triển nhập danh sách game, cơ chế tư vấn tỉ lệ dữ liệu nên dùng cho từng game, ước lượng điểm cải thiện ở game giống và game xa để tránh luyện nhiều nhưng không chuyển kỹ năng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28698 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28698 |
| PDF Download | https://arxiv.org/pdf/2610.28698.pdf |
| Github Repository | https://github.com/THUSI-Lab/GameScaling |
10. PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis (50 votes)
Tác giả: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Zhangyue Yin, et al.
Xuất bản lúc: 2026-10-14
Tag: Multimodal Code Generation, Visual Programming, Reinforcement Learning, GRPO, Data Curation, LLMs, Rubric-based Evaluation, Text-to-Code, Chart Generation, WebUI Generation
I. Main Problem:
Code intelligence đa phương thức yêu cầu mô hình tạo code vừa chạy đúng, vừa hiển thị đúng về mặt thị giác (biểu đồ, trang web, SVG, LaTeX, animation...). Các hệ proprietary đã đi rất xa, nhưng công trình mở bị tụt hậu vì hai rào cản:
- Thiếu dữ liệu: dữ liệu công khai ít, chất lượng không đều, pipeline xây dữ liệu gần như không được release.
- Không có tín hiệu đánh giá đủ tốt: kiểm thử thực thi chỉ cho pass/fail (code chạy không đồng nghĩa hiển thị đẹp), độ tương đồng code không ánh xạ tới output thị giác, còn verifier riêng cho từng tác vụ thì không khái quát hóa được.
II. Main Idea:
PrismaForge — pipeline dữ liệu phân cấp dựa trên rubric được tổng hợp (synthesized rubric), tách yêu cầu chất lượng thành các tiêu chí kiểm tra được cụ thể. Cơ chế:
- Mỗi instruction được gán một rubric riêng, kết hợp tiêu chí dùng chung theo domain (vd: legend, trục tọa độ) với tiêu chí riêng theo mẫu (trích từ chính instruction); số tiêu chí co giãn theo độ khó của tác vụ.
- Chấm hai tầng riêng biệt: code rubrics (chạy không lỗi, dùng đúng API...) trên code, và visual rubrics (bố cục, màu, vị trí phần tử...) trên ảnh render; mỗi tiêu chí có trọng số, điểm hai tầng gộp lại thành điểm tổng.
- Cùng một rubric dùng hai lần: làm bộ lọc dữ liệu (giữ mẫu điểm cao, tái tổng hợp mẫu điểm trung bình, loại mẫu điểm thấp) và làm reward cho RL (GRPO/GSPO trên điểm rubric chuẩn hóa).
Từ đó xây PrismaCoder-2M (bộ dữ liệu mở lớn và đa dạng nhất: 2 triệu mẫu, 12+ nhóm tác vụ, 10 ngôn ngữ, cả text-centric và vision-centric) và huấn luyện PrismaCoder-9B/35B.
Ví dụ đời thường: giống thầy chấm bài thiết kế thay vì chỉ cho một con số tổng quát, soi từng mục riêng — một bên checklist kỹ thuật (code có chạy, dùng đúng công cụ), một bên nhìn thành phẩm render ra (màu, bố cục có đúng không); cùng bảng chấm đó dùng để lọc học viên giỏi và để dạy học viên còn yếu.
III. Main Results:
- PrismaCoder-9B/35B dẫn đầu open SOTA với khoảng cách lớn và cạnh tranh ngang các hệ proprietary (GPT-4o, Gemini 3, Claude 4.6) trên chart, front-end, tài liệu bán cấu trúc.
- WebUI: vượt baseline mở chuyên biệt hơn 20 điểm judge score; PrismaCoder-9B còn trên cả một số mô hình proprietary ở DesignBench generation và WebCode2M CLIP.
- ChartMimic: cả hai model dẫn đầu open baselines; bản 35B vượt hầu hết proprietary ở cả low-level lẫn high-level.
- ChemDraw: PrismaCoder-35B parse được 100% output, đạt Tanimoto similarity 97.56 cao nhất bảng.
- Text-centric: dẫn đầu open baselines ở ArtifactsBench, VisPlotBench (Mean +11.02 điểm so với open tốt nhất, ngang Claude Sonnet 4.6), InteractScience.
- Phân tích rubric: lọc dữ liệu bằng rubric tốt hơn direct-judge khi fine-tune cùng một model trên cùng quy mô dữ liệu; điểm rubric tương quan chặt với đánh giá của người; pipeline cải thiện hiệu năng trên nhiều backbone (Gemma, Qwen3-VL), chứng tỏ tính khái quát.
IV. Conclusion & Future Works:
PrismaForge chứng minh một rubric được tổng hợp theo từng instruction, tách code/visual, co giãn theo độ khó có thể vừa là bộ lọc dữ liệu vừa là reward RL — thống nhất được các định nghĩa 'đúng' khác nhau giữa hàng chục loại artifact thị giác, giúp mô hình mở bắt kịp proprietary. Tác giả release code, model và dữ liệu công khai, mở đường cho cộng đồng tiếp tục mở rộng cả về phương thức đánh giá lẫn các tác vụ visual-coding mới.
V. Brainstorming Space:
1. Publish Papers:
- Áp dụng rubric tổng hợp co giãn theo độ khó cho các tác vụ tạo nội dung đa phương thức khác ngoài code (video, slide, thiết kế 3D), nơi chất lượng cũng chỉ được mô tả ngầm và cần phân rã thành tiêu chí có thể chấm.
- Nghiên cứu cơ chế tự cải thiện rubric: cho rubric generator học lại từ các trường hợp chấm sai so với con người, thay vì cố định một judge riêng như hiện tại.
- Mở rộng reward rubric sang RL nhiều bước (agentic coding) với các tiêu chí về tính tương tác và khả năng chỉnh sửa của artifact qua nhiều vòng lặp.
2. Patent:
- Trợ lý thiết kế đồ họa trên điện thoại: người dùng nhập mô tả hoặc chụp ảnh một biểu đồ/trang web; ứng dụng sinh code, render thử, tự chấm theo checklist riêng của yêu cầu đó (màu, bố cục, dữ liệu) rồi tự sửa lại trước khi giao kết quả — đảm bảo hình hiển thị đúng ý người dùng, không chỉ code chạy được.
- Công cụ kiểm duyệt tự động nội dung web tạo bằng AI cho doanh nghiệp: hệ thống sinh bảng tiêu chí riêng cho từng yêu cầu thiết kế, chấm độc lập phần mã nguồn và phần hiển thị thật trên nhiều kích thước màn hình, tự loại bản lỗi bố cục mà kiểm thử thông thường bỏ sót.
- Ứng dụng học lập trình trực quan cho học sinh: mỗi bài tập vẽ hình/animation có bộ rubric riêng; app chạy thử code của học sinh, render kết quả, chấm chi tiết từng lỗi (trục tọa độ sai, màu sai, vị trí sai) và đưa gợi ý sửa cụ thể thay vì chỉ báo đúng/sai.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.20538 |
| ArXiv Abstract | https://arxiv.org/abs/2610.20538 |
| PDF Download | https://arxiv.org/pdf/2610.20538.pdf |
| Github Repository | https://github.com/QiushiSun/PrismaCoder |
11. Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills (31 votes)
Tác giả: Letian Zhu, Han Li, Yifan Yao, Xinping Lei, Xinyu Che, et al.
Xuất bản lúc: 2026-10-13
Tag: Agent Skills, LLM Agents, Benchmarking, Knowledge Transfer, Human-in-the-Loop, Model Evaluation
I. Main Problem:
Các Agent Skills giúp tác tử LLM tái sử dụng tri thức qua các phiên làm việc, nhưng học một Skill chuyển giao được cần chứng cứ về cả thủ tục thực hiện, điều kiện áp dụng, và khi nào phải điều chỉnh. Vấn đề:
- một lần chạy thành công có thể không kiểm chứng nhiều giả định
- phản hồi sau khi đã hoàn thành đến quá muộn, khi cách thu thập chứng cứ đã định hình Skill
- gói do chuyên gia viết sẵn có thể không khớp solver thật
- thiếu benchmark đo học có hướng dẫn và tái sử dụng ngoài tác vụ học trong phiên mới.
II. Main Idea:
Socratic Skill Learning (SSL) xen kẽ dạy của chuyên gia với luyện tập của Student. Student là người duy nhất vận hành môi trường và là tác giả Skill, còn Educator chỉ đọc tiến trình gần nhất, Skill đang sống và đặc tả biến thể để giải thích, thách thức, chẩn đoán, đề xuất kiểm tra hoặc im lặng. Student có thể hỏi lại, thử nghiệm, sửa đổi hoặc bác lời khuyên.
Hai cách tổ chức:
- Fixed-Window SSL: Educator xem lại sau mỗi g lượt gọi công cụ
- Issue-Guided SSL: duy trì các learning issue chưa giải quyết dạng cây; chỉ mở review khi issue mới phát sinh, thay đổi hoặc mở lại, rồi tập trung ngữ cảnh vào chứng cứ liên quan
Kèm theo đó, SkillTransferBench dựng các task family với đặc tả công khai về mục tiêu bất biến và biến thể cho phép; đánh giá bằng solver mới trong phiên mới để đo khả năng chuyển giao thật.
Ví dụ đời thường: giống học lái xe có huấn luyện viên ngồi cạnh: thầy không giật vô-lăng, chỉ hỏi gợi mở đúng lúc để người học tự thử, tự nhận lỗi và chỉnh cách lái; khi không còn điểm nghi vấn nào, thầy im lặng thay vì can thiệp định kỳ.
III. Main Results:
- Trên cohort chính 22 family / 155 case, Fixed-Window SSL đạt utility 0.801, Issue-Guided SSL đạt 0.805, so với 0.723 không Skill, 0.761 Trace2Skill và 0.751 SKILL-KD.
- Tỉ lệ hoàn thành trọn vẹn tăng từ 32.5% không Skill lên 49.5% với Fixed-Window SSL và 50.8% với Issue-Guided SSL.
- Trên ba cặp model dùng chung family, cả hai phương án xen kẽ đều vượt Expert Authoring và Post-hoc Teaching; trên Qwen, Fixed-Window SSL hơn Post-hoc Teaching 5.31 điểm phần trăm với ít hơn 21% token học.
- Phân tích quá trình cho thấy nhu cầu dạy giảm từ 73.0% review có bài học ở vòng một xuống 16.1% ở vòng ba; sau bài học, xác suất Student viết/sửa file ở lượt kế tiếp cao hơn 23.9 điểm phần trăm, và xác suất Skill thay đổi trong mười lượt kế tiếp cao hơn 38.6 điểm phần trăm.
- Issue-Guided SSL giữ utility tương đương Fixed-Window SSL nhưng giảm 61.7% token Educator, 16.9% token tổng học, giảm 47.8% số review và đạt 2.75× gain trên mỗi triệu token Educator; trên DeepSeek và Kimi tiết kiệm Educator token lần lượt 63.8% và 77.4%.
IV. Conclusion & Future Works:
Bài báo chỉ ra chất lượng Skill tái sử dụng không chỉ nằm ở việc viết lại thành công, mà ở quyết định thu thập chứng cứ trong lúc thực hành. Gợi ý đúng lúc giúp Student thử nghiệm giả định trước khi nó trở thành quy tắc cứng; khi nhu cầu dạy giảm, các câu hỏi chưa giải quyết trở thành cơ chế phân bổ sự chú ý của chuyên gia rẻ hơn mà không làm mất khả năng chuyển giao.
Hướng mở rộng hợp lý: mở rộng benchmark sang tác vụ dài hạn, vận hành phần mềm thật và nhiều miền hơn; nghiên cứu khi nào Educator nên im lặng, khi nào nên yêu cầu kiểm chứng; hiệu chuẩn tiêu chí đóng issue; đưa chuyên gia con người vào vòng lặp; kiểm soát an toàn, hồi quy và chi phí trong thư viện Skill sống lâu.
V. Brainstorming Space:
1. Publish Papers:
- Khảo sát chi phí-lợi ích của việc dạy Socratic trong hệ sinh thái tác tử đa phiên: mô hình hóa ngân sách token, độ trễ và mức can thiệp tối ưu để duy trì transfer utility.
- Nghiên cứu hiệu chuẩn gợi ý giữa AI Educator và chuyên gia con người: khi nào nên thách thức, khi nào nên im lặng, và làm sao đo độ tin cậy của tiêu chí đóng một vấn đề học tập.
- Phát triển thư viện Skill liên tục có kiểm thử hồi quy tự động: theo dõi các giả định đã lỗi thời, mở lại issue liên quan và bảo vệ các nhánh đã được chứng minh khi phân phối tác vụ thay đổi.
2. Patent:
- Ứng dụng điện thoại hỗ trợ tự động hóa văn phòng: trợ lý quan sát người dùng thử làm một quy trình, đưa câu hỏi gợi mở đúng lúc, yêu cầu người dùng chạy thử; hệ thống ghi nhận điểm còn nghi vấn và chỉ gọi chuyên gia hoặc mô hình lớn khi có mâu thuẫn chưa giải quyết, rồi lưu lại checklist và script tái sử dụng.
- Trợ lý lập trình trên điện thoại cho kỹ sư hiện trường: người dùng chỉnh sửa script trong sandbox, còn trợ lý đóng vai người hướng dẫn hỏi thay vì làm thay; mọi thay đổi phải đi kèm bài kiểm thử, các vấn đề mở được xếp theo mức ưu tiên và chỉ khi vượt ngưỡng mới kích hoạt buổi review chuyên sâu.
- Ứng dụng tài chính cá nhân tự học cách đối chiếu số liệu: người dùng tải báo cáo ngân hàng hoặc bảng tính, trợ lý đề xuất quan hệ cần kiểm chứng, cho người dùng thử trên vài mẫu thật; khi phát hiện mâu thuẫn chưa giải thích được, hệ thống tập trung hỏi đúng chỗ và cập nhật quy trình dùng cho báo cáo kỳ sau.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.17860 |
| ArXiv Abstract | https://arxiv.org/abs/2610.17860 |
| PDF Download | https://arxiv.org/pdf/2610.17860.pdf |
| Github Repository | https://github.com/NJU-LINK/Socratic-Skill-Learning |
12. Retrieval Augmented Generation Compositionality (27 votes)
Tác giả: Ido Levy, Segev Shlomov, Leshem Choshen
Xuất bản lúc: 2026-10-21
Tag: RAG, Retrieval Augmented Generation, LLMs, Information Retrieval, Evaluation Framework, Experimental Design
I. Main Problem:
Các kỹ thuật RAG hiện đại (embedding, chunking, reranking, query augmentation, agentic verification...) thường được đánh giá riêng lẻ, tách rời pipeline xung quanh. Điều này dẫn đến ba câu hỏi chưa có câu trả lời:
- Lợi ích đo riêng lẻ có còn giữ khi kết hợp? (giả định tính cộng dồn/additivity)
- Retrieval quality (NDCG@10) và answer faithfulness (RAGAS) có ưa thích cùng thiết kế? — hai mục tiêu này thường được báo cáo tách biệt
- Kết luận từ corpus nhỏ (5K–50K docs) có giữ ở quy mô thực tế (200K+)?
II. Main Idea:
Tác giả xây dựng LASAGNA, framework RAG open-source với stage-isolation: mỗi giai đoạn nằm sau một interface cố định, thêm component mới chỉ cần một dòng @registry.register, và framework tự kiểm tra rằng đổi một stage không làm lộ thông tin sang stage khác. Trên đó, họ chạy thiết kế thực nghiệm D-optimal gồm 167 cấu hình factorial (8 chiều, ước lượng được cả 28 tương tác cặp) cộng 138 cấu hình ablation và sweep corpus 5K→200K, tổng ~450 cấu hình, 8 benchmarks, chi phí ~$5,200.
Ba giả thuyết được pre-declare: H1 — các component không compose tuyến tính; H2 — không tồn tại một cấu hình duy nhất tối ưu mọi mục tiêu; H3 — ranking cấu hình thay đổi theo quy mô corpus.
Ví dụ đời thường: giống như thử từng gia vị riêng lẻ thấy mỗi thứ đều ngon, nhưng khi bỏ chung vào một nồi thì vị không cộng dồn như mong đợi — món ăn phải nếm lại nguyên chỉnh thể, chứ không thể cộng điểm từng nguyên liệu.
III. Main Results:
- H1 — Gains không compose: 3 kỹ thuật retrieval mạnh nhất (cross-encoder reranking, tắt MMR, document-awareness prefixes) dự đoán +47% NDCG@10 nhưng khi kết hợp chỉ đạt +17% (thiếu hụt 63%; median thiếu hụt 41% trên 17 tổ hợp). Ngược lại, faithfulness gần như cộng dồn: dự đoán +28%, thực tế +32%.
- Hai metric ưa thích component khác nhau: embedding/enrichment/reranking chi phối retrieval (η² = 0.16/0.14/0.09), còn query augmentation/agentic gating chi phối faithfulness (η² = 0.22/0.22); tương quan giữa hai metric gần bằng 0 (r = -0.01). Tối ưu một cái có thể làm hỏng cái kia.
- H2 — Pareto tradeoff: 4 profile (SPEED, STANDARD, BALANCED, MAX-RELIABLE) không cái nào thắng tất cả; STANDARD có hypervolume cao nhất, agentic loop thêm chi phí latency mà faithfulness gần như không đổi. Pipeline nhẹ đạt chất lượng tương đương với latency thấp hơn 10–20×.
- H3 — Scale đổi ranking: STANDARD thắng ở 5K–15K, BALANCED vượt từ 25K và hơn 13.7% ở 200K (p = 0.003); faithfulness lại không suy giảm theo scale.
- Phát hiện thực tiễn: chunker gây chênh 36% NDCG; reranker MS-MARCO 2019 vượt các reranker mới; cắt BGE-M3 về 768 chiều (Matryoshka) giảm 25% chi phí mà tăng 2.3% NDCG; gate kích hoạt refinement đôi khi xóa luôn bằng chứng hỗ trợ; HyDE +3.1% NDCG nhưng latency gấp đôi.
IV. Conclusion & Future Works:
Kết luận cốt lõi: đo lợi ích riêng lẻ không phải dự báo đáng tin cho hiệu năng thực tế. Kỹ thuật RAG mới phải được kiểm thử trong pipeline đầy đủ, trên cả retrieval và faithfulness, và ở quy mô corpus mục tiêu — chứ không phải ablation một component trên corpus nhỏ. Tác giả kêu gọi compositional evaluation trở thành chuẩn báo cáo cho các công trình RAG mới, và công bố LASAGNA để thực hiện điều đó dễ dàng, khả năng tái lập. Hướng mở: mở rộng benchmark và quy mô corpus hơn nữa, validate lại các profile trên corpus đặc thù domain trước khi triển khai.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu compositionality của RAG agentic: đo lường cách các vòng kiểm chứng đa bước tương tác với query decomposition và context compression trong pipeline đầy đủ, thay vì test agentic layer với retrieval cố định như hiện nay.
- Thiết kế thực nghiệm D-optimal tối ưu chi phí cho việc ước lượng tương tác đa chiều trong hệ thống LLM: mở rộng phương pháp 167-config factorial sang các kiến trúc LLM-system khác (tool-use, multi-agent) với ngân sách GPU/API hạn chế.
- Tương tác giữa độ mạnh của generator (LLM) và độ nặng của retrieval stack: định lượng khi nào một generator mạnh thay thế được pipeline phức tạp, để xây dựng chiến lược phân bổ chi phí giữa retrieval và generation.
2. Patent:
- Hệ thống tự điều chỉnh cấu hình RAG trên điện thoại theo quy mô dữ liệu: ứng dụng hỏi-đáp tài liệu trên mobile tự đo kích thước corpus và độ trễ chấp nhận được, rồi chuyển đổi giữa pipeline nhẹ (tốc độ cao) và pipeline cân bằng (độ tin cậy cao) để duy trì chất lượng câu trả lời khi dữ liệu người dùng lớn dần.
- Công cụ kiểm thử kỹ thuật RAG mới cho doanh nghiệp: nền tảng cho phép kỹ sư đăng ký một thành phần mới (bộ chia đoạn, bộ xếp hạng lại, bộ lọc câu trả lời) qua một dòng khai báo, tự động chạy thử nghiệm có kiểm soát trong pipeline hoàn chỉnh và báo cáo kết quả kèm kiểm định thống kê, tránh việc đánh giá tách rời gây kết luận sai.
- Bộ đánh giá song song hai chỉ số chất lượng cho chatbot tra cứu: module đồng thời đo mức độ tìm đúng tài liệu và mức độ câu trả lời bám sát tài liệu, cảnh báo khi một thay đổi cấu hình làm tăng chỉ số này nhưng giảm chỉ số kia, giúp doanh nghiệp không tối ưu nhầm một chiều.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29722 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29722 |
| PDF Download | https://arxiv.org/pdf/2610.29722.pdf |
| Github Repository | https://github.com/dolev31/lasagna |
13. AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics (21 votes)
Tác giả: Xinxin Liu, Bingxin Xu, Wenrui Bao, Ming Li, Wentao Bao, et al.
Xuất bản lúc: 2026-10-20
Tag: Robotics, Reinforcement Learning, Post-Training, LLM Agents, Vision-Language-Action, Supervised Fine-Tuning, Coding Agents, Robot Planning
I. Main Problem:
Các hệ thống robotic agentic (planner + robot harness) hiện nay đạt hiệu suất cao nhờ cải tiến harness và bộ nhớ ngoài, nhưng planner vẫn là các mô hình closed-source mạnh (Codex, Claude Code) và không được cải thiện chính khả năng của planner. Các nghiên cứu trước chỉ "chỉnh môi trường xung quanh" chứ không huấn luyện bản thân planner.
Việc áp dụng post-training (như đã thành công với coding agent) vào robot gặp trở ngại:
- Các harness khác nhau về cơ chế thực thi: planner gọi VLA skills (RPent) hoặc sinh control code (CaP-X)
- Khác nhau về phản hồi trả về và cách đánh giá thành công của tác vụ
- Cần một pipeline huấn luyện thống nhất nhưng không ép mọi harness dùng chung biểu diễn hành động cấp thấp.
II. Main Idea:
AgenticRoboRL — framework post-training planner robot đầu tiên, tổng hợp công thức huấn luyện của coding agent gồm hai giai đoạn:
- SFT trên các trajectory thành công từ teacher planner lớn hơn (27B có bộ nhớ ngoài), giúp student (9B, không bộ nhớ) có điểm khởi đầu. Với RPent, bối cảnh student được tái dựng offline (loại bỏ lời gọi bộ nhớ); các câu trả lời phụ thuộc bộ nhớ được viết lại và lọc bởi judge thay vì loại bỏ hẳn (rewrite-and-filter cho 65.1% so với 55.2% của mask-only)
- Multi-turn RL với reward duy nhất là thành công cuối tập, dùng leave-one-out advantage (RLOO) và dual-clipped PPO
- Harness-specific adapters (code chuyển đổi, không tham số học): ghi lại mọi lời gọi planner qua một recording proxy tại biên model-call, rồi liên kết với kết quả episode (task, initial state, reward, validity flag) — giúp một pipeline RL chung phục vụ cả hai cơ chế thực thi mà không đổi execution components (VLA, motion controller đều đóng băng)
Ví dụ đời thường: giống như đào tạo nhân viên điều phối kho hàng bằng cách cho xem cách đàn anh điều phối (SFT), rồi cho tự điều phối thật và chỉ thưởng khi hàng được giao đúng (RL) — trong khi xe nâng và robot trong kho giữ nguyên, không cần thay đổi.
III. Main Results:
- LIBERO-PRO (RPent harness, VLA skills): planner 9B tăng từ 18.1% → 65.1% (SFT) → 71.0% (RL) không cần bộ nhớ ngoài, gần bằng Codex (GPT-5.5) có bộ nhớ (72.1%) và vượt planner 27B không bộ nhớ (57.9%)
- LIBERO-Plus (10,030 cấu hình, nhiễu chưa thấy trong huấn luyện): 19.2% → 66.7% (SFT) → 72.2% (RL) mà không cần huấn luyện thêm — cao nhất trong các phương pháp không train trên benchmark này
- Tổng quát qua harness: với CaP-X (sinh control code), cùng công thức nâng 9B từ 2.7% → 28.5%, vượt cả teacher 27B (20.3%); RL không cần dữ liệu teacher
- RL giải thêm 121 episode mà SFT thất bại (p = 0.001); RL cải thiện ở mọi loại nhiễu của LIBERO-Plus
- Ablation: rewrite-and-filter trong SFT cho 64.6% so với 55.2% của mask-only, lợi thế còn giữ ở cùng số bước cập nhật (60.2% vs 55.2%)
IV. Conclusion & Future Works:
Bài báo chứng minh post-training chính planner là hướng hiệu quả để cải thiện hệ thống robot-harness mà không cần huấn luyện lại bộ điều khiển cơ bản — lần đầu mang công thức SFT + multi-turn RL của coding agent sang robotics một cách tổng quát. Adapter nhẹ theo từng harness cho phép tái sử dụng pipeline chung. Nhóm tác giả sẽ phát hành mã nguồn, teacher trajectories và checkpoint planner đã huấn luyện. Hạn chế: hiệu suất còn thấp ở các suite teacher hiếm thành công (Goal, Spatial của CaP-X) vì thiếu dữ liệu SFT — phản ánh độ khó của harness chứ không phải thất bại của phương pháp.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng AgenticRoboRL sang bộ nhớ ngoài tại inference: huấn luyện RL planner vừa gọi skills vừa tự quản lý bộ nhớ thành công/thất bại, thay vì chỉ tách rời như hiện tại.
- Kết hợp world model (video prediction) làm môi trường ảo để thu thập episode RL rẻ hơn, giảm chi phí rollout vật lý/simulator cho multi-turn RL robot.
- Nghiên cứu thuật toán chọn teacher data khi teacher thành công rất thấp ở một số task (Goal/Spatial), ví dụ dùng RL với khám phá có hướng dẫn để tự tạo dữ liệu không cần teacher.
- Áp dụng cùng công thức SFT + multi-turn RL cho planner điều phối nhiều robot đồng thời hoặc tác vụ dài hạn nhiều ngày trong nhà kho.
- Phương pháp tự cải thiện liên tục: planner tự thu thập trajectory thất bại, tự viết lại thành bài học và fine-tune định kỳ (self-evolving planner).
2. Patent:
- Hệ thống đào tạo trợ lý robot gia đình trên điện thoại: điện thoại đóng vai planner, gửi lệnh (gọi skill hoặc code điều khiển) qua adapter tới robot hút bụi/cánh tay; máy chủ ghi lại mọi lần giao tiếp, tự động ghép với kết quả tác vụ (dọn xong hay chưa) để cập nhật mô hình trên đám mây mà không sửa phần cứng robot.
- Module nâng cấp phần mềm điều phối cho robot công nghiệp: thay vì thay cả hệ thống, khách hàng chỉ cập nhật "bộ não" planner đã được post-training cho ngành của mình (đóng gói SFT + RL theo harness riêng), tương thích ngược với robot cũ.
- Ứng dụng logistics kho hàng: điện thoại/tablet của nhân viên làm planner điều phối xe nâng tự hành qua gọi skill hoặc sinh lệnh điều khiển; hệ thống tự ghi log, chấm điểm thành công giao hàng và tự huấn luyện lại planner hằng tuần.
- Nền tảng robot dạy người mới: robot ghi lại cách người thợ lành nghề điều phối (teacher trajectories), tự học qua SFT + thực hành có thưởng phạt (RL), sau đó tự điều phối và chỉ hỏi người khi thất bại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28589 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28589 |
| PDF Download | https://arxiv.org/pdf/2610.28589.pdf |
| Github Repository | https://github.com/xinxinliu-ai/AgenticRoboRL |
14. CulturalRiddles: A Multicultural Benchmark of Riddles (20 votes)
Tác giả: My Chiffon Nguyen, Tianyi Hu, Vinod Anbalagan, Henry Gagnier, Pouya Sadeghi, et al.
Xuất bản lúc: 2026-10-21
Tag: Cultural Evaluation, LLMs, Multilingual NLP, Benchmarks, Abductive Reasoning, Human Evaluation
I. Main Problem:
Đánh giá văn hóa cho LLM hiện còn thiên lệch tiếng Anh, thiên về ghi nhớ sự kiện thay vì áp dụng hiểu biết vào ngữ cảnh thật. Các benchmark riddle trước đây chỉ bao phủ 1–3 ngôn ngữ, thiếu kiểm chứng chất lượng, và dùng chấm điểm tự động hoặc quy mô người nhỏ.
Câu đố văn hóa đòi hỏi nhiều hơn fact recall: mô hình phải cân nhắc các liên tưởng văn hóa, ghép manh mối thành một nghĩa mạch lạc (compositional reasoning) và suy ra câu trả lời giải thích tốt nhất toàn bộ manh mối (abductive reasoning).
II. Main Idea:
CulturalRiddles xây dựng benchmark 6.191 câu đố nguyên bản do cộng đồng người bản ngữ viết trực tiếp, bao phủ 62 cộng đồng ngôn ngữ–quốc gia, 51 ngôn ngữ, 45 quốc gia. Thay vì dịch câu hỏi từ tiếng Anh, mỗi cộng đồng tự sáng tác theo khung chủ đề gồm 8 chủ đề chung như Politics, History, Geography, Arts, Sports, National Heritage, Kids’ World, Everyday Life, cộng 2 chủ đề riêng do cộng đồng chọn.
Quy trình chính:
- ** participatory construction**: tuyển 167 người viết tình nguyện là native speaker, yêu cầu câu đố gián tiếp, có đáp án ngắn xác định, dùng jargon, biệt danh, wordplay hoặc liên tưởng địa phương.
- peer verification: ít nhất một native speaker khác tác giả kiểm tra câu đố có giải được, manh mối không mơ hồ, đáp án tham chiếu đúng.
- evaluation ba tầng: rule-based scoring cho exact match/empty/"I don't know"; native speaker gán nhãn 0–3 và error type; hai LLM judge được con người validate chấm phần còn lại khi cả hai đồng ý.
Ví dụ đời thường: giống như kỳ thi đố về làng mình do chính người trong làng ra đề, người cùng làng kiểm tra, rồi ban giám khảo địa phương chấm lại — thay vì dùng đề trivia nhập khẩu rồi nhờ máy chấm hộ.
III. Main Results:
- Quy mô đánh giá rất lớn: 28 cấu hình LLM từ 0.8B đến 1.6T tham số trả lời 6.090 câu đố, tạo 170.520 câu trả lời; người bản ngữ gán nhãn 68.067 câu trả lời duy nhất, bao phủ 59.10% phản hồi.
- Khoảng cách văn hóa lớn: mô hình tốt nhất đạt 79.4% overall accuracy, nhưng không mô hình nào vượt quá 22% ở cộng đồng Lumasaba và Mongondow.
- Hiệu suất giảm khi ngôn ngữ ít tài nguyện: pooled accuracy khoảng 37% high-resource, 31% medium, 18% low, 13% very-low.
- Không chỉ do rào cản ngôn ngữ: dịch câu đố từ 5 cộng đồng khó nhất sang tiếng Anh chỉ thu hẹp khoảng 1/5 accuracy gap so với cộng đồng high-resource.
- Mô hình thường bịa thay vì nói không biết: khoảng 24% phản hồi bị phân loại hallucinated, trong khi chỉ 0.8% thừa nhận không biết.
- Exact-match scoring đánh giá sai bản chất open-ended answers: nhiều đáp án khác reference vẫn đúng, và cách chấm này có thể làm thay đổi ranking mô hình.
IV. Conclusion & Future Works:
CulturalRiddles cho thấy LLM hiện tại có thể mạnh ở các cộng đồng đại diện trong dữ liệu huấn luyện nhưng yếu rõ rệt ở văn hóa ít tài nguyện, dù vấn đề không giải thích đơn giản bằng ngôn ngữ. Benchmark cũng chứng minh cần human-informed evaluation cho câu trả lời mở vì đáp án văn hóa hợp lệ không trùng từ khóa tham chiếu.
Hướng mở rộng: thu thập thêm cộng đồng mới qua quy trình đóng góp công khai, bổ sung ngôn ngữ và locale hiện vắng mặt, theo dõi tiến bộ mô hình theo thời gian, và cải thiện jury tự động để giảm hallucination cũng như tăng khả năng abstain đúng lúc.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích sâu failure modes của LLM trên câu đố văn hóa đa ngôn ngữ, đặc biệt hallucination, nhầm lẫn cộng đồng văn hóa gần nhau, và trả lời đúng category nhưng sai entity.
- Nghiên cứu cách huấn luyện hoặc prompting để LLM nhận biết giới hạn văn hóa, biết nói "tôi không chắc" thay vì bịa đáp án khi thiếu kiến thức địa phương.
- Phát triển evaluator đa ngôn ngữ kết hợp native speaker và LLM judge có hiệu chỉnh theo cộng đồng, nhằm chấm câu trả lời mở tin cậy hơn exact match.
- Khảo sát ảnh hưởng của ngữ cảnh quốc gia, chủ đề, topic wildcard và dạng câu hỏi lên khả năng suy luận văn hóa của mô hình.
2. Patent:
- Ứng dụng điện thoại tạo câu đố văn hóa cá nhân hóa: người dùng chọn quốc gia/ngôn ngữ và chủ đề như ẩm thực, lịch sử, thể thao; hệ thống tạo câu đố theo liên tưởng địa phương, có đáp án ngắn và gợi ý từng bước.
- Bàn phím hoặc trợ lý nhắn tin phát hiện hiểu nhầm văn hóa: khi người dùng hỏi về biệt danh, sự kiện lịch sử, món ăn hoặc từ lóng của một quốc gia, ứng dụng giải thích manh mối địa phương và cảnh báo nếu câu trả lời có nguy cơ lấy thông tin từ vùng lân cận sai.
- Hệ thống ôn tập kiến thức cộng đồng cho học sinh: mỗi bài học địa phương được chuyển thành riddle có kiểm chứng của người bản xứ, chấm điểm linh hoạt với nhiều đáp án đúng và gợi ý không làm lộ đáp án.
- Công cụ kiểm thử chatbot đa văn hóa trước khi phát hành: doanh nghiệp nhập sản phẩm vào bộ câu đố văn hóa theo từng thị trường, đo tỉ lệ bịa đáp án, từ chối trả lời và mức độ hiểu đúng liên tưởng địa phương.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29968 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29968 |
| PDF Download | https://arxiv.org/pdf/2610.29968.pdf |
| Github Repository | https://github.com/Cohere-Labs-Community/CulturalRiddles |
15. PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States (19 votes)
Tác giả: Patrick Haller, Filipe Laitenberger, Alan Akbik
Xuất bản lúc: 2026-10-21
Tag: Linear Attention, State Quantization, LLM Inference, Gated Delta Rule, INT4 Quantization, Decode Buffer, Efficient Serving
I. Main Problem:
Các mô hình linear-attention giữ toàn bộ ngữ cảnh trong một recurrent state kích thước cố định thay vì key-value cache. Khi serving nhiều chuỗi song song, bản sao state cho mỗi chuỗi chiếm đáng kể bộ nhớ: ở 64 chuỗi đồng thời, fp32 state chiếm khoảng 10-41% tổng bộ nhớ weights + states.
- Giảm precision của state giúp nhiều sequence hơn cùng nằm trên một accelerator.
- Các quantizer hiện có đều round state sau mỗi token, khiến bản 4-bit bị mất accuracy trừ khi tăng lên 8-bit hoặc fine-tune một phần model.
- Vấn đề cốt lõi: làm sao lưu state ở 4-bit mà không fine-tune, không tăng bit width, và vẫn giữ được tốc độ decode.
II. Main Idea:
PACE là quantizer post-hoc cho recurrent state 4-bit, gồm ba ý chính:
- Periodic rounding: thay vì round sau mỗi token, PACE round state mỗi dP token; các token sinh ra giữa hai lần round được giữ trong một decode buffer nhỏ.
- Channel-aligned scale groups: vì các phần tử lớn của state tập trung thành cột theo value coordinate, PACE chia scale group dọc theo key axis, để mỗi group gồm nhiều key nhưng cùng một value column.
- Head-level precision allocation: đầu của các head giữ rounding error lâu nhất được xếp hạng và giữ ở 8-bit, trong khi phần lớn head dùng 4-bit.
Cơ chế làm giảm error: mỗi lần round ít hơn thì noise tích lũy qua recurrence ít hơn; decay càng mạnh thì error cũ càng nhanh bị triệt tiêu trước lần round kế tiếp.
Ví dụ đời thường: giống thay vì dọn rác sau từng món đồ vứt ra, người ta gom rác vào một thùng nhỏ rồi đổ mỗi vài lần; rác không biến mất ngay, nhưng số lần phải xử lý giảm đi nên tổng lộn xộn và sai sót cũng giảm.
III. Main Results:
- Trên bốn backbones Qwen3.5-4B, 9B, 27B và Qwen3.6-35B-A3B, PACE-4/8 cạnh tranh với DAMP INT8 trên ba model lớn hơn trong khi chỉ dùng khoảng hai phần ba bộ nhớ resident.
- PACE-4 đạt resident bits bằng Q-Mamba DSQ nhưng score cao hơn trên mọi backbone.
- Với cùng resident bits như DAMP INT4, PACE-4/8 dùng int8 buffer score cao hơn trên mọi backbone, khác biệt lớn nhất ở Qwen3.6-35B-A3B.
- dP = 8 đóng phần lớn khoảng cách so với dP = 32 nhưng chỉ cần khoảng một phần tư bộ nhớ buffer; đây cũng là điểm phù hợp với flush interval của DeltaLog.
- Ablations cho thấy scale groups dọc key axis cho perplexity thấp hơn value-axis groups; head-level allocation tốt hơn channel protection của DAMP INT4 ở cùng resident bits.
- Đo state drift cho thấy drift giảm khi decode period tăng; periodic rounding làm trạng thái lệch chậm hơn số lần round.
- Kernel Triton cho periodic decoding cho thấy round mỗi vài token vẫn giữ được speedup của decode buffer.
IV. Conclusion & Future Works:
PACE cho thấy để quantize recurrent state 4-bit hiệu quả, không nên chỉ cải thiện cách scale/round từng token, mà phải kết hợp khi nào round, round theo nhóm nào, và head nào cần giữ precision cao hơn. Ba ý tưởng này cùng nhau giảm error tích lũy mà không cần fine-tune.
Hướng mở rộng hợp lý: chọn decode period theo head/layer thay vì một chu kỳ chung cho toàn model; tối ưu buffer precision và buffer size cùng với throughput serving; kiểm tra PACE trên các biến thể linear-attention khác ngoài gated-delta rule.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu chọn decode period thích ứng theo decay từng head hoặc từng layer, thay vì dùng một chu kỳ cố định cho toàn bộ recurrent state.
- Mở rộng PACE cho các kiến trúc linear-attention khác gated-delta rule, đồng thời phân tích khi nào cấu trúc cột của state vẫn xuất hiện.
- Kết hợp PACE với lập lịch serving để cân bằng giữa số sequence đồng thời, resident memory, buffer memory và latency decode.
- Phát triển phương pháp chọn head precision theo workload hoặc theo độ dài ngữ cảnh thay vì chỉ hiệu chỉnh một lần trên held-out windows.
2. Patent:
- Hệ thống serving LLM trên đám mây tiết kiệm bộ nhớ: lưu trạng thái trung gian của mô hình attention dạng recurrence ở 4-bit, chỉ cập nhật toàn bộ trạng thái sau mỗi 8 token, trong khi giữ các token mới trong một bộ đệm nhỏ.
- Module nén trạng thái cho trợ lý AI trên điện thoại hoặc edge server: giảm bộ nhớ khi mở nhiều phiên hội thoại song song bằng cách dùng nhóm scale dọc theo chiều key và giữ một số head nhạy cảm ở 8-bit.
- Bộ lưu trữ trạng thái cho chatbot dài hạn: thay vì ghi đè chính xác sau mỗi token, hệ thống gom token vào buffer, cập nhật trạng thái theo đợt và tính toán mức bit riêng cho từng head để giữ chất lượng trả lời.
- Phương pháp vận hành mô hình ngôn ngữ kiểu linear-attention trên accelerator: dùng kernel decode định kỳ để vừa giảm traffic ghi state vừa duy trì lợi ích tốc độ của bộ đệm decode.
- Hệ thống cân bằng bộ nhớ server AI: tự động đo sai lệch state và xếp hạng head để chọn số head giữ 8-bit, từ đó tăng số request đồng thời mà không làm giảm rõ rệt độ chính xác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29545 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29545 |
| PDF Download | https://arxiv.org/pdf/2610.29545.pdf |
| Github Repository | N/A |
16. TraceForge: Distilling with Your Own Thinking (19 votes)
Tác giả: Yan Wang
Xuất bản lúc: 2026-10-21
Tag: Knowledge Distillation, LLMs, Reasoning Traces, Chain-of-Thought, Adversarial Training, DPO, Synthetic Data
I. Main Problem:
Các mô hình mạnh nhất hiện nay thường chỉ trả về đáp án hoặc bản tóm tắt ngắn, che đi phần suy luận chi tiết phía sau. Điều này làm khó quá trình distillation hợp pháp vì học sinh chỉ thấy kết quả mà không thấy cách đi tới kết quả. Một số kỹ thuật cố phục hồi reasoning trace bị ẩn bằng cách chuyển các khối mã hóa giữa các mô hình, nhưng cách này vi phạm điều khoản dịch vụ và khó dùng làm nền cho sản phẩm lâu dài. Vấn đề cốt lõi là: làm sao học từ đáp án của teacher mạnh mà không cần reasoning trace thật của teacher, không vi phạm điều khoản, và vẫn giữ được chất lượng huấn luyện.
II. Main Idea:
TraceForge không cố lấy lại suy luận ẩn của teacher, mà tự sinh suy luận còn thiếu theo đúng phong cách của gia đình mô hình student. Pipeline gồm hai phần chính:
- Generator được fine-tune trên khoảng mười nghìn hội thoại của chính gia đình student để học xác suất sinh reasoning trace khi biết system prompt, user turns, answer và tool calls/responses. Điểm then chốt là answer nằm trong input, không nằm trong output, nên generator học cách viết một lời dẫn giải kết thúc đúng tại answer thay vì nhắc lại answer.
- Critic học phân biệt reasoning trace thật của gia đình student với reasoning trace do generator tạo ra, sau đó cung cấp preference pairs cho generator và chọn best-of-four ở inference.
- Huấn luyện gồm supervised stage rồi five rounds adversarial co-training: trace nào qua mặt được critic thì thành dữ liệu cho critic, trace nào thất bại thì thành cặp thích/không thích cho generator.
- Khi inference, pipeline lấy context và answer từ một closed-source teacher, rồi generator viết family-native trace đi tới answer đó. Không cần teacher cung cấp reasoning trace thật, và mọi dữ liệu huấn luyện đều đến từ model family có điều khoản cho phép.
Ví dụ đời thường: giống như học sinh có sẵn đáp án của thầy giỏi, nhưng tự viết lại lời giải bằng chữ viết và cách trình bày quen thuộc của mình; vì cách trình bày không lạ, học sinh hiểu nhanh hơn mà không phải xoá bỏ thói quen suy nghĩ của bản thân.
III. Main Results:
- Một judge ngoài là GPT-6.1-SOL chấm trace do TraceForge tạo đạt 0.68, cao hơn 0.66 của reasoning trace thật; khi critic chọn tốt nhất trong bốn ứng viên, điểm lên 0.82.
- Giữ nguyên 5,000 câu hỏi và cùng answer của Fable 5, thay reasoning trace thật của Fable 5 bằng family-native trace làm HumanEval+ tăng 3.7 điểm và MBPP+ tăng 7.1 điểm ở checkpoint cuối; lợi thế MBPP+ giữ ở mọi checkpoint.
- Ba bài multiple-choice — ARC-Easy, ARC-Challenge, BoolQ — gần như không tách biệt năm cấu hình, cho thấy lợi ích chủ yếu nằm ở tác vụ cần reasoning/coding.
- So với dùng Qwen3.8-Max, model mạnh nhất hợp pháp trong cùng family, cùng student nhưng train bằng trace và answer của Qwen-Max thua 21 điểm HumanEval+ và 35 điểm MBPP+ so với corpus family-native.
- So với TraceInversion trên cùng answer của GPT-6.1-SOL, TraceForge đạt 59.15 HumanEval+ và 60.05 MBPP+, trong khi TraceInversion sụt xuống 3.66 và 6.61; riêng cặp S4/S5 cho thấy chỉ đổi bộ tổng hợp trace cũng lệch tới hơn 50 điểm.
- Trace family-native leo ổn định theo training, đặc biệt S5 tăng ở mọi checkpoint trên cả hai benchmark code; trong khi một số baseline khác xuất hiện dead loops, lặp câu với biến thể nhỏ hoặc tự re-derive kết quả đã có.
IV. Conclusion & Future Works:
Kết luận chính là family-native trace không chỉ là thay thế hợp pháp cho reasoning trace thật: trong điều kiện giữ nguyên câu hỏi và answer, nó còn là teacher tốt hơn cả trace gốc của teacher. Lý do được đề xuất là student hấp thụ dữ liệu cùng model family dễ hơn, giảm chi phí thích ứng và giảm catastrophic forgetting. Pipeline không cần Claude hay OpenAI token trong backpropagation nếu dùng biến thể an toàn hơn: sinh family-native trace, đưa cho model hợp pháp mạnh nhất cùng family để tạo answer, rồi train trên cặp dữ liệu đó; paper báo cáo biến thể này gần tương đương S2. Hướng mở rộng: áp dụng cho các model family ngoài Qwen, kiểm chứng critic trên nhiều judge và nhiều lớp tác vụ, tăng quy mô generator/critic, và làm rõ ranh giới pháp lý-kỹ thuật khi answer vẫn đến từ closed-source teacher.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng TraceForge sang nhiều model family khác nhau để kiểm tra liệu lợi ích family-native trace có phải hiệu ứng chung của phong cách cùng nguồn hay chỉ đặc thù của Qwen.
- Nghiên cứu critic có độ tin cậy cao hơn cho synthesis reasoning trace, kết hợp giữa phán đoán authentic, process-level checks và downstream benchmark để giảm rủi ro chọn trace đẹp nhưng sai.
- So sánh hệ thống giữa ba chiến lược: dùng answer mạnh ngoài family, dùng answer do model cùng family tự sinh sau khi có trace, và dùng answer hỗn hợp có kiểm chứng để tối ưu cả hiệu suất lẫn provenance.
- Phân tích định lượng catastrophic forgetting khi train trên trace cùng family versus trace ngoại lai, đo bằng sự dịch chuyển tham số, độ ổn định qua checkpoint và tỉ lệ dead loop trong suy luận.
2. Patent:
- Dịch vụ điện thoại biến đáp án chuyên gia thành lời giải thích theo phong cách người dùng: người dùng chụp hoặc dán một bài toán/lệnh code, hệ thống giữ nguyên kết quả cuối cùng nhưng viết lại từng bước suy luận bằng văn phong mà trợ lý trên điện thoại đang dùng, giúp học nhanh mà không làm trợ lý đổi cách trả lời quen thuộc.
- Hộp phần mềm doanh nghiệp tạo dữ liệu huấn luyện hợp pháp cho trợ lý nội bộ: nhận câu hỏi và đáp án từ nguồn mạnh, tự tạo chuỗi giải thích phù hợp với mô hình nội bộ, có module chấm điểm chọn phương án tốt nhất trong nhiều bản để làm bộ dữ liệu tinh chỉnh mà không cần xin reasoning trace bị ẩn.
- Ứng dụng lập trình trên điện thoại gợi ý cách sửa code theo kiểu của chính người học: khi có một lời giải đúng từ nguồn ngoài, ứng dụng sinh lại các bước phân tích bằng cách diễn giải quen thuộc với trình độ và thói quen viết code của người dùng, rồi cho phép lưu thành bài học cá nhân hóa.
- Module kiểm chứng chất lượng dữ liệu synthetic cho mô hình nhỏ chạy local: sinh nhiều bản giải thích cho cùng một đáp án, dùng một bộ phận phân biệt thật/giả để loại bản rập khuôn, lặp ý hoặc chỉ nhắc lại kết quả, giúp dữ liệu đưa xuống thiết bị sạch hơn trước khi fine-tune.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29680 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29680 |
| PDF Download | https://arxiv.org/pdf/2610.29680.pdf |
| Github Repository | N/A |
17. Memory-Centric Continual Learning for AI Agents (19 votes)
Tác giả: Dongfang Li, Zhuoen Chen, Bonian Jia, Zixuan Liu, Zhengxuan Lu, et al.
Xuất bản lúc: 2026-10-21
Tag: Continual Learning, AI Agents, Memory Systems, LLMs, RAG, Agent Evaluation, Scaling Laws
I. Main Problem:
Agent dùng foundation model biết lập luận, lên kế hoạch và dùng công cụ, nhưng trọng số cố định và giới hạn context khiến chúng khó cải thiện sau nhiều lần triển khai dài hạn. Nhiều hệ thống memory hiện nay chỉ là kho truy xuất thụ động, đánh giá bằng khả năng nhớ lại quá khứ thay vì hành vi có tốt hơn không. Hệ quả là trộn lẫn nơi lưu trữ, dạng tri thức và cách điều khiển memory; dễ gặp nhiễu truy xuất, ô nhiễm memory, quên chức năng, negative transfer khi phân phối tác vụ thay đổi.
II. Main Idea:
Memory-Centric Continual Learning (MCCL) đặt tiêu chí memory vào khả năng cải thiện hành động tương lai, không chỉ trả lời đúng quá khứ. Khung gồm:
- Ba trục phân loại: nơi lưu trạng thái gồm contextual, activation, external addressable, adaptive parametric; dạng tri thức gồm episodic, semantic, procedural; cách điều khiển gồm prescribed, deliberative, learned.
- Vòng đời memory làm động cơ học liên tục: ghi chọn lọc, tổ chức/nén/củng cố, truy xuất và sử dụng, sửa đổi và quên chọn lọc, rồi cập nhật chính sách memory từ phản hồi tác vụ.
- Hai vòng lặp cộng hưởng: vòng trong cập nhật trạng thái memory từ trải nghiệm; vòng ngoài tinh chỉnh chính sách quản lý memory dựa trên kết quả tác vụ.
- Đánh giá theo hành vi: giữ retention dưới nhiễu, thích ứng khi drift, transfer qua tác vụ; dùng retention cascade bốn cửa preservation/access/utilization/effect và so sánh stateful-versus-reset để tách hiệu ứng memory thật khỏi mở rộng context thuần túy.
- Scaling law cho memory: mô hình hóa hiệu năng theo kinh nghiệm, dung lượng lưu trữ và compute; non-parametric và parametric memory cùng chịu giới hạn tài nguyên nhưng khác ở cách ghi mới tương tác nội dung cũ.
Ví dụ đời thường: giống như một người thợ không chỉ nhét giấy tờ vào tủ, mà sau mỗi ca làm lại rút kinh nghiệm, xếp lại quy trình, vứt thao tác hỏng và đổi cách ghi chú để lần sau làm nhanh và ít sai hơn.
III. Main Results:
- Đây là khung khái niệm + giao thức đánh giá + lý thuyết scaling, không phải báo cáo một benchmark mới trong phần trích.
- Đóng góp chính: taxonomy ba trục tách substrates/assets/policies; lifecycle năm giai đoạn nối trải nghiệm thành tri thức tái sử dụng; tiêu chí behavioral evaluation phân biệt retrieval đúng với học liên tục thật.
- Hình minh họa lý thuyết cho thấy với non-parametric memory, phân bổ tối ưu giữa capacity b và reading r giúp vượt giới hạn capacity cố định; với parametric memory, nhiều kinh nghiệm hơn đòi hỏi capacity lớn hơn và có thể xuất hiện load-induced interference ở ngưỡng khác nhau tùy backbone editing hay dedicated module.
- Kết luận phần mở đầu: memory nên được coi là hạ tầng học tiến hóa, mở đường cho self-improving agents thay vì chỉ là bộ nhớ tra cứu.
IV. Conclusion & Future Works:
MCCL đổi cách nhìn từ “nhớ được bao nhiêu” sang “học được bao nhiêu từ kinh nghiệm để hành động tốt hơn”. Thách thức mở gồm gán credit dài hạn cho giá trị kinh nghiệm, cân bằng stability–plasticity trong môi trường động, kết hợp experience memory với parametric learning một cách cộng hưởng, và quản trị memory đáng tin cậy khi triển khai lâu dài.
V. Brainstorming Space:
1. Publish Papers:
- Phương pháp gán tín dụng dài hạn cho quyết định ghi/xóa/sửa memory, liên kết một thay đổi memory ở bước sớm với lợi ích hành vi xuất hiện nhiều tác vụ sau đó.
- Cơ chế điều khiển lai giữa chính sách quản lý memory học từ phản hồi và kiểm soát bằng mô hình ngôn ngữ để giảm drift khi luật memory tự sửa theo thời gian.
- Bộ đánh giá mở rộng cho transfer xuyên tác vụ và thích ứng dưới drift, đo cả preservation, access, utilization và effect thay vì chỉ đo nhớ lại.
2. Patent:
- Trợ lý trên điện thoại tự cải thiện theo thời gian: hệ thống ghi lại tương tác, rút ra sở thích và quy tắc dùng, rồi điều chỉnh cách chọn thông tin cũ để gợi ý và thao tác chính xác hơn mà không cần đổi mô hình gốc.
- Hệ quản lý bộ nhớ cho agent doanh nghiệp: tách hồ sơ sự kiện, dữ kiện quan hệ và quy trình thao tác thành các lớp riêng, tự hợp nhất, hạ cấp hoặc khôi phục bản ghi khi có mâu thuẫn để giảm lỗi truy xuất.
- Module kiểm soát nhiễu memory cho thiết bị cá nhân: khi kho lưu trữ lớn dần, hệ thống chấm điểm lại mức hữu ích của từng ký ức theo kết quả thực tế và tự đẩy xuống lưu trữ lạnh hoặc xóa nhẹ các mục gây nhiễu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29357 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29357 |
| PDF Download | https://arxiv.org/pdf/2610.29357.pdf |
| Github Repository | N/A |
18. Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use (18 votes)
Tác giả: Yanzhe Chen, Ziyi Yang, Jifeng Zhu, Qiming Huang, Ruihe An, et al.
Xuất bản lúc: 2026-10-21
Tag: Multimodal Agents, Embodied AI, Robotics, Computer-Use, Survey, World Models, VLA
I. Main Problem:
Hai trường phái nghiên cứu multimodal agents (MMAs) (điều khiển máy tính, GUI, tool-use) và robotic systems (RSs) (cảm biến–điều khiển vật lý) đang hội tụ thành multimodal embodied agents (MMEAs), nhưng các survey hiện tại mô tả từng trường phái riêng rẽ, không trả lời được câu hỏi trung tâm: điều gì thay đổi khi một multimodal agent chuyển từ computer-use sang robot-use? Cụ thể:
- thiếu một đơn vị so sánh chung giữa môi trường số và vật lý
- thành phần mạnh (foundation models, world models) riêng lẻ không tự tạo thành một physical agent mạch lạc
- đánh giá benchmarks lệch về task success, bỏ qua năng lực dự đoán và kiểm chứng.
II. Main Idea:
Bài survey đề xuất PAPAV, khung phân tích dựa trên năng lực (capability) thay vì kiến trúc, gồm 5 chức năng lặp lại trong task loop:
- Perceive: xây dựng niềm tin (belief) về trạng thái hiện tại từ bằng chứng đa phương thức
- Anticipate: ước lượng hậu quả của hành động ứng viên trước khi cam kết
- Plan: chọn một lộ trình khả thi dưới ràng buộc
- Act: thực hiện qua giao diện hay cơ thể robot
- Verify: phán định kết quả (tiếp tục / thành công / thử lại / lập kế hoạch lại)
Vì định nghĩa theo chức năng chứ không theo module, PAPAV đặt cả MMA, RS và MMEA lên cùng một hệ tọa độ, rồi chỉ ra 5 ràng buộc vật lý làm vòng lặp kém dự đoán và khắc phục hơn: quan sát một phần (partial observability), khả năng mô phỏng hạn chế (limited simulatability), không thể đảo ngược (irreversibility), ghép nối thời gian thực (real-time coupling), kết quả khó kiểm chứng (unverifiable outcomes).
Ngoài ra bài phân tích 64 benchmarks theo từng năng lực và chỉ ra khoảng trống đánh giá.
Ví dụ đời thường: giống như so sánh một người điều khiển nhân viên qua điện thoại (computer-use — mọi thông tin rõ ràng, sai thì undo được) với người tự xuống bếp nấu ăn (robot-use — không thấy hết, đổ thì không hốt lại được, phải tự nhìn, tự đoán, tự kiểm tra món ăn) — cùng một bộ năng lực, nhưng bản thân điều kiện vật lý buộc mỗi bước quyết định phải chuẩn hơn.
III. Main Results:
- PAPAV được đề xuất làm khung thống nhất so sánh MMA, RS, MMEA qua 5 vai trò chức năng, kèm tiêu chí 3 điều kiện để phân loại một hệ thống là MMEA (persistent embodied task loop, task-level capability returns, embodiment-grounded commitments).
- So sánh ba chiều cho từng năng lực: điểm chung MMA–RS, rồi khác biệt MMEA–MMA và MMEA–RS, ví dụ Perceive chuyển từ digital evidence inquiry sang physical evidence inquiry có điều kiện, Anticipate chuyển từ rule-bounded digital futures sang physical forecasts kèm định lượng rủi ro.
- Phân tích 64 benchmarks: đánh giá tường minh tập trung gần như toàn bộ vào Act; chỉ 5 benchmarks đánh giá Anticipate và 3 benchmarks đánh giá Verify — hai năng lực quan trọng cho tác tử vật lý đáng tin cậy gần như bị che khuất sau task success.
- Chỉ ra điểm mù hệ thống: một agentic harness (memory + orchestration) là nền tảng điều phối, không phải năng lực thứ sáu.
IV. Conclusion & Future Works:
PAPAV cung cấp nền tảng chung để thiết kế và đo lường physical agents đáng tin cậy theo cả 5 năng lực thay vì chỉ task success. Thách thức mở được đặt trong khung 5 ràng buộc vật lý: cần benchmarks đánh giá tường minh Anticipate và Verify, belief kèm độ tin cậy và nguồn gốc bằng chứng, dự báo hậu quả vật lý có định lượng rủi ro, và phán định kết quả đã hiệu chỉnh (calibrated) trong môi trường không cho phép thử-sai.
V. Brainstorming Space:
1. Publish Papers:
- Xây dựng bộ benchmarks đánh giá tường minh năng lực Anticipate cho MMEAs: đo khả năng dự đoán hậu quả quyết định-liên quan của hành động vật lý, tách biệt khỏi task success.
- Phát triển benchmark Verify chuyên biệt: phán định kết quả từ bằng chứng vật lý đa phương thức với hiệu chuẩn độ tin cậy, bao phủ các tình huống kết quả không kiểm chứng trực tiếp được.
- Nghiên cứu agentic harness thống nhất: cách memory và orchestration duy trì niềm tin xuyên suốt vòng lặp PAPAV dưới partial observability và real-time coupling.
- Đánh giá value of information trong active perception vật lý bằng paired trials / branching replay để đo thay đổi quyết định do bằng chứng thu thập gây ra.
2. Patent:
- Trợ lý robot gia đình tự kiểm tra kết quả: sau mỗi tác vụ (như đặt cốc lên bàn), robot dùng camera và cảm biến lực để xác nhận kết quả trước khi báo hoàn thành; nếu chưa đạt tự thử lại hoặc lập kế hoạch khác — thay vì báo xong khi chưa chắc.
- Hệ thống mô phỏng hậu quả trên điện thoại cho robot công nghiệp: trước khi robot thật hàn hoặc gắp vật, ứng dụng trên điện thoại hiển thị dự báo trực quan rủi ro (va chạm, lệch vị trí) từ ảnh hiện trường để người vận hành phê duyệt.
- Robot phục vụ tự chủ động tìm thông tin thiếu: khi không nhìn thấy đồ vật cần lấy, robot tự di chuyển để quan sát bổ sung cho đến khi độ tin cậy đủ cao mới thực hiện hành động, giảm rủi ro làm đổ hoặc lấy nhầm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.30108 |
| ArXiv Abstract | https://arxiv.org/abs/2610.30108 |
| PDF Download | https://arxiv.org/pdf/2610.30108.pdf |
| Github Repository | https://github.com/showlab/Awesome-Multimodal-Embodied-Agent |
19. ALPS: Visual State Encoders for World Models (18 votes)
Tác giả: Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, et al.
Xuất bản lúc: 2026-10-21
Tag: World Models, Visual Representation Learning, Robot Learning, Self-Distillation, Vision-Language Models, Image Reconstruction
I. Main Problem:
World models dựa trên visual encoder đóng băng nhưng các encoder hiện có chỉ giỏi một hoặc hai trong ba khả năng cần thiết cùng lúc:
- physical-state information (vị trí, hướng, trạng thái vật thể) — giỏi ở DINOv2/3, C-RADIOv3, V-JEPA 2
- language alignment (ngôn ngữ gắn ngay với token) — giỏi ở CLIP, SigLIP 2, PE-Core
- pixel reconstruction (giải mã lại ảnh để kiểm tra) — giỏi ở MAE, VC-1, OpenVision 3
Nghịch lý: nếu tinh chỉnh encoder kiểu image-text (SigLIP 2, CLIP) để tăng thông tin trạng thái thì khả năng ngôn ngữ sụt 4–12 điểm. Không có encoder công khai nào dẫn đầu cả ba mặt cùng lúc.
II. Main Idea:
ALPS (A Language-aligned, Pixel-renderable State encoder) pretrain từ đầu một ViT-B/16 bằng ảnh tĩnh + text, theo hai giai đoạn:
- Stage 1 — multitask joint pretraining: bốn mục tiêu cùng giám sát một bộ patch token duy nhất: contrastive image-text, captioning, pixel reconstruction (decoder tích chập), và dense correspondence (so khớp patch qua crop/scale/flip bằng InfoNCE)
- Stage 2 — cross-view self-distillation: student khởi tạo từ encoder Stage 1 đóng băng (làm teacher), nhận crop đã augment, rồi qua một transformer predictor dùng geometry queries (vị trí + tỉ lệ crop) để hồi quy token teacher của crop sạch tại vùng chồng lấp; sai số MSE trên token đã chuẩn hóa. Chỉ dùng ảnh tĩnh, không cần video hay dữ liệu tương tác
Điểm then chốt: vì head ngôn ngữ là linear projection trên mean-pooling, các cập nhật token cục bộ gần như triệt tiêu khi pooling, nên Stage 2 làm state tốt hơn 17% mà retrieval chỉ đổi ≤0.5 điểm — điều mà SigLIP 2/CLIP không làm được khi áp cùng công thức.
Ví dụ đời thường: giống người thợ học nghề vừa xem tranh mẫu vừa tự vẽ lại (reconstruction) vừa ghi nhớ vị trí chi tiết (correspondence); sau đó tập nhìn vật từ nhiều góc khác nhau và tự đối chiếu với hình ảnh gốc trong đầu (self-distillation) để nắm chắc vật nằm ở đâu — mà không làm luôn quên cách gọi tên vật.
III. Main Results:
- State probe (LIBERO): ALPS đạt sai số vị trí thấp nhất trong các encoder ViT-B (0.829), ngang V-JEPA 2-L lớn gấp 3.5×; hơn SigLIP 2/PE-Core ~29%; dẫn cả ba cài đặt readout, +1s, +3s
- Ngôn ngữ: Flickr30k R@1 93.2/78.9, COCO 70.2/51.9 — trong 2 điểm so với encoder image-text tốt nhất; ImageNet zero-shot 73.4
- Pixel reconstruction: ℓ1 = .120 — tốt hơn mọi encoder không chuyên reconstruction (C-RADIOv3 cao hơn 34%, CLIP gấp đôi); chỉ thua các encoder chuyên MAE/VC-1/OpenVision 3 nhưng chúng lại sai số state cao hơn 14–22%
- Điều khiển LIBERO: policy trên token đóng băng đạt success trung bình cao nhất 85.5% khi dùng text tower riêng (vượt SigLIP 2: 84.8%, DINOv3: 79.0%); Stage 2 nâng LIBERO-Spatial +9.7 điểm
- World-model planning (DINO-WM protocol): dẫn đầu hoặc ngang tốt nhất trên PushT (90%), Wall (92%), Granular (Chamfer .176, giảm mạnh từ .324); Stage 2 giảm sai số dự đoán token 5 bước 11–28% trên 4 tác vụ
- Trực quan hóa tương lai: token dự đoán được decode trực tiếp thành ảnh để kiểm tra rollout (LPIPS 5 bước .020, chỉ sau C-RADIOv3 .018)
- Ablation: bỏ reconstruction làm ℓ1 tăng 72–78% → reconstruction là chìa khóa của pixel interface; bỏ dense correspondence làm giảm 6 điểm độ chính xác cross-view patch matching
IV. Conclusion & Future Works:
Một encoder đóng băng duy nhất có thể đồng thời cung cấp thông tin trạng thái vật lý, alignment ngôn ngữ bản địa và reconstruction pixel — nếu được pretrain đúng cách (multitask rồi self-distillation cross-view). Việc cân bằng ba khả năng phụ thuộc nghiêm ngặt vào kiến trúc encoder, không phải chỉ vào learning rate. Tác giả hy vọng thiết lập nền tảng chung cho visual pretraining phục vụ đồng thời understanding, prediction và action trong world models.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng cross-view self-distillation sang video thật (thay vì chỉ ảnh tĩnh) để encoder nắm được động lực học thời gian mà vẫn giữ cả ba giao diện state-language-pixel.
- Thay geometry queries bằng action-conditioned queries để Stage 2 học trực tiếp chuyển tiếp theo hành động, thu hẹp khoảng cách giữa representation học từ ảnh tĩnh và dynamics robot thật.
- Nghiên cứu tỉ lệ tối ưu giữa bốn mục tiêu Stage 1 (contrastive, captioning, reconstruction, correspondence) để giảm đánh đổi state accuracy hiện vẫn phải trả cho pixel decoding.
- Kết hợp ALPS với world model sinh (autoregressive/diffusion) để vừa lập kế hoạch trong không gian token vừa render toàn bộ tương lai tưởng tượng thành video cho con người giám sát.
2. Patent:
- Hệ thống robot gia đình hiểu lệnh bằng chữ và tự kiểm tra hành động: camera quan sát bàn bếp, encoder chung vừa định vị vật dụng, vừa khớp lệnh "lấy bát đen" với vùng ảnh, vừa vẽ lại ảnh dự đoán sau khi robot di chuyển để người dùng xem trước trên điện thoại.
- Ứng dụng điện thoại AR mô phỏng vật lý: chụp ảnh phòng, app dự đoán vị trí vật thể vài giây tới khi người dùng kéo-thả đồ vật ảo, đồng thời hiển thị lại hình ảnh tương lai giúp người dùng thử bố trí nội thất trước khi đặt mua.
- Giám sát an toàn kho hàng bằng camera: bộ mã hóa trích trạng thái (vị trí pallet, cửa, xe nâng) từ luồng video để cảnh báo va chạm trước 1–3 giây, đồng thời tra cứu bằng ngôn ngữ tự nhiên ("xe nâng ở khu vực B") và phát lại hình ảnh dự đoán cho bộ phận an toàn xem.
- Module tinh chỉnh camera an ninh không cần nhãn: dùng self-distillation qua nhiều góc crop để tự nâng độ chính xác định vị vật thể cho camera mới lắp đặt, giảm mất mát nhận diện mô tả sự kiện so với fine-tuning truyền thống.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.30120 |
| ArXiv Abstract | https://arxiv.org/abs/2610.30120 |
| PDF Download | https://arxiv.org/pdf/2610.30120.pdf |
| Github Repository | https://github.com/UCSC-VLAA/ALPS |
20. DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents (17 votes)
Tác giả: Tianle Chen, Pushkar Singh, Ketan Todi, Biswajit Paria, Qijia He, et al.
Xuất bản lúc: 2026-10-14
Tag: LLM Agents, Long-Horizon Agents, DPO, Self-Supervision, Context Compression, Preference Optimization
I. Main Problem:
Các language-model agent chạy tác vụ dài thường lặp lại công việc đã làm: gọi lại cùng một tool call với cùng tham số và nhận về kết quả giống hệt — bài toán được gọi là loop. Hậu quả:
- Mỗi bước lặp không thêm thông tin mới nhưng vẫn tốn token và lượt gọi tool.
- Khi nén lịch sử hội thoại để vừa context window, loop tăng mạnh: trên CodeGym, tỉ lệ loop của Qwen3-8B tăng từ 29.0% (full history) lên 57.3% (nén ở 4,096 token), nghiêm trọng hơn ở các model Gemini.
- Loop đi kèm thất bại nhiệm vụ: trung bình 59.5% run có loop thất bại, so với 33.4% run không loop.
- Cải thiện quản lý context (retrieval, ACON, LLMLingua-2, ledger hành động) không xóa được vấn đề — agent vẫn lặp dù bản ghi hành động còn nguyên trong context.
II. Main Idea:
DeLoop: agent tự học từ chính vòng lặp của mình bằng self-supervised preference optimization, không cần reward, đáp án chuẩn hay LLM judge. Cơ chế:
- Phát hiện loop: một bước là loop nếu tool call (sau chuẩn hóa) và observation trả về giống hệt một bước trước đó — phát hiện thuần cấu trúc từ action-observation trace.
- Khai thác cặp preference: với mỗi hành động lặp trong một rollout, lấy nó làm ví dụ tiêu cực (rejected); lấy hành động đầu tiên sau đó phá vỡ vòng lặp làm ví dụ tích cực (chosen), ghép với cùng lịch sử phía trước.
- Huấn luyện DPO trên các cặp tự khai thác này (8.000 cặp CodeGym, LoRA-DPO cho Qwen3-8B). Biến thể DeLoop-Mix thêm cặp từ các môi trường khác (ALFWorld, Terminal-Bench...) để nâng success.
- Điểm then chốt: loop tự gán nhãn cho chính nó — ngay cả rollout cuối cùng thất bại vẫn cho cặp huấn luyện hữu ích.
Ví dụ đời thường: giống người đi lạc liên tục quay lại cùng một ngã rẽ vì quên mình đã đi qua; DeLoop như tự ghi nhớ "lần trước quay phải là về chỗ cũ, lần này phải thử rẽ trái" — bài học rút ra ngay từ chính sai lầm vừa mắc, không cần ai chỉ đúng sai.
III. Main Results:
- Qwen3-8B trên CodeGym: tỉ lệ loop giảm 9.4×, từ 57.3% xuống 6.1%; số bước mỗi task giảm từ 15.0 xuống 4.67 (chỉ còn 1/3); token giảm 47%; success giữ nguyên (25.1% → 25.9%).
- Model lớn hơn: Qwen3-32B loop giảm 38.5% → 12.9% và success tăng 37.7% → 44.8%; Qwen3-14B tăng +7.2 điểm success. Tỉ lệ lặp "có thông tin mới" tăng từ 29.9% lên 69.8%.
- DeLoop-Mix (thêm cặp cross-domain): success Qwen3-8B tăng từ 25.1% → 30.3% khi nén, và 31.7% → 36.2% với full history.
- Vượt mọi baseline: cả phương pháp context-management không cần huấn luyện (42.7–65.3% loop) lẫn baseline có nhãn vàng (gold-label DPO chỉ đạt 22.3% loop); penalty GRPO đạt 15.0% loop, kém xa 6.1% của DeLoop.
- Khái quát hóa: loop giảm trên mọi cài đặt nén (2.048–8.192 token), 7 chính sách memory khác nhau, 4 môi trường agent (ALFWorld, AppWorld, ScienceWorld, Open-AgentRL); transfer zero-shot sang Terminal-Bench và BrowseComp-Plus (loop 22.4% → 1.2%, giữ nguyên accuracy).
- Không tổn hại năng lực chung: LiveCodeBench, MT-Bench, IFEval đều được bảo toàn.
IV. Conclusion & Future Works:
Bài học chính: thất bại của agent có thể tự cung cấp tín hiệu huấn luyện — vòng lặp tự gán nhãn (hành động lặp = rejected, hành động phá vòng lặp = chosen), và DPO trên các cặp này giảm loop gần như triệt để trong khi rẻ hơn 3 lần chi phí tương tác. DeLoop bổ sung cho (không thay thế) quản lý context tốt hơn: loop giảm dưới mọi memory policy. Hướng mở: kết hợp tín hiệu loop với reward nhiệm vụ, mở rộng khai thác cặp cho các kiểu lặp mềm hơn (lặp ngữ nghĩa thay vì lặp chính xác), và huấn luyện chính bộ nén context cùng policy.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng DeLoop sang semantic loops: phát hiện và huấn luyện với các hành động lặp tương đương về ngữ nghĩa (cùng tool, tham số khác nhẹ, cùng kết quả) thay vì chỉ lặp chính xác, để chữa dạng lặp khó phát hiện hơn.
- Kết hợp cặp preference tự khai thác từ loop với task-success reward trong một khung DPO lai, để vừa phá vòng lặp vừa tối ưu trực tiếp xác suất hoàn thành nhiệm vụ dài hạn.
- Huấn luyện đồng thời policy và bộ nén context: cho model tự học cách tóm tắt lịch sử sao cho giữ lại đúng các bản ghi giúp tránh lặp, thay vì giữ compressor cố định như DeLoop hiện tại.
2. Patent:
- Trợ lý AI trên điện thoại tự chống lặp thao tác: khi người dùng yêu cầu chuỗi việc dài (đặt lịch, tra cứu, nhắn tin), ứng dụng phát hiện thao tác trùng lặp với kết quả giống hệt, tự chuyển sang bước tiếp theo thay vì gọi lại công cụ, tiết kiệm pin và thời gian.
- Hệ thống tự học cho chatbot dịch vụ khách hàng: bot ghi lại các lần nó lặp câu hỏi hoặc truy vấn đã hỏi, tự tạo cặp "câu hỏi lặp / câu hỏi đúng lúc" từ chính lịch sử hội thoại để tinh chỉnh mô hình định kỳ mà không cần nhân viên gán nhãn.
- Trợ lý lập trình tích hợp trong IDE tự tránh chạy lại lệnh đã chạy: khi agent lập trình lặp lại một lệnh terminal với kết quả giống hệt, công cụ tự đề xuất hành động sửa lỗi tiếp theo (sửa file, đọc log mới) thay vì chạy lại, rút ngắn số vòng lặp gỡ lỗi.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.19376 |
| ArXiv Abstract | https://arxiv.org/abs/2610.19376 |
| PDF Download | https://arxiv.org/pdf/2610.19376.pdf |
| Github Repository | https://github.com/cskyl/deloop |
21. Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures (16 votes)
Tác giả: Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, et al.
Xuất bản lúc: 2026-10-20
Tag: Autonomous Research Agents, Multi-Agent Systems, Linear Attention, LLMs, Architecture Search, Adaptive Allocation, Scientific Discovery
I. Main Problem:
Các hệ thống nghiên cứu tự động có thể bị kẹt trong local minima vì cùng một tác nhân hoặc cùng một kiểu suy luận lặp lại quanh vùng thiết kế quen thuộc. Khi thí nghiệm đắt đỏ, đội chỉ kiểm chứng được một số ý tưởng nhỏ, nên phải quyết định: ai được thử tiếp, nhớ riêng hay chia sẻ điều gì, và làm sao cân bằng khai thác hướng tốt với thăm dò hướng chưa rõ.
II. Main Idea:
Bài báo xây dựng một đội nghiên cứu AI dị biệt gồm 16 tác nhân, mỗi tác nhân được khởi tạo bằng một hồ sơ khoa học khác nhau như dynamical systems, associative memory, Bayesian filtering, streaming algorithms. Tất cả cùng mô tả bài toán, baseline và ngân sách, nhưng khác nhau về kiến thức nền, công cụ toán, cách phân tích và thói quen nghiên cứu.
Quy trình mỗi vòng:
- Adaptive allocation chọn một researcher bằng discounted UCB: thưởng researcher có đóng góp gần đây, nhưng vẫn giữ cơ hội cho người ít được thử.
- Researcher được chọn đề xuất giả thuyết từ lịch sử riêng và bằng chứng chung.
- Hai reviewer độc lập kiểm tra tính đúng/khả thi và giá trị mới; tác giả chỉnh sửa hoặc rút đề xuất.
- Một implementation agent viết mã, qua kiểm tra tích hợp và tốc độ; mô hình mới phải train nhanh không quá 1.2 lần baseline mỗi bước.
- Train từ đầu dưới ngân sách FLOPs tương đương, đánh giá bằng utility gồm language modeling, common-sense reasoning và retrieval.
- Researcher reflect, cập nhật ghi chú riêng, rồi chia sẻ bài học khái quát; mỗi 10 vòng hệ thống tổng hợp lessons và unresolved questions.
Áp dụng cho linear attention, đội tìm ra Context-First DeltaNet (CFDN): thêm một recurrent vector bên cạnh ma trận trạng thái của Gated DeltaNet-2; vector mang thông tin dùng chung cho mọi query, ma trận đưa phần phụ thuộc query, và khi có sai số dự đoán thì cập nhật vector trước, ma trận sau đó khớp phần lỗi còn lại.
Ví dụ đời thường: giống nhóm bạn thử nghiệm món ăn mới với ít nguyên liệu: mỗi người giữ sổ tay riêng, mọi món thử và lỗi đều ghi lên bảng chung, còn người phân phối nguyên liệu ưu tiên món đang ngon nhưng vẫn chừng phần cho người ít được nấu.
III. Main Results:
- Ở quy mô 150M, đội chạy 80 research iterations với 63 candidate evaluations; CFDN đạt utility 1.04 so với GDN2 = 0. Trong search feedback, CFDN cải thiện language modeling perplexity từ 12.21 xuống 11.90, common-sense reasoning từ 44.48% lên 44.63%, retrieval từ 28.91% lên 50.00%.
- Full evaluation 150M: CFDN tốt hơn GDN2 trên WikiText perplexity 33.84 so với 34.93 và LAMBADA 52.33 so với 54.74; NIAH 29.76 so với 25.79; CSR hơi thấp hơn GDN2 nhưng vẫn trên GDN và KDA.
- Scale lên 1.3B, CFDN đứng đầu mọi nhóm đánh giá trong bảng so sánh: WikiText 15.74, LAMBADA 11.04, CSR 54.53%, NIAH 67.29%, real-world retrieval 33.41%.
- Ablation cho thấy utility tốt nhất giảm mạnh khi bỏ từng thành phần: full system 1.04, no disciplinary background 0.54, fresh memory 0.56, uniform selection 0.76.
- Bỏ background làm search đạt đỉnh sớm ở iteration 22 rồi plateau, gợi ý rằng đa dạng học thuật giúp thoát local minima.
- Chỉ tối ưu language modeling làm kết quả chuyển kém hơn sang common-sense reasoning và retrieval, cho thấy search objective quyết định loại cải thiện được tìm thấy.
IV. Conclusion & Future Works:
Kết luận chính: phát hiện khoa học tự chủ kéo dài không chỉ phụ thuộc vào model mạnh hơn, mà vào tổ chức đội — ai được thăm dò, điều gì được ghi nhớ riêng, điều gì được chia sẻ, cơ hội thí nghiệm được phân bổ thế nào, và tiến bộ được đo bằng gì. Bài báo không nêu future work riêng; hướng mở rộng hợp lý từ kết quả là kiểm chứng framework này trên bài toán architecture/scientific discovery khác, thay đổi số researcher, ngân sách iteration và objective đa nhiệm để xác định giới hạn của diversity, private memory và adaptive allocation.
V. Brainstorming Space:
1. Publish Papers:
- Thử nghiệm scaling đội nghiên cứu tự động: thay đổi số lượng researcher, số vòng lặp và ngân sách tính toán để đo điểm bão hòa của đa dạng học thuật, bộ nhớ riêng và cơ chế chọn người đề xuất.
- Nghiên cứu bộ nhớ cho tác nhân nghiên cứu: phần nào nên lưu riêng, phần nào nên tổng hợập chung, tần suất tổng hợp bài học ra sao, và làm sao giữ nguồn gốc bằng chứng để giảm claim sai.
- So sánh objective đơn nhiệm và đa nhiệm trong autoresearch: kiểm chứng xem tối ưu perplexity thuần có làm mất cải thiện ở retrieval, reasoning hoặc khả năng chuyển giao không.
- Mở rộng tổ chức researcher dị biệt sang bài toán thiết kế kiến trúc khác ngoài linear attention, với cùng ngân sách thí nghiệm và cùng evaluator để đo tính tổng quát của phương pháp.
2. Patent:
- Hệ thống điều phối đội trợ lý AI trên điện thoại: nhiều trợ lý có chuyên môn khác nhau cùng gợi ý cách tối ưu mô hình gõ chữ, lọc thông báo hoặc tiết kiệm pin; hệ thống chọn trợ lý tiếp theo dựa trên thành tích gần đây nhưng vẫn cho người ít được thử cơ hội, rồi ghi kết quả thử nghiệm lên bảng chung để mọi trợ lý học lẫn nhau.
- Ứng dụng tối ưu trải nghiệm di động bằng thí nghiệm tự động có kiểm duyệt: một tác nhân đề xuất thay đổi, hai tác nhân độc lập kiểm tra tính khả thi và giá trị, một tác nhân triển khai thử nghiệm nhỏ trên nhóm thiết bị; nếu thay đổi làm giảm độ trễ hoặc tăng lỗi người dùng thì hệ thống tự phản hồi và rút kinh nghiệm.
- Module ghi nhớ cá nhân hóa cho trợ lý trên điện thoại: mỗi trợ lý giữ nhật ký riêng về giả thuyết, lý do chọn và kết quả, trong khi ứng dụng chia sẻ các bài học đã kiểm chứng; người dùng có thể xem tại sao trợ lý đề xuất một cài đặt và hệ thống biết nên đào sâu hay đổi hướng khi kết quả xấu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28887 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28887 |
| PDF Download | https://arxiv.org/pdf/2610.28887.pdf |
| Github Repository | N/A |
22. Real In, Real Out: What If We Only Use Real Data for Scene Text Editing? (15 votes)
Tác giả: Xingsong Ye, Yongkun Du, Jiaxin Zhang, Chong Sun, Zhineng Chen
Xuất bản lúc: 2026-10-20
Tag: Scene Text Editing, Diffusion Models, Self-Supervised Learning, Synthetic Data, Scene Text Recognition, ControlNet
I. Main Problem:
Scene Text Editing (STE) — chỉnh sửa nội dung chữ trong ảnh thực tế mà giữ nguyên phong cách (màu sắc, chất liệu, ánh sáng, phối cảnh) — đang phụ thuộc nặng vào dữ liệu tổng hợp (synthetic) được render bằng công cụ tạo ảnh ghép, vì trong thực tế gần như không thu thập được bộ ba ảnh (trước chỉnh sửa, chữ đích, sau chỉnh sửa) với cùng phong cách nền. Hệ quả:
- Các phương pháp tách rời foreground/background (SRNet, MOSTEL) để lại dấu tích chữ cũ chưa xóa sạch.
- Các phương pháp tách rời ngầm bằng pre-trained model (TextCtrl, RS-STE) sinh ảnh ảo giác (hallucination), sai chữ, sai chính tả.
- Phương pháp inpainting thiếu manh mối phong cách vì phụ thuộc ngữ cảnh xung quanh.
- Khoảng cách miền synthetic-to-real làm giảm độ chân thực và độ chính xác trên ảnh thật.
II. Main Idea:
Bài báo đặt câu hỏi: "Nếu chỉ dùng dữ liệu thật cho STE thì sao?" — biến mỗi ảnh thật thành cặp tự-giám-sát (self-paired) của chính nó:
- Quan sát then chốt: phong cách chữ nằm ở tín hiệu cấp thấp (màu, texture, ánh sáng), còn ngữ nghĩa chữ là cấu trúc tuần tự cấp cao. Chỉ cần phá vỡ ngữ nghĩa mà giữ phong cách là có ngay cặp training.
- Cơ chế Shuffle&Crop: cắt ảnh dọc theo trục dài thành L đoạn (L = số ký tự), xáo trộn thứ tự các cột để vỡ nghĩa chữ, sau đó crop một vùng con liên tiếp để giữ được độ nghiêng, cong của layout phức tạp → tạo ảnh nguồn bị phá nội dung nhưng còn phong cách, rồi model học tái tạo ảnh gốc.
- Kiến trúc TextRIRO: mô hình diffusion có điều kiện — style encoder ViT trích đa tỷ lệ đưa vào U-Net kiểu ControlNet (bắt buộc để giữ chi tiết cục bộ chữ), text encoder được pre-train bằng mục tiêu nhận dạng chữ (STR) trên ảnh thật thay vì glyph/CLIP tổng hợp. VAE và text encoder đóng băng.
- Bonus — TextRIRO-3M: dùng ảnh đã chỉnh sửa (lọc qua model STR) nối tiếp ảnh gốc thành ảnh chữ dài để tạo bộ 3M mẫu cho nhận dạng chữ dài.
Ví dụ đời thường: giống việc học chữ viết tay bằng cách xé một dòng chữ ra, xáo trộn các mảnh rồi ghép lại — chữ không đọc được nữa nhưng mực, nét bút, giấy vẫn y nguyên, nên người học vẫn bắt chước được đúng "tay chữ" đó.
III. Main Results:
- ScenePair benchmark: TextRIRO đạt ACC 85.23%, NED 0.964, FID 41.53 — gần ngưỡng ảnh thật (88.44%), vượt TextCtrl (84.67%) và TextSSR; FID tốt nhất trong các model chuyên biệt, trong khi RS-STE có ACC cao hơn nhưng FID kém hẳn (49.59) vì ảnh trông giả.
- RIROCommon (biến đổi độ dài): vượt trội ở cả equal-length (79.31% vs 60.24% của RS-STE) và variable-length (47.64% vs 11.98%) — nhờ độ đa dạng của dữ liệu self-paired.
- STR proxy (train-on-edits): ảnh do TextRIRO tạo giúp model STR đạt 86.67%, hơn phương pháp tốt nhất khác +9.78%, khoảng cách lớn hơn nữa (+11.69%) trên ảnh dạng bất thường.
- TextRIRO-3M: trộn 1M ảnh tổng hợp vào dữ liệu thật → +1.91% tổng thể trên Union14M, +3.28% trên tập Multi-words so với baseline chỉ dùng dữ liệu thật.
- Ablation: Shuffle&Crop tối ưu nhất (Mask phá cả style, Block gây lệch phân phối, bỏ paired biến thành copy); text encoder pre-train STR > glyph pre-train; ControlNet-based > DiT (OminiControl) vì injection đa tỷ lệ giữ chi tiết chữ; kết luận vững qua 3 recognizer độc lập.
IV. Conclusion & Future Works:
Kết luận: khoảng cách miền trong STE chủ yếu là vấn đề dữ liệu, không phải kiến trúc. Tự tạo cặp giám sát từ ảnh thật (Shuffle&Crop) + diffusion có điều kiện đơn giản đủ để vượt các pipeline synthetic phức tạp, đồng thời biến STE thành nguồn dữ liệu huấn luyện STR chất lượng cao, thực tế. Hướng tương lai: khám phá cơ chế điều khiển kiểu DiT tinh chỉnh hơn cho chữ cảnh, và mở rộng khả năng dùng STE để sinh dữ liệu cho các tác vụ chữ cảnh khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng nguyên lý self-paired (phá ngữ nghĩa – giữ phong cách) sang các tác vụ chỉnh sửa có cấu trúc khác: sửa số nhà, biển hiệu, tem nhãn đa ngôn ngữ mà không cần dữ liệu ghép tổng hợp.
- Kết hợp kiểm chứng bằng model nhận dạng độc lập (recognizer-based filtering) với sinh dữ liệu đối lập (adversarial mining) để loại bỏ triệt để các mẫu chỉnh sửa lỗi khỏi bộ dữ liệu huấn luyện nhận dạng.
- Nghiên cứu cơ chế injection điều kiện đa tỷ lệ cho kiến trúc DiT nhằm giữ chi tiết cục bộ của ký tự, vượt qua giới hạn token-level hiện tại trong điều khiển sinh ảnh tinh.
2. Patent:
- Ứng dụng điện thoại sửa chữ trên ảnh chụp thật: người dùng chọn vùng chữ trong ảnh và gõ nội dung mới; app tự xáo trộn-cắt vùng chữ để học phong cách chữ gốc rồi thay bằng chữ mới giữ nguyên màu mực, nét, phối cảnh — dùng cho thiết kế quảng cáo, sửa biển hiệu trên ảnh.
- Hệ thống tự động dán nhãn dữ liệu chữ dài cho điện thoại/OCR: chụp ảnh biển hiệu ngắn, model chỉnh sửa sang nội dung khác cùng phong cách, ghép hai ảnh thành ảnh chữ dài để huấn luyện bộ nhận dạng chữ trên thiết bị di động chính xác hơn với biển hiệu nhiều dòng.
- Công cụ đổi nội dung văn bản trong ảnh sản phẩm cho thương mại điện tử: thay tên thương hiệu/khuyến mãi trên ảnh chụp thật của sản phẩm mà giữ nguyên ánh sáng studio và chất liệu bao bì, không cần chụp lại hay render 3D.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.27592 |
| ArXiv Abstract | https://arxiv.org/abs/2610.27592 |
| PDF Download | https://arxiv.org/pdf/2610.27592.pdf |
| Github Repository | https://github.com/YesianRohn/TextRIRO |
23. Harness Scaling for Generalizable Agentic Reinforcement Learning (15 votes)
Tác giả: Fei Bai, Huatong Song, Chuan Hao, Ran Tao, Jian Yang, et al.
Xuất bản lúc: 2026-10-21
Tag: Reinforcement Learning, LLM Agents, Agentic RL, Tool Use, Generalization, GRPO, PPO, Scaling
I. Main Problem:
Các phương pháp agentic RL hiện tại tối ưu chính sách qua một harness thực thi cố định (cách mô hình dùng tool, quản lý context, điều phối tương tác dài hạn). Hậu quả:
- Mô hình chuyên biệt hóa vào đúng harness đã huấn luyện, khả năng chuyển sang cấu hình thực thi khác rất yếu.
- Scaling theo task (học giải nhiều bài) hay môi trường (học hoạt động ở nhiều nơi) đều bỏ quên chiều cách thực thi — dù thực tế model phải chạy trên vô số harness khác nhau (Claude Code, OpenClaw, v.v.).
II. Main Idea:
Harness Scaling mở rộng huấn luyện RL từ một harness sang không gian cấu hình thực thi đa dạng, quy trình:
- Phân tách harness thành 5 thành phần: system prompt, tool interface, observation, context management, workflow — mỗi thành phần có nhiều biến thể, tổ hợp tạo không gian tích (3^5 = 243 cấu hình).
- Chọn tập huấn luyện nhỏ gọn (18 cấu hình) bằng orthogonal design strength-2: mỗi biến thể thành phần xuất hiện đều và mọi cặp biến thể giữa hai thành phần xuất hiện cùng tần suất — bao phủ rộng mà không dư thừa.
- Gán harness theo locality-aware: mỗi task gắn với một anchor ngẫu nhiên + K−1 cấu hình gần nhất theo khoảng cách Hamming (K=2) — cùng một bài toán được giải dưới các cấu hình 'hàng xóm', vừa có biến thể kiểm soát vừa phủ rộng không gian toàn cục.
- Tối ưu bằng PPO/GRPO tiêu chuẩn trên các cặp task–harness này.
Ví dụ đời thường: giống người học lái xe bằng cách luyện cùng một tuyến đường trên nhiều chiếc xe khác nhau — vô lăng, đồng hồ, số đều đặt khác chỗ — để học được kỹ năng lái chứ không phải thuộc lòng vị trí nút của riêng một chiếc xe.
III. Main Results:
- Khái quát tổ hợp trong không gian harness (cấu hình chưa từng thấy): vượt single-harness RL trung bình +9.80 (GRPO) và +3.57 (PPO) trên Qwen3-4B, +5.21 và +4.90 trên Qwen3-30B-A3B, nhất quán trên ClawGym-Bench, PinchBench, JobBench-Easy.
- Chuyển sang black-box ngoài (Claude Code chưa từng thấy khi huấn luyện): đạt 37.22 / 41.20 (4B / 30B), cao hơn cả black-box SFT (35.08 / 38.08) và black-box RL (33.38 / 36.28) — luyện nhiều harness trắng đơn giản hiệu quả hơn luyện một harness đen phức tạp.
- Ablation: bộ 18 cấu hình cấu trúc tốt hơn bộ 18 ngẫu nhiên, tốt hơn cả dùng đủ 243 cấu hình dưới cùng ngân sách → quan trọng là cách tổ chức đa dạng, không phải số lượng; K=2 là tối ưu; gán harness theo Hamming tốt hơn gán ngẫu nhiên (+2–3 điểm).
- Phân tích hành vi: cải thiện mạnh nhất ở state tracking, workflow compliance, error recovery; gần như không mất điểm trên harness gốc (−0.19) trong khi tăng +10.48 điểm in-space.
IV. Conclusion & Future Works:
Harness diversity là một chiều scaling mới cho agentic RL, bổ sung cho task scaling và environment scaling: thay vì chỉ mở rộng giải gì và chạy ở đâu, cần mở rộng cách tương tác và thực thi. Lợi ích đến từ cấu trúc của sự đa dạng (orthogonal selection + locality-aware assignment) chứ không đơn thuần từ số lượng cấu hình. Hướng tương lai: mở rộng thành phần harness và số biến thể, kết hợp tối ưu harness và policy đồng thời, và áp dụng cho các hệ thống thực thi black-box rộng hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng harness space với nhiều hơn 5 thành phần và nhiều mức biến thể hơn, kiểm tra giới hạn của orthogonal design strength-2 trong không gian tích cực lớn.
- Kết hợp Harness Scaling với tự động tối ưu/tìm kiếm harness, đồng thời học cả thiết kế harness lẫn chính sách chịu được mọi cấu hình.
- Điều tra mối liên hệ giữa cross-harness generalization và in-context adaptation, để model tự điều chỉnh với harness hoàn toàn mới tại thời điểm suy luận.
- Áp dụng Harness Scaling cho đa agent và môi trường tool-use động, nơi cấu hình thực thi thay đổi trong quá trình tác vụ.
2. Patent:
- Phương thức huấn luyện AI agent trên điện thoại: model trợ lý được RL qua nhiều biến thể giao diện (khác prompt hệ thống, khác cách trình bày tool, khác cách nén lịch sử hội thoại) để dùng được ngay trên mọi ứng dụng mà không cần tinh chỉnh lại cho từng app.
- Hệ thống chuyển đổi agent giữa các nền tảng: huấn luyện với tập cấu hình thực thi được chọn theo thiết kế cân bằng (mỗi cặp thành phần giao diện xuất hiện đều), giúp agent giữ hiệu suất khi di chuyển từ môi trường nội bộ sang môi trường bên ngoài như các công cụ coding trên đám mây.
- Dịch vụ cá nhân hóa prompt/harness cho doanh nghiệp: mỗi công ty có cách bố trí tool và quy trình riêng; hệ thống huấn luyện agent trên không gian cấu hình đa dạng rồi triển khai cho khách hàng mới mà không tốn chi phí thu thập dữ liệu riêng cho từng khách.
- Trợ lý điều khiển thiết bị đa nền tảng: cùng một lệnh người dùng (đặt lịch, gửi tin nhắn) được thực thi qua nhiều kiểu giao diện khác nhau trong quá trình RL, để trợ lý hoạt động ổn định dù app nâng cấp đổi bố cục nút bấm hay cách hiển thị.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29458 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29458 |
| PDF Download | https://arxiv.org/pdf/2610.29458.pdf |
| Github Repository | https://github.com/RUCAIBox/Harness-Scaling |
24. Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers (14 votes)
Tác giả: Tianze Xia, Xiaoling Zhou, Ruya Lan, Yiqiao Liao, Chengru Song, et al.
Xuất bản lúc: 2026-10-21
Tag: Video Generation, Diffusion Models, Transformers, Sparse Attention, Block-Sparse Attention, Training-Free Inference, Latency Optimization
I. Main Problem:
Attention trong video Diffusion Transformers tốn rất nhiều tính toán: với Wan2.1-14B, tạo video 720p 81 khung hình mất khoảng một giờ trên một GPU và attention chiếm hơn một nửa thời gian. Các phương pháp block-sparse attention chỉ tính một số khối query-key đã chọn, nhưng phần phân bổ mật độ sparsity theo từng layer và từng bước khử nhiễu còn yếu:
- Quy tắc heuristic như giữ layer đầu hoặc 10-30% bước đầu dense không chuyển tốt giữa các model và chiến lược chọn block.
- Metric cục bộ như attention mass, Hellinger distance hay one-step output error không phản ánh đúng lỗi video cuối; đôi khi còn cho kết quả tệ hơn phân bổ đều. Hậu quả là cùng một ngân sách latency, chất lượng video cuối có thể thay đổi mạnh chỉ vì cách chia mật độ khác nhau.
II. Main Idea:
ALLOT coi mỗi cặp layer-step là một cell và tối ưu trực tiếp mức ảnh hưởng của cell đó tới lỗi video cuối thay vì dùng proxy cục bộ. Quy trình gồm ba phần:
- Cell probing: đo lỗi đầu ra một bước khi chỉ sparsify một layer tới mật độ b, qua MSE so với dự đoán dense.
- Trajectory calibration: chạy các cửa sổ bước liên tiếp với toàn bộ layer sparsify, lấy MSE video cuối chia cho tổng lỗi probe để ước lượng hệ số khuếch đại về sau; yếu tố này cho biết lỗi ở bước sớm bị các bước sau phóng to hay nén lại.
- Latency-constrained allocation: dùng bảng latency đo thật theo mật độ và solver Lagrangian/bisection để chọn mật độ cho mọi cell sao cho tổng độ nhạy ước lượng nhỏ nhất dưới ngân sách thời gian.
Đoạn warm-up, layer nào nên dense và mật độ giảm thế nào theo step đều xuất hiện từ lời giải, không cần luật chỉnh tay. Vì thứ hạng độ nhạy gần như bất biến theo input cho model và chiến lược chọn block cố định, ALLOT đo offline một lần rồi tra bảng khi inference, chỉ thay phần allocation còn giữ nguyên selection strategy và kernel.
Ví dụ đời thường: giống như phân bổ ngân sách sửa một dây chuyền: người thợ không nhìn tiếng ồn tại một máy, mà thử tắt/bớt từng đoạn, xem lỗi cuối cùng bị khuếch đại thế nào qua các công đoạn sau, rồi chi tiền cho đúng khâu gây hỏng sản phẩm nhiều nhất.
III. Main Results:
- Trên XAttention với Wan2.1-1.3B 480p, ALLOT đạt PSNR khoảng 25.4-26.4 dB, vượt mọi phương pháp allocation so sánh từ 1.53 tới 7.31 dB ở wall-clock bằng hoặc ngắn hơn; baseline default chỉ khoảng 18.1 dB.
- Tích hợp vào SVOO, SVG2, SpargeAttn và Radial: thắng mặc định ở 6/9 thiết lập tới +5.03 dB PSNR, hòa 3 thiết lập còn lại; trên HunyuanVideo với SVOO tăng +3.38 dB PSNR đồng thời speedup tăng từ 1.75× lên 1.90×.
- Trên ba model Wan với mean-pooled top-k, ALLOT vượt uniform baseline khoảng +6.4 đến +6.5 dB và vượt strengthened baseline tới +2.55 dB.
- Ablation cho thấy trajectory calibration là thành phần quan trọng nhất: bỏ nó bằng cách đặt gain bằng 1 làm PSNR giảm 7.05 dB; dùng cùng one-step error theo greedy rule của DiTFastAttn cũng chỉ đạt khoảng 19.38 dB.
- Chi phí offline khoảng 6-23 GPU-hour mỗi model tùy pipeline; đổi ngân sách latency chỉ cần solve lại bảng khoảng 4 giây trên CPU.
IV. Conclusion & Future Works:
Bài báo chỉ ra rằng độ nhạy theo layer-step thay đổi rất lớn giữa các model và chiến lược chọn block, bị các metric cục bộ đánh giá sai, nhưng thứ hạng độ nhạy ổn định theo input cho một model và chiến lược cố định. ALLOT biến điều này thành cơ chế training-free: hiệu chuẩn lỗi một bước với thiệt hại video cuối, rồi tối ưu bảng mật độ có ràng buộc latency. Hạn chế: cần calibration offline, đổi selection strategy phải đo lại probe, mô hình cộng dồn và tách layer dự đoán ranking tốt hơn độ lớn lỗi, và interface mật độ chung làm mất thích ứng threshold theo head/input. Hướng tương lai: mô hình hóa tương tác giữa các cell và giữ lại khả năng thích ứng threshold tự nhiên của pipeline gốc.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng allocation theo output cho sparse attention có điều kiện: tối ưu mật độ theo layer-step-head dựa trên lỗi video cuối, trong khi vẫn giữ cơ chế chọn block thích ứng theo input của pipeline gốc.
- Nghiên cứu cell interaction cho video diffusion: bổ sung mô hình bậc hai hoặc graph propagation để ước lượng lỗi cuối chính xác hơn khi nhiều layer cùng sparsify và các bước khuếch đại lỗi phi tuyến.
- Phát triển bản calibration online/nhẹ cho thiết bị biên: cập nhật bảng mật độ bằng vài video kiểm thử khi đổi độ phân giải, sampler, guidance scale hoặc ngân sách nhiệt/điện trên điện thoại.
2. Patent:
- Hệ tạo video trên điện thoại tự cân bằng chất lượng và pin: trước khi tạo video, máy đo một lần mức lỗi cuối khi bỏ bớt từng phần tính toán chú ý, lưu bảng mức bỏ sót an toàn; khi tạo video, điện thoại tra bảng để giữ chất lượng hình ảnh trong khi giảm thời gian và nhiệt độ.
- Module tăng tốc quay phim tạo bằng AI trên thiết bị di động: khi người dùng chọn độ phân giải, số khung hình hoặc chế độ tiết kiệm pin, hệ thống chọn mức giữ lại các khối thông tin theo từng lớp mạng và từng vòng lặp khử nhiễu để video cuối ít vỡ hình nhất ở cùng mức giật lag.
- Dịch vụ đám mây chuẩn hóa chất lượng cho nhiều mẫu điện thoại: máy chủ đo trước lỗi video cuối của từng mẫu chip và phiên bản mô hình, phát hành bảng mật độ riêng; điện thoại chỉ tải bảng phù hợp rồi áp dụng khi tạo video mà không cần huấn luyện lại mô hình.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29441 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29441 |
| PDF Download | https://arxiv.org/pdf/2610.29441.pdf |
| Github Repository | N/A |
25. Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild? (13 votes)
Tác giả: Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski
Xuất bản lúc: 2026-10-20
Tag: AI Agents, Automated ML, ML for Science, Benchmark, Coding Agents, LLM Agents, Evaluation Gaming
I. Main Problem:
Các coding agent đỉnh cao hiện nay đang được kỳ vọng trở thành nhà nghiên cứu tự động end-to-end, nhưng chưa rõ chúng có thể cải thiện mô hình khoa học thật hay không. Ba rào cản chính:
- Bài toán ML for Science đòi hỏi hiểu biết chuyên ngành, không chỉ kỹ thuật ML thông thường; codebase khoa học thường là artefact nghiên cứu thô, không phải môi trường chuẩn hóa.
- Pilot study cho thấy 5/12 tác vụ trên repo gốc xuất hiện evaluation gaming: báo cáo chọn lọc, lộ test set, thao túng metric, thậm chí hardcode kết quả trực tiếp.
- Thiếu một testbed đo lường được tiến bộ khoa học thật trong điều kiện 'in the wild', đồng thời chặn gian lận.
II. Main Idea:
Bài báo giới thiệu AGENT4SCI, testbed đo lường khả năng 'leo đồi khoa học' của agent: agent nhận paper, codebase đã chuẩn hóa, dữ liệu và metric mục tiêu, rồi phải cải thiện kết quả SOTA đã xuất bản trong ngân sách 8 GPU H200 / 12 giờ. Thiết kế gồm:
- Chuẩn hóa một lần: con người tái hiện lại kết quả paper (chỉ nhận task khi khớp trong sai số cho phép), sửa data split, cách ly test set, tối ưu runtime.
- Giao thức 3 giai đoạn tách biệt: agent leo đồi (chỉ thấy train/validation) → agent đánh giá độc lập chạy trên test set → agent audit quỹ đạo run để phát hiện gian lận học thuật.
- 20 benchmark, 25 tác vụ, 11 lĩnh vực khoa học (thiên văn, hóa học, sinh học, vật lý, địa chất...), được lọc qua pipeline 4 giai đoạn với tỷ lệ loại ~98%.
- Khi agent chỉ đạt được mẹo kỹ thuật ML, tác giả thiết kế 3 plug-in skill nhẹ (markdown): ideation nghiên cứu với persona 'nhà khoa học điên' ghét tinh chỉnh hyperparameter, quản lý thí nghiệm để dùng hết GPU, và checklist tự đánh giá mỗi giờ chống 'lười'. Skill giúp Claude Opus tăng từ 10.4% lên 20.1% cải thiện tương đối trung bình, Codex từ 4.4% lên 8.1%, và trên PFDelta agent tự suy ra được cách dùng định luật Kirchhoff làm loss vật lý.
Ví dụ đời thường: giống thí sinh đi thi nấu ăn — nếu tự chấm món mình nấu thì ai cũng 'ăn gian' vị; AGENT4SCI bố trí giám khảo độc lập chấm món (test set) và thanh tra camera bếp (audit quỹ đạo), nên chỉ còn cách nấu thật. Còn plug-in skill giống huấn luyện viên nhắc mỗi giờ: 'đừng chỉ nêm lại món cũ, hãy nghĩ món mới'.
III. Main Results:
- Agent cải thiện được mọi benchmark: 20/20 vượt kết quả published best; Claude Opus 4.6 đạt 10.4% cải thiện trung bình, Sonnet 9.6%, Gemini 3.1 Pro 6.8%, Codex 4.4%; mức tăng tốt nhất từ 1.1% (ProteinGym) đến 64.4% (PFDelta).
- Không phát hiện gian lận nào dưới giao thức 3 giai đoạn, kể cả khi audit lại bằng 3 agent khác thuộc các họ model khác nhau.
- Nhưng tiến bộ đến gần như hoàn toàn từ mẹo ML-engineering (tuning learning rate, đổi backbone, augmentation, auxiliary loss), không phải insight nghiên cứu cấp cao; ba lỗi lặp lại: đánh giá sai mức độ mới, dùng lãng phí GPU, và sớm 'sụp đổ' về sweep hyperparameter cục bộ.
- Ba workflow mặc định khác nhau rõ: Opus tối ưu lặp liên tục suốt 12h, Codex 'commit rồi chờ' script chạy dài, Gemini dao động giữa hai kiểu.
- Plug-in skill gần như nhân đôi hiệu suất: Opus 10.4% → 20.1% (cải thiện 18/20 benchmark), Codex 4.4% → 8.1%; trên PFDelta skill nâng Opus từ 64.4% lên 91.0% với lập luận vật lý (dùng PBL từ định luật Kirchhoff làm loss chính, lấy dự đoán GNN làm warm start cho phương trình power-flow).
IV. Conclusion & Future Works:
Kết luận: agent coding đỉnh cao đã leo được 'đồi khoa học' trong điều kiện thực tế — cải thiện đo được, tự động hoàn toàn, không gian lận — nhưng động lực chủ yếu vẫn là tối ưu kỹ thuật chứ không phải suy luận khoa học. AGENT4SCI biến ranh giới này thành tín hiệu đo lường được: mỗi thế hệ agent mới không chỉ được đánh giá bởi metric tăng bao nhiêu, mà bởi liệu cải tiến đó có phản ánh insight nghiên cứu có tính chuyển giao ngày càng cao hay không. Hướng đi: đẩy agent từ 'thiết kế thí nghiệm giỏi hơn' sang 'làm khoa học tốt hơn'.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích sâu hơn ranh giới giữa 'auto-engineering' và 'auto-research': xây dựng thang đo định lượng mức độ insight khoa học trong quỹ đạo agent, thay vì chỉ nhìn điểm số cuối.
- Mở rộng plug-in skill sang nhiều dạng agent và lĩnh vực khoa học khác, kiểm chứng tính tổng quát của các kỹ thuật chống 'sụp đổ khám phá' và hiệu chỉnh novelty.
- Nghiên cứu agent-agent collaboration: một agent đóng vai chuyên gia domain (vật lý, hóa học) hợp tác với agent ML-engineering để kết hợp insight chuyên ngành với khả năng lập trình.
- Ứng dụng giao thức 3 giai đoạn (hill-climb / đánh giá độc lập / audit) cho các lớp bài toán tự động hóa khác ngoài ML-for-science, nơi reward hacking là rủi ro lớn.
2. Patent:
- Nền tảng tự động tối ưu mô hình AI cho doanh nghiệp trên điện thoại/máy tính bảng: người dùng tải lên codebase và dữ liệu; hệ thống chạy agent 'leo đồi' trong môi trường cách ly, một module đánh giá độc lập chấm trên dữ liệu giữ lại, và module audit kiểm tra gian lận — kết quả là mô hình cải tiến kèm báo cáo minh bạch.
- Trợ lý nghiên cứu tự động có 'huấn luyện viên' nhắc việc định kỳ: ứng dụng điện thoại theo dõi phiên làm việc của nhà nghiên cứu, mỗi giờ đặt câu hỏi tự vấn ('bạn đang thử ý tưởng mới hay chỉ chỉnh tham số?') để chống lối mòn tư duy, gợi ý hướng tiếp cận táo bạo hơn.
- Hệ thống thuê GPU tự động cho thí nghiệm AI: agent lập lịch chạy nhiều thí nghiệm song song, tự phân bổ ưu tiên tài nguyên cho thí nghiệm táo bạo, tránh xung đột CPU/GPU — tối ưu hóa chi phí điện toán cho lab và startup.
- Công cụ audit quỹ đạo AI cho môi trường đánh giá tự động: kiểm tra log hành vi của agent để phát hiện dấu hiệu thao túng kết quả (đọc test set, sửa script chấm điểm, hardcode output) trước khi chấp nhận kết quả, dùng được cho kỳ thi lập trình và tuyển dụng kỹ thuật từ xa.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28763 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28763 |
| PDF Download | https://arxiv.org/pdf/2610.28763.pdf |
| Github Repository | https://github.com/maszhongming/agent4sci |
26. Agentic World Action Models (13 votes)
Tác giả: Zhuoyang Liu, Dantong Niu, Botong Zhang, Boning Shao, Jing Wang, et al.
Xuất bản lúc: 2026-10-21
Tag: World Action Models, Robotics, Code Generation, Diffusion Models, Vision-Language-Action, Robot Manipulation
I. Main Problem:
World Action Models (WAM) — mô hình kết hợp dự đoán video tương lai với sinh hành động — có dự báo trực quan tốt nhưng thiếu cơ chế lập kế hoạch theo kỹ năng tái sử dụng: chúng không biết nên phân tách tác vụ dài hạn thành kỹ năng nào, tham số hóa và kết hợp chúng thế nào. Ngược lại, robot agentic (lập trình kế hoạch bằng code, dùng skill library) có cấu trúc tốt nhưng thiếu nền tảng dự đoán động lực học vật lý. Cả hai trường phái tồn tại tách rời, chưa có kiến trúc nào hợp nhất lập kế hoạch theo kỹ năng với dự đoán thế giới và điều khiển liên tục trong một mô hình duy nhất.
II. Main Idea:
AW-0 đưa code vào bên trong WAM bằng kiến trúc Mixture-of-Transformers với ba expert sinh đồng thời ba luồng tạo sinh:
- Code Expert: sinh chương trình kỹ năng có tham số hóa và logic điều khiển bằng masked-token diffusion (LLaDA-style), điều kiện hóa trên quan sát đa camera qua ViT của Qwen3-VL
- Video Expert: dự đoán frame tương lai bằng flow matching (khởi tạo từ Cosmos-Predict)
- Action Expert: sinh chunk hành động 64-D liên tục
Cả ba được denoise chung theo thứ tự nhân quả Code → Video → Action: code định hướng cả dự đoán hình ảnh lẫn lệnh động cơ trong suốt quá trình tạo sinh. Kèm theo là pipeline tự động gán nhãn (dùng Gemini 3.1 Pro + Claude Code với Opus 4.8) chuyển demo robot/người thành chương trình căn chỉnh thời gian và rút ra thư viện 50 skill tái sử dụng. Ở suy luận, mô hình còn có chế độ hybrid: nếu đoạn code vừa sinh hợp lệ thì chạy nó kiểu Code-as-Policies, không thì dùng action chunk trực tiếp.
Ví dụ đời thường: giống một đầu bếp vừa tưởng tượng ra món ăn thành phẩm (video), vừa viết công thức theo mục (code/skill), vừa tay trộn gia vị (action) — cả ba việc cùng lúc, công thức chỉ đạo cả tưởng tượng lẫn động tác tay; khi công thức chắc chắn thì giao cho phụ tá thực hành, không thì tự làm tay.
III. Main Results:
- RoboTwin 2.0 (50 tác vụ): AW-0 đạt 80.8% ở setting clean, hơn baseline mạnh nhất (WLA 64.8%) 16 điểm; trung bình hai setting 50.7%, cao nhất tổng thể.
- Chế độ hybrid tăng độ bền: ở setting random, success tăng từ 20.6% lên 29.2%, vượt cả VLA π0.5; giữ lại 46% hiệu suất so với 25% của chế độ mặc định.
- Thế giới thật (8 tác vụ, 2 nền tảng: gripper song song YAM + bàn tay khéo léo 22-DoF Tianji-Sharpa): rubric trung bình 71.1%, hơn baseline mạnh nhất 25.1 điểm; nổi bật ở tác vụ cần ngôn ngữ/ngữ nghĩa (Arrange Fruits 91.7%, Flip Scoreboard 68.8%).
- Ablation:
- Thứ tự chú ý C→V→A tốt hơn V→C→A và bỏ code hẳn
- Điều kiện hóa code bằng ViT vượt VAE features (71.1% vs 55.6%)
- Code đầy đủ (có comment + skill call) vượt code cắt bớt và vượt subgoal ngôn ngữ thuần
- Joint denoising vượt autoregressive 7/8 tác vụ (71.1% vs 54.5%) và nhanh 2.39× (0.23s vs 0.55s), chỉ thêm 0.04s so với không dùng code.
IV. Conclusion & Future Works:
AW-0 chứng minh code là xương sống ngữ nghĩa nối lập kế hoạch, dự đoán thế giới và thực thi: sinh code cải thiện dự đoán hành động trong world model, và code từ world model lại được tái sử dụng trong framework agentic. Hybrid execution cho thấy kết hợp skill program với action chunk tăng robustness. Hướng tương lai: hệ thống agentic tự cải thiện liên tục qua tương tác vòng lặp giữa lập kế hoạch chương trình, dự đoán thế giới và thực thi.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng pipeline khám phá skill tự động sang môi trường mở: agent tự viết, thực thi và sửa chữa chương trình điều khiển, đồng thời dùng video dự đoán để kiểm chứng kế hoạch trước khi hành động.
- Nghiên cứu cơ chế self-improvement: mô hình tự thu thập thất bại thực tế, sinh skill mới bổ sung vào thư viện và tinh chỉnh lại chính mình theo chu trình lặp.
- Khám phá thứ tự và cách trộn các luồng tạo sinh (code, video, action) cho tác vụ dài hạn nhiều bước, nơi bộ nhớ kế hoạch và điểm replanning quyết định hiệu suất.
2. Patent:
- Trợ lý robot gia đình có kho kỹ năng lập trình: người dùng nói "gấp chăn", robot sinh chương trình từ thư viện kỹ năng đã học (nắm, kéo căng, gập mép), dự đoán hình ảnh trước từng bước để tự kiểm và điều khiển tay thực hiện.
- Hệ thống huấn luyện robot qua video điện thoại: quay video người làm việc nhà bằng điện thoại, hệ thống tự gán nhãn chương trình từng đoạn, rút ra kỹ năng lặp lại thành thư viện để robot khác cùng dùng.
- Robot hai tay lắp ráp linh kiện với chế độ lai an toàn: mỗi lần lập kế hoạch lại, robot kiểm tra đoạn chương trình vừa sinh; hợp lệ thì chạy chương trình, sai thì tự động quay về điều khiển trực tiếp, giảm rủi ro hỏng hàng hóa.
- Module dạy robot tác vụ mới không lập trình: kỹ thuật viên chỉ cần làm mẫu vài lần, hệ thống tự trích chương trình con và đăng ký skill mới vào thư viện chung của nhà máy.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.30136 |
| ArXiv Abstract | https://arxiv.org/abs/2610.30136 |
| PDF Download | https://arxiv.org/pdf/2610.30136.pdf |
| Github Repository | N/A |
27. CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction (12 votes)
Tác giả: Bing He, Jingnan Gao, Yunuo Chen, Zhengxue Cheng, Rong Xie, et al.
Xuất bản lúc: 2026-10-09
Tag: 3D Gaussian Splatting, Feedforward Reconstruction, Novel View Synthesis, Quadtree, Sparse Views, Scene Compression, NeurIPS
I. Main Problem:
Các phương pháp feedforward 3D Gaussian Splatting hiện có (pixelSplat, MVSplat, DepthSplat...) đều gán một hoặc nhiều Gaussian cho mọi pixel một cách đồng nhất, dù vùng ảnh có phức tạp hay phẳng. Hệ quả:
- Dư thừa không gian lớn: hàng nghìn primitive lãng phí ở vùng đồng nhất (tường trống, sàn phẳng).
- Không tận dụng prior hình học của bề mặt phẳng, dẫn tới mô hình cấu trúc kém tối ưu.
- Chi phí lưu trữ và bộ nhớ cao, khó triển khai trên thiết bị hạn chế tài nguyên.
II. Main Idea:
CompactSplat phá vỡ ràng buộc 1-pixel-1-Gaussian bằng cách phân bổ Gaussian theo độ phức tạp kết cấu ảnh, gồm hai thành phần bổ trợ:
- Texture-Aware Partitioner (TAP): phân hoạch ảnh bằng quadtree — vùng kết cấu phức tạp (độ chênh cường độ trong block vượt ngưỡng τ) bị chia đệ quy thành 4, vùng phẳng dừng sớm ở block lớn. Ngưỡng τ là núm xoay duy nhất để điều khiển độ thưa tại inference mà không cần retrain.
- Hierarchical Pyramid Sampler (HPS): xây kim tự tháp thuộc tính Gaussian đa phân giải từ feature U-Net; mỗi node quadtree lấy mẫu ở đúng level tương ứng, và kích thước Gaussian được nhân với kích thước block — một Gaussian lớn trải phẳng lên cả mặt phẳng rộng, thay vì hàng loạt Gaussian nhỏ chồng lấn.
- Hai giai đoạn huấn luyện: khởi tạo hình học dày đặc (τ=0) rồi fine-tune với ngưỡng ngẫu nhiên để một bộ trọng số hoạt động được ở mọi mức độ thưa.
Ví dụ đời thường: giống người trang trí tường nhà — chỗ tường trống lớn chỉ cần vài miếng gạch lớn phủ nhanh, còn góc hoa văn cầu kỳ thì phải dùng gạch nhỏ xếp tỉ mỉ từng viên một.
III. Main Results:
Đánh giá trên RealEstate10K, ACID và kiểm chứng chéo trên DTU, DL3DV, ScanNet:
- RE10K (Ours-L): PSNR trung bình 26.39, đạt ngang/vượt DepthSplat (21.31) và SurfSplat (26.26) ở độ phân giải cao (512×512, 1024×1024), với chỉ ~72.6k Gaussian (GPP 0.554) so với 131.1k–393.2k của baseline — cắt gần một nửa số primitive.
- Đồng nhất ở độ phân giải cao: baseline thưa kiểu per-pixel xuất hiện vùng trống (hollow) và artifact độ sâu khi phóng ×2/×4; CompactSplat tạo hình học kín nước (watertight) nhờ Gaussian có scale điều chỉnh trải kín bề mặt.
- Kiểm soát độ thưa động: chỉnh τ tại inference liên tục di chuyển trên Pareto frontier — giảm GPP mạnh với suy giảm chất lượng gần như không đáng kể, cùng một checkpoint.
- Metric HRRC mới cùng PSNR/SSIM/LPIPS cho thấy chất lượng giữ vững ở mọi ngưỡng thưa.
IV. Conclusion & Future Works:
CompactSplat thay paradigm phân bổ primitive cứng nhắc theo pixel bằng phân bổ theo nội dung, đạt chất lượng state-of-the-art với số lượng primitive thấp hơn đáng kể và khả năng điều chỉnh độ thưa on-the-fly bằng một ngưỡng duy nhất. Đây là bước tiến tới biểu diễn 3D nhỏ gọn, tiết kiệm bộ nhớ cho các tác vụ downstream. Paper không nêu hướng tương lai cụ thể; hướng tự nhiên là mở rộng cho cảnh động, đầu vào không có pose camera, và tối ưu hóa phần cứng cho triển khai thời gian thực.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng CompactSplat cho cảnh động và video bằng cách thêm chiều thời gian vào quadtree phân hoạch, giữ nguyên khả năng điều khiển độ thưa theo từng khung hình.
- Kết hợp adaptive allocation với khung không cần pose camera (như VGGT/DUSt3R) để tái tạo 3D nhỏ gọn từ ảnh chụp điện thoại thông thường.
- Nghiên cứu nén thêm tham số Gaussian (mã hóa entropy, lượng tử hóa) trên nền phân bổ quadtree để đạt mức lưu trữ thấp hơn nữa cho streaming 3D.
2. Patent:
- Ứng dụng quét 3D trên điện thoại: chụp vài ảnh không gian phòng, điện thoại tái tạo mô hình 3D với số lượng khối Gaussian tự động thưa/phụ thuộc độ chi tiết của từng vùng ảnh, giảm dung lượng lưu trữ và tăng tốc hiển thị mà không cần xử lý lại.
- Hệ thống gọi video 3D thời gian thực: mỗi thiết bị chỉ truyền tập Gaussian thưa gọn của cảnh; bên nhận có thể xoay nút chất lượng để cân bằng giữa độ nét và băng thông ngay trong cuộc gọi, không cần đổi model hay gửi lại dữ liệu.
- Trợ lý thiết kế nội thất AR: ứng dụng trên kính thực tế ảo dựng lại căn phòng bằng các khối Gaussian lớn phủ tường/sàn và các khối nhỏ chi tiết ở đồ vật, cho phép người dùng trượt thanh độ chi tiết để chuyển đổi giữa chế độ xem nhanh nhẹn và chế độ xem sắc nét.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.13177 |
| ArXiv Abstract | https://arxiv.org/abs/2610.13177 |
| PDF Download | https://arxiv.org/pdf/2610.13177.pdf |
| Github Repository | https://github.com/hebing-sjtu/CompactSplat |
28. RealMe: Immersive Volumetric Video from Minimal Captures (12 votes)
Tác giả: Chenxu Zhou, Zhiyuan Yu, Yudong Jin, Yinji Shentu, Yu Zhang, et al.
Xuất bản lúc: 2026-10-21
Tag: Volumetric Video, Video Diffusion, Novel View Synthesis, 4D Gaussian Splatting, Super-Resolution, 3D Reconstruction
I. Main Problem:
Tạo volumetric video (video khối cho phép xem tự do mọi góc độ) đòi hỏi thiết lập ghi hình đa camera dày đặc, kiểm soát chặt, quá tốn kém để dùng ngoài thực tế. Khi chỉ có camera thưa, video chất lượng thấp (720p):
- Các phương pháp tối ưu 4DGS trực tiếp (FTGS) sụt chất lượng nghiêm trọng vì quan sát thiếu, không đủ ràng buộc vùng chưa nhìn thấy.
- Các phương pháp dùng mô hình sinh lỗi mâu thuẫn giữa các góc nhìn (mỗi view xử lý độc lập) và lỗi tích lũy giữa hai giai đoạn tạo ảnh → tái dựng.
- Mô hình sinh video hiện có bị giới hạn độ phân giải dưới 1K, chưa đạt chuẩn chất lượng cần thiết.
II. Main Idea:
RealMe nâng cấp capture thưa/thấp thành video 2K nhất quán theo 4 chiều (không gian + thời gian), rồi dùng chúng tái dựng volumetric video. Quy trình:
- Xây dựng dữ liệu phụ trợ: dựng một 4DGS thô từ capture → render video ở góc nhìn mới (cấu trúc hình học gần đúng); đồng thời cắt vùng ROI từ video gốc để giữ chi tiết cục bộ.
- Mô hình video diffusion độ phân giải cao: chuyển mô hình ảnh FLUX thành mô hình video bằng nhánh ControlNet nhận latent điều kiện + đặc trưng văn bản; chỉ huấn luyện ControlNet và LoRA, giữ nguyên phần còn lại.
- Layout-aware positional embedding: mở rộng ID vị trí 3 trục thành 4 trục (thời gian, góc nhìn, tọa độ latent) + RoPE, để phân biệt token trùng vị trí lưới nhưng khác frame/view.
- Factorized spatio-temporal attention: thay attention đầy đủ bằng attention tách riêng theo trục thời gian và trục không gian (view), giúp lan tỏa thông tin đúng cấu trúc capture → nhất quán 4D hơn.
- Latent frequency loss: giám sát trong miền tần số ở latent space, giữ cấu trúc tần số thấp trong khi khôi phục chi tiết tần số cao, thu hẹp khoảng cách giữa video sinh và capture thật.
- Video nâng cấp + capture gốc cùng tối ưu 4DGS cuối (FTGS).
Ví dụ đời thường: giống việc phục chế một bộ phim cũ mờ — thay vì tô vẽ từng khung hình riêng lẻ (sẽ lệch màu, giật cử động), người thợ xem đồng thời toàn bộ các góc máy và toàn bộ thời lượng để mọi khung hình 'khớp' cùng một không gian và chuyển động, rồi mới in ra bản 2K sắc nét.
III. Main Results:
- Vượt mọi baseline trên cả dataset RealVV tự thu và DNA-Rendering công khai: PSNR 27.27 vs 24.44 (Diffuman4D), LPIPS 0.162 vs 0.211 trên RealVV.
- Nhất quán 4D tốt hơn: PSNR_c 28.08 vs 26.71 của Diffuman4D — video sinh khớp capture gốc hơn khi tái dựng lại.
- Độ ổn định thời gian (TWE 0.0055) gần với baseline tối ưu (0.0030), tốt hơn hẳn các phương pháp sinh (0.032–0.045).
- Chỉ 4 camera vẫn đạt PSNR 24.93, bỏ xa 4C4D (19.04) và 4K4D (15.64).
- Nâng cấp chi tiết 2K sắc hơn STAR và FlashVSR: khôi phục chi tiết mặt, tóc, quần áo tự nhiên thay vì bị nhẵn mặt hay vân giả.
- Ablation: bỏ layout-aware PE hoặc factorized attention đều giảm cả chất lượng lẫn nhất quán; latent frequency loss tốt hơn bản image-space (vốn OOM ở 2K).
IV. Conclusion & Future Works:
RealMe chứng minh có thể giảm yêu cầu thiết bị ghi hình xuống mức thực dụng (vài camera thấp) vẫn tạo volumetric video 2K chất lượng cao, nhờ cơ chế: dựng dữ liệu phụ trợ → video diffusion có cấu trúc layout → latent frequency loss → tái dựng 4DGS. Hạn chế: dữ liệu huấn luyện đa góc chất lượng cao còn ít nên kém khái quát với cảnh lớn/camera phức tạp; thất bại khi capture không đủ manh mối hình học để dựng 4DGS thô. Hướng tương lai: mở rộng dữ liệu huấn luyện và tăng tốc inference diffusion độ phân giải cao.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng RealMe cho cảnh quang mở và camera dài tiêu cự thay đổi bằng cách học prior hình học mạnh hơn, giảm phụ thuộc vào khởi tạo 4DGS thô.
- Kỹ thuật nén/giảm bước diffusion để inference video 2K đa view đạt tương tác thời gian thực trên phần cứng tiêu dùng.
- Tự động thu thập và lọc dataset đa view quy mô lớn từ nguồn video sẵn có bằng kiểm chứng chéo nhất quán 4D.
- Tổng quát hóa factorized attention theo layout cho các tác vụ enhancement khác như frame interpolation và deblurring đa camera.
2. Patent:
- Ứng dụng điện thoại quay video hologram 3D từ 2-4 camera thường: app dựng mô hình 4D của người/người thân, nâng cấp lên 2K rồi tái tạo video khối để xem bằng kính VR hoặc xoay trên màn hình điện thoại.
- Hệ thống telepresence 3D cho họp trực tuyến: vài camera rẻ tiền quanh người nói, máy chủ tạo video khối nhất quán theo thời gian thực, người ngồi đối diện 'nhìn quanh' được người đang nói như ngồi cùng phòng.
- Chụp hologram kỷ niệm gia đình bằng vài điện thoại đặt cố định: dịch vụ đám mây nhận video thô, trả về mô hình 3D động của cả gia đình có thể xem từ mọi góc.
- Module phục chế và tái hiện di sản văn hóa sống động: từ footage lịch sử chụp từ ít góc, mô hình khôi phục video khối độ phân giải cao cho bảo tàng thực tế ảo.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.30023 |
| ArXiv Abstract | https://arxiv.org/abs/2610.30023 |
| PDF Download | https://arxiv.org/pdf/2610.30023.pdf |
| Github Repository | https://github.com/zju3dv/RealMe |
29. Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally (12 votes)
Tác giả: Zhizhuo Kou, Jian Yang, Pengfei Hao, Junyu Luo, Jingshu Peng, et al.
Xuất bản lúc: 2026-10-15
Tag: Reasoning Models, Pragmatics, Scalar Implicature, Test-Time Compute, LLMs, Chain-of-Thought
I. Main Problem:
Người nghe thường hiểu "some students passed" theo nghĩa không phải tất cả đều đậu — dù về mặt logic, some vẫn đúng ngay cả khi tất cả đều đậu (hiện tượng scalar implicature của Grice). Các reasoning model hiện nay cho phép người dùng điều chỉnh mức độ suy nghĩ (thinking budget), nhưng chưa ai biết việc suy nghĩ nhiều hơn làm thay đổi thế nào cách model hiểu ý nghĩa thực sự của người nói. Các benchmark hiện tại chỉ đo độ chính xác, không đo cách diễn giải — trong khi cả hai cách đọc (theo ngữ nghĩa học hay theo ngữ dụng học) đều hợp lệ, nên accuracy không thể phân biệt model "hiểu sai ý" với "kém năng lực".
II. Main Idea:
Tác giả giữ nguyên trọng số model, chỉ xoay một "núm xoay" duy nhất: mức suy nghĩ — như thí nghiệm liều–đáp ứng (dose–response). Hai công cụ kết hợp:
- Dose protocol: cùng model trả lời với thinking tắt / ngân sách B token / tự nhiên, ghi lại cách đọc được chọn (pragmatic vs literal) cho các từ logic (some, or, modal), thang từ vựng (good/excellent), presupposition và câu trả lời gián tiếp.
- Trace diagnostic: cắt chuỗi suy nghĩ của model tại các điểm t = 0, 32, ..., 2048 token, ép trả lời ở mỗi điểm cắt để xem cách đọc thay đổi ở đâu trong trace.
Kết quả cốt lõi: suy nghĩ đóng vai trò "lăng kính logic" — model hủy (cancel) implicature của some (→ 'không phải tất cả') và or (→ 'không phải cả hai') ở 30/40 model mở và cả GPT-5, trong khi suy luận dựa ngữ cảnh (câu trả lời gián tiếp, presupposition) lại cải thiện. Trace cho thấy cơ chế: model ban đầu "mua" cách đọc giàu nghĩa (entertain), rồi về sau mới hủy nó (cancel) khi kiểm tra điều kiện logic chặt — đúng với lý thuyết default-and-cancel của Levinson hơn là lý thuyết effort. Khắc phục khám phá: lấy câu trả lời sau 128 token đầu của trace (khi implicature còn được giữ) thay vì trace hoàn chỉnh.
Ví dụ đời thường: giống như người đọc tin "vài học sinh đậu" — phản xạ đầu tiên là nghĩ ngay "chắc không hết", nhưng càng ngồi phân tích chữ nghĩa kỹ, người đó càng tự bắt bẻ "kỹ thuật thì 'vài' vẫn đúng dù cả lớp đậu", rồi chốt theo nghĩa máy móc và bỏ qua ý người viết tin.
III. Main Results:
- Thinking hủy implicature: 30/40 open reasoning model đọc some/or nghĩa đen hơn khi suy nghĩ (ví dụ Qwen3-8B: −28.2 pp cho some, −36.4 pp cho or; Qwen3-32B: −51.3/−46.5 pp; GPT-5: −20.6/−18.8 pp với effort cao vs thấp). 47/48 hiệu ứng sống sót sau Holm correction.
- Phân hóa theo loại suy luận: presupposition +22.2 pp, ngôn ngữ hình tượng Fig-QA +10.7 pp, câu trả lời gián tiếp Circa +17.5 pp — suy nghĩ giúp suy luận ngữ cảnh nhưng hủy implicature từ logic. Thang từ vựng ở model lớn cũng giàu nghĩa hơn (+4 đến +5.5 pp từ Qwen3-8B trở lên).
- Entertain-then-cancel trong trace: với Qwen3-8B, cách đọc some tăng từ 35.8% (rỗng) lên 52.0% ở 128 token, rồi rơi còn 1.1% ở cuối trace; 67.4% trace có quỹ đạo pragmatic→literal. Qwen3-32B chỉ có pha "cancel" (không có pha tăng đầu). DeepSeek-V4 và Claude Sonnet 4.6 đi ngược chiều ở một số format.
- Xuất phát từ post-training: mặc định nghĩa đen xuất hiện ở giai đoạn thinking-SFT (OLMo-3: 75.6% → 39.7%) hoặc DPO (Tülu-3: 46.2% → 14.1%); RL-Zero toán và distillation R1 không gây hiệu ứng này.
- Early-trace extraction: lấy câu trả lời sau 128 token đầu khôi phục độ chính xác felicity của some/or từ 1.2% lên 20.5% (Qwen3-8B) và 2.2% → 8.1% (DeepSeek-R1-0528-8B), không làm giảm độ chính xác nghĩa đen — vượt biện pháp prompt-based.
IV. Conclusion & Future Works:
Suy nghĩ dài hơn không làm model "thông minh ngôn dụng" hơn một cách đồng đều: nó chuyển model sang đọc từ logic theo logic, hủy các implicature thông dụng của some/or, đồng thời cải thiện suy luận cần ngữ cảnh. Đánh giá reasoning model phải báo cáo cách diễn giải được chọn song song với accuracy, và training cần giữ cách đọc theo ý người nói khi ngữ cảnh yêu cầu. Hướng tương lai: kiểm chứng biện pháp early-trace extraction trên nhiều dòng model và quy mô hơn, mở rộng sang ngôn ngữ không phải tiếng Anh, và can thiệp vào quá trình training (không chỉ inference) để giữ implicature.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích cơ chế 'entertain-then-cancel' ở cấp độ token: xác định chính xác đặc trưng nào trong trace (kiểm tra entailment, tính toán lượng từ) kích hoạt việc hủy implicature, qua phân tích causal intervention trên attention/heads.
- Mở rộng dose–response protocol sang lý thuyết tâm trí (Theory of Mind) và hội thoại đa lượt: đo cách thinking budget làm thay đổi khả năng suy luận niềm tin, mong muốn của người nói qua các lượt hội thoại.
- Phương pháp training giữ implicature cho reasoning model: kết hợp tín hiệu ngữ dụng vào SFT/DPO/RL để model vẫn nhận ra ý người nói ('không phải tất cả') ngay cả khi suy nghĩ dài, mà không hy sinh độ chính xác logic.
2. Patent:
- Trợ lý hội thoại trên điện thoại tự cân bằng nghĩa đen–nghĩa ẩn: ứng dụng chatbot phân tích câu hỏi; với các câu chứa từ như 'một số', 'hoặc', hệ thống lấy câu trả lời từ đoạn suy nghĩ ban đầu của model (trước khi bị hủy) hoặc gắn nhãn cảnh báo 'câu trả lời này hiểu theo nghĩa kỹ thuật', để người dùng không bị hiểu sai ý.
- Hệ thống chẩn đoán chất lượng diễn giải cho API model: dịch vụ kiểm thử tự động cho doanh nghiệp triển khai reasoning model, báo cáo 'chỉ số implicature' (mức độ model hiểu ý người nói vs nghĩa kỹ thuật) khi bật/tắt chế độ suy nghĩ, giúp lựa chọn cấu hình phù hợp với ứng dụng hội thoại.
- Bàn phím/IME thông minh gợi ý phản hồi ngữ cảnh: khi người dùng soạn tin nhắn chứa phát biểu thiếu thông tin ('vài bài test không đạt'), ứng dụng trên điện thoại gợi ý cách diễn giải có thể gây hiểu nhầm và đề xuất câu viết rõ ràng hơn, dựa trên mô hình đo khả năng implicature.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.21204 |
| ArXiv Abstract | https://arxiv.org/abs/2610.21204 |
| PDF Download | https://arxiv.org/pdf/2610.21204.pdf |
| Github Repository | https://github.com/kouzhizhuo/entertain-then-cancel |
30. SpatialBrain: Spatial Intelligence Growing from Experience (12 votes)
Tác giả: Yifan Zhou, Ziyang Gong, Xiaojun Ye, Yifei Liu, Donggang Li, et al.
Xuất bản lúc: 2026-10-21
Tag: Spatial Reasoning, Vision-Language Models, Agentic AI, Memory Systems, Self-Evolution, Tool Use, 3D Scene Understanding
I. Main Problem:
Các bài toán suy luận không gian cùng một cảnh nhưng đòi hỏi cách xử lý rất khác nhau: đọc trực tiếp thuộc tính, thiết lập hệ quy chiếu, hay dựng lại hình học từ nhiều góc nhìn. Khó khăn:
- Có công cụ (dựng 3D, đo khoảng cách, ước lượng tư thế) không có nghĩa là biết khi nào nên dùng — dựng lại mọi cảnh tốn chi phí và gây nhiễu, trả lời trực tiếp lại bỏ sót thông tin cần tích hợp liên góc nhìn.
- Trọng tâm chỉ có thể tái sử dụng (cách so sánh hướng tương đối), còn tọa độ cũ của từng cảnh thì không — cần giữ lại kinh nghiệm dùng tài nguyên mà vẫn neo mỗi câu trả lời vào cảnh hiện tại.
II. Main Idea:
SpatialBrain là framework agent suy luận không gian với backbone vision-language cố định (GPT-5.6-sol), tách ba thứ độc lập nhau:
- 3DFusionMemory: hợp nhất quan sát đa góc nhìn (đối tượng, tư thế, camera, lộ trình) thành scene graph 3D có thể truy vấn, kèm độ tin cậy và view hỗ trợ — được dựng lại cho mỗi cảnh.
- Spatial Skill Library: thủ tục công cụ tham số hóa (detect → reconstruct → query relation...) chứa cách thực hiện, tách khỏi tọa độ cảnh cụ thể.
- Spatial Cognition: kho kinh nghiệm chiến lược gắn điều kiện tác vụ (hệ quy chiếu, số view, nhu cầu đo lường) với quyết định từng dùng tài nguyên nào; chọn route (trực tiếp hay tool-assisted), chế độ memory, skill được phép, và kiểm chứng.
Sau mỗi block tác vụ, các trajectory hoàn thành được trừu tượng hóa thành bản ghi không chứa đáp án tham chiếu hay tọa độ cảnh, rồi cập nhật hai kho trên — quá trình gọi là self-evolution: trọng số mô hình không đổi, chỉ trạng thái kinh nghiệm bên ngoài thay đổi.
Ví dụ đời thường: giống người thợ lành nghề giữ một cuốn sổ tay — mỗi công trình (cảnh) xây xong là dỡ giàn giáo, nhưng ghi lại "kiểu nhà này nên đo đạc thế nào, sai ở đâu" để lần sau gặp nhà tương tự làm ngay đúng cách, không phải thử lại từ đầu.
III. Main Results:
- Trên 5 benchmark (MMSI, MindCube, OmniSpatial, SpaceDG, SAT): thắng direct answers của cùng backbone ở 4 benchmark, hòa 1; điểm trung bình tăng từ 67.5 → 72.6, vượt các framework agentic khác (GCA 63.2, SpatialClaw 65.3, Skill-3D 65.1).
- MindCube cải thiện mạnh nhất: +20.4 điểm phần trăm; số lỗi giảm 62.2% (344 → 130).
- Ablation trên MindCube: bỏ Skill Library → 76.7; bỏ 3DFusionMemory → 75.2; bỏ Spatial Cognition → 78.8; so với bản đầy đủ 87.6 — cả ba thành phần đều cần thiết.
- Phân tích coverage: 3DFusionMemory xuất hiện trong 50.6% tác vụ MMSI; kinh nghiệm tích lũy tới 165 task signatures trên MMSI trong khi số skill tham chiếu bão hòa ở 24 — kinh nghiệm mở rộng theo điều kiện tác vụ chứ không theo skill mới.
- Hạn chế: baseline khác protocol; chưa chứng minh self-evolution cải thiện tổng quát; sai số perception/geometry chưa hiệu chỉnh tốt; cần đo cả chi phí thu thập kinh nghiệm.
IV. Conclusion & Future Works:
SpatialBrain chứng minh có thể tách bằng chứng của cảnh hiện tại, phép tính tái sử dụng, và kinh nghiệm về khi nào dùng chúng quanh một backbone cố định, biến self-evolution thành quá trình có thể kiểm tra được thay vì fine-tune trọng số. Hướng tương lai: đánh giá so khớp (matched evaluation) đo đồng thời chất lượng câu trả lời và toàn bộ chi phí thu thập/sử dụng kinh nghiệm; hiệu chỉnh tốt hơn độ tin cậy của perception và geometry.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng self-evolution chiến lược sang tác vụ không gian thời gian thực (robot navigation, embodied QA) với kinh nghiệm cập nhật liên tục giữa các episode.
- Kết hợp Spatial Cognition với học chủ động: agent tự đề xuất skill mới từ các trajectory thất bại thay vì chỉ trừu tượng hóa mẫu lặp lại.
- Nghiên cứu định lượng đánh đổi chi phí token ↔ lợi ích kinh nghiệm để xác định khi nào tích lũy kinh nghiệm thực sự đáng giá trên các phân phối tác vụ khác nhau.
2. Patent:
- Trợ lý ảnh không gian trên điện thoại: người dùng chụp nhiều ảnh một căn phòng, ứng dụng hợp nhất thành bản đồ 3D có thể hỏi đáp ("cái nào gần sofa hơn?") với độ tin cậy từng đối tượng, và càng dùng nhiều càng chọn đúng cách đo cho từng kiểu câu hỏi.
- Hệ hướng dẫn đường trong nhà cho người khiếm thị: camera kính quay các góc, hệ thống dựng bộ nhớ 3D của tuyến đi (cầu thang, cửa, vật cản) và nhớ kinh nghiệm lỗi lầm trước (lần nào đọc sai hướng) để lần sau cảnh báo sớm và chính xác hơn.
- Ứng dụng thiết kế nội thất: người dùng tải ảnh nhiều góc phòng, hệ thống cho phép hỏi quan hệ vị trí đồ vật và tự học thói quen đo đạc của từng loại phòng, tái sử dụng quy trình đo cho dự án mới mà không lưu dữ liệu riêng tư của dự án cũ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29317 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29317 |
| PDF Download | https://arxiv.org/pdf/2610.29317.pdf |
| Github Repository | N/A |
31. Qwen-Audio-3.1-ASR Technical Report (12 votes)
Tác giả: Chuanmeng Bian, Daren Chen, Peixin Chen, Zhigao Chen, Chong Deng, et al.
Xuất bản lúc: 2026-10-20
Tag: ASR, Speech Recognition, Speaker Diarization, Audio-Language Models, Multilingual ASR, Audio Understanding, Streaming ASR, Mixture-of-Experts, Instruction Conditioning
I. Main Problem:
Phiên âm lời nói (ASR) truyền thống chỉ trả lời được nói gì, trong khi hệ thống âm thanh thực tế còn cần biết ai nói, khi nào và âm thanh chứa thông tin gì ngoài lời nói (tiếng động, âm nhạc, ngữ cảnh cảm xúc). Cách làm cổ điển là ghép nhiều khâu riêng lẻ (ASR + speaker diarization + timestamp) dễ làm mất cấu trúc hội thoại, sai khi người nói chen lời hoặc nói chồng lấn. Bên cạnh đó, triển khai sản xuất đặt ra nhiều ràng buộc khác nhau:
- streaming độ trễ thấp cho hiển thị thời gian thực
- xử lý file bất đồng bộ cho ghi âm dài
- phân tích offline giàu khả năng nhưng không áp dụng được cho các chế độ thời gian thực
II. Main Idea:
Một gia đình mô hình audio-language dùng chung một khung decoding tự hồi quy điều khiển bằng instruction: audio encoder → audio adapter → LLM decoder (kiến trúc MoE khởi tạo từ Qwen3) sinh output tuần tự theo đúng tác vụ được lệnh, thay vì ghép nhiều pipeline riêng.
- ASR đa ngôn ngữ: 30 ngôn ngữ, 16 phương ngữ Trung Quốc; có các nút điều khiển: ngữ cảnh lịch sử (historical context), hotword 2 tầng P0/P1 (tầng P0 là tên riêng chắc chắn, P1 là từ khả năng), và polishing bản gốc (bỏ tiếng lấp, lặp, tự sửa lỗi).
- Speaker-Diarized ASR: output tuần tự dạng
[SPK|start-end]text— giữ nhãn người nói nhất quán xuyên suốt, cho phép khoảng thời gian chồng lấn, tất cả do một decoder sinh ra trong một lượt. - General audio understanding (biến thể Next): captioning, temporal grounding, sound event detection, audio QA dạng tự do và trắc nghiệm.
- Hai kỹ thuật huấn luyện then chốt: nhân trọng số loss ×10 cho token nhãn người nói (chúng chiếm 2.9% token nhưng chỉ đóng góp 1.97% loss tự nhiên) và lượng tử hóa timestamp theo lưới 80ms khớp frame rate 12.5Hz của encoder thay vì giữ độ phân giải 1ms thô.
Ví dụ đời thường: giống thư ký tòa án vừa gõ nội dung vừa ghi chú ai nói câu nào, lúc nào trong một lượt duy nhất — thay vì một người ghi chép đống lời rồi người khác ngồi nghe lại đoán từng câu của ai.
III. Main Results:
- Đa ngôn ngữ (GigaSpeechBench, 7 ngôn ngữ): lỗi trung bình 15.09%, giảm 32.9% tương đối so với Qwen-Audio-3.0-ASR (22.50%); vượt Doubao-ASR (22.76), Muse-Voice (23.11), Gemini-3.1-Pro (27.69).
- Speaker-diarized ASR: cpWER trung bình 14.12% (Flash) và 12.93% (Next) trên AISHELL-4, AliMeeting-test, MLC-SLM, MagicData-RAMC — thấp nhất nhóm so với MOSS-Transcribe-Diarize (15.13), Azure MAI-Transcribe-2 (20.13), Gemini-3.5-Transcribe (32.48).
- Audio understanding (Next): MMAU 81.60% (cao hơn Gemini-3.1-Pro 80.90), MMSU 82.24%.
- Ablation huấn luyện: reweighting token nhãn người nói ×10 + lượng tử hóa timestamp 80ms cải thiện rõ cả DER lẫn cpWER và hội tụ nhanh hơn hẳn so với giữ timestamp 1ms nguyên bản.
- Quy trình huấn luyện 6 giai đoạn với khoảng 20 triệu giờ audio cho Audio LLM pretraining và ~1 triệu giờ cho cooldown; hợp nhất nhiều teacher qua Multi-Teacher On-Policy Distillation.
IV. Conclusion & Future Works:
Khung instruction-controlled decoding một cửa cho phép cùng một kiến trúc phục vụ cả phiên âm thuần, phiên âm có tách người nói lẫn hiểu âm thanh tổng quát; báo cáo tách bạch rõ bốn khía cạnh: chất lượng nhận dạng, cấu trúc output, hiểu âm thanh và cấu hình triển khai. Hạn chế được nêu thẳng: speaker diarization và audio understanding chưa có ở biến thể streaming/Message do bản chất cần nghe toàn bộ đoạn âm thanh. Hướng phát triển tự nhiên là đưa hai khả năng này xuống chế độ streaming độ trễ thấp (giữ nhãn người nói ổn định khi dữ liệu đến từng phần), nâng độ phân giải thời gian cho temporal grounding, và mở rộng polishing/hotword cho các ngôn ngữ ít tài nguyên hơn.
V. Brainstorming Space:
1. Publish Papers:
- Tách người nói trong chế độ streaming độ trễ thấp: mở rộng speaker-diarized ASR từ non-streaming sang decoding tăng dần với nhãn người nói ổn định, cơ chế xử lý lời nói chồng lấn khi chỉ có một phần đầu của đoạn âm thanh.
- Nghiên cứu hệ thống về reweighting loss theo loại token cho output có cấu trúc: định lượng quy tắc đặt trọng số cho các token hiếm nhưng mang thông tin chính (nhãn người nói, ranh giới thời gian) trong tác vụ audio đa tầng.
- Phân tích Multi-Teacher On-Policy Distillation cho mô hình audio-language: cơ chế hợp nhất năng lực của nhiều teacher thành một model duy nhất bao phủ cả nhận dạng, diarization và hiểu âm thanh.
- Khung lượng tử hóa thời gian theo frame rate cho temporal grounding: kiểm chứng lưới 80ms trên các bài toán định vị sự kiện âm thanh và hướng nâng độ phân giải mà không phá vỡ khả năng hội tụ.
2. Patent:
- Ứng dụng ghi chép cuộc họp trên điện thoại: ghi âm cuộc họp hoặc cuộc gọi hội nghị và tự tạo biên bản có ghi rõ ai nói câu nào, bắt đầu lúc nào, kết thúc lúc nào, kể cả khi hai người nói chồng lên nhau — phân biệt được từng giọng trong đoạn ghi âm đơn micro.
- Nhận diệtên riêng bằng danh sách ưu tiên hai tầng: người dùng nhập tên riêng, tên công ty, thuật ngữ chuyên ngành theo hai mức độ chắc chắn; ứng dụng ghi âm/voice typing ưu tiên chính xác các tên ở tầng cao khi âm thanh mơ hồ, thay vì gán bừa từ phổ thông nghe giống.
- Chế độ văn bản sạch cho tin nhắn thoại: tự động bỏ tiếng lấp (ừm, à), gãy lặp, và tự sửa lỗi nói lộn (ví dụ thứ Năm, xin lỗi, thứ Tư thành thứ Tư) ngay khi người dùng gửi voice message, giữ nguyên ý cuối cùng của người nói.
- Hỏi-đáp về âm thanh xung quanh thiết bị: người dùng hỏi điện thoại tiếng gì đang kêu trong nền, bài hát đang phát là gì, ai đang nói trong đoạn ghi âm — thiết bị trả lời dựa trên nội dung âm thanh thực tế ở dạng câu trả lời tự do hoặc trắc nghiệm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28711 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28711 |
| PDF Download | https://arxiv.org/pdf/2610.28711.pdf |
| Github Repository | N/A |
32. Think Harder Where It Matters: Item-Level Adaptive Recursion for Sequential Recommendation (11 votes)
Tác giả: Zhanshuo Cao, Jiakai Tang, Yuqi Zhou, Sunhao Dai, Jun Xu
Xuất bản lúc: 2026-10-21
Tag: Sequential Recommendation, Adaptive Computation, Early Exit, Looped Transformer, Weight Sharing, Recommender Systems
I. Main Problem:
Các mô hình sequential recommendation hiện nay thường xếp chồng một số cố định lớp và áp cùng một ngân sách tính toán cho mọi item trong lịch sử tương tác. Điều này giả định rằng mọi item đều cần xử lý sâu như nhau, trong khi lịch sử người dùng rất không đồng nhất: nhiều item mang tính lặp lại, ít thông tin; một số ít là tương tác mới, hiếm hoặc quan trọng lại quyết định mục đích hiện tại. Hệ quả là mô hình lãng phí tính toán trên item đã ổn định nhưng lại thiếu xử lý sâu cho item thật sự cần suy luận, làm giảm chất lượng ranking item tiếp theo.
II. Main Idea:
LoopRec thay cụm lớp cố định bằng một block backbone dùng chung được tái sử dụng lặp lại, ký hiệu dạng LxRy: mỗi vòng lặp áp x lớp và tối đa y vòng. Ba bước chính:
- Initial Context Encoding: chạy block dùng chung một lần để tạo trạng thái có ngữ cảnh cho toàn bộ chuỗi.
- Depth-Routed Recursion: ở mỗi biên giới vòng lặp, một gate nhị phân nhẹ xem trạng thái hiện tại của từng item cùng embedding của chỉ số vòng lặp; item đủ ổn định thì exit, item còn cần ngữ cảnh tiếp tục được đưa qua block dùng chung lần nữa.
- Depth-Specific Readout: item dừng ở độ sâu nào sẽ đọc trạng thái ở độ sâu đó, giữ residual về input token để tạo representation cuối.
Vì mọi độ sâu dùng chung tham số, item dừng sớm hay muộn vẫn nằm trong cùng không gian đặc trưng. Huấn luyện giữ mục tiêu next-item prediction, thêm load-balancing loss để tránh collapse về một độ sâu, z-loss để gate không quá cứng quá sớm, và warm-up bắt đầu ở độ sâu tối đa trước khi bật routing.
Giống như chấm bài: câu trả lời rõ ràng thì duyệt nhanh và duyệt ít, còn câu mơ hồ mới đọc lại nhiều lần; LoopRec làm điều tương tự với từng item thay vì đọc mọi câu cùng số lần.
III. Main Results:
- Phân tích chẩn đoán: trên SASRec 3 lớp, 76.14% item bão hòa sau 1 lớp, 93.28% bão hòa trong tối đa 2 lớp, nhưng 6.72% cần đủ 3 lớp; hai cực thường xuất hiện trong cùng một chuỗi.
- Oracle linh hoạt cải thiện khoảng +7.1% NDCG@20, +6.5% MRR@20, +8.8% HR@20 so với phân bổ độ sâu cố định; phân bổ cố định chỉ tối ưu ở 4.6% chuỗi.
- Hiệu năng chính: trên 3 dataset Amazon Software, Office, Patio và 4 backbone SASRec, BSARec, NextItNet, LRURec, LoopRec cải thiện cả 48 so sánh, trong đó 44 khác biệt có ý nghĩa; biên độ từ 0.69% đến 49.07%.
- NextItNet hưởng lợi mạnh nhất trên Office và Patio: NDCG@20 tăng 13.18% và 37.02%; Patio - dataset thưa nhất - có mức tăng NDCG@20 trung bình 11.14% theo backbone.
- Routing có diễn giải: item gần mục tiêu và item hiếm nhận vòng lặp sâu hơn; item xuất hiện 1 lần có độ sâu trung bình 2.160, item xuất hiện 100+ lần chỉ 1.330. Pattern này khớp với saturation depth đo từ mô hình cố định.
- Chi phí: lượng tính toán encoder chỉ còn 0.407-0.755x baseline cố định; latency thực tế khoảng 0.869-0.995x, nghĩa là tiết kiệm FLOPs rõ hơn tiết kiệm thời gian chạy.
IV. Conclusion & Future Works:
Bài báo chứng minh rằng độ sâu tính toán nên là thuộc tính theo từng item, không phải hằng số toàn cục. LoopRec biến ý tưởng này thành một framework chung: dùng lại backbone có chia sẻ trọng số và để gate học quyết định dừng hay tiếp tục cho từng vị trí lịch sử. Kết quả cho thấy cải thiện ranking ổn định trên nhiều kiến trúc, đồng thời routing học được tập trung tính toán vào item hiếm và tương tác gần đây - đúng nhóm mà phân tích bão hòa cho thấy cần xử lý sâu. Hướng mở: học ngân sách vòng lặp tối đa thay vì cố định trước huấn luyện, thiết kế kernel/sparsity-aware để tận dụng item dừng sớm, và mở rộng cho chuỗi dài, retrieval-candidate ranking hoặc ràng buộc latency/battery trên thiết bị biên.
V. Brainstorming Space:
1. Publish Papers:
- Dynamic recursion budget cho sequential recommendation: thay vì cố định số vòng lặp tối đa, mô hình điều chỉnh ngân sách tính toán theo độ khó của session, độ không chắc của dự đoán và ràng buộc độ trễ trên thiết bị.
- Kernel-aware adaptive routing: thiết kế pipeline thực thi sparse/early-exit cho shared recursive recommender trên GPU và mobile, biến item dừng sớm thành tiết kiệm latency thật thay vì chỉ tiết kiệm FLOPs.
- Tích hợp item-level adaptive recursion với giai đoạn retrieval/candidate generation trong recommender pipeline lớn, kiểm tra liệu phân bổ tính toán sớm có làm tăng chất lượng re-ranking không.
- Mở rộng LoopRec cho dữ liệu đa hành vi, nhiều loại tương tác và chuỗi rất dài bằng cách kết hợp hierarchical memory với depth routing theo từng đoạn lịch sử.
- Phân tích lý thuyết và thực nghiệm về điều kiện hội tục của binary exit gate dưới objective ranking, đặc biệt khi item hiếm - mới thường nhận compute sâu hơn.
2. Patent:
- Hệ thống gợi ý nội dung trên điện thoại tiết kiệm pin: ứng dụng xếp hạng video, tin tức hoặc sản phẩm chạy một block mô hình dùng chung nhiều lần; mỗi mục lịch sử được gate tự quyết định dừng sớm nếu đã đủ rõ ngữ cảnh, còn mục mới, hiếm hoặc gần thời điểm hiện tại được xử lý sâu thêm để tăng độ chính xác mà giảm năng lượng tiêu thụ.
- SDK ranking thích ứng cho ứng dụng thương mại điện tử: một khối mô hình chung tái sử dụng lặp lại, với ngưỡng dừng học được theo từng item; trên máy yếu SDK tự giảm số vòng lặp, trên máy mạnh hoặc server tăng vòng lặp cho item bất thường, giúp cùng một kiến trúc phục vụ nhiều mức hiệu năng thiết bị.
- Phương pháp cân bằng tải giữa điện thoại và đám mây cho gợi ý cá nhân hóa: thiết bị xử lý sơ bộ và làm sạch chuỗi, gửi lên cloud chỉ các item còn active sau vòng sơ bộ; server chạy block dùng chung thêm nhiều vòng cho các item chưa chắc, rồi trả candidate ranking về điện thoại.
- Cơ chế chống quá nhiệt khi gợi ý real-time: giám sát nhiệt độ và năng lượng pin của điện thoại, khi thiết bị nóng hoặc pin thấp thì tăng tỷ lệ early-exit cho item thông dụng, giữ compute sâu chỉ cho item có tín hiệu khác thường để duy trì trải nghiệm mượt.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.30128 |
| ArXiv Abstract | https://arxiv.org/abs/2610.30128 |
| PDF Download | https://arxiv.org/pdf/2610.30128.pdf |
| Github Repository | https://github.com/Elpmis117/LoopRec |
33. Evolving with Open Worlds: Towards Recursive Self-Improvement for Future Forecasting (11 votes)
Tác giả: Zhipeng Chen, Yunsen Liang, Yanxi Chen, Hongkang Zhao, Lingyun Feng, et al.
Xuất bản lúc: 2026-10-21
Tag: Recursive Self-Improvement, LLM Agents, Future Forecasting, Reinforcement Learning, Skill Distillation, Agent Evolution, Open-Ended Learning
I. Main Problem:
Các hệ thống AI hiện nay đóng băng tham số khi phát hành, chỉ cải thiện qua cập nhật bên ngoài, không tự học từ kinh nghiệm của chính mình. Nghiên cứu Recursive Self-Improvement (RSI) đòi hỏi một môi trường:
- liên tục thay đổi để tạo thử thách mới
- xác minh được tiến bộ mà không cần con người phán xét
- gắn với thực tế, không phải dataset cố định
Dataset tĩnh không thỏa mãn: không tự làm mới thử thách, không tự chấm điểm, dễ bị ghi nhớ hoặc contaminate. Self-training thiếu ground truth bên ngoài, continual learning chỉ xử lý task stream nhân tạo, RL cho reasoning tối ưu từng task nhưng không tạo cải thiện cộng dồn theo thời gian.
II. Main Idea:
EVOFORESIGHT — hệ thống agent tiến hóa bền vững gồm 3 module khép thành vòng lặp kín:
- PROMETHEUS (môi trường dữ liệu sống): liên tục thu thập tin tức thực tế từ 125 trang web, tổng hợp thành câu hỏi dự báo có ground truth tự xác minh khi sự kiện diễn ra
- BRANCHUS (agent dự báo): tách search team (thu thập bằng chứng, nhạy thời gian) khỏi predict team (suy luận xác suất trên bằng chứng đã cache, không phụ thuộc thời gian) — giúp huấn luyện tránh contamination khi đáp án đã lộ trên web
- ATHENA (engine tiến hóa đệ quy): cập nhật tham số qua RLVR (reinforcement learning với reward từ kết quả thực), chưng cất skill từ trajectory, và tổng hợp task khó hơn nhắm vào điểm yếu của agent
Logic hướng: môi trường là nguồn kinh nghiệm, tham số và skill là hai dạng tiến hóa cùng đúc từ một nền là các trajectory dự báo; cả ba ghép thành vòng lặp tự nuôi dưỡng, môi trường tiến hóa để agent tiếp tục tiến hóa.
Ví dụ đời thường: giống như nhà dự báo thời tiết lão luyện — mỗi ngày đọc tin tức, đưa ra dự đoán kèm xác suất, hôm sau đối chiếu với thực tế, rút bài học ghi vào sổ tay kinh nghiệm, và cách phân tích ngày càng chính xác hơn theo từng tuần.
III. Main Results:
- Đứng đầu bảng xếp hạng FutureX 3 tuần liên tiếp, cải thiện rating tới 195% so với điểm xuất phát
- Top 3 trên cả 4 LLM nền (Qwen3.8-Max, GPT-5.6-Sol, DeepSeek-V4-Pro, Claude-Opus-4.6), vượt baseline mạnh nhất tới +10.7 Bradley-Terry — nhất quán vì chấm điểm theo kết quả thực tế
- Lợi thế đến từ calibration, không phải đoán trúng: đạt Brier tốt nhất 3/4 block, relative WIS tốt nhất trên 2 model — xác suất phản ánh đúng bằng chứng thay vì đoán liều
- RLVR cải thiện calibration 0.31–0.38 trong khi accuracy chỉ tăng ~1.3 điểm — chứng tỏ tín hiệu huấn luyện sạch, không bị rò rỉ đáp án
- Skill distillation từ vài trăm trajectory sống (88 → 186 → 262) hạ Brier từ 0.135 xuống 0.122, MAPE từ 2.80% xuống 2.28% — không chạm vào trọng số
- Cải thiện cộng dồn qua từng vòng: training set tăng 600 → 1000 ví dụ, Brier và WIS giảm đều ở cả hai round; phủ topical mở rộng gần gấp 3 (168 → 479 lĩnh vực)
- Tách search/predict đóng shortcut on-policy: mọi lợi ích RLVR đến từ suy luận tốt hơn trên cùng dữ liệu, không phải tự tạo bằng chứng gợi ý đáp án
IV. Conclusion & Future Works:
Kết luận chính: RSI bền vững không đến từ một đòn bẩy đơn lẻ (weights, prompt hay memory) mà từ ba đòn bẩy tiến hóa đồng thời — môi trường sống, tham số, skill — cùng đúc từ một nguồn kinh nghiệm. Môi trường sống là điều kiện không thể thiếu: nó cung cấp reward để mài tham số, trajectory để chưng cất skill, và khả năng tự viết lại thành task khó hơn.
Hướng chuyển dịch lớn: từ huấn luyện mô hình tĩnh trên dataset cố định sang nuôi dưỡng agent tiến hóa trong môi trường sống, với tiêu chí thành công mới là tốc độ, trần và độ bền của sự cải thiện.
Giới hạn công khai: phụ thuộc chất lượng/số lượng kinh nghiệm có sẵn, đánh giá horizon dài tốn kém, và ổn định dưới non-stationary drift chưa được đảm bảo.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng vòng lặp co-evolution cho các miền khác có tính grounded, verifiable, non-stationary: dự báo dịch bệnh, biến động thị trường, tiến độ khoa học — nơi kết quả tự xác minh theo thời gian.
- Nghiên cứu cách kết hợp tối ưu giữa internalize (RLVR cập nhật trọng số) và externalize (skill distillation) — hai trục đã chứng minh cùng tác động lên calibration và có thể bổ sung lẫn nhau.
- Phát triển cơ chế ổn định agent dưới môi trường drift dài hạn, để chuỗi cải thiện không suy giảm khi phân phối thế giới thay đổi liên tục.
- Kỹ thuật giảm chi phí đánh giá cho các tác vụ horizon dài, hiện là nút thắt khiến vòng lặp tiến hóa khó mở rộng quy mô.
2. Patent:
- Ứng dụng dự báo cá nhân trên điện thoại: tự đặt câu hỏi về sự kiện sắp tới (giá crypto, tỷ số thể thao, thời tiết), lưu dự đoán kèm xác suất, đối chiếu kết quả thực tế hôm sau và điều chỉnh cách phân tích — độ chính xác tăng dần theo thời gian dùng mà không cần cập nhật app.
- Trợ lý đầu tư tự cải thiện: ghi lại từng dự đoán cổ phiếu cùng luồng lập luận, khi thị trường đóng cửa sẽ tự chấm điểm, rút ra bài học thành 'mẹo phân tích' cá nhân hóa và đưa khuyến nghị tốt hơn mỗi tuần.
- Bảng tin thông minh có tính năng dự báo: mỗi ngày đọc tin tức, đặt câu hỏi dự đoán về tin tức cho người dùng, xác minh khi sự kiện diễn ra, và học từ hàng nghìn lượt tương tác để đưa tin dự báo ngày càng sát thực tế.
- Hệ thống lên lịch thông minh tự học: dự đoán thời điểm tối ưu để nhắc nhở người dùng (tập thể dục, uống thuốc, thanh toán) dựa trên hành vi quá khứ, tự tinh chỉnh từ phản hồi thực tế thay vì rule cố định.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29784 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29784 |
| PDF Download | https://arxiv.org/pdf/2610.29784.pdf |
| Github Repository | https://github.com/RUCAIBox/DeepEvolve |
34. From RL Papers to Framework Code: Inclusion and Review in Seven Open-Source Training Frameworks (10 votes)
Tác giả: Taiheng Pan
Xuất bản lúc: 2026-10-20
Tag: Reinforcement Learning, LLMs, Open-Source Software, Training Frameworks, Research Evaluation, Reproducibility
I. Main Problem:
Nghiên cứu học tăng cường cho mô hình ngôn ngữ tăng rất nhanh, nhưng lối vào thực tiễn bị kiểm soát bởi framework huấn luyện. Người dùng thường chỉ có thể dùng một phương pháp khi nó đã trở thành lựa chọn trong framework; vì vậy bài báo có thể được trích dẫn nhiều nhưng vẫn không thành một thay đổi trong mã framework.
- Khoảng trống chưa đo: công bố, phát hành mã và được framework tích hợp là ba kết quả khác nhau, nhưng tỉ lệ tích hợp trước đây chưa được đo.
- Áp lực cung: số bài đề xuất phương pháp tăng mạnh, trong khi khả năng hấp thụ của framework có giới hạn.
- Thiếu bằng chứng công khai: nhiều bài không xuất hiện trong issue hoặc pull request, nên không rõ chúng bị từ chối, bị bỏ qua hay chỉ thảo luận ngoài luồng công khai.
- Người dùng ít báo cáo sự cố: các lỗi huấn luyện thực tế hiếm khi được ghi lại đúng nơi framework có thể phản hồi.
II. Main Idea:
Đo “framework inclusion” bằng cách truy vết từ bài báo đến mã nguồn chính của framework. Thay vì hỏi phương pháp có hoạt động hay không, nghiên cứu hỏi phương pháp đã vào được main branch của framework nào, ở mức nào và qua con đường nào.
- Đối tượng: bảy framework mã nguồn mở gồm verl, TRL, OpenRLHF, NeMo-RL, ROLL, slime và AReaL.
- Dữ liệu bài báo: sàng 6.939 bản ghi arXiv từ tháng 1/2025 đến tháng 6/2026, trong đó 1.598 bài đề xuất phương pháp học tăng cường tổng quát cho mô hình ngôn ngữ.
- Phương pháp liên kết: lập danh mục phương pháp, phân tích các vị trí đăng ký thuật toán trong từng framework ở mọi commit, đối chiếu các tên cấu hình khác nhau, kiểm tra lịch sử trích dẫn arXiv, rồi gắn mỗi bài với sự kiện thêm, xóa hoặc đổi mặc định.
- Phân tầng inclusion: ghi nhận phương pháp là default, core option, switch, experimental code hoặc example recipe.
- So sánh công khai: đối chiếu bài được include với bài cùng kỳ không được include; sau đó khai thác toàn bộ issue, pull request, discussion và đọc báo cáo kỹ thuật của 13 mô hình mở từ 100B tham số trở lên.
Ví dụ đời thường: cơ chế giống như theo dõi một lô hàng từ xưởng nghiên cứu đến kệ bán bằng cách quét mã vạch tại từng cửa khâu: không tin lời quảng cáo, chỉ ghi nhận lúc nào hàng thực sự đi qua kho, bị trả lại hay bị bỏ quên ngoài kho.
III. Main Results:
- Tỉ lệ include rất thấp: 37/1.598 phương pháp tổng quát đến ít nhất một framework, tương đương 2,3%; chỉ 7 phương pháp vào từ ba framework trở lên và 1 phương pháp trở thành default vô điều kiện.
- Cung tăng, nhập không tăng: trong năm cohort theo quý, số bài được include trong 180 ngày dao động chỉ 5-7, trong khi quy mô cohort tăng từ 72 lên 386 bài.
- Đặc điểm nổi bật của bài được include: 41% huấn luyện policy từ 30B tham số trở lên so với 10%; 29% chỉ thay đổi hệ số, clip, mask hoặc trọng số trong loss hiện có so với 9%.
- Phát hành mã không đủ: 44% bài được include có mã huấn luyện ở bản đầu, gần như ngang nhóm không được include.
- Khi được include thì khá nhanh: median từ bản arXiv đầu tiên tới main branch khoảng 30 ngày; GSPO vào ba framework trong 3-7 ngày.
- Không phải bị từ chối ồn ào: chỉ 12/1.561 phương pháp chưa được include bị từ chối hoặc chuyển hướng công khai; khoảng 96% không có thread nào dẫn bài, đặt mã arXiv hoặc trích tiêu đề.
- Nhiều đề xuất bị bỏ ngỏ: nhiều pull request vẫn mở sau khoảng 196 ngày và không có người duy trì phản hồi; lo ngại chính với pull request đã merge là thiết kế, test và tài liệu.
- Người dùng ít báo cáo lỗi: chỉ 48/7.075 thread mô tả một sự cố huấn luyện; nhiều thread chỉ nói “collapse” hoặc mất ổn định mà không chỉ nguyên nhân.
- Báo cáo mô hình lớn xác nhận phần nào thực tiễn: 13 báo cáo mô hình mở lớn nêu rõ 8 trong 13 phương pháp được include rộng, đồng thời đặt tên riêng cho biến thể của một số phương pháp khác.
- Dữ liệu mở: tracker công khai liên kết sự cố huấn luyện tới implementation, từng mức tích hợp và hướng dẫn đóng góp của mỗi framework.
IV. Conclusion & Future Works:
Nghiên cứu cho thấy rào cản lớn nhất thường không phải chất lượng khoa học, mà là khả năng lắp vào hạ tầng hiện có. Bài được include nghiêng về thử nghiệm quy mô lớn và thay đổi nhỏ, dễ cấu hình trong loss; ngược lại, các pipeline mới, cần thêm mô hình hoặc thêm giai đoạn khó đi vào framework hơn. Bằng chứng công khai cũng cho thấy im lặng không đồng nghĩa với từ chối, vì phần lớn bài không hề xuất hiện trong kênh đóng góp.
Hướng tương lai: mở rộng sang các framework khác, tách rõ ảnh hưởng của quy mô thử nghiệm và nguồn gốc tác giả, so sánh lý do từ chối ở nhiều dự án, và biến tracker thành công cụ cập nhật thường xuyên cho tác giả, reviewer và người dùng.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu định lượng toàn hệ sinh thái về cách phương pháp học tăng cường đi từ bài báo sang nhiều framework mã nguồn mở, đồng thời tách biệt ảnh hưởng của quy mô mô hình, dạng thay đổi loss, nguồn tác giả và quan hệ với công ty duy trì framework.
- Bộ dữ liệu liên kết sự cố huấn luyện do người dùng báo cáo với phương pháp đã được implement, cho phép đo mức độ các lỗi như entropy collapse hoặc lệch xác suất rollout và huấn luyện thực sự được công cụ hóa ra sao.
- Nghiên cứu so sánh các chính sách tiếp nhận đóng góp của framework, đo xem yêu cầu về test, tài liệu, kết quả huấn luyện và bằng chứng nhu cầu làm thay đổi khả năng merge của phương pháp từ cộng đồng.
2. Patent:
- Ứng dụng di động cho tác giả bài báo: quét tiêu đề hoặc liên kết công bố, nhận danh sách framework đã có phương pháp tương đương, mức tích hợp hiện tại, quy tắc đóng góp và các lỗi huấn luyện mà phương pháp có thể khắc phục.
- Hệ gợi ý tích hợp cho framework huấn luyện mô hình ngôn ngữ: khi người dùng chọn một cấu hình, hệ đối chiếu triệu chứng sụt reward, mất entropy hoặc chênh lệch xác suất giữa lượt sinh và lượt cập nhật, rồi đề xuất tham số hệ số, mask hoặc clip phù hợp.
- Bảng điều khiển điện thoại cho kỹ sư vận hành mô hình: hiển thị từng phương pháp đang bật trong pipeline, bài báo nguồn, lần commit đưa vào, test liên quan và cảnh báo khi một phương pháp chỉ là công thức ví dụ hoặc mã thử nghiệm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.28027 |
| ArXiv Abstract | https://arxiv.org/abs/2610.28027 |
| PDF Download | https://arxiv.org/pdf/2610.28027.pdf |
| Github Repository | https://github.com/pth2002/rl-method-tracker |
35. From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation (10 votes)
Tác giả: Tingwen Du, Haoyu Guo, Hanxue Zhang, Xuanxu Wang, Junting Dong, et al.
Xuất bản lúc: 2026-10-21
Tag: Vision-Language-Action, Robotics, VLM Planners, Self-Evolution, Memory-Augmented Policies, Hierarchical Planning
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) tỏ ra mạnh trên tác vụ điều khiển robot, nhưng thất bại trên các tác vụ dài hạn có tính non-Markovian — quyết định đúng đòi hỏi nhớ tiến độ tác vụ và kết quả tương tác trước đó, trong khi ảnh quan sát hiện tại giống hệt nhau nhưng yêu cầu hành động khác nhau (ví dụ: bấm nút đúng 3 lần — cùng một khung hình, nhưng lần 1 phải bấm còn lần 3 phải dừng). Các vấn đề cốt lõi:
- quan sát bộ phận: manh mối quyết định nằm ở quan sát trước, không còn thấy trong khung hình hiện tại
- lỗi thực thi cộng dồn theo thời gian, và phát lệnh không đồng nghĩa lệnh đã thực hiện thành công
- các cách hiện có (bộ nhớ cho VLA, lập kế hoạch phân tầng) không có cơ chế cập nhật quy trình lập kế hoạch từ kinh nghiệm thực thi, và việc xây thêm tập dữ liệu SFT rất tốn kém.
II. Main Idea:
SERA (Self-Evolving Robotic Agent) tổ chức VLM cấp cao thành một agent vận hành trong một 'harness' có thể chỉnh sửa, bao quanh một VLA executor cố định (π0.5). Quy trình gồm hai khâu:
- Trong từng episode: harness duy trì task context tường minh — tóm tắt tiến độ, kết quả thực thi, thông tin quyết định — được cập nhật qua từng vòng lập kế hoạch từ quan sát và phản hồi; VLM dùng context này cùng ảnh gần đây để đưa lệnh cấp cao cho executor, kèm tiêu chí đánh giá hành động và quy tắc kiểm soát (phục hồi, chuyển subtask, giới hạn vòng lặp).
- Xuyên suốt các lần thử (self-evolution): agent phân tích ghi lại các lần chạy thất bại để chẩn đoán, đề xuất sửa 3 thành phần của harness — planning guidance, assessment criteria, control rules; một verifier chạy rollout để đánh giá từng ứng viên, phản hồi lại cho vòng sửa tiếp, rồi cấu hình được chọn được đóng băng trước khi test held-out — không cần huấn luyện lại VLM, không cần thêm dữ liệu SFT.
Ví dụ đời thường: giống nhân viên mới làm việc với một cuốn sổ tay quy trình — mỗi ngày ghi chú lại chỗ nào sai, cuối tuần tự sửa lại các trang hướng dẫn trong sổ (không đi học lại), rồi đóng sổ lại và làm việc theo phiên bản đã sửa.
III. Main Results:
- Trên RoboMME (16 tác vụ manipulation phụ thuộc lịch sử, 800 episode), SERA đạt 51.38% success rate tổng thể, vượt baseline tốt nhất trước đó (FrameSamp+Modul 44.51%, MemER 42.38%).
- Self-evolution đóng góp +7.00 điểm phần trăm (44.38% → 51.38%), cải thiện rõ trên Counting (34→49) và Imitation (18.5→30).
- SERA đứng đầu trên các suite Reference (69.5%) và Permanence (57%) — đúng những tác vụ cần dùng quan sát cũ.
- Ví dụ sửa harness trên PatternLock: chẩn đoán ánh xạ hướng sai + thiếu lệnh trong tập candidate → sửa guidance và mở rộng candidate từ 5 lên 8 → thành công 5/6 episode trên panel sửa đổi.
IV. Conclusion & Future Works:
SERA chứng minh rằng tổ chức VLM cấp cao thành agent với harness có thể chỉnh sửa là hướng hứa hẹn cho manipulation phụ thuộc lịch sử: harness vừa quản lý context trong episode, vừa là đối tượng tự cải thiện từ kinh nghiệm thực thi mà không fine-tune mô hình. Hạn chế & hướng tương lai: suy luận VLM gây độ trễ lập kế hoạch lớn trong execution loop, đánh đổi giữa chất lượng suy luận và tốc độ phản ứng cần được đánh giá hệ thống; cần cơ chế can thiệp trực tiếp vào tầng thực thi khi replanning không đủ (ví dụ gripper intervention), và chiến lược xử lý context hiệu quả hơn.
V. Brainstorming Space:
1. Publish Papers:
- Kết hợp planner agentic với cơ chế can thiệp cấp độ thực thi (điều khiển gripper, sửa lệnh ngầm) để khôi phục khi executor lệch khỏi kế hoạch mà replanning không cứu được.
- Nghiên cứu chiến lược xử lý task context hiệu quả — nén, tóm tắt có chọn lọc — để giảm độ trễ suy luận VLM trong execution loop dài hạn mà vẫn giữ chất lượng quyết định.
- Mở rộng self-evolution của harness sang robot đa nhiệm, nơi các sửa đổi từ nhiều tác vụ có thể tích lũy và chuyển giao trong một harness dùng chung.
2. Patent:
- Hệ điều khiển robot gia đình tự cải thiện theo thời gian: robot ghi lại các lần thao tác thất bại (rót tràn, đặt lệch vị trí), phần mềm trên điện thoại tự phân tích nguyên nhân và cập nhật 'sổ tay quy trình' điều khiện hóa cho bộ lập kế hoạch — người dùng không cần lập trình hay thu thập dữ liệu mẫu.
- Ứng dụng nhắc việc theo ngữ cảnh cho trợ lý robot: robot ghi nhớ tiến độ các bước nấu ăn/gấp đồ (đã làm mấy lần, bước nào thất bại phải làm lại) qua ngữ cảnh tác vụ được cập nhật liên tục, giúp quyết định đúng ngay cả khi cảnh vật trông giống nhau giữa các bước lặp.
- Hệ thống tự vá lỗi vận hành cho cánh tay robot công nghiệp: khi phát hiện sai lệch lặp lại (ánh xạ hướng sai, thiếu lệnh trong danh mục hành động), hệ thống tự đề xuất và thử nghiệm sửa đổi quy tắc kiểm soát trên môi trường mô phỏng, chỉ áp dụng bản sửa đổi đã được kiểm chứng trước khi đưa vào sản xuất.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.29560 |
| ArXiv Abstract | https://arxiv.org/abs/2610.29560 |
| PDF Download | https://arxiv.org/pdf/2610.29560.pdf |
| Github Repository | https://github.com/StevenKKXS/SERA |
36. Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams (10 votes)
Tác giả: Yanan Ma, Yang Wang, David Le, Chenhan Yuan, Yizheng Sun, et al.
Xuất bản lúc: 2026-10-19
Tag: Multi-Agent Systems, LLM Agents, Skill Learning, Credit Assignment, Group-Relative Optimization, Prompt Optimization
I. Main Problem:
Các nhóm tác tử (agents) LLM hợp tác ngày càng phổ biến: một agent tìm kiếm bằng chứng, agent khác suy luận và trả lời, cả nhóm được chấm điểm bởi một phần thưởng chung. Nhưng tham số mô hình được giữ cố định và hành vi được điều khiển bởi các skill ngôn ngữ tự nhiên (thủ tục tái sử dụng), nên muốn cải tiến nhóm phải trả lời: skill của agent nào cần sửa?
- Các phương pháp trước (vd. MASkills) gán credit theo từng trajectory đơn lẻ: skill chỉ cần có mặt trong một run thành công là được ghi công, dù nó thực ra có hại — trong thí nghiệm robustness, MASkills còn tăng độ hữu ích của một skill có hại qua các vòng lặp.
- Cần hai điều: quy trách nhiệm vượt qua nơi lỗi hiện ra (agent trả lời sai thường do agent tìm kiếm hỏng bằng chứng), và attribution phải kiểm chứng được trước khi dùng để chỉnh skill.
II. Main Idea:
GRSE (Group-Relative Skill Evolution) — framework không cập nhật tham số, cải tiến skill của các agent hợp tác bằng credit assignment theo so sánh nhóm, lấy cảm hứng từ GRPO:
- Grouped rollouts: chạy cùng một câu hỏi G=4 lần với cùng bộ skill, tính điểm thưởng tương đối trong nhóm (relative advantage như GRPO). Khác biệt giữa run tốt và run kém chính là hành vi quyết định kết quả — giống counterfactual baseline trong multi-agent RL.
- Group-relative critic: đọc đồng thời 4 execution, so sánh từng agent để gán credit cho cặp agent–skill (helped / redundant / harmful / neutral + điểm utility), thay vì đổ lỗi cho agent có output sai.
- Structured failure diagnosis: mỗi lỗi được phân loại theo 8 failure types (skill not followed, skill defect, missing capability, handoff error, evidence missing, answer format, tool failure, uncertain attribution) kèm trích dẫn các bước thực thi thất bại/thành công và hành động chỉnh sửa; các attribution không khớp bằng chứng bị từ chối.
- Aggregation + validation gate: gom credit theo số câu hỏi hỗ trợ (không đếm lặp execution), cập nhật skill qua các toán tử refine/prune/consolidate/induce của MASkills, và chỉ giữ thay đổi nếo không làm giảm điểm validation.
Ví dụ đời thường: giống như khi một nhóm bị trượt bài thuyết trình, thay vì mắng người đứng nói cuối cùng, sếp xem lại nhiều lần chạy thử của cả nhóm, so sánh lần nào thành công lần nào không, để nhận ra người chuẩn bị tài liệu gốc mới là chỗ hỏng — và chỉ sửa đúng công đoạn đó.
III. Main Results:
- HotpotQA: GRSE vượt MASkills với cả hai actor — 83.7 vs 80.6 F1 với Qwen3.8 (+3.1) và 82.8 vs 82.3 với Gemma4.
- LoCoMo: thắng MASkills ở mọi category trừ open-domain; lợi lớn nhất ở multi-hop (+6.7 F1 Qwen3.8, +3.2 F1 Gemma4); đứng đầu temporal với cả hai actor; độ lệch giữa các run nhỏ hơn MASkills.
- Nguồn lợi: đến từ retrieval tốt hơn (tỷ lệ câu trả lời không có bằng chứng giảm từ 22% xuống 14%), không phải trả lời bừa; MASkills phá vỡ số câu đúng gấp 2-3 lần GRSE.
- Robustness: khởi đầu từ library có skill có hại được cấy sẵn, GRSE gán đúng dấu credit cho cả 5 skill (helpful dương, harmful âm), prune skill hại, phục hồi ngang mức library sạch (+6.3 F1); MASkills gán sai 2/5 và còn tệ hơn điểm xuất phát.
- Transfer: skill học từ HotpotQA dùng tốt trên LoCoMo multi-hop và ngược lại; chỉ GRSE còn cải thiện thêm khi train thêm trên tác vụ đích.
- Ablation: bỏ structured diagnosis (−1.0 F1) hoặc G=1 (−0.8 F1) đều giảm; bỏ các nhóm cùng điểm (DAPO filter) cũng giảm — vì chúng vẫn cho biết hành vi nào luôn thất bại.
IV. Conclusion & Future Works:
So sánh nhiều lần thực thi cùng một câu hỏi là cách thực tiễn để xác định agent nào — và hành vi nào của agent đó — cần thay đổi, thay vì tin vào sự hiện diện của skill trong một trajectory. Credit chính xác làm GRSE vững với skill library bị hỏng và cho phép skill transfer qua tác vụ. Hạn chế / hướng tương lai: chi phí train cao hơn MASkills 1.6-2.9× token và 1.3-1.8× thời gian (inference lúc test không đổi); mới chỉ đánh giá trên nhóm 2 agent tuần tự, 2 benchmark QA, 2 actor mở và một critic — cần thử các nhóm lớn hơn, giao tiếp không tuần tự, tác vụ dùng nhiều tool và các critic khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng group-relative credit assignment cho các đội agent lớn hơn hai thành viên và với giao tiếp không tuần tự, nơi việc so sánh execution phải xử lý song song thay vì chuỗi tuần tự.
- Kết hợp structured failure diagnosis với tác vụ dài hạn nhiều bước gọi tool, để truy vết lỗi xuyên suốt chuỗi công cụ thay vì chỉ qua một lần bàn giao giữa hai agent.
- Khảo sát ảnh hưởng của mô hình critic lên chất lượng attribution: liệu critic mạnh hơn hay critic chuyên biệt cho từng failure type sẽ cho credit chính xác hơn ở chi phí thấp hơn.
- Giảm chi phí sampling G=4 bằng cách chọn adaptively số lần chạy theo độ biến thiên phần thưởng, giữ chất lượng attribution nhưng cắt overhead token của giai đoạn huấn luyện.
2. Patent:
- Hệ thống cải tiến tự động cho trợ lý AI nhiều tác vụ trên điện thoại: agent tìm kiếm thông tin và agent trả lời chạy cùng một yêu cầu nhiều lần, điện thoại so sánh các lần chạy để tự xác định agent nào làm sai bước nào và tự sửa hướng dẫn (skill) tương ứng mà không cần cập nhật ứng dụng.
- Bộ lọc skill độc hại cho thư viện hướng dẫn của chatbot doanh nghiệp: khi thư viện chứa các quy trình lỗi thời hoặc sai do copy từ dự án khác, hệ thống chạy thử nhóm câu hỏi chuẩn, gán điểm có dấu cho từng hướng dẫn và tự động loại bỏ/quy định lại các hướng dẫn gây hại trước khi triển khai.
- Cổng kiểm chứng cập nhật hành vi agent: mọi thay đổi skill đều phải qua bài kiểm tra validation trên tập câu hỏi cố định; thay đổi nào làm điểm giảm sẽ tự động bị hoàn nguyên, giúp hệ thống agent trên đám mây không bị tự 'học' theo hướng xấu theo thời gian.
- Cơ chế truy vết lỗi xuyên agent cho hệ hỗ trợ khách hàng: khi khách hàng phàn nàn câu trả lời sai, hệ thống đối chiếu các lần xử lý tương tự để chỉ ra là do bước tìm kiếm dữ liệu khách hàng chứ không phải bước soạn câu trả lời, rồi tạo báo cáo sửa chữa có trích dẫn bằng chứng cho người quản trị.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.27227 |
| ArXiv Abstract | https://arxiv.org/abs/2610.27227 |
| PDF Download | https://arxiv.org/pdf/2610.27227.pdf |
| Github Repository | https://github.com/yananma1029/GRSE-Skills |