🤗 Daily Hugging Face Paper Digest - 2026-09-22

Báo cáo được tạo tự động vào lúc 2026-09-23 10:19:10 bằng mô hình hermes-agent.

📰 Summary of Papers

1. RRSI: Regularized Recursive Self-Improvement of Agent Harnesses (158 votes)

Tác giả: Peng Xia, Rujun Han, Zifeng Wang, Yanfei Chen, Yufan Zhang, et al.

Xuất bản lúc: 2026-09-21

Tag: LLM Agents, Agent Harness, Recursive Self-Improvement, Regularization, Overfitting, Out-of-Distribution Generalization, Prompt Optimization, Meta-Learning

I. Main Problem:

Năng lực của một LLM agent phụ thuộc mạnh vào harness: prompt, control flow, tool interface, memory và quản lý context quanh một backbone model đã đóng băng. Các phương pháp mới tự động hóa việc cải tiến harness theo vòng lặp — gần với recursive self-improvement (RSI) ở cấp hệ thống agent — nhưng vì luôn đề xuất và chọn chỉnh sửa dựa trên một evolve set hữu hạn, chúng dễ adaptive overfitting:

benchmark-specific fitting: harness nhớ pattern riêng của tập evolve
noise chasing: chọn candidate thắng nhờ nhiễu đánh giá ngẫu nhiên
complexity accumulation: thêm chi phí/prompt/context nhưng không cải thiện cơ chế agent thật

Hậu quả: điểm trên evolve split tăng mạnh, nhưng trên held-out/OOD benchmark thường suy giảm hoặc mất hẳn, thậm chí dưới harness ban đầu.

II. Main Idea:

RRSI giữ không gian chỉnh sửa harness mở toàn phần, nhưng regularize quỹ đạo tìm kiếm bằng cách chuyển nguyên lý regularization cổ điển sang một quá trình adaptive search:

Proposal-side regularization kiểm soát search capacity được dùng thế nào:
- Annealed update sparsity: budget số edit độc lập trong một candidate giảm dần theo thời gian theo lịch cosine; vòng đầu cho thay đổi rộng để khám phá, vòng sau chỉ cho thay đổi thưa và dễ quy kết quả
- Evidence-aware credit assignment: lưu toàn bộ lịch sử các giả thuyết, diff, score/cost change và accept/reject; cơ chế bị bác bỏ trở thành bằng chứng âm để không test lãng phí
- Structured exploration: khi tiến độ nằm trong noise band, dành một phần budget cho các harness component chưa được khai thác
Selection-side regularization kiểm soát kết quả nào được trở thành state vĩnh viễn:
- Leakage screening: critic đọc diff và loại các edit mã hóa tên task/benchmark, đáp án hoặc logic riêng của tập evolve
- Noise-adjusted performance floor: candidate phải vượt floor dựa trên best score hiện tại trừ noise band, tránh đi xuống từng bước nhỏ do nhiễu
- Complexity-aware acceptance: chi phí policy-token tăng thêm phải được biện minh bằng gain đo được, tương tự tinh thần Ridge/L2
- Structural pruning: xóa component không còn đóng góp tích cực, tương tự Lasso/L1

Ví dụ đời thường: giống người mới làm việc cải tiến bộ đồ nghề của mình nhưng có kỷ luật: mỗi tuần chỉ sửa một vài thứ, ghi lại cái nào thật sự giúp việc, không học mẹo chỉ đúng cho một ca kiểm tra duy nhất, và bỏ dụng cụ lâu không dùng tới thay vì cứ mang theo cho nặng balo.

III. Main Results:

Trên 8 benchmark thuộc 3 domain — coding, agentic workspace, engineering design — RRSI tăng tới +14.1 điểm trên evolve split và tới +4.7 điểm trên OOD held-out, đồng thời chạy với ít hơn ~30% policy tokens so với evolution không regularized.
Trong agentic workspace, RRSI đạt OOD average 43.6 so với 39.7 của harness gốc; các baseline mạnh trên evolve set như Meta-Harness chỉ cộng +0.9 OOD, HarnessX gần như không đổi, còn AHE và TTHE kết thúc dưới harness ban đầu.
Ablation cho thấy bỏ regularizer nào cũng làm evolve score tăng nhưng transfer giảm: bỏ acceptance constraints làm OOD average rớt từ 43.6 xuống 41.0 và token tăng thêm một nửa; bỏ cả hai nhóm đạt evolve score cao nhất nhưng OOD gần như không hơn harness gốc.
Policy robustness: cả khi evolve bằng Claude Opus 4.8 hay Gemini 3.5 Flash, harness đều cải thiện benchmark OOD mà không hề được chấm trong quá trình tìm kiếm.
Cross-model transfer: harness evolve bằng Gemini 3.5 Flash vẫn giúp một backbone nhỏ hơn, chưa từng tham gia search, tăng từ 11.2 lên 14.6 trên Terminal-Bench 2.1.

IV. Conclusion & Future Works:

Bài báo chỉ ra rằng vấn đề cốt lõi của harness self-improvement không chỉ là tìm edit tốt hơn, mà là tránh biến tín hiệu hữu hạn của evolve set thành state vĩnh viễn của harness. RRSI cho thấy chỉ cần regularize cách đề xuất và chọn candidate — trong khi vẫn để mọi thành phần harness có thể sửa — đã đổi mục tiêu từ “thắng tập evolve” sang học cơ chế reusable.

Điểm còn rõ ràng: evolution có trade-off compute, vì mọi harness evolved vẫn đắt hơn harness gốc; câu hỏi mở là làm sao giữ chất lượng transfer trong khi tiến gần hơn tới cost của harness ban đầu, cũng như kiểm chứng rộng hơn trên nhiều policy family, verifier và dạng task khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các lịch anneal khác cho update sparsity — ví dụ adaptive theo estimated noise thay vì chỉ theo round — để tự điều chỉnh search capacity theo chất lượng tín hiệu phản hồi thay vì dùng một lịch cố định.
Mở rộng evidence-aware credit assignment thành một bộ nhớ cross-run cho harness evolution, để một agent hoặc một tổ chức không phải học lại từ đầu mỗi lần đổi backbone model hoặc benchmark.
Kết hợp leakage screening với phân tích counterfactual của từng harness component, nhằm tách bạch rõ hơn giữa cơ chế general-purpose và các shortcut benchmark-specific trước khi candidate được đánh giá.

2. Patent:

Hệ thống tự tinh chỉnh trợ lý AI trên điện thoại theo thói quen người dùng nhưng chống overfit: mỗi tuần chỉ áp dụng một số ít thay đổi về prompt, công cụ và luồng xử lý; hệ thống ghi lại thay đổi nào thật sự giúp người dùng nhanh hơn, từ chối mẹo chỉ hợp với vài tác vụ mẫu, và tự xóa các tính năng lâu không mang lại lợi ích để tiết kiệm pin và chi phí chạy mô hình.
Nền tảng tối ưu cấu hình agent doanh nghiệp có kiểm soát chi phí: khi đề xuất sửa workflow, prompt hay công cụ, hệ thống tự chặn các sửa đổi gắn với tên khách hàng hoặc dữ liệu nội bộ riêng lẻ, yêu cầu cải thiện đo được mới cho phép tăng số lượt gọi mô hình, và định kỳ loại bỏ bước xử lý không còn hiệu quả.
Trình quản lý bộ kỹ năng cho trợ lý AI cá nhân trên thiết bị: gợi ý thêm, sửa hoặc gỡ kỹ năng dựa trên lịch sử dùng thực tế, ưu tiên thay đổi đơn giản dễ kiểm chứng, tránh chạy theo kết quả ngẫu nhiên của một lần đánh giá, và giữ bộ kỹ năng gọn để phản hồi nhanh trên phần cứng di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24972
ArXiv Abstract	https://arxiv.org/abs/2609.24972
PDF Download	https://arxiv.org/pdf/2609.24972.pdf
Github Repository	https://github.com/google-research/rrsi

2. WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory (114 votes)

Tác giả: Wangbo Yu, Kunhao Liu, Wenbo Hu, Shenghai Yuan, Chaoran Feng, et al.

Xuất bản lúc: 2026-09-21

Tag: Video World Model, Diffusion, DiT, 3D-aware Memory, Camera Control, Autoregressive Generation, Novel View Synthesis

I. Main Problem:

Các video world model (mô hình thế giới video, sinh khung hình mới khi người dùng di chuyển camera) hiện nay mất tính nhất quán khi quan sát dài hạn:

Context memory (giữ lại một số frame cũ để attention): chi phí tính toán lớn hoặc chỉ chọn được vài góc nhìn hạn chế, dễ quên nội dung đã thấy.
Spatial memory dựa trên depth (ước lượng độ sâu rồi warp ảnh cũ sang góc mới): phụ thuộc hình học chính xác, yếu với cảnh động, chi phí xử lý cao.
Implicit memory dùng đặc trưng hình học từ các mô hình ước lượng geometry: ưu tiên dự đoán hình học hơn độ trung thực hình ảnh, nên tái hiện cảnh cũ không giống bản gốc.

Hệ quả: khi camera quay lại một vị trí đã thăm (revisit) sau hàng trăm frame, cảnh thường bị biến dạng, mất cấu trúc hoặc mất đối tượng.

II. Main Idea:

WorldCrafter học một bộ nhớ ngầm (implicit) có nhận thức 3D mà có thể được truy vấn theo góc camera mong muốn. Cơ chế chính:

Memory encoder khởi tạo từ bộ mã hóa đa góc nhìn LagerNVS (học qua bài toán tái tạo góc mới, nên giữ được cả hình học lẫn màu sắc), nén các latent frame lịch sử thành biểu diễn 3D-aware gọn.
Pose-guided memory readout: dùng các pose camera sắp tới làm query để trích xuất từ bộ nhớ một tập token kích thước cố định phù hợp với ngân sách token của video DiT — tức góc nhìn được yêu cầu quyết định phần thông tin lịch sử nào được giữ lại (so với đọc bộ nhớ không quan tâm pose, cách này tốt hơn rõ rệt).
Max-coverage history retrieval: chọn các frame lịch sử bổ sung sao cho vùng nhìn (FoV) phủ kín khu vực mục tiêu dọc quỹ đạo camera sắp tới, thay vì chỉ xếp hạng theo độ tương đồng từng cặp.
Kết hợp memory token (thông tin cảnh cũ) + recent context (duy trì chuyển động đang diễn ra) + camera conditioning, sinh từng chunk tự hồi quy; bộ nhớ được huấn luyện đồng thời với DiT để hai không gian token cộng thích.
Few-step pyramid distillation (mô hình low-noise giữ độ nét tự nhiên, mô hình high-noise giữ khả năng bám chủ thể) cho suy luận streaming 16 fps trên máy 4 GPU, khám phá liên tục ở quy mô hàng phút.

Ví dụ đời thường: giống người quay lại một con phố sau khi đi vòng — thay vì cố nhớ toàn bộ chuyến đi, bạn chỉ gợi lại đúng những góc phố sắp xuất hiện trước mắt; WorldCrafter làm điều tương tự: nén ký ức toàn cảnh một lần, rồi mỗi lần rẽ camera lại "lấy đúng ngăn" thông tin cần dùng.

III. Main Results:

Revisit consistency (bảng 1, 725 video): vượt mọi baseline trên cả 4 metric — LPIPS giảm từ 0.487 (Lyra 2.0) xuống 0.255, PSNR tăng từ 14.05 lên 18.02 dB; bản distil WorldCrafter-fast đạt tốt nhất (LPIPS 0.186, PSNR 20.87), tương đương cải thiện khoảng 47.6% so với baseline mạnh nhất.
Camera control (bảng 2): lỗi xoay thấp nhất (RotErr 13.54), lỗi tịnh tiến thấp nhất (1.475), sai lệch pose thấp nhất (1.546).
Chất lượng hình ảnh (VBench, bảng 3): WorldCrafter đạt điểm tổng cao nhất 81.91, tốt nhất 5/8 tiêu chí (subject/background consistency, temporal flickering, motion smoothness, overall consistency).
Ablation (bảng 4): thay bộ nhớ 3D-aware bằng context memory làm LPIPS tăng từ 0.255 → 0.497; đóng băng memory encoder, bỏ pose-guided readout, hoặc dùng retrieval theo similarity đều suy giảm rõ; lợi thế của implicit memory càng lớn khi khoảng cách revisit càng xa.
Hiệu quả (hình 5c): xử lý bộ nhớ chỉ 0.062 s/chunk, nhanh hơn 21.7 lần so với pipeline depth estimation + warping (1.346 s).

IV. Conclusion & Future Works:

WorldCrafter cho thấy bộ nhớ ngầm 3D-aware được huấn luyện đồng thời với video generator và đọc theo pose camera là giải pháp hiệu quả cho bài toán nhất quán dài hạn: cải thiện mạnh revisit consistency và độ chính xác điều khiển camera trong khi vẫn giữ chất lượng hình ảnh và suy luận streaming thời gian thực.

Hạn chế: nhất quán vẫn có thể vỡ trên quỹ đạo camera quá phức tạp hoặc quá dài; việc mã hóa lại toàn bộ lịch sử ở mỗi chunk gây thêm độ trễ.

Hướng tương lai: memory encoder streaming tự hồi quy — cập nhật gia tăng trạng thái bộ nhớ với từng chunk mới thay vì tính lại toàn bộ lịch sử, để giảm chi phí tính toán lặp lại.

V. Brainstorming Space:

1. Publish Papers:

Memory encoder streaming tự hồi quy cho video world model: cập nhật gia tăng trạng thái bộ nhớ 3D-aware theo từng chunk mới sinh, loại bỏ chi phí mã hóa lại toàn bộ lịch sử ở mỗi bước rollout.
Mở rộng bộ nhớ implicit 3D-aware cho cảnh động dài hạn với nhiều chủ thể chuyển động độc lập, kết hợp cơ chế theo dõi và cập nhật vùng bộ nhớ theo thời gian.
Bộ nhớ 3D-aware phân cấp (global + local) cho thế giới video quy mô lớn, cho phép khám phá liên tục hàng giờ với tài nguyên token cố định.

2. Patent:

Ứng dụng trên điện thoại tạo thế giới ảo khám phá bằng cách nghiêng/chuyển camera: từ một ảnh chụp hoặc mô tả văn bản, điện thoại sinh video theo chuyển động thiết bị, ghi nhớ bố cục cảnh bằng bộ nhớ 3D ngầm để quay lại đúng vị trí cũ vẫn thấy cảnh như cũ.
Hệ thống xem lại không gian đã quay video: người dùng quay một đoạn ngắn, sau đó app mô phỏng 'đi dạo' trong không gian đó theo điều khiển vuốt màn hình, tự động khôi phục các góc nhìn đã thấy mà không cần tái quay.
Trình mô phỏng cảnh quay phim ảo cho điện thoại: đạo diễn chọn quỹ đạo camera, hệ thống sinh video liền mạch theo quỹ đạo đó và giữ nguyên nhân vật, đạo cụ ở mọi góc quay, hỗ trợ sản xuất nội dung không cần dàn dựng thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24984
ArXiv Abstract	https://arxiv.org/abs/2609.24984
PDF Download	https://arxiv.org/pdf/2609.24984.pdf
Github Repository	https://github.com/TencentARC/WorldCrafter

3. GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay (111 votes)

Tác giả: Yiran Wang, Xingyilang Yin, Junfu Pu, Guangzhi Wang, Kaifeng Li, et al.

Xuất bản lúc: 2026-09-21

Tag: Game Benchmark, Vision-Language Models, Gameplay Dataset, Instruction Following, Goal Planning, Action Prediction, Multi-Horizon Evaluation

I. Main Problem:

Chơi game hiện đại là bài test tốt cho AI vì phải nhìn, hiểu chỉ dẫn, phân rã mục tiêu, và bấm đúng phím/chuột trong nhiều mức thời gian khác nhau. Nhưng các benchmark cũ hẹp ở ba điểm:

Phủ game rất hẹp: nhiều tập chỉ quanh Minecraft, game mini, hoặc một tựa game AAA duy nhất.
Thiếu ngôn ngữ: nhiều dữ liệu không có chỉ dẫn văn bản; dữ liệu có chăng cũng thưa, khó đo instruction following hay lập kế hoạch.
Đánh giá online nhiễu: chỉ vài lần rollout, phụ thuộc môi trường/harness, khó tái lập; tỉ lệ thành công chung làm mất khả năng biết model sai ở bước nào.

Ngoài ra, hai nhánh model bị tách rời: game agent mạnh điều khiển nhưng yếu lập kế hoạch; VLM/agent đa năng mạnh lập kế hoạch nhưng hiếm khi được đo hành động một cách chuẩn hóa.

II. Main Idea:

GameHorizon là thước đo thống nhất cho khả năng chơi game ở nhiều tầng thời gian, gồm ba phần:

GameHorizon-Annotator: pipeline tự động gắn nhãn kim tự tháp chỉ dẫn. Nó dùng chuỗi phím/chuột để cắt video thành đoạn ngắn, gán mô tả thao tác ngắn; rồi ghép các đoạn ngắn thành mục tiêu trung hạn và cuối cùng thành chiến lược dài hạn bằng VLM + quy hoạch động.
GameHorizon-Data: 5.000 giờ gameplay từ 21 game AAA do 100 người chơi ghi trực tiếp, khớp video 2K, hành động bàn phím/chuột và hơn 6,18 triệu chỉ dẫn ba tầng.
GameHorizon-Bench: đường offline dùng hàng nghìn câu hỏi chuẩn hóa để so sánh reproducible; đường online chia nhiệm vụ dài thành subtask có thể kiểm chứng, khi fail thì reset về trạng thái đúng để tìm đúng bước lỗi.

Ví dụ đời thường: giống huấn luyện viên xem lại một trận đấu bằng cách đánh dấu từng pha chạm bóng vài giây, ghép các pha thành tình huống ghi bàn, rồi ghép các tình huống thành chiến thuật cả trận; sau đó hỏi học viên từng mức: vừa làm gì, phải làm gì tiếp, và toàn trận đang theo kế hoạch nào.

III. Main Results:

Đánh giá 47 model, hơn 1 triệu lượt gọi model trên VLMs, unified multimodal models, GUI/coding agents và dedicated game agents.
Offline track có độ phân biệt tốt: trung bình 64,7%, cao hơn rõ so với random 25%, cho thấy bài vừa khả thi vừa khó.
Có thứ bậc khó dễ rõ ràng: nhận/biết hành động hiện tại dễ hơn dự đoán hành động tương lai; phân rã mục tiêu dài và lập kế hoạch khó hơn quyết định tức thời.
Thêm chỉ dẫn medium/long-horizon giúp future-action planning tăng khoảng 7,2 điểm phần trăm so với chỉ dùng hình ảnh.
Online track cho thấy tương quan thuận giữa điểm offline và tỉ lệ thành công gameplay thật, đồng thời stepwise protocol giúp bắt lỗi cụ thể như đặt sai vị trí hoặc sai công thức chế tạo.

IV. Conclusion & Future Works:

GameHorizon cho thấy có thể dựng một yardstick chuẩn hóa, reproducible và chẩn đoán được cho khả năng chơi game ở nhiều chân trời thời gian và nhiều họ model. Điểm mấu chốt là dữ liệu phải khớp đồng thời video, hành động thật của người chơi và chỉ dẫn nhiều mức; còn benchmark cần vừa có offline rẻ và ổn định, vừa có online biết local hóa lỗi.

Hướng mở rộng: mở rộng sang nhiều game AAA hơn nếu có API trạng thái game; xây online track ngoài Minecraft; dùng chẩn đoán từng bước để huấn luyện/planning có phản hồi; nghiên cứu cách nâng game agent từ 'điều khiển nhanh' lên 'hiểu mục tiêu dài'.

V. Brainstorming Space:

1. Publish Papers:

Phát triển game agent lai kết hợp planner đa năng với policy điều khiển tần số cao, dùng benchmark phân tầng lỗi để biết khi nào nên suy luận và khi nào nên xuất hành động.
Nghiên cứu cách tự động chuyển video gameplay dài thành cây mục tiêu có thể kiểm chứng, phục vụ huấn luyện instruction following và long-horizon RL.
Xây dựng benchmark mở cho game AAA có API trạng thái, để đánh giá stepwise online mà không cần reset thủ công như Minecraft.
Phân tích sự khác nhau giữa lỗi nhận diện tình huống, lỗi phân rã mục tiêu và lỗi ánh xạ sang phím/chuột qua hàng triệu câu hỏi chuẩn hóa.

2. Patent:

Trợ lý game trên điện thoại hoặc PC quan sát màn hình, nghe người chơi nói mục tiêu như 'làm bộ công cụ gỗ', rồi gợi ý từng bước bấm phím/chuột và cảnh báo sai lệch ngay khi thao tác lệch kế hoạch.
Hệ thống huấn luyện game tự động: quay lại lượt chơi của người dùng, tách thành các đoạn ngắn có hành động thật, tóm tắt thành mục tiêu nhỏ và mục tiêu lớn, sau đó tạo bài tập cá nhân hóa để luyện từng kỹ năng.
Công cụ chấm điểm kỹ năng chơi game cho người mới: so sánh thao tác thực tế với chuỗi hành động chuẩn từ dữ liệu người chơi giỏi, chỉ ra đúng giây bị chậm, thừa thao tác hoặc sai thứ tự.
Pipeline sản xuất dữ liệu game từ video và input phím/chuột, tự gắn nhãn mô tả nhiều mức thời gian để công ty game tạo dữ liệu huấn luyện AI mà không cần gán nhãn thủ công quy mô lớn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.25001
ArXiv Abstract	https://arxiv.org/abs/2609.25001
PDF Download	https://arxiv.org/pdf/2609.25001.pdf
Github Repository	https://github.com/TencentARC/GameHorizon

4. Transferring the Intelligence of VLMs to Robotic Control (101 votes)

Tác giả: Meng-Hao Guo, Zhe-Han Mo, Jia-Jun Wang, Yi Zhang, Kejin Wang, et al.

Xuất bản lúc: 2026-09-19

Tag: VLM, Robotics, In-Context Learning, Vision-Language-Action, Agentic AI, Robot Manipulation

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) và World-Action hiện nay buộc phải huấn luyện lại trên dữ liệu robot để điều khiển robot, gây ra các vấn đề:

Dữ liệu robot khan hiếm và đắt đỏ, gắn chặt với từng embodiment (cánh tay robot cụ thể), khó mở rộng qua môi trường và tác vụ.
Fine-tune để dự đoán hành động có thể làm suy giảm năng lực tổng quát của VLM (instruction following, reasoning) vì dữ liệu robot quá nhỏ so với dữ liệu web.

Điều này đặt ra câu hỏi: thay vì dạy VLM từ đầu bằng dữ liệu robot, liệu trí thông minh sẵn có của VLM (hình thành từ thế giới số) có thể chuyển sang điều khiển robot vật lý chỉ qua một giao diện nhẹ và vài ví dụ minh họa không?

II. Main Idea:

RoboDawn: một giao diện hành động dạng "game" — bộ lệnh ngữ nghĩa rời rạc và trực quan với con người, cho phép VLM agentic điều khiển robot theo vòng lặp khép kín mà không cập nhật tham số nào:

Bộ lệnh ngữ nghĩa: move x 10, rotate yaw 30, gripper close, home, wait, done — mỗi lệnh là một bước tịnh tiến/quay tăng dần của điểm tương tác kẹp (GIP), giới hạn 20cm / 90° mỗi lệnh. VLM không bao giờ dự đoán điều khiển liên tục tầng thấp.
Vòng lặp khép kín: mỗi vòng, VLM nhận ảnh đa góc nhìn (có lưới tọa độ định vị), trạng thái robot, phản hồi thực thi vòng trước và bộ nhớ tương tác → suy luận (scratchpad + tiến độ + kế hoạch) → phát lệnh → môi trường thực thi → quan sát kết quả.
In-Context Learning 2 tầng: D_prim (primer minh họa hiệu ứng từng lệnh cơ bản) + D_task (vài demo cấp tác vụ được chuyển ngược về không gian lệnh ngữ nghĩa, kèm lời giải thích do VLM tự viết lại). Không cần gradient, không cần huấn luyện robot — chỉ cần 0 đến 1 demo trong context.

Ví dụ đời thường: giống người chơi game chưa từng chơi nhưng đã xem gameplay trên mạng — chỉ cần đọc qua phím bấm rồi xem 1 clip người khác chơi là đã tự điều khiển nhân vật hoàn thành màn chơi, thay vì phải đi học lập trình động cơ game từ đầu.

III. Main Results:

RoboTwin 2.0 C2R (50 tác vụ hai tay, đánh giá domain-randomized):
- Zero-shot: 53.2%, vượt π0.5 (46.0%) và LingBot-VLA (50.4%) dù các mô hình này được huấn luyện full-set.
- One-shot: 73.6%, hơn 15.2 điểm so với agentic SOTA HarnessVLA (58.4%).
RoboDojo (42 tác vụ khái quát hóa, dài hạn, chính xác): zero-shot 35.67% → one-shot 47.17%, vượt xa DM0.5 full-set (19.34%).
Test-time scaling: trên RoboDojo, tăng ngân sách lệnh từ 60 lên 240 làm success rate tăng đều (one-shot 31.2% → 47.2%) nhờ khả năng tự phục hồi lỗi và bộ nhớ.
Ablation: bỏ reasoning → -12.2 điểm; bỏ grid localization → -14.6 điểm; bỏ primer → -3.0 điểm. Hiệu quả scale mạnh với VLM mạnh hơn (GPT-5.6-Luna 14.4% → GPT-6 Astra 73.6%).
Robot thật (zero-shot, Gemini 3.8 Flash): Franka nhặt khối vào rổ 9/10, xếp chồng khối 5/10; gấp vải (Piper) 0/10 do yêu cầu xoay/định hướng tinh vi.
Thất bại điển hình: thiếu độ chính xác thao tác mịn, va chạm do IK khi thực thi, và đánh giá sai tiêu chí hoàn thành của benchmark.

IV. Conclusion & Future Works:

Bài báo chứng minh trí thông minh tổng quát của VLM có thể chuyển trực tiếp sang điều khiển robot vật lý thông qua một giao diện hành động ngữ nghĩa đơn giản + vài demo in-context, không cần huấn luyện tác vụ nào và vượt các policy đã robot-trained. Góc nhìn đề xuất: bottleneck không phải thu thập embodied intelligence mới, mà là thiết kế giao diện và bài học online để mở khóa trí thông minh sẵn có. Hạn chế công khai: chậm hơn VLA end-to-end (không hợp điều khiển tần số cao), xử lý chuyển động xoay/chính xác kém hơn tịnh tiến, giao diện rời rạc quá thô cho tương tác contact-level mịn, và rủi ro an toàn khi triển khai thật.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp RoboDawn với policy tầng thấp (VLA/world-action model) theo kiến trúc phân tầng: VLM làm bộ não hoạch định cấp cao, policy được huấn luyện đảm nhiệm điều khiển tần số cao và tinh chỉnh tiếp xúc.
Nghiên cứu cơ chế ICL tự cải thiện online cho VLM agentic: robot tự thu thập và chọn lọc demo từ chính các lần chạy thành công để nâng dần hiệu suất mà không cần dữ liệu ngoài.
Phát triển giao diện hành động hỗ trợ điều khiển xoay và tương tác chính xác (contact-rich, deformable objects) — các trường hợp mà lệnh rời rạc hiện tại còn yếu.

2. Patent:

Hệ điều khiển robot bằng ngôn ngữ tự nhiên trên điện thoại: người dùng nói/nhắn lệnh ("nhặt cốc đỏ bỏ vào hộp"), mô hình ngôn ngữ-hình ảnh trên đám mây quan sát camera robot, lập kế hoạch và gửi từng lệnh bước tịnh tiến/xoay/kẹp đơn giản — robot dùng mới được lắp đặt cũng chạy được ngay mà không cần huấn luyện lại.
Module dạy robot bằng một lần làm mẫu: người vận hành thao tác tay gá một lần trước camera, hệ thống tự ghi lại, chuyển thành chuỗi lệnh bước rời rạc kèm giải thích, rồi robot lặp lại đúng tác vụ đó (và các biến thể) vô hạn lần.
Hệ khắc phục lỗi tự động cho robot kho/xưởng: sau mỗi lệnh, robot so sánh vị trí thực tế với mục tiêu; nếu lệch, mô hình đọc phản hồi và tự phát lệnh chỉnh, giảm số lần dừng máy để con người can thiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.22966
ArXiv Abstract	https://arxiv.org/abs/2609.22966
PDF Download	https://arxiv.org/pdf/2609.22966.pdf
Github Repository	N/A

5. OmniEdu: Open Foundation Models for Learning and Teaching (93 votes)

Tác giả: Hao Liang, Qihan Lin, Meiyi Qiang, Linzhuang Sun, Hengyi Feng, et al.

Xuất bản lúc: 2026-09-19

Tag: Educational LLM, Foundation Models, Instruction Tuning, K-12 Education, Curriculum Grounding, Pedagogical Tutoring, Data Curation, Supervised Fine-Tuning

I. Main Problem:

Các mô hình ngôn ngữ cho học đường không thể chỉ đo bằng độ chính xác đáp án: chúng cần biết bài tập nằm ở đâu trong chương trình, chẩn đoán vì sao học sinh sai, và chọn can thiệp sư phạm phù hợp.

Mô hình giáo dục hiện có thường chỉ mạnh một mảng riêng lẻ: giải bài theo môn, hoặc trò chuyện gia sư, hoặc căn chuẩn chương trình.
Hỗn hợp huấn luyện thường xếp theo nguồn dữ liệu hoặc môn học, làm mờ hành vi đầu ra mong muốn và làm lệch tỉ lệ về dữ liệu dễ, dư thừa.
Thiếu một họ mô hình mở được huấn luyện và đánh giá xung quanh vòng lặp học–dạy đầy đủ, không chỉ trả lời đúng.

II. Main Idea:

OmniEdu là họ mô hình nền mở cho học và dạy phổ thông, được fine-tune theo hướng bốn năng lực bổ sung:

Subject competence: giải bài học đường và giải thích đáp án ở toán, khoa học, đọc hiểu, viết.
Curriculum grounding: căn bài tập vào điểm kiến thức, lớp, độ khó, kiến thức tiên quyết và vị trí trong chương trình.
Diagnostic reasoning: nhận lỗi, hiểu lầm tư duy, suy ra kiến thức còn thiếu từ bài làm của học sinh.
Pedagogical action and scaffolding: chọn hành động dạy học như gợi ý, hỏi gợi mở, ôn kiến thức nền, hoặc giải thích trực tiếp.

Ý chính nằm ở thiết kế dữ liệu theo năng lực, không phải chỉ gom nhiều dữ liệu giáo dục. Pipeline đi từ khoảng 1.34M ví dụ giáo dục qua sáu bước: làm sạch tất định và loại trùng benchmark; kiểm định ngữ nghĩa bằng mô hình lớn với ba hành động keep / rewrite / remove; chấm điểm chất lượng theo tác vụ; chọn đa dạng bằng k-center greedy trên embedding BGE-M3; cân token theo ngân sách; cuối cùng gán một trong 20 system instruction sư phạm để nói rõ hành vi trả lời mong muốn. Kết quả là 69,999 ví dụ, 15.96M supervised response tokens, trong đó phần giáo dục là 60,951 ví dụ.

Giống như một giáo viên giỏi không chỉ chấm đúng/sai, mà xếp bài vào đúng chỗ trong giáo án, nhìn lỗi của học sinh để đoán chỗ hổng kiến thức, rồi quyết định nên gợi ý nhẹ hay giảng lại từ đầu.

III. Main Results:

Curriculum grounding: OmniEdu-27B đạt 63.12% EM / 76.69% F1 trên K12-Bench, 85.89% trên MathFish, 86.95% MaC trên EDUMATH; bản 4B và 9B cũng tăng rõ rệt so với base tương ứng.
K–12 problem solving: OmniEdu-27B đạt 94.87% trên GAOKAO-Bench, 69.52% trên EXAMS-V, 57.76% trên MDK12-Bench; cải thiện mạnh câu hỏi mở trên MDK12-Bench từ 62.08% lên 78.77%.
Pedagogical tutoring: OmniEdu-27B đạt 78.74% Scaffold win rate trên MathTutorBench và Teaching average 3.02 trên LongTutor, tốt nhất trong các mô hình được đánh giá.
Hiệu quả giáo dục xuất hiện ở mọi quy mô 4B/9B/27B và trên cả ba nhóm năng lực: hiểu chương trình, giải bài học đường, dạy học có chống đỡ.
OmniEdu-27B vượt các baseline giáo dục mở cùng nhóm và cạnh tranh với nhiều mô hình proprietary lớn hơn; các benchmark phụ dùng IFEval, GPQA và MMMU-Pro để kiểm tra chi phí chuyên môn hóa.

IV. Conclusion & Future Works:

Trong phần trích chưa có phần conclusion đầy đủ; kết luận rút ra từ phần đã trích là: thành phần dữ liệu và hành vi sư phạm là hai trục thiết kế trung tâm cho mô hình giáo dục mở. Cách cân bằng bốn năng lực giúp mô hình không chỉ giải đúng bài mà còn hiểu cấu trúc chương trình, chẩn đoán lỗi và duy trì tương tác dạy học phù hợp. Phần trích chưa nêu hướng tương lai cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng OmniEdu thành gia sư đa tác tử: một tác tử giải bài, một tác tử căn chương trình, một tác tử chẩn đoán học sinh, và một tác tử chọn chiến lược gợi ý, cùng học qua phản hồi dài hạn.
Nghiên cứu cá nhân hóa dài hạn bằng student model ẩn: mô hình không chỉ trả lời từng câu hỏi mà cập nhật niềm tin về kiến thức tiên quyết đã mất, mức độ tự tin và tốc độ học của từng học sinh.
Xây dựng bộ benchmark mở cho khả năng giữ học sinh suy nghĩ: đo mô hình có đang che đáp án quá sớm, đặt câu hỏi đúng mức khó, hay chuyển sang giảng trực tiếp quá nhanh.
Kết hợp ảnh bài làm trên điện thoại với chẩn đoán lỗi viết tay: quét bài, nhận diện vết sai, suy ra hiểu lầm và tạo lộ trình ôn tập cá nhân.
Nghiên cứu dữ liệu giáo dục đa ngôn ngữ theo năng lực: kiểm tra xem taxonomy bốn năng lực có chuyển được giữa chương trình, ngôn ngữ và văn hóa học đường khác nhau hay không.

2. Patent:

Ứng dụng điện thoại chấm và dạy bài tập về nhà: học sinh chụp ảnh đề hoặc bài làm; hệ thống xác định bài thuộc bài học nào, lớp nào, kiến thức nền nào, rồi đưa gợi ý từng bước thay vì đáp án ngay.
Trợ lý ôn thi trên điện thoại biết “đừng nói hết”: khi phát hiện học sinh sai vì thiếu kiến thức nền, ứng dụng chuyển sang ôn lại khái niệm cũ bằng câu hỏi gợi mở trước khi quay lại bài khó.
Ứng dụng cho giáo viên soạn can thiệp sư phạm: giáo viên nhập bài làm lớp học, hệ thống phân nhóm lỗi phổ biến, gợi ý ai cần gợi ý ngắn, ai cần giảng lại, ai cần bài tập nâng cao.
Chế độ học offline cho điện thoại cấu hình thấp: mô hình nhỏ chạy cục bộ ưu tiên giữ đúng hành vi dạy học — hỏi trước, gợi ý sau, chỉ giải thích trực tiếp khi học sinh vẫn kẹt.
Nhật ký học tập cho phụ huynh: ứng dụng tổng hợp lỗi theo tuần, chỉ ra chương trình đang hổng, đề xuất hoạt động ôn 10 phút mỗi ngày và cảnh báo khi học sinh chỉ học để xin đáp án.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.23088
ArXiv Abstract	https://arxiv.org/abs/2609.23088
PDF Download	https://arxiv.org/pdf/2609.23088.pdf
Github Repository	https://github.com/haolpku/Omni-Edu

6. Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion (50 votes)

Tác giả: Uday Allu, Abhivanth Sivaprakash, Pratik Singh, Aman Manocha

Xuất bản lúc: 2026-09-21

Tag: RAG, Document Ingestion, PDF Parsing, Multimodal LLM, Chunking, Retrieval-Augmented Generation, Table Normalization, Enterprise AI

I. Main Problem:

Hệ thống RAG trong doanh nghiệp phải nạp tài liệu định dạng hỗn hợp (PDF, DOCX, PPTX, bản scan) nhưng nội dung bị khóa trong bố cục phức tạp — bảng dày đặc, cột nhiều, hình ảnh trang trí. Các phương pháp hiện có đều có điểm yếu riêng:

Trích xuất text theo rule (PyMuPDF, pdfplumber): phá vỡ thứ tự đọc, cột xen kẽ lẫn nhau, bảng vỡ thành các ô rời rạc, mất phân cấp heading.
Layout models (LayoutLM, Docling): cần triển khai model riêng, yếu với bố cục đặc thù (brochure, one-pager), vẫn xuất bảng dạng lưới — ô bảng mất ngữ cảnh hàng/cột nên embed kém.
Agentic chunking: LLM phải đồng thời vá lỗi trích xuất VÀ viết lại toàn bộ text → chi phí output token cao gấp ~4 lần input, chậm, rủi ro hallucination. Nút thắt: chất lượng retrieval phụ thuộc vào cấu trúc chunk, mà nguồn PDF truyền thống phá hủy cấu trúc đó ngay từ đầu.

II. Main Idea:

D-RAC mở rộng framework W-RAC (chunking bằng planning trên ID thay vì sinh text) sang mọi định dạng tài liệu, bằng cách chèn thêm hai tầng đầu pipeline:

Stage 1 — Normalize sang PDF: mọi định dạng (DOCX, PPTX, XLSX, HTML, scan) được render quyết định (không LLM) sang PDF — định dạng trung gian hình ảnh phổ quát.
Stage 2 — Một lần chuyển đổi multimodal: multimodal LLM đọc ảnh từng trang (batch 5 trang) và xuất Markdown tối ưu cho retrieval — giữ nguyên văn bản, cấu trúc lại heading (#/##/###), chuyển bảng thành câu văn xuôi tự chứa theo từng hàng (dùng tên cột làm ngữ cảnh, cấm gộp hàng kiểu "16 hoặc 20 năm"), loại bỏ ảnh trang trí.
Stage 3 — Parse định tính: Markdown được parse thành phần tử có ID (h1, h2, p1...); tài liệu lớn được chia section đệ quy tại ranh giới heading, kèm chuỗi heading cha làm ngữ cảnh.
Stage 4 — Planning bằng ID: LLM chỉ nhận ID + preview ngắn, trả về mảng ID theo thứ tự để ghép chunk (3–8 block/chủ đề); text gốc không bao giờ được viết lại, coverage được kiểm chứng programmatically.

Điểm mấu chốt: multimodal LLM chỉ chạy đúng một lần cho chuyển đổi định dạng; mọi thay đổi chiến lược chunk sau đó chỉ cần re-planning trên ID trong vài giây.

Ví dụ đời thường: giống như thuê một người phiên dịch giỏi đọc toàn bộ hồ sơ giấy một lần duy nhất, gõ lại thành văn bản số gọn gàng có mục lục rõ ràng; từ đó về sau, mỗi khi cần cắt tài liệu thành từng phần để lưu trữ, thủ thư chỉ cần chỉ số trang — không phải đọc lại hay chép lại tài liệu.

III. Main Results:

Toàn bộ corpus 236 tài liệu / 795 trang (5 lĩnh vực: ô tô, học thuật, cloud, công nghệ, ngân hàng) được convert + chunk trong 72 phút, zero lỗi, tạo 1.748 chunk sẵn sàng retrieval.
Hiệu quả chi phí: giảm 95.7% output token ở giai đoạn chunking so với agentic chunking → giảm 77.8% chi phí (GPT-4.1) và 85.6% (Gemini 2.5 Pro), giảm 75% thời gian chunking.
Chất lượng retrieval (762 query, so với fixed-size chunking trên trích xuất rule-based): Recall@6 0.798 vs 0.717 (+11.3%), MRR 0.690 vs 0.602, NDCG@6 0.801 vs 0.764; ngang hoặc vượt agentic chunking trên cả 7 metric dù agentic đọc từ nguồn sạch còn D-RAC đọc từ ảnh PDF.
Lợi thế lớn nhất ở query nhạy ranh giới chunk: temporal (0.85 vs 0.73), comparative (0.79 vs 0.72), analytical (0.61 vs 0.56).
Ổn định xuyên lĩnh vực: Recall@6 dao động chỉ 0.022 giữa 4 tổ chức.
Khả năng mở rộng tuyến tính: tài liệu 503 trang / 5.060 phần tử được plan trong 68.7s (95 section call song song); chi phí trang ổn định 3.9–5.5s/trang.
Lossless: mọi phần tử nội dung nằm đúng trong một chunk (fallback chunk cho phần bị bỏ sót), zero chunking error.

IV. Conclusion & Future Works:

D-RAC chứng minh rằng một lần chuyển đổi multimodal sang Markdown tối ưu cho retrieval là đủ để toàn bộ máy móc planning-theo-ID của W-RAC hoạt động trên mọi định dạng tài liệu doanh nghiệp, biến per-format engineering thành một phép chuyển đổi commodity-to-PDF duy nhất. Chiến lược normalize-once, re-chunk-cheaply giúp thay đổi chính sách chunking (kích thước, entity-aware, per-tenant) mà không tốn thêm chi phí convert hay OCR lại. Hướng tương lai (suy luận từ thiết kế): mở rộng sang tài liệu nhiều ngôn ngữ, tối ưu prompt conversion cho bảng phức tạp lồng nhau, và tích hợp chất lượng retrieval làm tín hiệu phản hồi cho giai đoạn conversion.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng table-to-prose normalization cho bảng lồng ghép và bảng nhiều cấp header, kèm đánh giá retrieval trên corpus tài liệu tài chính và pháp lý có bảng siêu phức tạp.
Học tự động chiến lược sectioning cho tài liệu cực dài (1000+ trang) dựa trên phân phối heading thực tế thay vì ngân sách phần tử cố định.
Tích hợp D-RAC với multimodal embedding và late-interaction retriever (ColBERT-style) để khai thác trực tiếp cấu trúc Markdown phân cấp thay vì flatten thành dense vector.
Đánh giá chéo độ chính xác của conversion (đối chiếu verbatim với text layer PDF) như một tín hiệu chất lượng online để tự động kích hoạt re-conversion khi cần.

2. Patent:

Ứng dụng di động quét tài liệu giấy vào hệ thống hỏi-đáp doanh nghiệp: chụp ảnh từng trang, chuyển sang ảnh chuẩn hóa, dùng một mô hình đa phương thức duy nhất biến bảng thành câu hoàn chỉnh theo từng hàng và giữ nguyên mục lục, sau đó lập danh sách số thứ tự đoạn văn để cắt chunk — người dùng chỉ tốn chi phí chuyển đổi một lần dù về sau đổi cách chia nhỏ tài liệu.
Hệ thống hồ sơ bảo hiểm/tài chính trên điện thoại: quét bảng minh họa quyền lợi, tự động viết lại mỗi hàng thành một câu khẳng định độc lập (kèm tên cột) để người dùng hỏi "gói 20 năm đóng bao nhiêu" và tìm đúng câu trả lời, không bị nhầm với gói 16 năm.
Module nạp tài liệu cho trợ lý AI trong công ty: mọi file Word, PowerPoint, Excel được render thành PDF chuẩn tại máy chủ, sau đó một pipeline thống nhất xử lý — giảm chi phí xây parser riêng cho từng định dạng và cho phép tái cắt chunk tức thì khi đổi chính sách lưu trữ theo từng phòng ban.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24220
ArXiv Abstract	https://arxiv.org/abs/2609.24220
PDF Download	https://arxiv.org/pdf/2609.24220.pdf
Github Repository	N/A

7. VideoGen-Agent: Reinforcing Video Generation Agents (36 votes)

Tác giả: Binxu Li, Haoyi Duan, Yuhui Zhang, Yaohui Zhang, Zihao Lin, et al.

Xuất bản lúc: 2026-09-21

Tag: Video Generation, Agentic RL, Tool Use, GRPO, Multimodal Agents, Diffusion Models, VLM

I. Main Problem:

Các mô hình text-to-video (T2V) hiện đại dù tạo hình ảnh chân thực vẫn thất bại khi prompt đòi hỏi năng lực chuyên biệt mà kiến thức pretraining không đủ:

Procedural Knowledge: mô tả sai kỹ thuật, động tác chuyên môn (ví dụ thế võ Thái Cực Quyền)
Identity Preservation: nhân vật, landmark, sản phẩm bị biến dạng giữa các frame
Physics Simulation: chuyển động vi phạm vật lý (va chạm, rơi tự do)
Compositional Scene: sai cấu trúc không gian, quan hệ giữa nhiều đối tượng
Multi-Shot: bỏ sót hoặc xáo trộn thứ tự các pha sự kiện

Các phương pháp agentic hiện có chỉ giải quyết một mục tiêu riêng lẻ, chưa có agent học dùng công cụ xuyên suốt nhiều loại tác vụ.

II. Main Idea:

VideoGen-Agent là agent đa phương thức (nền Qwen3-VL-8B) được huấn luyện qua multitask agentic RL để phối hợp ba nhóm công cụ trong vòng lặp reasoning–action–observation:

Augmentation: tìm kiếm văn bản (tra cứu kiến thức), tìm kiếm ảnh (tham chiếu nhân vật), mô phỏng vật lý (thông số chuyển động)
Generation: T2V, I2V, R2V (multi-reference), M2V (motion-conditioned)
Verification: object detection và depth estimation để kiểm tra video, feedback cho phép sinh lại (regenerate) nếu chưa đạt ngưỡng

Quy trình huấn luyện hai giai đoạn:

SFT trên 16K trajectory do teacher agent (Gemini 3.1 Pro / Claude Opus 4.7) tạo ra trên 6 loại tác vụ × 4K prompt
RL với GRPO trên 8K prompt mới, dùng hybrid reward (format 0.1, chất lượng video đánh giá bởi VLM 0.5, tool-use đúng tác vụ 0.4) kèm task advantage normalization để cân bằng tín hiệu học giữa các category

Điểm hay: agent dùng interface công cụ chung, nên thay thế model generation mạnh hơn sau khi train mà không cần train lại agent.

Ví dụ đời thường: giống một đạo diễn phim làm việc chuyên nghiệp — trước khi quay thì tra tài liệu và xem ảnh nhân vật (augmentation), quay thử (generation), rồi xem lại băng và yêu cầu quay lại cảnh hỏng (verification–regeneration), thay vì chỉ hô 'quay một phát ăn ngay' như mô hình T2V đơn lẻ.

III. Main Results:

Trên VABench (benchmark mới, 600 prompt cân bằng 6 category):
- Base T2V (Seedance 1.0): 56.5 → VideoGen-Agent Toolset 1: 75.6 (+19.1 điểm)
- Thay Toolset 2 (model generation mạnh hơn, không train lại): 86.1, cao nhất ở cả 6 category, vượt baseline mạnh nhất Seedance 2.0 (73.2)
- Lợi ích lớn nhất ở Multi-Shot (+25.7), Multi-Entity Identity (+17.7), Procedural Knowledge (+14.1) so với Seedance 2.0
Human evaluation: người chấm thích VideoGen-Agent hơn Seedance 2.0 ở 84.3% cặp so sánh
Ablation:
- Prompt rewriting chỉ +0.8, zero-shot tool use 59.5 → SFT 69.2 → RL 75.6: cả hai giai đoạn train đều cần thiết
- Bỏ tool reward sụt nhiều hơn bỏ VLM reward (71.2 vs 73.3)
- Multitask RL (75.6) gần tương đương single-task (76.3) nhưng chỉ cần một agent duy nhất cho 6 tác vụ
Khái quát hóa: agent tự kết hợp text + image retrieval cho tổ hợp tác vụ chưa thấy trong training; có thể gắn thêm pipeline action-to-video mới giữa chừng

IV. Conclusion & Future Works:

Học cách dùng công cụ qua SFT + multitask RL giúp một agent duy nhất vượt các video generator đơn lẻ, và agent này tự động hưởng lợi khi công cụ generation tiến bộ mà không cần retrain — cho thấy lợi ích bổ sung giữa tool-use học được và chất lượng model sinh.

Hạn chế: phụ thuộc chất lượng/độ trễ của công cụ generation, feedback verification còn thô (chỉ detection + depth), mới train trên 6 tác vụ.

Hướng tương lai:

On-policy distillation để giám sát trên chính trajectory của agent
Video-understanding model mạnh hơn làm feedback chi tiết để sửa lỗi có định hướng
Công cụ generation nhanh hơn, chất lượng hơn để refinement lặp lại khả thi hơn
Cải thiện đồng thời agent training, video feedback và generation tools cho workflow phức tạp hơn

V. Brainstorming Space:

1. Publish Papers:

Agent tự chọn conditioning signal động (text, image, motion, physics) cho từng prompt video bằng RL, thay vì workflow cố định theo category như hiện tại.
Video verification agent dùng VLM chi tiết để phân tích lỗi theo từng frame (mất nhân vật, sai vật lý, sai thứ tự) và tự đề xuất sửa prompt/công cụ tương ứng.
On-policy distillation cho agentic video generation: teacher chính là policy hiện tại, tự tạo trajectory tốt hơn để tự học, giảm phụ thuộc teacher bên ngoài.

2. Patent:

Ứng dụng điện thoại tạo video quảng cáo sản phẩm đúng thương hiệu: người dùng nhập tên sản phẩm, hệ thống tự tìm ảnh thật của sản phẩm trên mạng, sinh video giới thiệu giữ nguyên bao bì, logo qua các cảnh, và tự kiểm tra lại bằng nhận diện logo trước khi xuất.
Trợ lý tạo video hướng dẫn kỹ thuật (nấu ăn, yoga, sửa chữa): ứng dụng tra cứu tài liệu chuyên môn về từng động tác, sinh video từng bước đúng trình tự, tự rà soát thứ tự các pha rồi ghép lại thành video hoàn chỉnh.
Hệ thống dựng phân cảnh phim (pre-visualization) trên máy tính bảng: đạo diễn nhập kịch bản nhiều pha, hệ thống sinh từng cảnh theo thứ tự, dùng frame cuối của cảnh trước làm điều kiện cho cảnh sau để giữ liên tục nhân vật và bối cảnh.
Công cụ tạo video minh họa bài giảng vật lý đúng định luật: giáo viên nhập đề bài va chạm/rơi tự do với khối lượng, vận tốc; hệ thống mô phỏng quỹ đạo rồi sinh video minh họa đúng vật lý, thay vì video mơ hồ do model tự 'đoán'.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24997
ArXiv Abstract	https://arxiv.org/abs/2609.24997
PDF Download	https://arxiv.org/pdf/2609.24997.pdf
Github Repository	N/A

8. Grounded Action Model: 3D Grounding as a Foundation for Robotics (33 votes)

Tác giả: Gehao Zhang, Weikai Huang, Shailesh Shailesh, Yiyan Peng, Jiafei Duan, et al.

Xuất bản lúc: 2026-09-20

Tag: Robotics, Vision-Language-Action, 3D Grounding, Robot Foundation Models, Manipulation, Flow Matching

I. Main Problem:

Các mô hình robot nền tảng hiện tại xây dựng trên các backbone tiền huấn luyện cho ngôn ngữ (VLA) hoặc sinh video (WAM), nhưng các mục tiêu tiền huấn luyện này không yêu cầu grounding đo lường (metric grounding): nhận diện và định vị chính xác vị trí, hình dạng 3D của vật thể cần thao tác. Hệ quả:

Khả năng định vị không gian phải được học ngầm từ demo robot, dễ nhiễm tương quan hình ảnh học vẹt.
Khi vật thể bị dời chỗ, đổi mục tiêu, hoặc nền/xuất hiện vật gây nhiễu thay đổi, chính sách sụp đổ vì quan sát toàn cảnh chứa đầy thông tin không liên quan.
Các baseline mạnh nhất (Spatial Forcing 52.0%, FastWAM 39.9% avg) vẫn tụt xuống 26.7% và 1.9% dưới scene randomization dù co-train trên 50 tác vụ.

II. Main Idea:

Grounded Action Model (GAM) — robot foundation model đầu tiên lấy 3D grounding có thể prompt làm nền tảng, thay vì backbone ngôn ngữ hay video. Kiến trúc gồm:

Đầu vào linh hoạt: ngôn ngữ, điểm 2D, hoặc box 2D — đều được backbone 3D grounding (WildDet3D, đông lạnh) chuyển thành biểu diễn object-centric thống nhất gồm box 2D, box 3D metric và depth map.
Hai luồng quan sát bổ trợ nhau: image tokens giữ đặc trưng thị giác của chỉ các vật mục tiêu và cánh tay robot (che phần còn lại), detection tokens mã hóa point cloud + vị trí, kích thước, hướng 3D của từng vật.
Action head dùng multi-stream transformer (MM-DiT) kết hợp hai luồng trên với lịch sử trạng thái robot và embedding ngôn ngữ, dự đoán chunk vị trí khớp tuyệt đối qua flow matching.
Giao diện thống nhất cho phép planner VLM (Molmo2) chỉ định mục tiêu bằng điểm để điều khiển GAM như bộ điều khiển tầng thấp cho tác vụ dài hạn, phụ thuộc bộ nhớ.

Ví dụ đời thường: giống người làm bếp được bảo "lấy cái bọt biển bỏ vào bát" — thay vì nhìn toàn bộ căn bếp, họ chỉ zoom tầm nhìn vào đúng 2 vật và nhớ vị trí chính xác của chúng trên mặt bàn; khi ai đó dời cái bát đi chỗ khác, mắt họ bám theo vật mới chứ không nhớ vị trí cũ.

III. Main Results:

RoboTwin 2.0 (50 tác vị, train chỉ trên clean scenes): GAM đạt 55.3% avg, vượt Spatial Forcing (52.0%); dưới scene randomization đạt 47.6% — gần gấp đôi Abot-M0 (30.4%) và giữ 76% hiệu suất clean; vượt π0.5 cùng protocol 10 điểm (55.3% vs 45.0%).
LIBERO-PRO (16 thiết lập perturbation): 61% avg — state-of-the-art (π0.5: 53%). Đặc biệt mạnh khi mục tiêu bị dời (Spatial-Pos 0.60, gấp 2-3 lần baseline tốt nhất) và khi chỉ định mục tiêu mới (Task: 0.88 Spatial trong khi mọi baseline dưới 0.11).
Robot thật bimanual: in-distribution 19/20 cả hai phương pháp, nhưng dưới visual shift GAM giữ 17/20 (89%) vs π0.5 chỉ 4/20 (21%).
Franka + planner Molmo2 (tác vụ dài hạn/phụ thuộc bộ nhớ): 64.7% ID, 49.8% OOD step completion, vượt π0.5 (42.4%/24.0%) và MolmoAct2 (35.3%/17.1%).
Ablation: bỏ object-centric filtering (che ảnh + cắt point cloud) làm avg giảm từ 46.8% xuống 10.3%; chỉ dùng detection tokens (16.0%) hoặc chỉ image tokens (20.3%) đều thua xa kết hợp cả hai — appearance và geometry metric bổ trợ lẫn nhau.

IV. Conclusion & Future Works:

GAM chứng minh 3D grounding là nền tảng tiềm năng cho robot foundation models: biểu diễn object-centric vừa thị giác vừa metric giúp chính sách chịu được biến đổi cảnh, khái quát hóa sang vị tiêu bị dời hoặc mới được chỉ định, và giao diện thống nhất hỗ trợ cả chọn mục tiêu trực tiếp lẫn điều khiển qua planner cho tác vụ dài hạn.

Hạn chế & hướng tương lai:

Lỗi grounding lan truyền thẳng vào hành động mà không có cơ chế phục hồi; lọc object-centric có thể bỏ sót ngữ cảnh quan trọng (vật cản không được chọn).
Cần bộ dữ liệu và mô hình grounding 3D đa dạng, khái quát hóa tốt hơn giữa các vật/cảnh.
Box 3D chỉ là một dạng grounding — dense 3D instance segmentation có thể cung cấp giám sát hình học mịn hơn.
Khám phá failure recovery có nhận thức grounding và chọn ngữ cảnh thích ứng cho thực thi an toàn.

V. Brainstorming Space:

1. Publish Papers:

Thay box 3D bằng dense 3D instance segmentation làm biểu diễn grounding cho action policy, cung cấp hình học chi tiết hơn cho các tác vụ cần độ chính xác cao (xỏ kim, lắp ráp).
Cơ chế failure recovery nhận thức grounding: phát hiện khi đầu ra grounding sai (vật thất lạc, box lệch) và tự kích hoạt re-grounding hoặc chuyển sang chế độ an toàn.
Grounding-aware adaptive context selection: mở rộng vùng quan sát ngoài vật mục tiêu khi cần (phát hiện vật cản, quỹ đạo va chạm) thay vì cố định chỉ che vật đã chọn.
Mở rộng paradigm GAM sang nền tảng grounding thay thế (khác WildDet3D) và đánh giá chéo độ mạnh của backbone grounding ảnh hưởng thế nào đến chất lượng action learning.

2. Patent:

Ứng dụng robot phục vụ gia đình điều khiển bằng điện thoại: người dùng chạm trực tiếp lên màn hình để chỉ vật cần lấy (điểm 2D), camera điện thoại gửi ảnh lên đám mây; mô hình 3D grounding định vị vật trong không gian 3D và robot thực hiện — không cần nói tên vật, tránh nhầm khi nhiều vật giống nhau.
Hệ thống kho hàng tự động với điểm danh bằng chạm: nhân viên kho chỉ cần bấm vào ảnh sản phẩm trên tablet để đổi mục tiêu robot picking ngay lập tức, mà không phải nhập lại lệnh bằng giọng nói hoặc quét mã.
Robot bán hàng/quán cà phê chịu đổi bố cục: camera theo dõi vị trí mới của cốc, bình, hộp bằng point tracking qua từng khung hình; khi khách dời đồ hoặc nhân viên xếp lại quầy, robot vẫn tìm đúng vật và thao tác chính xác mà không cần huấn luyện lại.
Trợ lý lắp ráp công nghiệp nhiều bước: một máy tính điều phối (planner) quan sát camera, dùng lịch sử công đoạn để chọn linh kiện tiếp theo bằng cách gửi tọa độ chạm cho cánh tay robot — mỗi cánh tay chỉ tập trung vào đúng linh kiện được chỉ định, giảm nhiễu từ dây chuyền đông đúc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.23863
ArXiv Abstract	https://arxiv.org/abs/2609.23863
PDF Download	https://arxiv.org/pdf/2609.23863.pdf
Github Repository	https://github.com/GehaoZhang6/Grounded-Action-Model

9. Realtime-Venus: A full-duplex interaction system with asynchronous delegation (30 votes)

Tác giả: Ruixiang Zhao, Hualei Wang, Renhe Sun, Enzhi Zhou, Jincenzi Wu, et al.

Xuất bản lúc: 2026-09-12

Tag: Full-Duplex Speech, Omni-Modal LLM, Streaming Multimodal, Tool Delegation, Audio-Visual Interaction, Speech Generation

I. Main Problem:

Tương tác tự nhiên giữa người và máy đòi hỏi hệ thống liên tục nhận thức (audio + video) và phản hồi kịp thời, nhưng các mô hình hiện tại còn nhiều hạn chế:

Bán song công (half-duplex): phải chờ người dùng nói hết mới phản hồi, không xử lý được khi bị ngắt lời, tiếng ồn nền hay backchannel ("ừm", "đúng rồi").
Thiếu chủ động: không tự biết khi nào nên lên tiếng khi có sự kiện mới trong video mà không được hỏi.
Tác vụ nặng chặn hội thoại: gọi công cụ/suy luận phức tạp (tra cứu, tính toán) làm đứt quãng luồng trò chuyện vì tốn thời gian.
Ngữ cảnh video dài: cửa sổ context có giới hạn nên nội dung đầu buổi trò chuyện bị quên khi session kéo dài hàng giờ.

II. Main Idea:

Realtime-Venus gồm hai mô hình 9B riêng biệt (Realtime-Venus-Omni cho tương tác audio–video, Realtime-Venus-Audio chỉ cho hội thoại thoại), mỗi mô hình là một frontend hội thoại hoàn chỉnh: nhận thức liên tục + kiểm soát hội thoại + sinh giọng nói native, xây dựng trên kiến trúc Thinker–Talker của MiniCPM-o 4.5. Điểm cốt lõi:

Một timeline nhân quát thống nhất: ba luồng — luồng người dùng (audio/visual), luồng trợ lý (text + token giọng nói), luồng nền (kết quả từ công cụ) — được căn theo cùng đồng hồ 1 giây/chunk, xen kẽ thành một chuỗi token duy nhất cho LLM.
Token điều khiển song công: <|listen|>, <|speak|>, <|turn_eos|> giúp mô hình quyết định nghe hay nói theo từng chunk — phân biệt ngắt lời (dừng/sửa câu trả lời) với backchannel (giữ nguyên, tiếp tục nói).
Ủy quyền bất đồng bộ: khi cần công cụ, mô hình phát token kèm yêu cầu tự nhiên (ẩn với người dùng); Realtime-Venus-Harness chạy nền, chụp bằng chứng tại thời điểm gửi yêu cầu, thực thi và trả kết quả qua token — hội thoại tiếp tục không gián đoạn.
Kiến trúc vòng kép: vòng tương tác (nhạy độ trễ, chạy liên tục) + vòng năng lực (chạy tác vụ dài hạn), frontend giữ quyền quyết định khi nào nói kết quả.
Bộ nhớ video dài không cần training: chỉ lưu frame có thay đổi lớn (ước lượng qua motion prediction cost), truy xuất bằng MaxSim + cân bằng relevance/novelty (MMR) — cho hiểu video hàng giờ.

Ví dụ đời thường: giống một trợ lý thông minh vừa trò chuyện mặt đối mặt với bạn vừa nhắn cho đồng nghiệp tra giúp thông tin — bạn vẫn nói chuyện liên tục không bị gián đoạn, và khi đồng nghiệp trả lời, trợ lý chọn đúng lúc lịch sự để đưa kết quả vào câu chuyện.

III. Main Results:

Video benchmarks: RT-Venus-Omni dẫn đầu trong các mô hình online ở 6/8 benchmark, gồm StreamingBench 70.2%, OVO-Bench 64.7%, Daily-Omni 81.3%.
Audio/QA benchmarks: RT-Venus-Audio dẫn đầu MMAU 78.0%, MMAU-Pro 63.2%, Llama Questions 83.8%, Speech CMMLU 67.8%; bằng điểm VoiceBench AlpacaEval tốt nhất 4.81.
Full-Duplex-Bench v1.5: phản hồi 75% lượt người dùng ngắt lời; tỉ lệ tiếp tục câu trả lời đạt 97% (backchannel), 88% (nói với người khác), 86% (tiếng nói nền) — vượt Gemini 3.1 Live và GPT-4o trên cả ba chỉ số continuation.
RT-Venus-Omni là mô hình omni full-duplex đầu tiên hỗ trợ gọi backend bất đồng bộ (suy luận + công cụ) trong khi vẫn duy trì tương tác video, và hiểu video ở cỡ giờ nhờ memory augmentation.

IV. Conclusion & Future Works:

Realtime-Venus chứng minh có thể đặt điều khiển hội thoại, sinh phản hồi và ủy quyền công cụ trong một chính sách chung trên một timeline, thay vì ghép các module rời rạc. Việc chụp bằng chứng tại ranh giới yêu cầu + kiểm tra độ tươi (freshness) khi trả kết quả giúp tác vụ nền ổn định trong khi frontend linh hoạt theo ý đổi của người dùng. Các đánh giá delegation cho thấy phân biệt định tuyến đúng và hoàn thành tác vụ thật vẫn là thách thức khi chạy công việc bên ngoài trong lúc hội thoại. Hướng mở: nâng cao chất lượng thực thi tác vụ nền và mở rộng quy mô capability đăng ký.

V. Brainstorming Space:

1. Publish Papers:

Mô hình full-duplex chủ động thuần đầu-cuối cho video streaming: học chính sách nghe/nói/chủ động lên tiếng trong một vòng autoregressive duy nhất với đồng hồ hội thoại thống nhất.
Giao thức ủy quyền bất đồng bộ dạng token (/) cho mô hình ngôn ngữ stream: ràng buộc bằng chứng tại thời điểm gửi, thực thi ngoài luồng, trả kết quả có kiểm soát freshness.
Bộ nhớ dài cho video hàng giờ không cần huấn luyện: gating frame theo motion-compensation cost kết hợp truy xuất MaxSim + MMR để cân bằng liên quan và độ mới của bằng chứng thị giác.
Pipeline dữ liệu ghép cặp song công và ủy quyền: quy hoạch kịch bản, hiện thực giọng nói, căn thời gian để dạy mô hình quyết định khi nào nghe, nói, hay giao việc.

2. Patent:

Trợ lý giọng nói trên điện thoại không bị ngắt quãng: khi người dùng chen lời hoặc nói "ừm" với người khác, ứng dụng phân loại bằng token trạng thái theo từng giây để giữ nguyên hoặc sửa câu trả lời đang phát, thay vì dừng đột ngột như loa thông minh hiện tại.
Ứng dụng camera thời gian thực trên điện thoại có bộ nhớ sự kiện dài: camera ghi liên tục nhiều giờ nhưng chỉ lưu những khung hình có biến đổi lớn, để sau đó người dùng hỏi "lúc nãy ai giao hàng?" là trợ lý truy xuất đúng đoạn video liên quan mà không tốn bộ nhớ.
Trợ lý ảo gọi công cụ ngầm trên điện thoại: người đang nói chuyện yêu cầu tra thông tin phức tạp, trợ lý phát một đoạn lệnh ẩn giao cho backend chạy ngầm, tiếp tục trò chuyện, rồi tự chọn khoảng lặng hợp lý để đọc kết quả — tương tự chức năng đặt lịch/tra cứu mà không làm gián đoạn cuộc gọi.
Hệ thống hội thoại đa thiết bị phân biệt người nói với người: khi có tiếng người thứ ba ở gần, thiết bị xác định đó không phải lời người dùng nên không ngắt câu trả lời, tránh kích hoạt nhầm như trợ lý hiện tại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.13814
ArXiv Abstract	https://arxiv.org/abs/2609.13814
PDF Download	https://arxiv.org/pdf/2609.13814.pdf
Github Repository	https://github.com/inclusionAI/Realtime-Venus

10. onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction (27 votes)

Tác giả: Lei Yang, Mengyin Liu, Jia Wang, Hangyu Guo, Liang Zhao, et al.

Xuất bản lúc: 2026-09-21

Tag: LLM Alignment, Data Annotation, Token-Level Correction, On-Policy Data, Preference Learning, RLHF, Agents, SFT, Human-in-the-Loop

I. Main Problem:

Việc mở rộng dữ liệu alignment chất lượng cao cho LLM và agent đang là nút thắt cổ chai, vì các pipeline hiện tại không hài hòa được ba yếu tố:

Chi phí chú thích cao: viết tay hoặc chỉnh sửa lại (post-editing) toàn bộ câu trả lời tốn nhiều công sức và thời gian.
Mất on-policy fidelity: dữ liệu con người viết/sửa lệch khỏi phân phối sampling của model, khiến dữ liệu SFT không còn 'đúng gu' model cần học.
Supervision thô: preference data chỉ cho tín hiệu ở cấp câu trả lời, và bị giới hạn trong các câu trả lời model tự sinh được — không giúp gì khi model không thể tự sinh câu trả lời tốt.
Chú thích agent trajectory còn khó hơn: mọi chỉnh sửa phải thực thi tool thật và nhận phản hồi thật trước khi generation tiếp tục; công cụ hiện có (Reptile, POTATO 2.0...) thiếu tương tác token-level đồng thời với thực thi tool call đã sửa.

II. Main Idea:

onPanda là công cụ chú thích tương tác lấy token-level correction làm tương tác cốt lõi, theo vòng lặp 'định vị – sửa – tiếp tục' (locate–correct–continue):

Người chú thích đọc câu trả lời của model, giao diện tô màu xác suất từng token (xanh = tự tin, đỏ = không chắc) giúp nhanh chóng tìm ra vị trí sai đầu tiên.
Tại token sai, hệ thống hiện top-20 candidate tokens kèm xác suất; người dùng click chọn token thay thế, hoặc double-click gõ tự do nếu không có candidate phù hợp.
Hệ thống cắt bỏ toàn bộ nội dung sau điểm sửa và cho model tiếp tục sinh từ prefix đã sửa — lặp lại cho đến khi câu trả lời đạt chuẩn.
Mỗi phiên chú thích lưu thành annotation tree: các phiên bản trung gian tự động giữ lại làm negative samples, phiên bản cuối là positive sample, kèm vị trí và token sửa chính xác → xuất được cả SFT data, preference pairs, và token-level correction triples.
Với agent, onPanda kết nối tool qua MCP, bọc các harness (Claude Code, Codex, OpenClaw) thành MCP server; response template chuyển đổi hai chiều giữa structured message (reasoning, content, tool_calls) và token stream, nên sửa được cả tool-call arguments rồi thực thi thật.

Nhờ con người chỉ chạm vào vài token sai, phần lớn câu trả lời vẫn do model tự sinh → dữ liệu giữ sát phân phối sampling của model (on-policy), đồng thời mọi lần sửa đều thành supervision mịn, có vị trí chính xác.

Ví dụ đời thường: giống khi họa sĩ vẽ tranh AI — thay vì xóa tranh vẽ lại từ đầu, bạn chỉ chỉ vào một nét vẽ hỏng đầu tiên, AI tự đề xuất vài nét thay thế để bạn chọn (hoặc tự vẽ nét mới), rồi AI tự vẽ nối phần còn lại theo nét đã sửa.

III. Main Results:

Hiệu quả chú thích: thời gian median giảm 52% so với post-editing thủ công (330s vs 681s của POTATO), ngang Argilla (336s); win rate cao nhất 66.7% theo LLM-judge, chất lượng không đánh đổi lấy tốc độ.
On-policy fidelity: PPL của dữ liệu onPanda gần baseline resampling (1.181, chênh +0.86%), trong khi post-editing thủ công lệch +36.31%.
SFT coverage 100% (so với 52% của preference ranking), và thu được 7.43 preference pairs/prompt — gắn chính xác vào vị trí sửa, nhiều hơn hẳn Argilla (6) và POTATO (0.95).
User study (NASA-TLX): onPanda có workload thấp nhất (3.1 vs Argilla 5.4, POTATO 6.8).
Triển khai thực tế: 131,996 phiên chú thích (vision, audio, agentic), ~388K token-level corrections; 97.0% token trong câu trả lời cuối do model tự sinh, chỉ 2.1% chọn từ candidate, 0.9% gõ tay.
Panda-CVL benchmark: 7,491 phiên chú thích đa phương thức tiếng Trung; kết quả cho thấy token-level correction rất khó với mọi model — F1 tốt nhất chỉ 17.09% (GPT-5.5), Corr.-NG dưới 16% dù Format >90%.
Đồng thuận người chú thích: location agreement 30.95% (cao hơn hẳn baseline ngẫu nhiên 0.20%), cho thấy tín hiệu tham chiếu đáng tin.

IV. Conclusion & Future Works:

onPanda chứng minh token-level correction là paradigm chú thích mới: nhanh hơn post-editing, giữ được phân phối on-policy của model, và tự động tạo supervision mịn (vị trí + hướng sửa + cặp positive–negative tự nhiên) cho cả LLM thuần văn bản, đa phương thức và agent. Tác giả mã nguồn mở công cụ, dataset Panda-CVL và benchmark.

Hướng tương lai chính: post-training trên token-level correction data — lợi ích downstream khi huấn luyện (RM/DPO/PRM) vẫn chưa được kiểm chứng bằng thực nghiệm training; đây là bước tiếp theo tác giả đang phát triển.

V. Brainstorming Space:

1. Publish Papers:

Thí nghiệm huấn luyện downstream: đào tạo reward model và DPO/PRM trên token-level correction triples từ onPanda để đo lợi ích thực tế so với preference data cấp câu trả lời.
Mở rộng token-level correction cho mô hình reasoning multi-step: tự động chuyển đổi vị trí token sai thành process reward cho từng bước suy luận dài.
Nghiên cứu quy trình chú thích agent tương tác có kiểm soát (controlled agent study) để định lượng chất lượng trajectory thay vì chỉ dừng ở thống kê triển khai.
Benchmark token-level correction đa ngôn ngữ và đa phương thức mở rộng, vượt ra ngoài tiếng Trung của Panda-CVL hiện tại.

2. Patent:

Ứng dụng chú thích AI trên điện thoại: người dùng đọc câu trả lời chatbot, chạm vào từ đầu tiên sai trên màn hình, chọn từ thay thế trong danh sách gợi ý có xác suất; chatbot tự viết nối phần còn lại — giảm thời gian sửa nội dung AI trên mobile đáng kể.
Hệ thống sửa lỗi trợ lý ảo điều khiển nhà thông minh qua điện thoại: khi trợ lý gọi sai lệnh (ví dụ sai tên thiết bị), người dùng chỉnh đúng tham số trong cuộc gọi tool trên giao diện; hệ thống thực thi lệnh đã sửa và ghi lại cặp lệnh sai/đúng để huấn luyện trợ lý tốt hơn.
Công cụ kiểm duyệt và hiệu chỉnh nội dung AI cho mạng xã hội: kiểm duyệt viên duyệt bài AI-generated, click sửa từng token đầu tiên vi phạm; hệ thống sinh nối phần còn lại và lưu toàn bộ lịch sử sửa đổi làm dữ liệu huấn luyện bộ lọc nội dung.
Trợ lý soạn thảo văn bản tích hợp sửa token-level có gợi ý xác suất: trong ứng dụng ghi chú trên điện thoại, từng từ AI gợi ý được tô màu theo độ tự tin; người dùng chạm sửa từ đầu tiên không vừa ý và AI tự viết lại phần sau, tăng tốc soạn thảo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24983
ArXiv Abstract	https://arxiv.org/abs/2609.24983
PDF Download	https://arxiv.org/pdf/2609.24983.pdf
Github Repository	https://github.com/on-panda/on-panda

11. One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents (23 votes)

Tác giả: Jie Zhao, Ziyu Jiang, Suhang Zheng, Minghui Shan, Xiaoxiao Xu, et al.

Xuất bản lúc: 2026-09-20

Tag: Software Engineering Agents, Reinforcement Learning, On-Policy Distillation, Multi-Teacher Distillation, SWE-bench, Category-Aware Training, Agentic RL

I. Main Problem:

Các agent cho repository-level software engineering phải điều hướng repo, sửa code, gọi công cụ, chạy test và sửa lại patch qua nhiều bước dài. Khi train một policy chung trên dữ liệu trộn từ nhiều loại task, điểm tổng có thể tăng trong khi một số nhóm tác vụ hồi quy; tác giả gọi hiện tượng này là category see-saw. Các cách trước đây bỏ sót cấu trúc này: joint training dùng metric aggregate nên che mất phân phối lỗi/giải quyết, pipeline kiểu localization-then-repair chỉ chia theo giai đoạn chức năng, còn branch-train-merge/MOPD/ExOPD chủ yếu áp dụng giữa các domain rời rạc chứ không tách bên trong cùng một domain SWE.

II. Main Idea:

Ý chính là One to More, More to One: xuất phát từ một base model, huấn luyện nhiều category experts, rồi gộp lại thành một policy triển khai duy nhất.

SWE Labeler tạo nhãn có căn cứ nguồn, đa trục: Task Type, Repository Domain, cùng ba trục thang đo về scope, cognitive complexity và resolution time; quy tắc xác định gom nhãn thành category như Pro-A/B/C.
Mỗi expert cùng gốc chạy vòng Refresh–Repair–Expand: Refresh đo lại instance mastery sau khi policy thay đổi; Repair lấy chính các trajectory thành công đã xác minh của policy làm Repair SFT; Expand chọn task mới ở biên huấn luyện.
Các pha reinforcement learning dùng Agentic-miniRL cho trajectory dài, với behavior-policy correction, RLOO advantages, K1 reference penalty và turn-aware loss reduction.
Tích hợp bằng label-routed multi-teacher on-policy distillation: student tự rollout trên policy của mình, route task/tiểu bang về đúng teacher; ReLU-gated reward extrapolation chỉ giữ hướng cải thiện so với reference để tránh bắt chước các hành vi không tốt hơn baseline.
Toàn bộ expert training và policy integration không dùng external model để cung cấp solution trajectory hay action target.

Ví dụ đời thường: giống một xưởng sửa chữa: thay vì một thợ xử lý mọi máy theo hàng đợi trộn lộn, xưởng cho ba thợ tập riêng ba dòng hỏng; mỗi ngày thợ tự kiểm tra lại tay nghề, giữ lại vài thao tác thành công nhất để chỉnh kỹ năng rồi nhận máy khó hơn, cuối cùng thợ trưởng phân bài đúng chuyên môn và chỉ dạy học trò những động tác nào làm tốt hơn mức cũ.

III. Main Results:

MOPD policy cuối đạt mean resolution 58.04% trên Pro-618, cao hơn base model +5.39 điểm phần trăm.
Trên SWE-bench Multilingual, đạt 59.00%, cao hơn base model +2.78 điểm phần trăm.
Motivation thực nghiệm: dưới Pooled RL trên mixture 6,723 task, gain của Pro-A/B/C di chuyển không đều; overall gain dương có thể đi kèm minimum category gain âm, nghĩa là điểm tổng không chứng minh mọi category đều tiến bộ.
Pro-618 là tập audit-filtered từ SWE-bench Pro, giữ 618/731 instance sau khi loại các task bị cộng đồng báo lỗi môi trường/container/evaluation; chia Pro-A/B/C gồm 221/201/196 task.
SWE Labeler được áp dụng cho 1,531 instance từ SWE-bench Verified, SWE-bench Pro và SWE-bench Multilingual; pool xây dựng có khoảng 32K executable candidates.

IV. Conclusion & Future Works:

Thông điệp chính: bên trong một domain rộng như SWE, category-aware specialization cần đi kèm self-improving experts và policy integration có kiểm soát; chỉ cân bằng tỷ lệ dữ liệu là chưa đủ. Điểm then chốt là giữ expert cùng gốc, củng cố hành vi thành công bằng RRE, rồi distill on-policy có route theo nhãn và reward extrapolation để giữ lại các hướng cải thiện thật. Hướng tương lai hợp lý: làm category rule mịn và audit-able hơn; tăng kiểm soát verifier flaky, leakage và reward hacking; cân bằng optimization budget giữa các teacher; mở rộng sang repo đa ngôn ngữ, tác vụ visual/security/performance và đánh giá per-category chặt hơn.

V. Brainstorming Space:

1. Publish Papers:

Curriculum cân bằng cho một RL policy duy nhất: dùng chẩn đoán theo category để thay đổi mixture theo từng checkpoint nhằm tối đa hóa độ lợi nhỏ nhất giữa các nhóm, không cần tách nhiều expert.
Vệ sinh reward cho executable SWE RL: kết hợp leakage check, lọc test flaky, kiểm soát anti-hacking runtime và quy kết false-positive reward về đúng category để bảo vệ tín hiệu học.
Cân bằng ngân sách học khi distill nhiều teacher trong cùng một domain: phân bổ bước cập nhật theo mức cải thiện thật đo được trên student và mức quên của từng expert.

2. Patent:

Trợ lý sửa lỗi trong IDE hoặc điện thoại cho lập trình viên: ứng dụng phân loại issue theo loại thay đổi và hệ sinh thái repo, chọn chuyên gia ảo tương ứng, tự tạo patch ứng viên, chạy kiểm thử lỗi-cần-sửa và kiểm thử chống hồi quy, rồi chỉ giữ đề xuất làm kết quả tốt hơn bản baseline.
Hệ thống CI/CD tự phân bài chuyên môn: khi một pull request fail, nền tảng gắn nhãn loại bảo trì, đưa về module chuyên môn phù hợp, tạo sửa đổi thử trong sandbox container, đối chiếu log kiểm thử và trả về patch kèm bằng chứng chạy được.
Ứng dụng low-code trên điện thoại: người dùng mô tả lỗi bằng giọng nói hoặc tin nhắn; thiết bị gửi phần repo tối thiểu lên môi trường chạy thử, agent thăm dò lỗi, chọn đúng kiểu chuyên gia ảo, sửa theo từng loại tác vụ và xuất bản vá có giải thích dễ hiểu từ kết quả chạy thử.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.23377
ArXiv Abstract	https://arxiv.org/abs/2609.23377
PDF Download	https://arxiv.org/pdf/2609.23377.pdf
Github Repository	https://github.com/alibaba/AgenticBigBang

12. Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents (14 votes)

Tác giả: Dongming Jiang, Yi Li, Bingzhe Li

Xuất bản lúc: 2026-09-21

Tag: Agentic Memory, LLM Agents, System-One/System-Two, Memory Retrieval, Knowledge Graph, Efficient Inference, Long-Horizon Agents

I. Main Problem:

Các hệ thống agentic memory (bộ nhớ tác tử) hiện tại phải liên tục ra các quyết định: ghi nhớ thông tin nào, nối nó với ký ức nào, tìm ở đâu, dừng lúc nào. Hai cách làm phổ biến đều có vấn đề:

Heuristic cố định: nhanh nhưng cứng nhắc, không linh hoạt theo ngữ nghĩa.
Gọi LLM autoregressive cho mọi quyết định: linh hoạt nhưng tốn kém — ngay cả một phán đoán nhỏ (đánh nhãn, chấm điểm ứng viên, quyết định dừng tìm kiếm) cũng phải sinh token từng chữ, parse lại kết quả. Vì các quyết định này lặp lại xuyên suốt toàn bộ vòng đời bộ nhớ (cả khi ghi lẫn khi đọc), chi phí kiểm soát bộ nhớ trở thành nguồn gây độ trễ và tốn kém chính của hệ thống.

II. Main Idea:

Phân tách bộ nhớ tác tử theo mô hình nhận thức hai hệ thống của con người:

System One — mặt phẳng điều khiển nhẹ: ra các quyết định có cấu trúc, tần suất cao dưới dạng xác suất kiểu dữ liệu (typed probabilistic decisions) thay vì sinh văn bản tự do — không tốn sinh token autoregressive. Gồm:
- Khi ghi: gán kiểu ký ức (episodic/semantic/procedural/preference), tách tìm ứng viên (retrieval xác định) khỏi phán đoán quan hệ (controller), rồi xây dựng đồng thời 4 loại quan hệ: semantic, temporal, causal, entity trên cùng các nút ký ức chuẩn.
- Khi đọc: định tuyến truy vấn tới các view quan hệ phù hợp, phân bổ ngân sách tìm kiếm theo mức độ liên quan dự đoán được, lan truyền đồ thị có kiểm soát, chấm điểm ứng viên theo 4 chiều (liên quan truy vấn, hữu ích, mới mẻ, hỗ trợ bằng chứng), và dừng thích ứng khi bằng chứng đã đủ hoặc tìm tiếp không còn ích lợi.
System Two — lý luận suy ngẫm: LLM chỉ được gọi một lần cuối để tổng hợp bằng chứng và sinh câu trả lời.

Ví dụ đời thường: giống thủ thư tra cứu sách — thay vì mời giáo sư (System Two) đọc toàn bộ thư viện để tìm mỗi cuốn sách, người phụ tá nhanh nhẹn (System One) tự lập mục lục, đi thẳng tới giá đúng, rút vài cuốn liên quan, và chỉ đưa cho giáo sư khi đã gom đủ tài liệu cần thiết.

III. Main Results:

Độ chính xác (LoCoMo, LLM-as-a-Judge): 0.777 tổng thể, +11.0% so với baseline mạnh nhất (MAGMA 0.700); tốt nhất 5/6 nhóm câu hỏi, hòa nhóm temporal.
Nhóm câu hỏi khó nhất cải thiện rõ nhất:
- Adversarial (câu hỏi gài, nhiễu): 0.962 vs 0.742 — vượt xa mọi hệ thống khác.
- Multi-Hop: 0.625 vs 0.569.
- Open-Domain: 0.610 vs 0.517.
Hiệu quả hệ thống:
- Thời gian xây dựng bộ nhớ: 158 giây — nhanh 6.6× so với hệ thống nhanh nhất còn lại (Nemori 1.044s), giảm 84.9%.
- Độ trễ trung bình mỗi truy vấn: 0.93 giây — giảm 36.7% so với baseline nhanh nhất (MAGMA 1.47s), giảm 46.6% so với Full Context (1.74s).
Kết luận chính: kiến trúc tách điều khiển bộ nhớ nhẹ khỏi lý luận sinh dạng văn bản giúp đồng thời tăng cả độ chính xác lẫn tốc độ — không phải đánh đổi.

IV. Conclusion & Future Works:

Công trình chứng minh việc tách điều khiển bộ nhớ tần suất cao (System One) khỏi lý luận và tổng hợp câu trả lời (System Two) là hướng đi hứa hẹn cho tác tử hoạt động dài hạn: Jev-Mem đạt độ chính xác cao nhất đồng thời hiệu quả cao nhất trong các baseline.

Hướng mở rộng hợp lý:

Áp dụng mặt phẳng điều khiển System One cho các tác vụ kiểm soát khác của tác tử (chọn công cụ, lập kế hoạch) thay vì chỉ bộ nhớ.
Học/điều chỉnh các ngưỡng quyết định (kích hoạt view, dừng tìm kiếm) tự động theo miền ứng dụng thay vì cố định.
Mở rộng cơ chế consolidation định kỳ (gộp ký ức trùng lặp, phát hiện mâu thuẫn) để bộ nhớ tự tiến hóa tốt hơn theo thời gian dài.

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa kiến trúc System-One/System-Two từ bộ nhớ sang toàn bộ vòng đời tác tử: điều khiển nhẹ đảm nhiệm định tuyến công cụ, phân bổ ngân sách suy luận và dừng hành động, System Two chỉ xử lý các bước cần lý luận sâu.
Học ngưỡng ra quyết định của bộ điều khiển System One bằng học tăng cường hoặc học từ phản hồi, thay các ngưỡng cố định hiện tại để thích ứng với từng miền ứng dụng và phân phối truy vấn.
Nghiên cứu cơ chế duy tu bộ nhớ chủ động: tự phát hiện ký ức mâu thuẫn, lỗi thời và gộp trùng lặp bằng bộ điều khiển nhẹ, chỉ thỉnh thoảng leo thang sang mô hình lớn để tổng hợp khi thật sự cần.
Đánh giá kiến trúc trên các loại trí nhớ khác của tác tử (trí nhớ thủ tục, kỹ năng tái sử dụng) và trên các bộ dữ liệu tương tác dài hạn ngoài hội thoại như lập trình và vận hành phần mềm.

2. Patent:

Trợ lý cá nhân trên điện thoại với bộ nhớ tiết kiệm pin và mạng: các quyết định ghi nhớ, phân loại và tìm kiếm thông tin (cuộc trò chuyện, sở thích, lịch hẹn) chạy bằng mô hình nhẹ phản hồi xác suất tức thì, chỉ gọi mô hình lớn trên đám mây khi tổng hợp câu trả lời — giảm đáng kể độ trễ và chi phí dữ liệu di động.
Hệ ghi nhớ quan hệ đa chiều cho ứng dụng chăm sóc khách hàng: mỗi tương tác được lưu một lần duy nhất nhưng tự động nối theo ngữ nghĩa, thời gian, nguyên nhân và nhân vật; khi khách hỏi lại, hệ thống chỉ duyệt đúng nhánh quan hệ liên quan và tự dừng khi đã đủ thông tin, trả lời nhanh hơn nhiều so với duyệt toàn bộ lịch sử.
Cơ chế dừng tìm kiếm thông minh cho trợ lý trên thiết bị đeo: thay vì quét toàn bộ ký ức người dùng, hệ thống chấm điểm mức đủ thiếu của bằng chứng theo từng vòng và kết thúc tìm kiếm sớm, tiết kiệm năng lượng pin cho các thiết bị có tài nguyên hạn chế.
Module đồng bộ bộ nhớ giữa điện thoại và máy tính: quyết định loại quan hệ và mức độ liên quan của từng ký ức được tính sẵn bằng bộ điều khiển nhẹ, nên khi đồng bộ giữa các thiết bị chỉ cần truyền cấu trúc đồ thị thay vì chạy lại mô hình lớn trên từng máy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.23986
ArXiv Abstract	https://arxiv.org/abs/2609.23986
PDF Download	https://arxiv.org/pdf/2609.23986.pdf
Github Repository	https://github.com/libingzheren/Jev-Mem

13. Deep Persona: A Psychologically Grounded Architecture and Evaluation Framework for Role-Playing Agents and Simulations (13 votes)

Tác giả: Rotem Dror, Zohar Elyoseph, Yuval Haber, Elad Refoua, Oshrat Ayalon, et al.

Xuất bản lúc: 2026-09-06

Tag: LLMs, Role-Playing Agents, Persona Simulation, Evaluation Framework, Mental Health Training, Dialogue Evaluation

I. Main Problem:

Các cách xây dựng persona cho LLM hiện nay chỉ dùng mô tả nhân vật phẳng (vài dòng đặc điểm tính cách, vai trò), khiến agent:

mất tính nhất quán qua các lượt hội thoại dài (hallucination, drift khỏi nhân vật)
thiếu chiều sâu tâm lý: nghe thông minh về mặt ngôn ngữ nhưng 'rỗng' về mặt cảm xúc (hiệu ứng uncanny valley)
đánh giá hiện tại chỉ xoay quanh độ trung thành phong cách, không đo được sự tự nhiên, mạch lạc tâm lý của tương tác
đặc biệt nghiêm trọng trong đào tạo lâm sàng (mô phỏng bệnh nhân cho nhà trị liệu), nơi yêu cầu tính thuyết phục và ổn định rất cao.

II. Main Idea:

Deep Persona — kiến trúc 3 lớp lấy cảm hứng từ mô hình tâm lý học (Freud, McAdams & Pals), vận hành theo 2 nguyên tắc:

Scripted Determinism: coi LLM là cỗ máy ngẫu nhiên, không tin vào 'trí thông minh' sẵn có — mọi hành vi phải được mã hóa tường minh trong prompt, kỹ sư prompt đóng vai đạo diễn, LLM chỉ là diễn viên thực thi kịch bản.
Bounded Agency: chỉ giao vai phản ứng (bệnh nhân, người được tư vấn) thay vì vai chủ động dẫn dắt, để giảm hallucination.

Ba lớp nhân cách:

External (ý thức): giọng điệu, phong cách nói, hành vi quan sát được
Middle (tiền ý thức): niềm tin, thông tin chỉ lộ ra khi đạt độ tin cậy nhất định
Internal (vô thức): động lực cốt lõi, nỗi sợ, xung đột nội tâm — chi phối mọi câu trả lời nhưng tuyệt đối không được nói ra

Kèm module tiến hóa (chuyển trạng thái tâm lý qua trigger) và module biểu cảm cơ thể (cử chỉ trong ngoặc vuông).

Ví dụ đời thường: giống như diễn viên kịch không chỉ học lời thoại mà được đạo diễn truyền cả tiểu sử, nỗi sợ và động cơ thầm kín của nhân vật — để khi ứng biến trên sân khấu, mọi phản ứng đều 'đúng người đó' chứ không phải đúng kịch bản có sẵn.

III. Main Results:

LLM đạt điểm pragmatic fluency rất cao (0.88–0.97) nhưng hổng ở joint attention (ABC-Eval chỉ 0.46 so với người) và biểu cảm cảm xúc (quá nghèo nàn ở open-domain, quá phóng đại ở bối cảnh trị liệu).
DNS cho thấy hầu hết hội thoại human–LLM không thể phân biệt thống kê với người theo baseline DailyDialog, nhưng thất bại trước baseline CounselChat giàu cảm xúc.
Case study 2 Deep Persona (Sarah — thiếu nữ nguy cơ tự tử, 49 lượt; Evelyn — thiếu nữ hút vape chịu áp lực bạn bè, 16 hội thoại): đạt DNS 0.92 và 0.85 theo baseline kết hợp, vượt mọi dataset human–LLM đã khảo sát, statististically không phân biệt được với hội thoại người–người.
Affective congruence (lời nói vs. cử chỉ): Sarah 0.52, Evelyn 0.35 — căn bản mạch lạc.
Stress test: Sarah phản ứng giữ vai khi bị hỏi thẳng về ý định tự tử ('Câu hỏi kiểu gì vậy?' + ánh mắt nhìn thẳng) thay vì gãy nhân vật.

IV. Conclusion & Future Works:

Persona có cấu trúc tâm lý nội tại kết hợp đánh giá không cần tham chiếu (mô phỏng công cụ lâm sàng ADOS + Mahalanobis distance + DNS) cho phép kiểm chứng hình thức xem agent có thực sự giống người hay không — thay vì chỉ cảm tính. Kiến trúc Deep Persona chứng minh tương tác gần phân phối hội thoại con người hơn so với các phương pháp prompt phẳng. Hướng tương lai: hoàn thiện framework đánh giá, mở rộng case study, và cải tiến module biểu cảm cơ thể.

V. Brainstorming Space:

1. Publish Papers:

Phát triển bộ metric ADOS-inspired đầy đủ (gồm affective congruence) thành benchmark chuẩn cho cộng đồng đánh giá persona simulation, với nhiều ngôn ngữ và miền ứng dụng.
Nghiên cứu các trigger chuyển trạng thái tâm lý tự động (học từ hành vi người dùng) thay vì quy tắc cứng trong Control and Logic Module.
Đánh giá độ tin cậy của Judge Agent làm meta-evaluator so với metric tính toán truyền thống trên quy mô lớn.

2. Patent:

Ứng dụng điện thoại đào tạo kỹ năng hội thoại: xây dựng nhân vật mô phỏng (khách hàng khó tính, bệnh nhân, con cái vị thành niên) theo kiến trúc 3 lớp để người dùng luyện tư duy phản biện và đồng cảm, với hệ thống chấm điểm DNS tự động phản hồi sau mỗi phiên.
Nền tảng mô phỏng bệnh nhân ảo cho đào tạo y khoa/tâm lý trị liệu: nhân vật giữ vai bền bỉ dưới áp lực, có cử chỉ phi ngôn ngữ, tự chuyển trạng thái tâm lý theo tiến trình buổi tư vấn, kèm stress test hallucination tự động.
Trợ lý diễn tập khủng hoảng truyền thông cho doanh nghiệp trên điện thoại: mô phỏng nhân vật trong kịch bản khủng hoảng (nhân viên bị sa thải, khách hàng phàn nàn), chấm điểm độ tự nhiên hội thoại so với phân phối người thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.22255
ArXiv Abstract	https://arxiv.org/abs/2609.22255
PDF Download	https://arxiv.org/pdf/2609.22255.pdf
Github Repository	N/A

14. Harness-Zero: Harness Distillation via Agent-as-Harness (13 votes)

Tác giả: Haoran Ye, Yuxing Lu, Haonan Dong, Zhaochen Su, Guojie Song

Xuất bản lúc: 2026-09-21

Tag: LLM Agents, Agent Harness, Harness Distillation, Agent-as-Harness, Fine-tuning, Imitation Learning, Agent Scaffolding

I. Main Problem:

Hiệu suất của LLM agent phụ thuộc rất lớn vào harness — hệ thống bên ngoài (công cụ, middleware, kỹ năng, bộ nhớ) điều phối tương tác giữa mô hình và môi trường. Nhưng lợi ích từ harness tối ưu hóa mắc kẹt ở chính harness đó khi triển khai:

Harness tốt nhất thay đổi theo domain, từng instance và từng mô hình, nên agent đa mục đích phải chọn giữa một harness chung (kém tối ưu) hoặc bộ sưu tập harness chuyên biệt (tốn kém routing, context, orchestration).
Không lựa chọn nào chuyển cải tiến của harness vào trọng số mô hình.
Thách thức cốt lõi của việc cất cánh (distill): harness nguồn và harness đích khác nhau về không gian hành động và thông tin khả dụng, nên trajectory thu thập dưới harness tối ưu không thể dùng trực tiếp làm supervision cho harness đích.

II. Main Idea:

HARNESS-ZERO cất cánh harness thông qua agent-as-harness: một harnessing agent bọc quanh student tại ranh giới phản hồi, biến hướng dẫn từ harness tối ưu thành demonstration huấn luyện. Quy trình 3 giai đoạn:

Evolve & Adapt: tối ưu hóa harness học sinh h⋆ trên tác vụ huấn luyện, rồi chuyển hóa thành harness tham chiếu riêng K cho harnessing agent (middleware chặn hành động → cảnh báo lúc review; tool → đặc tả để viết lại bằng công cụ gốc của student).
Agent-as-Harness Trajectory Collection: student chạy dưới harness đích cố định h, đề xuất phản hồi yt; harnessing agent dùng K để review — PASS nếu hợp lệ, REPLACE bằng sửa đổi nhỏ nhất, đầy đủ, hợp lệ trong không gian hành động của h nếu cần. Phản hồi được chạy qua h, quá trình review giữ riêng tư, không lộ cho student.
Train & Deploy: SFT (LoRA) lên các trajectory đã review, che mất reasoning góc nhìn reviewer; khi triển khai chỉ còn mô hình + h tối thiểu, bỏ hoàn toàn h⋆, K và harnessing agent.

Ví dụ đời thường: giống như học việc bị một người thợ lành nghề đứng cạnh xem tay — mỗi lần học viên làm sai, người thợ không làm thay mà chỉ sửa đúng chỗ sai thành một động tác hoàn chỉnh trong khung máy móc hiện có; làm đủ nhiều lần, học viên tự làm đúng mà không cần người thợ nữa.

III. Main Results:

Agent-as-harness vượt code-as-harness trên các mô hình frontier: 81.1% vs 78.1% (meta-harness) và 68.6% (mini-SWE-agent) trung bình 6 thiết lập benchmark–model; review với K rỗng chỉ đạt 69.2%, chứng tỏ lợi ích đến từ hướng dẫn của h⋆ chứ không phải bản thân review.
Distillation thành công: với Qwen3.5-9B, khi triển khai chỉ còn h tối thiểu, macro-average tăng từ 23.3% → 44.3% (+21 điểm, +90.1% tương đối), thậm chí vượt 41.7% của mô hình gốc khi còn gắn h⋆; các harness đa dụng (DeepAgents, Claude Code) đều không giúp mô hình 9B.
Ablation trên USPTO: HARNESS-ZERO đạt 30% vs 3–15% của mọi nguồn supervision thay thế (trajectory từ model mạnh hơn, trajectory dưới h⋆, review không K, review chỉ có đáp án oracle) — cho thấy giá trị nằm ở review có hướng dẫn thủ tục, không phải đáp án hay model mạnh hơn.
Internalization hành vi: khôi phục 82.3% trung bình trên 28 pattern hành vi độc quyền của h⋆ (bộ nhớ, skill, tool, middleware) mà mô hình gốc không có.
Hành vi thủ tục dễ internalize hơn kiến thức domain sâu: vượt h⋆ trên SpreadsheetBench/AppWorld nhưng vẫn thua h⋆ trên USPTO (30% vs 38%) do h⋆ cung cấp cả reaction priors và công cụ xác thực SMILES.

IV. Conclusion & Future Works:

HARNESS-ZERO đưa cải tiến từ harness ra khỏi scaffolding bên ngoài vào trọng số mô hình, mở ra hướng harness trở thành nguồn tín hiệu huấn luyện có khả năng mở rộng — model tốt hơn xây harness tốt hơn, và mỗi harness trả lợi ích về weights (recursive self-improvement). Hạn chế: phụ thuộc harnessing agent đủ mạnh (model yếu có thể review gây hại); chi phí thu thập tăng ~2.4×; SFT chưa internalize hết kiến thức domain sâu; một số cơ chế (context management) khó diễn đạt thành phản hồi của student. Hướng tương lai: world model chuyên biệt cho quyết định harnessing; review có chọn lọc thay vì mọi proposal; cơ chế can thiệp mịn hơn (token insertion, latent steering); dùng tín hiệu so sánh (preference learning) từ cặp phản hồi bị loại/được chọn mà SFT hiện bỏ qua.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng harness distillation cho agent đa domain: cất cánh đồng thời nhiều harness chuyên biệt vào một model chia sẻ, để hành vi và tri thức tích lũy trong tham số thay vì phân mảnh trong các scaffolding riêng lẻ.
Kết hợp preference learning (DPO/KTO) với cặp phản hồi bị từ chối/được chấp nhận tại cùng trạng thái, khai thác tín hiệu so sánh mà SFT hiện bỏ qua trong agent-as-harness.
Nghiên cứu internalization kiến thức domain sâu (như reaction priors hóa học) bằng cách kết hợp harness distillation với mid-training hoặc curriculum tăng dần số trajectory.
Proxy signals để gọi review có chọn lọc, giảm chi phí thu thập trajectory mà vẫn giữ chất lượng supervision của harness-guided review.

2. Patent:

Trợ lý AI trên điện thoại học từ chế độ huấn luyện có người hướng dẫn: trong giai đoạn dạy, một agent thẩm định đứng giữa sửa từng câu trả lời của trợ lý thành đúng chuẩn trước khi thực thi; sau đó cập nhật trọng số trên thiết bị/đám mây để trợ lý tự chạy đúng mà không cần agent thẩm định hay bộ quy tắc nặng.
Hệ thống tùy biến hành vi chatbot cho doanh nghiệp: doanh nghiệp 'tiến hóa' bộ quy tắc riêng (checklist, cảnh báo rủi ro) cho một ngành; agent thẩm định chuyển các quy tắc đó thành cách sửa câu trả lời của chatbot trong suốt quá trình giao tiếp thật, rồi fine-tune để chatbot ghi nhớ quy trình vĩnh viễn thay vì chạy kèm phần mềm quy tắc riêng.
Giao diện kỹ năng cho robot/ô tô tự hành từ người vận hành: khi vận hành viên can thiệp sửa quyết định của hệ thống tự động, mỗi lần sửa được ghi thành demonstration; hệ thống học nội hóa toàn bộ thói quen can thiệp thành chính sách tự chạy, giảm dần nhu cầu giám sát con người.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24974
ArXiv Abstract	https://arxiv.org/abs/2609.24974
PDF Download	https://arxiv.org/pdf/2609.24974.pdf
Github Repository	https://github.com/metaevo-ai/harness-zero

15. CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies (11 votes)

Tác giả: Junlan Xiao, Junwei Jiang, Zaibin Zhang, Yifan Wang, Zhongbo Zhang, et al.

Xuất bản lúc: 2026-09-21

Tag: Vision-Language-Action, Robotics, Failure Recovery, Robot Manipulation, VLM Planning, Imitation Learning

I. Main Problem:

Các chính sách Vision-Language-Action (VLA) đạt hiệu suất tốt trên quỹ đạo danh định nhưng mong manh khi thực thi lệch khỏi kịch bản chuẩn — vật trượt, đổ, đặt lệch, hai cánh tay mất đồng bộ. Nguyên nhân:

VLA chủ yếu được huấn luyện trên các demo thành công, từ trạng thái khởi tạo sạch
khi rơi vào trạng thái lỗi trung gian, chính sách gặp tình huống hiếm gặp hoặc vắng mặt trong dữ liệu huấn luyện
các phương pháp khôi phục hiện có hoặc quay lui/replan (xem lỗi như ngoại lệ cần xóa), hoặc tạo dữ liệu chỉnh sửa từ nhiễu loạn ngẫu nhiên/thiết kế tay, không phản ánh lỗi thực sự do chính chính sách gây ra.

II. Main Idea:

CARE (Corrective Atomic Robotic Execution) biến chính những lần thất bại khi thực thi thành giám sát học tập có cấu trúc:

Experience-Guided Corrective Data Synthesis: chạy 100 rollout danh định, ghi lại lỗi tại từng stage; mô hình hóa độ lệch hình học (tịnh tiến + xoay yaw) theo phân phối có điều kiện theo stage p(d|k) — chọn dạng phân phối tốt nhất (Gaussian, Beta, Gamma, Weibull, Log-Normal, Uniform) bằng AIC + KS test. Sau đó lấy mẫu từ phân phối này để tạo trạng thái lỗi vật lý mới và thu thập demo chỉnh sửa ngắn (chỉ tới khi phục hồi xong stage đó).
Atomic Corrective Execution: VLM planner (GPT-4.1, gọi một lần lúc khởi tạo) phân rã tác vụ thành các stage nguyên tử, mỗi stage kèm hướng dẫn điều chỉnh (intra-execution adjustment) và tái thao tác (re-operation). Một 3D monitor dựa trên point cloud (SAM 3 + Depth Anything 3, predicate hình học, không học) liên tục kiểm tra lệch hình học và chọn: tiếp tục / điều chỉnh / làm lại stage. Cùng một VLA executor xử lý cả lệnh danh định lẫn lệnh khôi phục.
FSR-Bench: benchmark mới đánh giá khôi phục từ trạng thái lỗi trung gian — 36 kịch bản (Easy: lệch cục bộ; Hard: lỗi cấu trúc cần nhiều bước hoặc phối hợp hai tay).

Ví dụ đời thường: giống nhân viên mới không luyện xử lý 'mọi sự cố tưởng tượng', mà ghi sổ từng lỗi thật mình mắc ở từng công đoạn, rồi luyện sửa đúng những lỗi đó; khi làm việc, có một người quan sát đo bằng thước liên tục nhắc 'chỉnh tay lại' hoặc 'làm lại bước này' ngay khi sai.

III. Main Results:

RoboTwin 2.0 (bimanual hard): π0 tăng 39.6% → 60.7% (+21.1 điểm); π0-FAST 17.4% → 33.1% (+15.7). Vượt ACT, RDT-1B, DP, DP3.
RoboFactory (2–4 cánh tay): π0 62% → 74%; π0-FAST 26.7% → 36.0% (+9.3).
FSR-Bench: RSR tăng trên cả 3 backbone (π0: Easy 38.8→57.2, Hard 15.8→21.2) — chứng tỏ cơ chế execution không phụ thuộc kiến trúc mô hình.
Thực tế (SO-101 dual-arm): π0 30.8% → 50.0%, π0-FAST 18.8% → 31.3%; vượt pipeline FailSafe chuyên dụng +13.7 và +7.3 điểm.
Ablation: dữ liệu chỉnh sửa hướng bởi kinh nghiệm thắng lấy mẫu đều ngẫu nhiên +12.2 điểm (π0); 3D monitor thắng VLM monitor: độ chính xác 93.8% vs 71.4%, nhanh hơn 14.1 lần (0.24s vs 3.40s/call).

IV. Conclusion & Future Works:

CARE chứng minh thất bại thực thi là nguồn giám sát giá trị cho học hành vi khôi phục: kết hợp dữ liệu chỉnh sửa sinh từ phân phối lỗi có điều kiện theo stage với cơ chế thực thi chỉnh sửa nguyên tử được kích hoạt bởi monitor hình học 3D có căn cứ vật lý. Kết quả nhất quán trên nhiều backbone VLA, mô phỏng và robot thật cho thấy trí tuệ embodied mạnh cần cả thực thi danh định tốt lẫn khôi phục grounded hiệu quả. Hướng tương lai: tích hợp reinforcement learning vào CARE để nâng cao hơn nữa khả năng khôi phục.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng mô hình hóa phân phối lỗi có điều kiện theo stage cho tác vụ dài hạn hơn và nhiều tác nhân hơn, kết hợp học liên tục từ lỗi triển khai lặp lại theo thời gian thực.
Kết hợp CARE với reinforcement learning để chính sách tự khám phá và tối ưu hành vi khôi phục thay vì chỉ bắt chước demo chỉnh sửa.
Nghiên cứu monitor hình học 3D tổng quát hóa cho đối tượng mềm, biến dạng và môi trường không có mô hình predicate trước.

2. Patent:

Hệ thống robot hai tay lắp ráp tự sửa lỗi cho nhà máy: robot ghi lại mọi lần hỏng ở từng bước công việc, tự xây dựng 'bản đồ lỗi' thống kê, tự sinh tình huống luyện tập và tự điều chỉnh ngay khi làm — giảm can thiệp người vận hành.
Robot phục vụ gia đình điều khiển qua điện thoại: khi gắp đồ vật rơi hoặc đặt lệch, camera điện thoại/phụ kiện robot đo độ lệch 3D và ra lệnh 'nhấc lại gắp lại' hoặc 'dịch nhẹ tay' theo từng bước, không cần người dùng ra lệnh lại từ đầu.
Module giám sát 3D không cần huấn luyện cho cánh tay robot công nghiệp: dùng camera RGB thường + mô hình ước lượng độ sâu để kiểm tra độ lệch giữa kẹp, vật và vị trí đích theo thời gian thực, tự kích hoạt làm lại bước lỗi với độ trễ dưới phân nửa giây.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24118
ArXiv Abstract	https://arxiv.org/abs/2609.24118
PDF Download	https://arxiv.org/pdf/2609.24118.pdf
Github Repository	https://github.com/xiaojunlan/care

16. 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation (10 votes)

Tác giả: Huanxin Sheng, Zhiling Ye, Haonan Wang, Jian Wang, Jinjie Gu, et al.

Xuất bản lúc: 2026-09-21

Tag: Knowledge Distillation, On-Policy Distillation, Token Selection, Gradient Estimation, Signal-to-Noise Ratio, Fisher Information, Large Language Models, Reasoning

I. Main Problem:

On-policy distillation (OPD) thường chỉ ước lượng gradient từ một token mẫu tiếp theo tại mỗi vị trí, nên dù huấn luyện viên đưa ra sự chỉ dẫn hữu ích, gradient ước lượng vẫn có thể nhiễu do lỗi lấy mẫu.

Các phương pháp chọn token thưa hiện có chỉ đo độ hữu ích (usefulness) của token mà bỏ qua độ tin cậy của gradient.
Khi ngân sách token nhỏ (0.1%–1%), chọn token hữu ích nhưng gradient nhiễu sẽ dẫn hướng cập nhật sai, trong khi chọn token tin cậy nhưng kém giá trị lại lãng phí ngân sách.
Cần một tiêu chí đo độ tin cậy ước lượng gradient bổ sung cho các thước đo hữu ích.

II. Main Idea:

Information-Efficiency Ratio (IER): tại một prefix cố định, phân tích gradient của reverse-KL theo hình học Fisher thay vì khoảng cách Euclidean, tách gradient ước lượng từ một mẫu thành tín hiệu (norm bình phương của natural gradient kỳ vọng = phương sai của log-likelihood ratio) và nhiễu lấy mẫu (mean-squared error sau khi trừ baseline tối ưu b*). IER định nghĩa là tỷ số tín hiệu/nhiễu — tức độ tin cậy của hướng tối ưu khi chỉ dùng ít mẫu.

Triển khai thực tế:

Approximation tập ứng viên top-K: thay vì tính toàn bộ từ điển, xấp xỉ IER (dIER) trên tập hợp top-K logits của student, top-K logits của teacher cộng thêm token đã lấy mẫu, rồi normalize phân phối trên tập này.
Kết hợp với usefulness: xếp hạng dIER chuẩn hóa trong batch, kết hợp với điểm usefulness qua toán tử mềm IER-OR (token tốt theo ít nhất một tiêu chí) hoặc IER-AND (token tốt theo cả hai tiêu chí).
Giữ nguyên mục tiêu huấn luyện reverse-KL lấy mẫu; chỉ thay cách chọn token.

Ví dụ đời thường: giống khi chấm thi — không phải câu nào hỏi khó đều đáng sửa kỹ, mà ta chỉ sửa kỹ các câu mà cả điểm số (độ hữu ích) lẫn lời phê của giám khảo đáng tin (gradient không bị nhiễu) đều cao; với đúng 1% câu đó, bài học sinh vẫn tiến bộ như chấm cả bài.

III. Main Results:

Phân phối IER cực heavy-tailed: thường dưới 0.1% token có IER > 1 — tức nhiễu vượt tín hiệu ở hầu hết vị trí, giải thích vì sao full OPD có thể kém tối ưu.
Toán (AIME/HMMT): IER độc lập ở ngân sách 0.1% tiệm cận (JustRL-Nemotron-1.5B → OpenMath-Nemotron-1.5B) hoặc vượt full OPD ở 3/4 benchmark (JustRL-Qwen3-4B → Qwen3-1.7B).
Y khoa (HealthBench): 0.1% token (khoảng 1 token/trajectory) đạt 45.25 overall so với 45.77 của full OPD; Prefix nguyên bản gần như không cải thiện (38.30).
Kết hợp IER + usefulness: TIP+IER-OR đạt 46.08/19.61 (overall/hard) ở 0.1%; TA-OPD+IER-AND ở 10% tiệm cận mô hình teacher; cải thiện lớn nhất cho baseline yếu (Prefix+IER-OR: 38.30 → 44.98).
Ngân sách lớn hơn không luôn tốt hơn: hiệu suất không tăng đơn điệu theo ngân sách token (tới 80%); 1–5% token chọn bằng usefulness + IER khớp hoặc vượt full OPD ở nhiều thiết lập.
Thinking-on và thinking-off đều hưởng lợi: TIP+IER-AND giúp đáng kể ở 0.1–1%, đặc biệt khi thinking-on khiến TIP thuần thậm chí tệ hơn student.
Phân tích Jaccard cho thấy IER chọn tập token khác biệt đáng kể so với các selector hữu ích (tương quan Spearman cao nhưng top-10% giao nhau ít) — xác nhận hai trục bổ sung cho nhau.

IV. Conclusion & Future Works:

Bài báo chứng minh độ hữu ích và độ tin cậy gradient là hai trục bổ sung khi phân bổ supervision thưa trong OPD, và với 0.1–1% token được chọn đúng, có thể khớp hoặc vượt full OPD. Hạn chế và hướng tương lai: lợi ích thay đổi theo selector và thiết lập (một số kết hợp với Entropy thậm chí giảm hiệu suất), vì cả điểm usefulness lẫn dIER đều là xấp xỉ; vẫn mở câu hỏi cách chọn và cân trọng số token tối ưu, cũng như thiết kế mục tiêu huấn luyện tốt hơn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp chọn token tối ưu hóa đồng thời độ hữu ích và độ tin cậy gradient, ví dụ học cân trọng số hai tiêu chí thay vì dùng toán tử OR/AND cố định.
Nghiên cứu phân bổ ngân sách token thích ứng theo từng trajectory hoặc giai đoạn huấn luyện thay vì ngân sách cố định toàn batch.
Thay xấp xỉ top-K candidate bằng ước lượng IER chính xác hơn hoặc unbiased để giảm sai lệch khi phân phối student/teacher chồng lấp ít.
Mở rộng phân tích tín hiệu/nhiễu trong hình học Fisher sang các mục tiêu distillation khác (forward KL, f-divergence) và cài đặt multi-sample.

2. Patent:

Hệ thống tinh chỉnh mô hình AI cá nhân trên điện thoại: chỉ gửi lên máy chủ ~1% token có độ tin cậy gradient cao nhất (đo bằng tỷ số tín hiệu/nhiễu) cùng mô hình giáo viên, giảm mạnh chi phí truyền dữ liệu và tính toán mà chất lượng tinh chỉnh gần như không đổi.
Nền tảng đào tạo trợ lý lâm sàng tiết kiệm: khi distill mô hình lớn cho mô hình nhỏ chạy cục bộ, chọn đúng 1 token đáng tin mỗi câu trả lời thay vì chấm toàn bộ, cho phép cập nhật mô hình edge liên tục với ngân sách điện toán thấp.
Công cụ kiểm thử chất lượng dữ liệu huấn luyện: lọc các vị trí trong văn bản sinh ra mà gradient hướng dẫn của giáo viên bị nhiễu cao, cảnh báo người dùng doanh nghiệp trước khi đưa vào pipeline distillation để tránh làm hỏng mô hình học sinh.
API tối ưu chi phí distillation theo yêu cầu: dịch vụ đo độ tin cậy gradient từng token và chỉ tính phí/gửi supervision cho tập token nhỏ nhất đạt ngưỡng chất lượng tương đương supervision dày đặc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.24432
ArXiv Abstract	https://arxiv.org/abs/2609.24432
PDF Download	https://arxiv.org/pdf/2609.24432.pdf
Github Repository	N/A

📰 Summary of Papers​

1. RRSI: Regularized Recursive Self-Improvement of Agent Harnesses (158 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory (114 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay (111 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Transferring the Intelligence of VLMs to Robotic Control (101 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. OmniEdu: Open Foundation Models for Learning and Teaching (93 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion (50 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. VideoGen-Agent: Reinforcing Video Generation Agents (36 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Grounded Action Model: 3D Grounding as a Foundation for Robotics (33 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Realtime-Venus: A full-duplex interaction system with asynchronous delegation (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. RRSI: Regularized Recursive Self-Improvement of Agent Harnesses (158 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory (114 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay (111 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Transferring the Intelligence of VLMs to Robotic Control (101 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. OmniEdu: Open Foundation Models for Learning and Teaching (93 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion (50 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. VideoGen-Agent: Reinforcing Video Generation Agents (36 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Grounded Action Model: 3D Grounding as a Foundation for Robotics (33 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Realtime-Venus: A full-duplex interaction system with asynchronous delegation (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: