Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-11-04

Báo cáo được tạo tự động vào lúc 2026-11-05 10:33:16 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems (86 votes)​

Tác giả: Pengfei Zhou, Yixing Ma, Hexin Wang, Weidong Tang, Zhenglin Wan, et al.

Xuất bản lúc: 2026-11-03

Tag: Model Routing, Mixture of Models, LLM Routing, Multi-Modal Routing, Robotics Policy Routing, Quality-Cost Trade-off, Efficiency

I. Main Problem:​

Một hệ AI đa năng cần phối hợp hàng trăm mô hình chuyên biệt (LLM, sinh ảnh/video/giọng nói, chính sách robot, công cụ) nhưng không biết mô hình nào nên xử lý đầu vào nào để cân bằng chất lượng và chi phí tính toán. Các nghiên cứu routing trước chỉ tập trung vào ngôn ngữ, còn ba câu hỏi mở:

  • Routing có thể lời được bao nhiêu so với việc cố định một mô hình mạnh nhất?
  • Router học được hoạt động tốt đến đâu trên nhiều phương thức khác nhau?
  • Khi nào lộ trình rẻ hơn là đủ tốt?

II. Main Idea:​

Route Anything là khung lý thuyết + thực nghiệm thống nhất cho routing mô hình và chính sách. Cốt lõi:

  • Nền tảng lý thuyết: router chọn ứng viên tối đa hóa giá trị kỳ vọng trừ giá thành trọng số (value − λ·cost); năng lực router tạo thang thông tin từ mô hình cố định tốt nhất lên tới oracle chọn từng đầu vào.
  • Dữ liệu: xây omni-modal trajectory matrix gồm 25 benchmark (hiểu ngôn ngữ/ảnh, sinh ảnh/video/giọng nói, agent code, điều khiển robot) với 374.401 lượt chấm điểm của 452 cấu hình ứng viên, chạy cùng đầu vào.
  • Router học dự đoán kết quả của từng ứng viên (regression từng policy) thay vì phân loại ai thắng, rồi chọn ứng viên kỳ vọng cao nhất; robot còn đọc khung hình camera để chọn chính sách.
  • Chứng nhận sàn chất lượng: kiểm định tuần tự dọc theo đường giá để đảm bảo hiệu suất không tụt quá ngưỡng cho phép.

Ví dụ đời thường: giống quản lý nhà hàng phân món — món cá giao đầu bếp giỏi cá, món bánh giao thợ bánh, thay vì giữ một đầu bếp giỏi mọi thứ nhưng chậm và đắt; còn chọn món nào ở bàn nào thì nhìn khách mà quyết.

III. Main Results:​

  • Tiềm năng lớn: oracle chọn từng đầu vào vượt mô hình cố định tốt nhất +5.4 điểm trung bình (tới +18–19 điểm cho sinh video và robot); chọn tốt nhất theo loại nhiệm vụ chỉ lấy lại 8% khoảng cách.
  • Router học thắng mô hình cố định +0.3 điểm trên 16 benchmark, +2.1 cho sinh video, +1.1 cho robot với ít hơn 24% thời gian chính sách (71.6% vs 70.5% thành công).
  • Học kết quả, không học người thắng: regression từng policy đạt 71.6% trên robot, phân loại winner-label chỉ 42.8% vì 94% nhãn thắng do tie-break độ trễ quyết định.
  • So sánh công bằng: baseline đòi điểm đủ mọi đầu vào loại nhầm Opus 5.5, biến thâm hụt 0.4 điểm của router thành lời 2.4 điểm.
  • Hiệu suất chi phí: routing tăng hiệu suất 8.82× trung bình so với mô hình tham chiếu, tới 25.5× cho code và 7.1× cho hỏi-đáp văn bản, với tổn thất chất lượng dưới 0.5 điểm; router code tối ưu cho tổn thất bằng 0 không bao giờ gọi mô hình tham chiếu.

IV. Conclusion & Future Works:​

Routing đa phương thức là con đường khả thi tới AGI: lợi nhuận nằm bên trong từng loại nhiệm vụ (không phải giữa các loại), router nên dự đoán kết quả kỳ vọng từng ứng viên, và phải so sánh các ứng viên trên cùng đầu vào với cơ chế fallback nhất quán. Khung giá–chất lượng cho phép chứng nhận sàn chất lượng khi triển khai. Hướng mở: router tinh hơn khai thác phần khoảng cách còn lại tới oracle (mất khoảng 17–23% tiềm năng), giảm nhiễu không dự đoán được, và mở rộng sang lộ trình tuần tự có kiểm chứng trong nhiệm vụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu router đọc ảnh cảnh trực tiếp (pixels-to-policy) cho điều khiển robot, học điều kiện cảnh sạch/bị nhiễu để chọn chính sách mà không cần nhãn tác vụ.
  2. Phát triển lý thuyết thang thông tin cho routing tuần tự: làm rõ giá trị của retry, verifier và bộ nhớ router trong các pipeline thử-rồi-leo-thang.
  3. Ứng dụng framework giá–chất lượng có chứng nhận cho hệ thống agent thực tế, tối ưu chi phí token với sàn chất lượng kiểm định được khi triển khai.

2. Patent:​

  1. Trợ lý AI trên điện thoại tự chọn bộ xử lý theo yêu cầu: khi người dùng gửi câu hỏi, ảnh hoặc yêu cầu sinh video, hệ thống tự cân nhắc độ khó để gọi mô hình nhỏ chạy trên máy (tiết kiệm pin, nhanh) hoặc mô hình lớn trên đám mây (chính xác hơn), qua đó giảm hóa đơn đám mây mà chất lượng gần như không đổi.
  2. Hệ thống điều khiển robot gia đình đọc camera tự chọn kỹ năng: robot nhìn cảnh bàn bừa bộn hay sạch sẽ để tự quyết định dùng chính sách vững (an toàn) hay chính sách nhanh (gọn), rút ngắn thời gian hoàn thành việc mà tỉ lệ thành công không giảm.
  3. Cổng tiết kiệm chi phí cho ứng dụng soạn mã: dùng mô hình nhỏ kiểm thử bản nháp miễn phí bằng trình biên dịch, chỉ gửi phần thất bại lên mô hình đắt tiền, cắt chi phí xuống còn một phần mười mấy so với luôn dùng mô hình lớn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.05275
ArXiv Abstracthttps://arxiv.org/abs/2611.05275
PDF Downloadhttps://arxiv.org/pdf/2611.05275.pdf
Github Repositoryhttps://github.com/InfRec-Cardinal/route-anything

2. Words Caught in the Heart: Simulating Person-Specific Expression for Self-Opaque Clients in Psychotherapy (69 votes)​

Tác giả: Mengxi Xiao, Jingjing Chen, Ziyan Kuang, Jiarong Song, Wenhao Zhao, et al.

Xuất bản lúc: 2026-10-31

Tag: Psychotherapy Client Simulation, LLM Agents, Expression Planning, Subjective Appraisal, Attribution, Disclosure Alignment, Human Evaluation

I. Main Problem:​

Các simulator khách hàng trị liệu dựa trên LLM thường dùng case formulation do lâm sàng tổ chức sẵn hoặc role cards, nên dễ sinh câu trả lời quá mạch lạc, quá giải thích so với mức khách hàng thật hiểu vấn đề của mình. Trong thực tế, người đến trị liệu có thể chưa diễn đạt được nỗi khổ, còn cách nói thay đổi theo đau buồn, cảm giác an toàn, niềm tin vào nhà trị liệu. Nếu simulator nói quá rõ ràng, huấn luyện/đánh giá nhà trị liệu sẽ bị lệch vì vấn đề trông dễ nhận ra hơn khi thực hành.

II. Main Idea:​

Pandora tách hai bước trong sản xuất lời nói theo hướng Levelt: chuẩn bị ý nghĩa và cụ thể hóa ngôn ngữ. Thay vì dịch trực tiếp hồ sơ lâm sàng thành câu trả lời, framework mô phỏng quá trình trải nghiệm tâm lý trở thành lời nói cá nhân:

  • Therapist intervention evaluation: nhận diện nhà trị liệu đã dùng/bỏ lỡ clarification, questioning, emotional reflection.
  • State update: cập nhật các chiều affective, relational, defensive, reflective, cho phép người khách rõ ý hơn nhưng vẫn ngần ngại nói ra.
  • Subjective appraisal + attribution: xây dựng trải nghiệm này có ý nghĩa gì với khách và khách giải thích nó thế nào ở thời điểm hiện tại, giữ lại mức không chắc chắn thay vì bật chế độ giải thích hoàn chỉnh.
  • Content/response planning: chọn nội dung hồ sơ, stance như hesitant, defensive, open, và mục tiêu hành động như answer_fact, confirm, refine, resist.
  • Expression planning: kết hợp language profile offline từ lời nói thật của khách — markers, hedging, emotional explicitness, độ dài, số câu — với trạng thái hiện tại để định hướng certainty, pronoun focus, độ dài và mức dè dặt.

Ví dụ đời thường: giống diễn viên không chỉ đọc tóm tắt nhân vật mà còn tập nói bằng giọng ngập ngừng, câu ngắn, hay nói “maybe”, để cùng một suy nghĩ được thốt ra nghe như vừa trải qua chứ không như đang trình bày kết luận.

III. Main Results:​

Đánh giá trên 115 ca từ bốn nguồn counseling/motivational interviewing, so với 5 baselines và ablation bỏ expression planning:

  • Expression similarity cao nhất: Pandora đạt content-reduced 0.566 và raw 0.385, vượt baseline mạnh nhất Consistent MI 0.512/0.352.
  • Disclosure alignment tốt nhất: GDS 0.871, LDDA 0.852, DS 0.875, dẫn ở cả ba tầng L1-L3; baseline mạnh nhất chỉ GDS 0.664.
  • Ablation cho thấy vai trò riêng của expression planning: bỏ module này vẫn giữ GDS khá cao 0.828, nhưng similarity tụt xuống 0.458/0.311, cho thấy content planning tổ chức disclosure tốt nhưng chưa đủ để giữ giọng cá nhân.
  • Human evaluation: 45 disclosure items, 4 evaluators, tỷ lệ bị đánh giá AI-like của Pandora chỉ 7.2%, trong khi baselines 43.3-67.2%, ablation 35.6%; reference là 4.4% nhưng không phải control hoàn hảo.
  • Kết luận thực nghiệm: cần hai tầng riêng — semantic planning quyết định nói gì và khi nào, expression planning quyết định nói như thế nào bằng voice quen thuộc của khách.

IV. Conclusion & Future Works:​

Bài báo cho rằng client simulation không nên chỉ mô hình hóa case formulation, mà phải làm rõ quan hệ giữa hiểu biết chủ quan và lời nói từng lượt. Thành phần expression planning là then chốt để giữ individual voice, đúng disclosure timing và giảm cảm giác AI-like. Hướng tương lai: mở rộng ngoài dữ liệu Trung Quốc/chất liệu tái cấu trúc sang nhiều ngôn ngữ, văn hóa và lời nói khách hàng thu thập độc lập; đánh giá full conversation với panel lớn hơn và kiểm soát blind tốt hơn; ablation tinh hơn cho từng tín hiệu language profile; kiểm chứng lợi ích thật cho therapist training/evaluation.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Ảnh hưởng của language profile cá nhân hóa đến perceived authenticity trong full-session psychotherapy simulation, tách riêng contribution của hedging, length, markers và emotional explicitness.
  2. Đánh giá cross-cultural của Pandora trên dữ liệu counseling đa ngôn ngữ, đo expression similarity, disclosure alignment và AI-like perception khi chuyển giữa văn hóa khác nhau.
  3. Nghiên cứu downstream: liệu simulator có giọng cá nhân thật hơn có cải thiện therapist training, reflective listening và khả năng nhận diện tầng disclosure sớm hay không.
  4. Mở rộng sang mô phỏng tương tác dài hạn với cập nhật trust/safety theo lượt, kiểm tra xem expression planning có giữ ổn địng individual voice khi rapport tăng hoặc rạn nứt.
  5. Phương pháp thu thập case material an toàn và có provenance rõ ràng để giảm rủi ro dùng reconstructed/generated reference làm mốc đánh giá.

2. Patent:​

  1. Ứng dụng điện thoại huấn luyện nhà trị liệu: chọn một ca cụ thể, app mô phỏng khách có giọng nói quen thuộc — câu ngắn, hedging, marker cá nhân — và phản hồi thay đổi khi người tập bỏ lỡ emotional reflection hoặc đặt câu hỏi quá thẳng.
  2. Module điện thoại đánh giá buổi phỏng vấn trị liệu: tải transcript lên, hệ thống chỉ ra các phản hồi simulator nghe quá mạch lạc hoặc AI-like, đối chiếu với pattern lời nói thật của nhóm khách tương tự để gợi ý chỉnh kịch bản hội thoại.
  3. Hệ thống rehearsal có avatar/voice cho trường hợp khách ngần ngại: trước buổi trị liệu, clinician chạy mô phỏng ngắn trên điện thoại để thấy khách có thể trả lời dè dặt, phủ nhận, hoặc tiết lộ từng phần thay vì nói hết ngay.
  4. Công cụ kiểm thử chatbot trị liệu trên mobile: benchmark tự động đo disclosure timing, dependency và expression fidelity cho từng persona, cảnh báo khi câu trả lời tiết lộ sớm hơn hoặc rõ hơn mức persona hiểu vấn đề.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.00617
ArXiv Abstracthttps://arxiv.org/abs/2611.00617
PDF Downloadhttps://arxiv.org/pdf/2611.00617.pdf
Github Repositoryhttps://github.com/whunextgen/Pandora

3. Think Less, Locally: Local Preference Learning for Reasoning Compression (65 votes)​

Tác giả: Muyao Yuan, Liyan Xu, Weizhan Zhang, Muyan Jiao, Jiangnan Li, et al.

Xuất bản lúc: 2026-11-03

Tag: Reasoning Compression, Chain-of-Thought, Preference Learning, DPO, Overthinking, LLMs, Efficient Inference

I. Main Problem:​

Các Large Reasoning Models suy luận rất dài trước khi trả lời, gây tốn kém về độ trễ, bộ nhớ và chi phí inference. Điểm nghẽn không chỉ là 'trả lời dài', mà là overthinking: mô hình đã có đủ thông tin để kết luận nhưng vẫn tiếp tục tính toán, kiểm tra hoặc lặp lại lập luận.

Các phương pháp nén suy luận hiện có chủ yếu:

  • so sánh toàn bộ trajectory: thích lời giải ngắn hơn, nhưng không biết đoạn nào thừa
  • chỉnh sửa cục bộ: xóa token, gộp bước, rút ngắn continuation, nhưng vẫn tập trung vào 'cắt gì' hơn là 'tại trạng thái hiện tại có nên suy tiếp hay dừng'.

Hệ quả là dễ nén bừa: cắt nhầm chỗ mô hình thật sự cần suy luận, làm giảm accuracy trên bài khó.

II. Main Idea:​

LoCo học quyết định continue-or-conclude theo từng reasoning state thay vì chỉ thích trajectory ngắn hơn. Pipeline gồm ba bước:

  • Phát hiện overthink cục bộ: chấm confidence từng bước của chính mô hình; bước có confidence thấp nhưng volatility cao được đánh dấu, rồi một judge mạnh hơn xác nhận bước kế tiếp là thừa hay thật sự cần.
  • Đóng băng prefix: giữ nguyên trạng thái suy luận đến bước đó, sinh lại nhiều continuation ngắn từ đúng điểm đó và chỉ giữ continuation đúng và ngắn hơn.
  • Học preference có điều kiện theo state: dùng DPO để so sánh hai cách tiếp tục từ cùng một prefix — một cái kết luận gọn, một cái còn nghĩ dài — để dạy mô hình biết khi nào nên dừng.

Điểm then chốt là supervision được neo tại đúng reasoning state nơi nén là hợp lý, nên mô hình vẫn có thể suy tiếp khi bài thật sự khó.

Ví dụ đời thường: như giáo viên đứng ở đúng dòng bài giải của học sinh, cho hai cách viết tiếp từ chỗ đó: một bản gấp gọn lời giải đúng, một bản lòng vòng thêm; học sinh tập chọn cách dừng đúng lúc thay vì cứ viết tiếp cho dài.

III. Main Results:​

  • Trên toán học, LoCo giảm completion length 41.7%–45.4% trên MATH-500, AMC23, Olympiad, AIME24, AIME25, đồng thời giữ hoặc tăng accuracy và cải thiện AUC; lợi thế rõ nhất ở bài khó như AIME.
  • Trên code generation dù chỉ train bằng dữ liệu toán, LoCo giảm token 23.4%–36.3% trên MBPP, LiveCodeBench, CodeContests và đạt AUC tốt nhất trên cả ba benchmark.
  • So với trajectory-level/global preference: cách global chỉ nén khoảng 5.2%–15.8% trên các benchmark khó, cho thấy chỉ 'thích câu trả lời ngắn' là chưa đủ.
  • So với dùng continuation do mô hình ngoài sinh: continuation tự sinh bởi chính mô hình được train khớp phân phối hơn và đặc biệt tốt hơn trên AIME.
  • So với cắt ngẫu nhiên hoặc cắt đều: detector chọn điểm nén quan trọng; cắt bừa làm mất accuracy nhiều hơn dù cũng rút ngắn được CoT.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng nén reasoning hiệu quả cần học khi nào suy luận tiếp là không cần thiết tại một trạng thái cụ thể, thay vì chỉ thưởng chung cho câu trả lời ngắn. Việc cải thiện cả toán lẫn code sau khi chỉ train trên toán cho thấy LoCo chủ yếu reshape reasoning preference, không phải bơm kiến thức task-specific. Bài báo không nêu một mục future work riêng; hướng mở tự nhiên là mở rộng sang các domain khác, judge/detector mạnh và rẻ hơn, và kiểm soát trade-off giữa compression, accuracy và độ chắc chắn khi triển khai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu detector không cần judge mạnh bằng cách kết hợp confidence, volatility và self-consistency để chọn điểm dừng suy luận rẻ hơn cho mô hình nhỏ.
  2. Mở rộng local preference learning sang đa agent hoặc tool-use, nơi mô hình phải học không chỉ dừng suy luận mà còn dừng gọi công cụ khi đã đủ bằng chứng.
  3. Kết hợp state-conditioned compression với uncertainty calibration để cho phép người dùng chọn mức 'an toàn' của độ dài suy luận trước khi inference.

2. Patent:​

  1. Trợ lý học toán trên điện thoại tự rút gọn suy nghĩ: khi phát hiện đã đủ dữ kiện để kết luận, ứng dụng chuyển từ chế độ phân tích dài sang chế độ trình bày lời giải ngắn, giảm thời gian phản hồi và pin tiêu thụ.
  2. Trợ lý lập trình trong IDE hoặc trên mobile biết dừng đúng lúc: hệ thống quan sát các bước suy luận hiện tại, nếu phần kiểm tra tiếp theo chỉ lặp lại điều đã chắc chắn thì tự sinh cách hoàn thiện code gọn hơn thay vì tiếp tục mô phỏng dài.
  3. Công tắc tiết kiệm chi phí cho API LLM: một lớp kiểm soát trạng thái suy luận chèn vào trước khi gọi mô hình lớn, cho phép doanh nghiệp chọn 'trả lời nhanh', 'cân bằng' hoặc 'suy sâu' dựa trên mức độ chắc chắn hiện tại.
  4. Hệ thống chấm bài tự luận có khả năng nhận diện lúc học sinh đã đủ lập luận để kết luận, từ đó gợi ý cách viết tiếp ngắn gọn thay vì khuyến khích thêm dòng suy luận thừa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04814
ArXiv Abstracthttps://arxiv.org/abs/2611.04814
PDF Downloadhttps://arxiv.org/pdf/2611.04814.pdf
Github Repositoryhttps://github.com/MuyaoYuan/LoCo

4. MoviEdit: Long-form Multi-Shot Video Editing Made Easy (63 votes)​

Tác giả: Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, et al.

Xuất bản lúc: 2026-11-02

Tag: Video Editing, Diffusion, Multi-Shot Video, Long-form Generation, Autoregressive Modeling, Data Generation, Benchmark

I. Main Problem:​

Chỉnh sửa video dài nhiều cảnh quay (multi-shot) đòi hỏi một thay đổi được chỉ định phải bền vững xuyên suốt các cú cắt (cut) dù cảnh, góc máy, chuyển động và ngoại hình nhân vật thay đổi đột ngột. Các phương pháp chỉnh sửa video hiện tại chủ yếu xử lý clip ngắn, một cảnh quay và vấp phải ba nút thắt:

  • Dữ liệu: không tồn tại cặp video nguồn–kết quả có tương ứng nhân vật xuyên cảnh để huấn luyện có giám sát.
  • Mô hình hóa: là bài toán bộ nhớ — xử lý chung toàn bộ video nguồn và video đích khiến self-attention toàn cục có chi phí bậc hai, nhanh chóng vượt quá khả năng tính toán; trong khi tạo tự hồi quy thuần túy bị lệch ngoại hình (appearance drift) và quá bão hòa theo thời gian dài.
  • Đánh giá: chưa có benchmark nào kiểm tra khả năng định vị đúng nhân vật sau cú cắt hay tính nhất quán của chỉnh sửa khi nhân vật tái xuất hiện.

II. Main Idea:​

MoviEdit là framework đầu-cuối giải quyết đồng thời ba nút thắt bằng ba thành phần khớp nhau:

  • Dữ liệu: ba pipeline tạo dữ liệu tự động không cần gán nhãn — footage đa camera đồng bộ, clip điện ảnh thật, và nội dung multi-shot do mô hình sinh — kết hợp chỉnh sửa ảnh đầu cảnh theo lưới chung (đảm bảo nhất quán xuyên cảnh), lan truyền trong từng cảnh, và lọc chất lượng bằng VLM, thu được 87K cặp video.
  • Kiến trúc cascade hai tầng dùng chung trọng số: Draft Editor nhẹ, nhìn hai chiều toàn trình trên phiên bản video nén (nửa độ phân giải/nửa fps) để dựng bản chỉnh sửa mẫu nhất quán toàn cục; Render Editor tự hồi quy theo từng chunk ở độ phân giải đầy đủ, neo vào bản mẫu để chống drift và giữ nhất quán xuyên cảnh. Tối ưu suy luận bằng distillation bất đối xứng (12 bước cho draft, 4 bước cho render) và KV caching.
  • MoviEdit-Bench: benchmark 64 video, 128 tình huống, 8 mức độ khó về định vị nhân vật, đo 7 chiều gồm định vị xuyên cảnh và nhất quán chỉnh sửa.

Ví dụ đời thường: giống thợ sơn nhà làm việc theo hai lượt — trước tiên phác thảo nhanh toàn bộ bức tường bằng bản mẫu để chốt màu thống nhất, rồi sơn lớp hoàn thiện từng đoạn, luôn đối chiếu bản mẫu để không bị loang màu dần về cuối tường.

III. Main Results:​

  • Trên MoviEdit-Bench (V2V), MoviEdit đạt Overall Edit Success 0.790, vượt mọi mô hình open-source tốt nhất (Wan-Edit 0.378, SANA-Streaming 0.354) và ngang hoặc hơn các hệ thống thương mại (Aleph 2.0: 0.764, HappyHorse-1.0: 0.623, Gemini Omni Flash: 0.586).
  • IV2V (khung hình đã chỉnh làm điều kiện): đạt 0.803–0.786 overall success, cạnh tranh Aleph 2.0 (0.806/0.781), đồng thời hỗ trợ khung tham chiếu ở cảnh bất kỳ chứ không chỉ frame đầu (GenProp chỉ hỗ trợ frame đầu, 0.581).
  • Định vị xuyên cảnh: VLM consistency 0.981–0.904, recall chỉnh sửa 0.861–0.938 — vượt xa mọi baseline open-source.
  • Tổng quát hóa ngoài phạ vi huấn luyện: chỉnh sửa được video dài hơn đáng kể thời lượng đã thấy khi train; bản mẫu (draft) loại bỏ gần hết drift ngoại hình trong stress-test 15s so với rollout tự hồi quy ngây thơ.
  • Chỉ fine-tune từ checkpoint chỉnh sửa single-shot (không có khả năng multi-shot trước đó) trên 64 GPU H200: 17K bước V2V + 8K bước IV2V.

IV. Conclusion & Future Works:​

MoviEdit cho thấy ba nút thắt dữ liệu – mô hình hóa – đánh giá phải được giải quyết đồng bộ mới đưa chỉnh sửa video từ clip ngắn lẻ tẻ lên tác phẩm điện ảnh dài nhiều cảnh. Kiến trúc cascade hai chiều–tự hồi quy dùng chung trọng số cân bằng được bối cảnh toàn cục và hiệu quả tính toán. Hướng tương lai: mở rộng sang chỉnh sửa có lập kế hoạch cấp cảnh quay bằng LLM/VLM (agentic editing), nén mạnh hơn nữa số bước khử nhiễu, và mở rộng benchmark sang nội dung thể loại đa dạng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline tạo dữ liệu tự động cho chỉnh sửa multi-shot với các kiểu chỉnh sửa phức tạp hơn (thay đổi câu chuyện, chuyển cảnh logic) và nguồn dữ liệu đa dạng hơn.
  2. Kết hợp MoviEdit với lập kế hoạch cảnh quay bằng LLM/VLM để chỉnh sửa dài hạn mang tính agentic: tự quyết định cảnh nào cần chỉnh, chỉnh thế nào.
  3. Nghiên cứu kiến trúc draft–render dùng chung trọng số cho các tác vụ video dài khác như dựng phim từ kịch bản, dịch thuật video và tái dựng phong cách toàn tập phim.

2. Patent:​

  1. Ứng dụng chỉnh sửa video phim nghiệp dư trên điện thoại: người dùng quay video dài nhiều góc máy, nhập lệnh kiểu 'đổi áo người này thành màu đỏ'; ứng dụng tạo bản chỉnh sửa mẫu toàn video rồi áp dần từng đoạn để nhân vật giữ nguyên ngoại hình mới xuyên suốt mọi cảnh quay.
  2. Công cụ chỉnh sửa quảng cáo và phim ngắn cho nhà sản xuất nhỏ: thay sản phẩm, logo hoặc diễn viên trong toàn bộ video nhiều cảnh chỉ bằng một lệnh văn bản hoặc một khung hình đã chỉnh, tự động giữ nhất quán ánh sáng và phong cách giữa các cảnh.
  3. Hệ thống tách-tái-dựng video họp hoặc sự kiện dài: tự động nhận diện nhân vật xuất hiện ở nhiều góc camera và áp hiệu ứng (làm mờ mặt, tô sáng diễn giả, đổi phông nền) nhất quán trên toàn bộ video mà không cần người dùng khoanh vùng từng đoạn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.02737
ArXiv Abstracthttps://arxiv.org/abs/2611.02737
PDF Downloadhttps://arxiv.org/pdf/2611.02737.pdf
Github Repositoryhttps://github.com/adobe-research/MoviEdit-Bench

5. Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling (52 votes)​

Tác giả: Kling Team, Dong Chen, Jialu Chen, Xinlong Chen, Yifan Dai, et al.

Xuất bản lúc: 2026-11-03

Tag: Video Generation, Multimodal Understanding, MLLM, Captioning, Prompt Enhancement, Reward Models, Text Encoder, Evaluation

I. Main Problem:​

Chất lượng video generation đã vượt qua giai đoạn 'render đẹp từng frame' — nút thắt giờ nằm ở kiểm soát ngữ nghĩa: hành động đúng, ngôn ngữ camera, giữ định danh nhân vật, tính liên tục câu chuyện xuyên nhiều shot. Các vấn đề cụ thể:

  • Benchmark đa phương thức chung (VQA tổng hợp cao) không đo được khả năng hiểu camera language, quan hệ trái–phải, ràng buộc định danh, thay đổi thời gian dày đặc — những thứ quyết định video có điều khiển được không.
  • DiT được huấn luyện trên ít dữ liệu hơn LLM rất nhiều nên hiệu quả dữ liệu phụ thuộc vào mật độ mô tả (description density) trên mỗi giây video.
  • Một lỗi generation không phải một chẩn đoán: cùng triệu chứng có thể do caption thiếu supervision, do text encoder vứt cấu trúc thời gian, do reward model thiên vị chuyển động mượt nhưng tĩnh, hoặc evaluator không kiểm tra sự kiện được yêu cầu.

II. Main Idea:​

Luận điểm trung tâm: chất lượng sinh video là phép chiếu của khả năng hiểu đa phương thức xuyên suốt chuỗi data–conditioning–alignment–evaluation. Hệ thống Kling xây dựng Kling-MLLM — một foundation model omni (ảnh, video, audio, audio–video đồng bộ, interleaved; biến thể 27B dense và MoE 35B-A3B/397B-A17B, khởi tạo từ Qwen3.5–3.8) — rồi chuyên biệt hóa thành từng module:

  • Captioning như 'hợp đồng ngữ nghĩa': tối đa hóa mật độ mô tả, chuẩn hóa định dạng, đánh giá bằng facts kiểm chứng được thay vì lexical overlap; pipeline teacher đa chuyên gia → student triển khai.
  • Reference-grounded captioning: làm rõ ràng ràng buộc định danh (binding) giữa các shot.
  • Prompt enhancement (PE): dịch ý định user sang phân phối caption mà generator đã quen; PE cơ bản học từ caption của video hay + RL có DiT trong vòng lặp; agentic PE tách việc sửa mâu thuẫn câu chuyện và truy xuất ví dụ hay.
  • Text encoder: độ tin cậy đến từ perceptual training, không phải năng lực ngôn ngữ mạnh hơn; sàng lọc ứng viên chỉ bằng text trước khi train end-to-end.
  • Reward models: cặp general reward model (phê bình giải thích được, kèm vị trí) + decision reward model (chấm nhanh đa chiều).
  • Evaluation theo từng tác vụ, thiết kế để lộ 'scoring shortcut' và truy ngược lỗi về nguồn upstream.

Ví dụ đời thường: giống nhà máy mà khâu máy móc (render) đã tốt, nay quyết định chất lượng là khâu ra lệnh sản xuất: người phân tích mô tả đơn hàng thật chi tiết (caption), phiên dịch yêu cầu khách hàng lơ mơ thành đơn hàng chuẩn (prompt enhancement), rồi kiểm hàng đúng từng tiêu chí thay vì chỉ nhìn bao bì (evaluation theo task).

III. Main Results:​

  • Kling-MLLM đạt kết quả cạnh tranh rộng: bản 397B-A17B dẫn đầu nội bộ ở DSI-Bench, Event-Bench, MotionBench, Camera Motion VQA, VidCapBench coverage và các benchmark video/temporal grounding; 27B mạnh nhất ở TREA và LATBench temporal grounding tiếng Anh; kết quả ảnh, ASR, caption video và interleaving còn chia đều với các hệ thống khác (Doubao2.0-Lite, Qwen3.5-Omni).
  • Pipeline dữ liệu tự động AutoResearch → Auto Data Process → Auto Revise (agent tìm dataset trên Hugging Face, chuẩn hóa theo modality, audit bằng perplexity + Gemini + human review) cung cấp corpus omni cho curriculum 4 giai đoạn: acoustic init → joint multimodal → temporal expansion → long-context consolidation; merge checkpoint Stage 1 + Stage 4 tốt hơn từng checkpoint riêng.
  • Các cơ chế được kiểm chứng: timestamp injection cho audio cải thiện temporal grounding rõ rệt; captioning đánh giá bằng câu hỏi kiểm chứng bộc lộ khoảng trống 'biết nhưng không tả được' (know but cannot tell) của VQA.

IV. Conclusion & Future Works:​

Báo cáo khẳng định hiểu đa phương thức là thuộc tính của cả chuỗi pipeline, không phải điểm số của một model; bốn nguyên tắc rút ra: (1) nút thắt chuyển từ render sang semantic control, (2) hiệu quả dữ liệu = mật độ mô tả, (3) DiT trưởng thành có 'sweet spot' và phương pháp agentic giúp chạm tới, (4) evaluation phải theo tác vụ và phân rã thành tiêu chí quan sát trực tiếp. Các proxy rẻ (screening text encoder, verifier cấp text của PE) giúp lọc ứng viên trước khi train end-to-end tốn kém. Tác giả hy vọng bài học tổng quát hóa ra ngoài gia đình model Kling.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng reference-grounded captioning sang ràng buộc đa thực thể xuyên shot dài, với supervision học từ cặp video bất kỳ (relational supervision) không cần annotation từng cặp.
  2. Phát triển prompt enhancement agentic đa tác tử: một tác tử sửa mâu thuẫn kịch bản, một tác tử truy xuất và thích ứng caption từ kho video hay, tối ưu đồng thời faithfulness, reasonableness và vividness.
  3. Nghiên cứu reward model có 'perceptual bandwidth' điều chỉnh được: cân bằng giữa phê bình giải thích được kèm vị trí (general reward model) và chấm điểm nhanh đa chiều (decision reward model) cho vòng tối ưu generation.

2. Patent:​

  1. Trợ lý tạo video trên điện thoại: người dùng nhập ý tưởng lơ mơ, hệ thống tự mở rộng thành kịch bản chi tiết (agentic prompt enhancement — sửa mâu thuẫn cốt truyện, tham chiếu phim hay) rồi sinh video, giúp người không biết viết prompt vẫn có kết quả sống động.
  2. Hệ thống tự động viết chú thích (caption) cho thư viện video: mỗi đoạn video được mô tả dày đặc, đúng thứ tự thời gian, giữ đúng tên nhân vật/vật thể xuyên các cảnh quay, để làm dữ liệu huấn luyện và cho phép tìm kiếm video bằng ngôn ngữ tự nhiên chính xác.
  3. Công cụ kiểm định chất lượng video tự động theo từng tác vụ trên đám mây: chấm video sinh theo từng tiêu chí cụ thể (chuyển động camera, đúng sự kiện, đồng bộ âm thanh) thay vì một điểm tổng, và truy ngược lỗi về đúng khâu dữ liệu/điều kiện/thưởng gây ra.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04916
ArXiv Abstracthttps://arxiv.org/abs/2611.04916
PDF Downloadhttps://arxiv.org/pdf/2611.04916.pdf
Github RepositoryN/A

6. DreamX: Video Diffusion Model is a Universal Latent Action Learner (51 votes)​

Tác giả: Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, et al.

Xuất bản lúc: 2026-11-03

Tag: Video Diffusion, Latent Action, VLA, Robotics, Motion Transfer, World Model, Representation Learning

I. Main Problem:​

Các mô hình latent action hiện có học hành động từ cặp khung hình liền kề bằng encoder riêng, khiến biểu diễn lẫn lộn giữa chuyển động và ngoại hình/cảnh nền (góc nhìn, màu sắc, thân robot) vì thông tin thị giác này giúp reconstruction dễ hơn. Hậu quả:

  • Không chuyển được hành động giữa các embodiment khác nhau (người ↔ robot)
  • Video người thiếu nhãn hành động robot nên không dùng được để huấn luyện policy
  • Mỗi robot cần không gian hành động riêng, không chia sẻ được
  • Policy dựa trên video diffusion sinh cả video tương lai → chi phí inference rất cao.

II. Main Idea:​

DreamX tái sử dụng một video diffusion model pretrained (Cosmos-Predict2.5) với hai vai trò bổ sung:

  • Encoder: các learnable query token đi qua spatiotemporal attention của backbone, đọc thông tin động học từ toàn bộ clip và nén mỗi khung hình từ 1.200 token video xuống 4 latent-action token (giảm ~300×)
  • Decoder: khung hình đầu tiên cung cấp ngoại hình cảnh, latent action thay thế điều kiện văn bản để tái tạo khung hình tương lai — vì decoder đã có sẵn thông tin thị giác, latent action buộc phải mã hóa phần chuyển động mới giải thích được tương lai
  • Khi có nhãn hành động, thêm nhánh phụ decode luôn action robot từ latent action

Không gian này trở thành giao diện hành động chung cho mọi embodiment, cho phép chuyển video any-to-any và chuyển hành động người → robot zero-shot không cần dữ liệu cặp.

Ví dụ đời thường: giống người dịch một bản nhạc: tai nghe chỉ ghi lại "giai điệu" (chuyển động) thành ký âm gọn, còn "tiếng nhạc cụ, âm sắc" (ngoại hình) thì do người chơi mới cung cấp — nên bản giai điệu đó chơi được trên piano lẫn guitar.

III. Main Results:​

  • LARYBench: SOTA trong các latent action models — regression MSE giảm từ 0.38 (DiLA) xuống 0.17, classification tăng từ 62.25% lên 69.67%; bản nén 32-channel vẫn vượt mọi baseline
  • Video transfer zero-shot người → robot (H&R): vượt AdaWorld và VideoWorld2 trên mọi metric (FVD 57.4 vs 170.2; PSNR 26.5 vs 23.0), không cần dữ liệu cặp người–robot
  • Action transfer: decode hành động từ video người sang robot thực thi được (viết chữ N, đẩy 1 tay rồi đổi hướng, đẩy 2 tay), bảo toàn cấu trúc chuyển động và thứ tự thời gian
  • Policy thực tế (đóng ngăn kéo): SR 96.7% so với 50.0% của Mimic-Video, nhanh hơn 19.1× (1.47s vs 28.2s/vòng)
  • Phân tích: query attention tập trung vào bàn tay/gripper đang chuyển động; làm nhiễu latent action làm mất động tác nhưng giữ nguyên cảnh — chứng minh tách biệt motion/appearance

IV. Conclusion & Future Works:​

DreamX chứng minh video diffusion model pretrained là nền tảng mạnh để học biểu diễn hành động tái sử dụng xuyên embodiment: đọc latent action trực tiếp từ biểu diễn spatiotemporal bên trong backbone (không cần encoder riêng per-embodiment) và dùng generative prior làm giám sát. Không gian nén 300× vừa chuyển được motion vừa làm mục tiêu học cho policy nhẹ. Hướng mở: mở rộng sang phạm vi hành động đa dạng hơn, policy closed-loop với quan sát tại thời điểm chạy, và khai thác sâu hơn không gian latent cho các tác vụ dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng latent action của DreamX sang điều khiển closed-loop, policy tự trích xuất và hiệu chỉnh latent action trong lúc chạy dựa trên quan sát thay vì mở vòng lặp.
  2. Kết hợp không gian latent action chung với reinforcement learning để robot học nhanh kỹ năng mới từ một vài video người demo mà không cần bất kỳ nhãn hành động robot nào.
  3. Nghiên cứu cách thêm điều kiện lực/xúc giác vào latent action để chuyển motion cho các tác vụ cần cảm nhận lực (vặn, kéo, xếp chồng mỏng).

2. Patent:​

  1. Hệ thống dạy robot bằng video điện thoại: người dùng quay video mình thao tác bằng điện thoại, ứng dụng trích xuất latent action gọn và gửi lên đám mây, robot trong nhà nhận lệnh và bắt chước chuyển động mà không cần lập trình hay dữ liệu huấn luyện cặp người–robot.
  2. Ứng dụng chỉnh sửa video trên điện thoại: chọn một đoạn video hành động bất kỳ và một ảnh/chủ thể mới, ứng dụng tách phần chuyển động (latent action) và tái tạo lại video với nhân vật, bối cảnh hoặc động vật khác giữ nguyên động tác gốc.
  3. Robot hỗ trợ người lớn tuổi tự học từ hành vi: robot quan sát video người thân thực hiện việc nhà, học latent action chung và chuyển thành động tác robot tương đương để lặp lại khi được yêu cầu, thay vì phải lập trình từng động tác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.05377
ArXiv Abstracthttps://arxiv.org/abs/2611.05377
PDF Downloadhttps://arxiv.org/pdf/2611.05377.pdf
Github RepositoryN/A

7. Factorized MLLM Embeddings for Composed Image Retrieval (44 votes)​

Tác giả: WonJun Moon, Seongchan Kim, Dahun Kim, Seungryong Kim

Xuất bản lúc: 2026-11-03

Tag: Composed Image Retrieval, Multimodal Large Language Models, Embedding Learning, Contrastive Learning, Optimal Transport, Visual Grounding

I. Main Problem:​

Composed Image Retrieval (CIR): tìm ảnh mục tiêu từ bộ sưu tập khi chỉ có ảnh tham chiếu + văn bản mô tả chỉnh sửa (vd: "đổi logo áo nhưng giữ nguyên phần còn lại").

Các phương pháp MLLM hiện tại bỏ phí khả năng hiểu cấu phần của mô hình:

  • Chúng nén cả truy vấn đa phương thức thành một embedding duy nhất (token [EOS]) bằng contrastive learning thuần túy.
  • Không có cơ chế tường minh để phân tách yếu tố nào cần sửa, yếu tố nào cần giữ nguyên trước khi tạo embedding.
  • Kết quả: embedding thiếu bằng chứng chi tiết cho việc xếp hạng chính xác, đặc biệt Recall@1.

II. Main Idea:​

FactEmbed tách rõ hai nhiệm vụ: hiểu truy vấn cấu phần (comprehension) và học embedding phân biệt (discrimination). Quy trình:

  • Factorized latents: thêm K=8 token học được ("latents tách nhân tố") vào đầu chuỗi input, đóng vai trò cổ chai thông tin phân tách truy vấn thành các yếu tố cấu phần.
  • Target imagination: gắn decoder nhẹ vào tầng giữa của MLLM; latents được huấn luyện để tái tạo ảnh mục tiêu (dựa trên DINOv2), nhưng chỉ phần chi tiết còn thiếu sau khi trừ layout thô (2x2 average-pool) — buộc mỗi latent chuyên hóa một yếu tố ngữ nghĩa nhất định. Query-side phải "hình dung" mục tiêu mà không thấy nó.
  • Bắc cầu imagination → retrieval: loss InfoNCE ở cấp yếu tố (đối sánh OT giữa latents query và target) + distillation bản đồ attention không gian của decoder vào tầng sâu hơn của backbone.
  • Suy luận hiệu quả: [EOS] làm embedding toàn cục để truy xuất nhanh; mean-pooled latents rerank top-100, cả hai đều từ một forward pass duy nhất, chi phí gần như không đáng kể.

Ví dụ đời thường: giống thợ sửa nhà thay vì nhìn bức tường cũ và lời dặn rồi đoán ngay kiểu mới, thì đầu tiên vẽ phác lại căn phòng sẽ trông thế nào theo từng phần (sàn, tường, cửa), mỗi phần do một người phụ trách; sau đó mới so sánh bản phác với các phương án thật.

III. Main Results:​

  • Refined-CIRR: R@1 68.99 (cao nhất), vượt CSMCIR 2.7% và ReCALL 2.3%.
  • Refined-FashionIQ: trung bình R@10 86.41, vượt CSMCIR +2.3 và ReCALL +2.4; đứng đầu cả 3 danh mục Dress/Shirt/Top&Tee.
  • CIRR gốc: R@1 56.60 — tốt nhất toàn bảng; FashionIQ gốc: trung bình R@10 57.71, tốt nhất.
  • Efficient reranking thu hẹp khoảng cách với full-factor OT chỉ còn ~0.2 điểm R@1, với chi phí chỉ thêm 0.17ms/query (~0.05% tổng latency) và 2 vector/lưu trữ mỗi ảnh.
  • Ablation: chỉ imagination thì không cải thiện R@1 (lệch generation vs discrimination); thêm factor-level InfoNCE + distillation mới mang lại lợi ích; rerank có cấu trúc từ các objective này tăng đáng kể (+1.17 Avg. CIRR).
  • Thang quy mô backbone: đổi sang Qwen3-VL-8B tăng R@1 thêm 2.65 điểm (nhiều hơn mức +1.60 của ReCALL), áp dụng lên Qwen3-VL-Embedding cho kết quả tốt nhất hầu hết metrics.

IV. Conclusion & Future Works:​

FactEmbed chứng minh rằng giám sát ở cấp yếu tố trên nền matching cấp instance giúp khai thác tốt hơn khả năng hiểu cấu phần của MLLM cho CIR, bằng cách bắt mô hình "hình dung" ảnh mục tiêu trước khi so khớp.

Hạn chế và hướng tương lai:

  • Số latent K cố định, không tự thích ứng độ phức tạp của truy vấn → nghiên cứu latent thích ứng và matching với kích thước tập thay đổi.
  • Mean-pooling để rerank làm mất bớt thông tin chi tiết → kết hợp Matryoshka representation learning để giữ độ chính xác của full-factor matching với chi phí gần như một vector.
  • Chỉ đánh giá trên CIRR và FashionIQ → cần kiểm chứng tính tổng quát như retriever đa phương thức thống nhất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Latent thích ứng theo truy vấn cho CIR: tự động chọn số yếu tố cấu phần dựa trên độ phức tạp của mô tả chỉnh sửa, thay vì cố định K latents.
  2. Kết hợp Matryoshka representation learning với factorized latents: lồng các biểu diễn yếu tố nhiều độ chi tiết trong cùng không gian để rerank đạt chất lượng full-factor với chi phí lưu trữ một vector.
  3. Áp dụng target imagination nội tại vào retrieval đa phương thức tổng quát (video, tài liệu, audio) — mô hình tự "hình dung" đối tượng cần tìm trước khi so khớp, không cần mô hình sinh ngoài.

2. Patent:​

  1. Tính năng tìm kiếm ảnh trên điện thoại bằng "ảnh mẫu + lời chỉnh sửa": người dùng chọn ảnh có sẵn và nói "tìm giống cái này nhưng màu đỏ, tay ngắn"; hệ thống phân tách truy vấn thành các yếu tố (màu, kiểu tay, nền) rồi so khớp từng yếu tố để trả về đúng ảnh mong muốn.
  2. Hệ gợi ý thời trang: chụp ảnh trang phục hiện có, nhập "đổi cổ áo thành cổ đứng, giữ nguyên chất vải"; app tìm sản phẩm tương tự bằng cách hình dung bản sửa đổi nội bộ và xếp hạng lại danh sách ứng viên theo từng chi tiết.
  3. Công cụ tìm ảnh bản quyền/sản phẩm cho thương mại điện tử: nhà bán hàng tải ảnh tham chiếu kèm mô tả chỉnh sửa; hệ thống tách nhân tố hình ảnh, "tưởng tượng" sản phẩm mục tiêu rồi truy xuất nhanh bằng một vector và tinh chỉnh kết quả đầu bảng bằng vector chi tiết — chi phí tính toán không đổi dù kho ảnh lớn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.05193
ArXiv Abstracthttps://arxiv.org/abs/2611.05193
PDF Downloadhttps://arxiv.org/pdf/2611.05193.pdf
Github Repositoryhttps://github.com/cvlab-kaist/FactEmbed

8. RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild (44 votes)​

Tác giả: Tan Sang Nguyen, Yi Ru Wang, Shailesh Shailesh, Gang Yang, Jiamo Hu, et al.

Xuất bản lúc: 2026-11-02

Tag: Robotics, Vision-Language-Action, Robot Benchmark, Distributed Evaluation, Foundation Models, Embodied AI

I. Main Problem:​

Đánh giá policy robot ngoài đời thật khó tái hiện và khó mở rộng quy mô: kết quả phụ thuộc đồng thời vào policy, phần cứng, điều kiện khởi tạo và môi trường, khiến khó quy kết hiệu suất cho năng lực của policy.

  • Mô phỏng tuy thử nghiệm được nhanh nhưng dự đoán kém kết quả thực tế do lệch cảm biến, động lực học, hình ảnh.
  • Benchmark vật lý tập trung (một phòng lab, một robot chia sẻ) không phản ánh sự đa dạng triển khai; các nỗ lực dùng tình nguyện viên không bền vững.
  • Benchmark một embodiment duy nhất không trả lời được câu hỏi policy có khái quát hóa qua robot khác không.

II. Main Idea:​

RoboColosseum là khung đánh giá robot phân tán (hơn 100 robot tại các site ở Mỹ, Anh, Singapore, Malaysia, Trung Quốc, vận hành bởi ~30 nhân viên toàn thời gian), chuẩn hóa phần cứng, định nghĩa tác vụ và giao thức đánh giá qua hai track bổ sung nhau:

  • Open Track: hai model ẩn danh chạy so kèo trực tiếp (A/B, mù) trên cùng robot, tác vụ, vật thể tại cùng site; xếp hạng toàn cục bằng mô hình Difficulty-Calibrated Rasch (DCR) kết hợp độ khó do người chấm, và dùng active matchmaking (ưu tiên cặp model bất định nhất, kế thừa từ Chatbot Arena).
  • Fine-tune Track: mọi policy nhận đúng 100 demonstration/task, fine-tune theo recipe riêng rồi chấm bằng tiêu chí thành công và progress score (tỷ lệ tiêu chí con hoàn thành) — kiểm thử khả năng thích ứng có kiểm soát như DataComp.
  • Bốn embodiment: SO-101, Franka (DROID), Bimanual-YAM, Unitree G1; 8 hệ thống gồm 5 VLA (GR00T N1.7, π0.5, MolmoAct2, G0.5, LingBot-VLA v2) và 3 agent LLM (GPT-6 Astra, Claude Opus 5.5, Grok 4.7).

Ví dụ đời thường: giống giải võ thuật nhiều võ đường cùng chung luật thi đấu — mỗi trận đấu diễn ra tại sàn của một võ đường (điều kiện môi trường địa phương), hai võ sĩ thi đấu bị che tên, trọng tài địa phương chấm thắng-thua, và ban tổ chức tổng hợp kết quả toàn mạng lưới để xếp hạng; còn track fine-tune giống cho tất cả võ sĩ cùng một huấn luyện viên, cùng số buổi tập, rồi thi cùng một bài thi chuẩn.

III. Main Results:​

  • 5.699 phép so sánh A/B tại 124 site trong 41 ngày (17/9–28/10/2026) ở Open Track.
  • Agent LLM cạnh tranh ngang VLA chuyên biệt: trên 901 cặp đấu, agent vượt VLA về progress ở 394 trận vs 265 (lợi thế trung bình +5.3 điểm %; Claude Opus 5.5 +12.1, GPT-6 Astra +11.0, Grok 4.7 lại kém -7.5).
  • Hoàn thành tác vụ mở vẫn rất yếu: không hệ thống nào quá 13% success ở bất kỳ danh mục thao tác nào; success giảm từ 30.7% (độ khó 1–4) xuống 0.4% (độ khó 9–10), progress giảm 56.6% → 3.5%.
  • Sau fine-tune với cùng 100 demo: GR00T N1.7 dẫn đầu SO-101, π0.5 dẫn Franka và Bimanual-YAM.
  • Xếp hạng không ổn định: đồng thuận ranking giữa các bộ tác vụ theo embodiment rất yếu (Kendall's W = 0.24); Open Track dự đoán kém thứ hạng sau fine-tune, có đảo vị trí đáng kể trên cả 3 embodiment chung.
  • Progress score phát hiện điều success rate bỏ sót: trên G1 Humanoid không policy nào hoàn thành nổi 1/5 tác vụ, nhưng progress trung bình dao động 13.3%–23.2% giữa các policy.
  • Độ tin cậy tăng theo quy mô; active matchmaking đạt ~90% đồng thuận với toàn bộ dữ liệu chỉ sau 400–500 đánh giá, so với ~1.000 nếu lấy mẫu đều.

IV. Conclusion & Future Works:​

RoboColosseum chứng minh đánh giá vật lý phân tán quy mô lớn là khả thi, có thể tái lập thống kê và tiết kiệm mẫu, đồng thời cho thấy ba bài học: agent LLM đa năng đã bắt kịp VLA chuyên biệt về thao tác; năng lực khái quát hóa của mọi policy hiện tại còn rất giới hạn; và chỉ số tiến độ từng phần cần thiết để phân biệt các policy khi chúng đều thất bại. Tác giả cam kết 10.000 giờ đánh giá miễn phí cho các lab học thuật. Hướng mở rộng: nhân mạng lưới site/robot, tăng số tác vụ Fine-tune Track, cải tiến matchmaking và khám phá các giao thức đánh giá tiết kiệm hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích sâu hơn về thất bại của frontier LLM agent trong thao tác vật lý: phân rã lỗi giữa suy luận ngôn ngữ, nhận thức không gian và điều khiển vòng kín để xác định bottleneck khiến success rate chỉ ~13%.
  2. Nghiên cứu vì sao xếp hạng Open Track không dự đoán được hiệu suất sau fine-tune (đảo vị trí giữa hai track), và liệu có tồn tại một độ đo tiền thích ứng nào báo trước khả năng học từ demonstration.
  3. Mở rộng Difficulty-Calibrated Rasch sang mô hình item-response đa chiều, tách năng lực theo kỹ năng thao tác (cầm nắm, xếp chồng, vật dẻo, dùng dụng cụ) thay vì một độ khả năng đơn lẻ.
  4. Nghiên cứu giao thức matchmaking chủ động cho robot vật lý: cân bằng giữa chi phí mỗi lần chạy robot thật và độ bất định của ranking, kế thừa từ lý thuyết active ranking và bandit.

2. Patent:​

  1. Nền tảng thuê robot đánh giá policy qua đám mây: startup đăng ký policy, hệ thống định tuyến chạy thử trên mạng lưới robot thật tại nhiều địa điểm (nhà, văn phòng, nhà máy), tự ẩn danh đối thủ, thu thập kết quả so kèo và xuất bảng xếp hạng có khoảng tin cậy.
  2. Hệ thống chấm điểm robot dịch vụ bằng tiêu chí tiến độ từng bước: ứng dụng trên điện thoại cho phép người vận hành nhập tác vụ, chấm từng mốc hoàn thành (cầm được vật, nâng lên, đặt đúng chỗ) thay vì chỉ đậu/rớt, giúp so sánh các mẫu robot gia dụng ngay cả khi chưa ai hoàn thành trọn tác vụ.
  3. Dịch vụ đánh giá robot gia đình tại nhà khách hàng: robot được giao cho người dùng thật ở nhiều quốc gia, chạy thử các tác vụ sinh hoạt hằng ngày theo giao thức chuẩn; dữ liệu được ẩn danh khuôn mặt và tổng hợp về máy chủ để hãng robot biết model của mình thua ở đâu trong điều kiện thật.
  4. Hệ thống ghép cặp thử nghiệm tự động cho đội ngũ vận hành robot: phần mềm quản lý ca làm việc của người vận hành, tự chọn cặp thuật toán nào cần thử tiếp dựa trên độ bất định của bảng xếp hạng, giảm số lần chạy robot mà vẫn giữ độ chính xác xếp hạng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.02497
ArXiv Abstracthttps://arxiv.org/abs/2611.02497
PDF Downloadhttps://arxiv.org/pdf/2611.02497.pdf
Github Repositoryhttps://github.com/RoboColosseum/robocolosseum-client

9. Axion 1.0: Open Agent Foundation Models, Simplified (40 votes)​

Tác giả: Yuqi Jia, Yunjie Tian, Jiayu Zheng, Yijun Liang, Jingchen Sun, et al.

Xuất bản lúc: 2026-11-02

Tag: Agent Foundation Models, Reinforcement Learning, Supervised Fine-Tuning, Tool Use, Open Models, Reasoning, GRPO

I. Main Problem:​

Các mô hình agent hiện đại thường dựa trên pipeline huấn luyện rất phức tạp: mid-training, nhiều stage SFT, DPO, OPD và nhiều quy trình post-training riêng lẻ. Điều này gây ra ba vấn đề chính:

  • Khó tái hiện: chi phí sao chép quy trình tăng cao.
  • Khó hiểu nguồn gốc năng lực: không rõ thành phần nào thực sự cần thiết.
  • Open weights chưa đủ: nhiều mô hình chỉ mở trọng số, không mở dữ liệu, prompt, verification và training code.

Axion 1.0 đặt câu hỏi: liệu có thể xây dựng một agent foundation model mạnh, đa năng và open với một recipe huấn luyện cực kỳ đơn giản hay không?

II. Main Idea:​

Axion 1.0 chỉ dùng 3 giai đoạn huấn luyện: hai stage SFT nhẹ rồi reinforcement learning, bỏ qua mid-training, DPO và OPD. Trọng tâm không phải thêm nhiều kỹ thuật post-training, mà là xây dữ liệu khó, đa dạng và có thể kiểm chứng tự động.

  • Stage I — Self-contained reasoning: từ seed bài toán khoa học, mô hình sinh câu hỏi khó hơn bằng composition. Nếu base model giải được, dữ liệu tiếp tục được tăng độ khó bằng một trong bốn phép biến đổi: composition, parameterization, range shift, case analysis. Đáp án được xác minh lại độc lập bằng nhiều lần giải, chỉ giữ trajectory đúng.
  • Stage II — Tool-dependent reasoning: dữ liệu được xây bằng pipeline filter → select → compute → verbalize trên các nguồn dữ liệu thật có cấu trúc. Khi thu thập trajectory, database gốc bị chặn để buộc mô hình phải dùng search, webpage visits và Python để tìm bằng chứng và tính toán.
  • RL: dùng GRPO trên các trajectory tương tác công cụ dài hạn, kết hợp outcome reward cho đáp án đúng và process reward cho các bước trung gian hợp lệ.

Ví dụ đời thường: giống như dạy một người học việc bằng cách không cho học thuộc lòng quy trình sách vở, mà đưa trước các bài tập khó từ dễ đến khó, yêu cầu tự tra cứu tài liệu thật, tính toán cẩn thận, rồi chỉ giữ lại những lần làm đúng để làm chuẩn cho lần sau.

III. Main Results:​

  • Axion 1.0-35B và 122B cạnh tranh mạnh trên các benchmark agentic, reasoning và scientific research như Humanity’s Last Exam, SEAL-0, HiPhO, FrontierScience và BioMysteryBench.
  • Trên HLE, Axion 1.0-35B đạt 52.2%, Axion 1.0-122B đạt 59.0% với một số website bị chặn; khi bỏ chặn, kết quả tăng lên 59.1% và 64.8%.
  • Trên FrontierScience Research, Axion 1.0-35B đạt 56.7% và 122B đạt 66.7%, cao hơn nhiều so với Agents-A1 40.0% và GPT-5.5 26.7%; bản 122B cũng vượt GPT-5.6 Sol 63.3%.
  • So với Agents-A1 cùng quy mô gần tương đương, Axion 1.0-35B cải thiện +4.6% HLE, +5.8% SEAL-0 và +7.0% FrontierScience Olympiad.
  • Phân tích từng stage cho thấy SFT Stage I tăng mạnh reasoning tự chứa, SFT Stage II tăng rõ trên các tác vụ cần tìm kiếm và dùng công cụ, còn RL tiếp tục cải thiện HLE-130 và SEAL-0.
  • Recipe đơn giản nhưng vẫn đạt năng lực agent rộng, cho thấy chất lượng dữ liệu và tiến trình reasoning → tool use → RL có thể quan trọng hơn việc xếp chồng nhiều kỹ thuật post-training.

IV. Conclusion & Future Works:​

Axion 1.0 chứng minh rằng một agent foundation model mạnh có thể vừa open vừa simple: không cần DPO, OPD hay mid-training riêng, miễn là dữ liệu SFT được xây khó, đa dạng, kiểm chứng được và RL tận dụng các trajectory tương tác công cụ dài hạn.

Hướng mở rộng hợp lý gồm: tinh chỉnh reward cho reasoning dài hạn, mở rộng nguồn dữ liệu thật dùng cho tool-augmented tasks, nghiên cứu cách truyền recipe này sang mô hình nhỏ hơn, và cải thiện hạ tầng RL bất đồng bộ cho các tác vụ agent nhiều bước.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Một nghiên cứu mở rộng recipe ba giai đoạn của Axion 1.0 sang mô hình agent nhỏ hơn, kiểm tra mức độ giữ được năng lực tool-use và long-horizon reasoning khi giảm quy mô tham số.
  2. Một phân tích hệ thống về ảnh hưởng của từng phép tăng độ khó dữ liệu — composition, parameterization, range shift và case analysis — lên khả năng reasoning và khả năng tổng quát hóa của agent.
  3. Một bài học thuật về thiết kế process reward cho agentic RL, trong đó các bước trung gian có thứ tự phụ thuộc được dùng để cấp tín dụng một phần cho trajectory chưa hoàn thành.

2. Patent:​

  1. Hệ thống huấn luyện trợ lý AI trên điện thoại bằng cách tự sinh bài tập khó từ dữ liệu học tập của người dùng, kiểm tra lại đáp án nhiều lần và chỉ dùng các lời giải đúng để fine-tune mô hình cá nhân hóa.
  2. Module xây dựng dữ liệu agent cho ứng dụng di động: tạo câu hỏi từ cơ sở dữ liệu thật, ẩn database gốc khỏi mô hình, yêu cầu tìm kiếm web và tính toán bằng Python để có câu trả lời có thể xác minh.
  3. Cơ chế cấp điểm cho trợ lý AI khi thực hiện tác vụ nhiều bước trên điện thoại: thưởng toàn bộ khi hoàn thành đúng, cộng điểm một phần khi xác minh được các bước trung gian đúng theo thứ tự phụ thuộc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.03233
ArXiv Abstracthttps://arxiv.org/abs/2611.03233
PDF Downloadhttps://arxiv.org/pdf/2611.03233.pdf
Github Repositoryhttps://github.com/bytedance/axion1_0

10. ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents (35 votes)​

Tác giả: Guanting Dong, Zhichao Sun, Xinyu Yang, Rui Wang, Xin Deng, et al.

Xuất bản lúc: 2026-11-03

Tag: Tool-Use Agents, MCP, Agent Environment Synthesis, Long-Horizon Agents, Data Synthesis, Reinforcement Learning

I. Main Problem:​

Các phương pháp hiện tại để mở rộng môi trường cho agent dùng công cụ (tool) đều theo hướng data-centric: tổng hợp trước cơ sở dữ liệu và kịch bản, rồi mới suy ra công cụ và tác vụ từ đó. Cách tiếp cận này có 3 hạn chế căn bản:

  • Tool–functionality mismatch: công cụ được tổng hợp theo cơ sở dữ liệu giả lập nên tham số/interface lệch khỏi công cụ thật, agent học một "giao thức ảo" không chuyển được sang hệ sinh thái thật.
  • Liên kết công cụ thiếu căn cứ thực thi: đồ thị nối công cụ được dựng bằng liên kết ngẫu nhiên hoặc phán đoán nông của LLM, không dựa trên bằng chứng chạy thật.
  • Không tổng hợp được tác vụ xuyên môi trường: tác vụ bị giam trong một môi trường đơn lẻ, trong khi tác vụ thực tế thường kéo dài qua nhiều dịch vụ (Gmail → Sheets → Drive...).

II. Main Idea:​

ToolSpace đảo ngược thứ tự tổng hợp: thay vì môi trường → công cụ → tác vụ, nó đi dấu vết thực thi → đồ thị công cụ → môi trường → tác vụ. Pipeline gồm 2 giai đoạn:

  • Tool Space Exploration: trích xuất các lần gọi công cụ từ dấu vết thực của agent chạy trên MCP services thật và các corpus mở (Toucan-1.5M, ToolBench, SWE-agent, OpenHands). Từ các cặp lời gọi liền kề, mine bằng luật xác định (không dùng LLM phán đoán) 3 loại quan hệ: data dependency (output tool trước làm input tool sau), state dependency (cùng đọc/ghi một đối tượng trạng thái), retry dependency (tool lỗi rồi thử tool khác thành công). Đồ thị công cụ có trọng số này được cụm thành 804 môi trường; cơ sở dữ liệu chỉ được tổng hợp cho môi trường có ghi trạng thái (22.5%), còn môi trường query thì khôi phục snapshot, môi trường stateless thì replay kết quả đã ghi — tiết kiệm chi phí tổng hợp dữ liệu đáng kể.
  • Cross-Environment Task Synthesis: thực hiện State-Aware Random Walks with Rollback trên đồ thị — chọn bước kế tiếp theo trọng số cạnh nhưng chỉ trong các hàng xóm thỏa tiền điều kiện trạng thái; nếu bước nào fail thì rollback về snapshot trước và resample. Chuỗi đi được độ dài L qua K môi trường rồi được decompile ngược thành tác vụ ngôn ngữ tự nhiên (không tiết lộ tên tool/thứ tự) kèm assertion-based verification (kiểm tra trạng thái cuối, snapshot trung gian, trường output). Chỉ giữ mẫu replay thành công từ trạng thái ban đầu.

Ví dụ đời thường: giống như thay vì tưởng tượng ra một căn bếp rồi mơ đồ dùng nấu ăn, ta đứng quan sát thợ bếp thật nấu hàng ngày, ghi lại họ cầm dao nào ngay sau thớt nào, rồi dựng khu bếp theo đúng quy trình đã thấy — và chỉ dạy người học những bài tập đã nấu thử lại thành công từ đầu đến cuối.

III. Main Results:​

  • Nâng cấp benchmark: neo pipeline vào AutomationBench và τ³-Bench Banking để tạo bản Pro khó hơn (300 và 98 tác vụ, được chấm bởi 3 chuyên gia tiến sĩ, Fleiss' κ = 0.82); 7 model frontier sụt tới 38.2 điểm trên bản Pro.
  • Huấn luyện cải thiện mạnh trên 7 benchmark long-horizon: Qwen3.6-35B-A3B tăng từ 23.0 lên 41.0 (43.2 với RL), GLM-5.2 từ 44.6 lên 56.6 — ngang Claude Opus 5; ToolSpace-744B-A40B đạt 56.6, vượt GPT 5.6 Sol (48.9).
  • Quy mô đồ thị: 77,760 node (2,042 công cụ chuẩn), 804 môi trường thật, trung bình 10.86 tool/môi trường; cạnh data/state/retry chiếm 69%/25%/6%.
  • Quy mô dữ liệu: 34,376 trajectory (18.86 lời gọi tool trung bình, tối đa 209; trung bình 2.29 môi trường mỗi trajectory, tối đa 22).
  • Ablation: cạnh mine từ thực thi thật rõ ràng vượt cạnh do LLM phán đoán; hiệu năng tiếp tục tăng theo quy mô dữ liệu và số môi trường (scaling law).

IV. Conclusion & Future Works:​

ToolSpace chứng minh rằng công cụ (tool), chứ không phải cơ sở dữ liệu môi trường, mới là đơn vị nguyên tử để mở rộng năng lực agent. Bằng cách dựng đồ thị quan hệ công cụ từ dấu vết thực thi thật và tổng hợp dữ liệu chỉ khi cần, framework cho tác vụ long-horizon xuyên môi trường vừa chân thật vừa kiểm chứng được, và có thể cắm vào nâng cấp mọi benchmark sẵn có. Kết quả mở ra hướng mở rộng environment scaling theo witnessed tool composition thay vì world model ảo của LLM, với tiềm năng mở rộng đồ thị lên toàn bộ hệ sinh thái MCP.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ToolSpace để cập nhật đồ thị công cụ liên tục theo thời gian thực khi các MCP service thật thay đổi interface, giữ cho dữ liệu huấn luyện luôn khớp phiên bản công cụ mới nhất.
  2. Kết hợp State-Aware Random Walk với học tăng cường để tự động tìm các chuỗi công cụ khó nhất (curriculum adversarial) thay vì sample theo trọng số tĩnh.
  3. Ứng dụng nguyên lý tool-centric synthesis cho agent đa phương thức (GUI, web, mobile), nơi quan hệ giữa hành động tương tác cũng có thể mine từ dấu vết người dùng thật.

2. Patent:​

  1. Hệ thống tạo dữ liệu huấn luyện assistant trên điện thoại: ghi lại chuỗi thao tác thật của người dùng giữa các ứng dụng (email → lịch → ghi chú), tự động nhận diện quan hệ dữ liệu/giao diện giữa hai thao tác liền kề, rồi sinh tác vụ luyện tập mới có kiểm chứng bằng cách chạy lại trên thiết bị.
  2. Nền tảng kiểm thử tự động cho trợ lý AI tích hợp nhiều dịch vụ: random walk có kiểm soát trạng thái trên đồ thị API thật, rollback khi lỗi, chỉ xuất bộ câu hỏi-kiểm tra nào chạy lại thành công từ trạng thái sạch — giúp doanh nghiệp đo độ tin cậy của chatbot một cách có căn cứ.
  3. Cơ chế gợi ý tự động sửa lỗi cho workflow tự động hóa văn phòng: khi một bước gọi API thất bại, hệ thống tra đồ thị quan hệ công cụ đã học từ hàng triệu lần chạy thật để đề xuất công cụ thay thế có xác suất thành công cao nhất (retry dependency).

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.05036
ArXiv Abstracthttps://arxiv.org/abs/2611.05036
PDF Downloadhttps://arxiv.org/pdf/2611.05036.pdf
Github Repositoryhttps://github.com/dongguanting/ToolSpace

11. YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction (27 votes)​

Tác giả: Shengyu Wang, Tengyue Nong, Junming Liu, Haosong Peng, Siyu Li, et al.

Xuất bản lúc: 2026-11-03

Tag: Multimodal Datasets, Unified Multimodal Models, Multi-turn Dialogue, Image Editing, Image Generation, Benchmark

I. Main Problem:​

Các mô hình Unified Multimodal Models (UMMs) — tích hợp hiểu ảnh, tạo ảnh và chỉnh sửa ảnh trong một khung thống nhất — đang được đánh giá và huấn luyện chủ yếu qua tác vụ single-turn hoặc multi-turn phi trạng thái, nơi mỗi lượt có thể giải độc lập mà không cần theo dõi thông tin xuyên lượt. Hậu quả:

  • thiếu supervision để học cách duy trì, cập nhật và thực hiện trung thực trạng thái hội thoại (dialogue state) đang tiến hóa qua các lượt
  • tương tác ảnh thực tế (tạo/chỉnh ảnh qua nhiều vòng trao đổi, sửa đổi dần, có ràng buộc xuyên lượt) gần như không được phản ánh trong dữ liệu hiện có

II. Main Idea:​

YANAMI (Your Assistant Needs to Assimilate Multiturn Interaction) là bộ dữ liệu và benchmark đầu tiên quy mô lớn cho multimodal stateful interaction, gồm hai phần:

  • YANAMI-400K (tập huấn luyện): 400K hội thoại đa lượt, hơn 2M ảnh, 2.6M lượt hội thoại, được xây bằng pipeline LLM (GPT-5.6 Sol, Qwen3.7-Plus, Gemini 3.1 Pro + GPT-Image-2, Nano Banana 2) với kiểm chứng tự động logic và nhất quán ảnh–chữ. Mỗi hội thoại vận dụng 6 khả năng quản lý trạng thái: phân giải tham chiếu, truy xuất ngữ cảnh, nhất quán xuyên lượt, nhất quán không gian/vật lý, tuân thủ ràng buộc, cập nhật trạng thái khi người dùng sửa đổi — trải trên 4 bối cảnh: Multi-Image Fusion, Image Editing, World Modeling, Visual Reasoning.
  • YANAMI-Bench (400 hội thoại, kiểm chứng thủ công bởi người, cách ly hoàn toàn với tập train bằng so khớp SHA-256): đánh giá hai chiều bổ trợ — Dialogue State Understanding (DSU) qua QA theo 4 khả năng, và Visual Realization (VR) gồm chất lượng ảnh và mức nhất quán với trạng thái hiện hữu, dùng khung VLM-as-a-Judge (tương quan với người > 0.80).

Ví dụ đời thường: giống thợ thiết kế nhận yêu cầu sửa bản vẽ qua nhiều tin nhắn — phải nhớ cả 'chỉ một con mèo', 'phòng tối giản', 'đèn bên trái' vẫn còn hiệu lực, đồng thời áp dụng sửa đổi mới nhất, thay vì mỗi tin nhắn vẽ lại từ đầu.

III. Main Results:​

  • Trên YANAMI-Bench, các UMMs mã nguồn mở tốt nhất chỉ đạt ~67.4 (Emu3.5) và mô hình chỉnh sửa tốt nhất 67.3 (FLUX.2); Visual Reasoning là bối cảnh khó nhất. GPT-Image-2 (83.05) và Nano Banana 2 (80.93) dẫn đầu, cho thấy khoảng cách lớn giữa mô hình closed-source và open-source.
  • Điểm DSU trung bình của hầu hết UMMs dưới 82 — các mô hình hiểu trạng thái hội thoại còn kém, chưa nói đến thực hiện.
  • Phân tích cho thấy khoảng trống hiểu–thực hiện: ngay cả khi hiểu đúng ràng buộc, mô hình vẫn không luôn vẽ đúng; hiệu suất sụt 2–6% ở lượt sinh ảnh cuối so với lượt đầu; dùng lịch sử ảnh tự sinh (Self-History) làm giảm thêm 3.8–5.2% so với lịch sử ground-truth.
  • Fine-tune BAGEL trên YANAMI-400K: +13.23% trên YANAMI-Bench, +10.28% trên GEdit-Bench-EN (chỉnh sửa ảnh), +2% trên GenEval (tạo ảnh), đồng thời giữ nguyên khả năng hiểu ảnh tổng quát (MMBench +4.1, POPE +0.9, MME-P gần như không đổi). DSU của BAGEL tăng từ 81.44 lên 95.69.

IV. Conclusion & Future Works:​

YANAMI lấp đầy khoảng trống dữ liệu và đánh giá cho tương tác đa phương thức có trạng thái, cung cấp nền tảng thống nhất để huấn luyện và đo lường UMMs. Kết quả cho thấy huấn luyện trên YANAMI-400K cải thiện đồng thời tạo ảnh, chỉnh sửa ảnh và tương tác có trạng thái mà không làm suy giảm hiểu biết trực quan tổng quát, trong khi các UMMs hiện tại vẫn vật lộn với duy trì/cập nhật/thực hiện trạng thái hội thoại. Dữ liệu và prompt sẽ được công bố trên Hugging Face và GitHub.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng stateful interaction sang hội thoại đa phương thức dài hơn (hàng chục đến hàng trăm lượt) với ràng buộc xung đột và cần giải quyết mâu thuẫn giữa các yêu cầu cũ–mới.
  2. Nghiên cứu cơ chế giảm lũy tiến lỗi (error accumulation) khi mô hình dùng chính ảnh tự sinh làm ngữ cảnh cho các lượt sau trong triển khai tương tác thực tế.
  3. Phát triển kiến trúc UMM mới thu hẹp khoảng trống giữa Dialogue State Understanding và Visual Realization — hiểu đúng nhưng vẫn vẽ sai.

2. Patent:​

  1. Trợ lý chỉnh ảnh trên điện thoại với trí nhớ hội thoại: người dùng nói 'đổi ghế thành màu xanh, giữ nguyên còn lại, nhớ là chỉ một con mèo'; ứng dụng lưu toàn bộ ràng buộc đang hiệu lực qua các lượt và sinh ảnh tuân thủ, tự động gạch bỏ yêu cầu đã bị người dùng sửa.
  2. Hệ thống thiết kế nội thất qua trò chuyện nhiều vòng: khách hàng trao đổi dần (đổi vị trí đèn, thêm bàn, cấm thêm đồ trang trí); hệ thống kiểm soát trạng thái thiết kế và render ảnh cuối nhất quán với mọi quyết định còn hiệu lực.
  3. Công cụ dựng cảnh 3D/quảng cáo trên di động: gộp nhiều ảnh tham chiếu (chân dung, sản phẩm, bối cảnh) qua hội thoại nhiều lượt, giữ nguyên các thành phần đã chốt và chỉ thay đổi phần người dùng yêu cầu ở lượt mới nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.05280
ArXiv Abstracthttps://arxiv.org/abs/2611.05280
PDF Downloadhttps://arxiv.org/pdf/2611.05280.pdf
Github RepositoryN/A

12. VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks (24 votes)​

Tác giả: Tengju Ru, Weitong Lian, Zecong Tang, Lingyi Meng, Haoran Li, et al.

Xuất bản lúc: 2026-11-03

Tag: Multimodal Learning, Data Curation, Agent Systems, Video Understanding, Image Editing, Unified Multimodal Models, Instruction Tuning, Dataset Construction

I. Main Problem:​

Các mô hình multimodal thống nhất cần dữ liệu instruction vừa hiểu ảnh/video vừa tạo/chỉnh sửa ảnh, nhưng dữ liệu chất lượng cao đang khan hiếm và tốn kém để annotate thủ công. Video thô rất dồi dào nhưng dư thừa, nhiễu, không cấu trúc, không tự thành cặp lệnh-đáp ứng cho huấn luyện. Các cách sinh dữ liệu bằng LLM trước đây thiếu bằng chứng công cụ có thể kiểm chứng, thường chỉ tập trung understanding hoặc dùng ảnh tĩnh, nên khó đồng thời phục vụ understanding, editing và unified tasks.

II. Main Idea:​

VidUEU-Agent là pipeline agent tự động biến video thô thành dữ liệu instruction theo 4 giai đoạn:

  • Global perception: chia video thành shots bằng phát hiện cắt cảnh, tóm tắt theo shot/chapter/video, rồi Gate A lọc shot kém chất lượng hoặc ít thông tin.
  • Keyframe mining: lấy mẫu frame, Gate B lọc frame xấu bằng thống kê công cụ + VLM; agent lập kế hoạch công cụ phân cấp theo chapter/shot, verbalize tín hiệu đa phương thức, chấm điểm frame và chọn keyframe đại diện bằng embedding + cosine similarity + greedy weighted facility-location.
  • Metadata construction: kiểm tra/lọc tín hiệu gắn với keyframe, sinh transition giữa các keyframe liên tiếp và clip summary, rồi ràng buộc caption, tín hiệu, transition và summary thành metadata.
  • Instruction construction: Gate C chấm chất lượng/metadata hợp vệ, route sang understanding/editing/unified, ghép template và yêu cầu trích dẫn signal ID để tăng truy vết.

Điểm mới quan trọng là autonomous data iteration: huấn luyện thử 30K mẫu, đánh giá benchmark, đưa kết quả về agent để điều chỉnh phân phối năng lực/domain/task type, thay đổi ưu tiên video, mật độ keyframe, ngân sách keyframe, trọng số chấm điểm và quota sampling. Từ đó scale thành VidUEU-100K.

Ví dụ đời thường: giống một biên tập viên phim tài liệu kỹ tính: xem toàn bộ phim, cắt cảnh mờ/tệ, chọn vài khung hình tiêu biểu, đối chiếu ghi chú hiện trường, viết câu hỏi-bài tập và bài chỉnh ảnh, rồi sau khi thấy học sinh làm bài kém ở mảng nào thì đổi cách chọn tư liệu cho lần biên soạn tiếp theo.

III. Main Results:​

  • Dataset VidUEU-100K: từ 8,268 video thu thập từ OpenVid-1M, Panda-70M, Wikimedia, YouTube và một số bộ chuyên ngành, tạo khoảng 8,505 semantic segments, ~20K metadata và 100K instruction samples: 40K understanding, 30K editing, 30K unified, trải 9 task paradigms và 5 domain.
  • Fine-tune InternVL3-8B trên tập understanding: đạt tốt nhất so với các model so sánh ở MME 2369.3 và MMDU 61.1, MMT-Bench tăng lên 0.596; cho thấy dữ liệu keyframe có quan hệ ngữ nghĩa giúp multi-image reasoning.
  • Fine-tune Bagel trên tập editing: đạt tốt nhất GEdit-Bench-En với G_SC 7.565, G_PQ 7.328, G_O 6.951; cải thiện cả độ đúng của edit lẫn chất lượng ảnh, đặc biệt nhờ các cặp keyframe liền kề vừa giữ bối cảnh vừa thể hiện thay đổi trạng thái.
  • Fine-tune Bagel trên tập unified: WEA VEbench Overall tăng 0.446 → 0.501, vượt Bagel và Bagel-Zebra; Logic 0.480, Game 0.419, cho thấy lợi ích của giám sát chuyển trạng thái theo thời gian.
  • Vòng lặp dữ liệu tự động cải thiện dần: Final đạt MMDU 33.0, GEdit 7.065, WEA VE 0.526; ablation cho thấy Gate B và biến thể no-agent gây sụt mạnh nhất, còn thiếu greedy keyframe selection, Gate C hoặc luật trích dẫn signal ID cũng đều làm giảm hiệu năng.

IV. Conclusion & Future Works:​

Bài báo chứng minh agent có thể biến video thô thành nguồn dữ liệu instruction có cấu trúc, có bằng chứng, cân bằng và có thể tự tinh chỉnh cho unified multimodal models. Kết quả nhất quán trên nhiều benchmark cho thấy dữ liệu không chỉ giúp hiểu tốt hơn mà còn cải thiện instruction alignment, compositional binding và khả năng chỉnh sửa cục bộ. Giới hạn rõ nhất là các chuỗi interleaved dài vẫn dễ lan truyền lỗi giữa các lượt. Hướng tương lai: tăng độ tin cậy cho tín hiệu công cụ và kiểm chứng metadata, cải thiện memory/lập luận dài hạn cho hội thoại xen kẽ ảnh-chữ, mở rộng sang nhiều ngôn ngữ/domain hiếm, kết hợp human-in-the-loop và chính sách iteration hiệu quả hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô hình unified multimodal với memory chống lan truyền lỗi cho chuỗi nhiều lượt hiểu-chỉnh-tạo-chọn ảnh dài.
  2. Phương pháp kiểm chứng tín hiệu công cụ và truy xuất nguồn cho dữ liệu instruction đa phương thức, giảm hallucination và mismatch bằng chứng.
  3. Curriculum học từ keyframe chuyển trạng thái để cân bằng năng lực perception, editing có bảo toàn vùng không liên quan và suy luận qua lượt.
  4. Active data iteration cho dữ liệu multimodal: tự phát hiện domain/task đang thiếu, điều chỉnh sampling và quota dựa trên downstream feedback.
  5. Mở rộng pipeline từ video sang âm thanh, chuyển động camera hoặc dữ liệu 3D để làm giàu bằng chứng thời gian-không gian cho unified models.

2. Patent:​

  1. Ứng dụng điện thoại tự xây bộ học liệu cá nhân từ video quay trong album: chọn cảnh đẹp, loại khung mờ, tạo câu hỏi hiểu ảnh và ví dụ chỉnh ảnh có ghi rõ ảnh/phụ đề nào được dùng để trả lời, giúp trợ lý ảnh trên máy học đúng phong cách và sự kiện của người dùng.
  2. Nền tảng biên soạn khóa học từ video: hệ thống tự cắt chương, chọn khung hình tiêu biểu, sinh câu hỏi trắc nghiệm/tự luận, bài tập chỉnh hình minh họa và báo cáo phần nào học viên yếu để đổi tư liệu lần sau.
  3. Trợ lý đào tạo nội bộ doanh nghiệp từ video vận hành máy: quan sát clip hướng dẫn, tạo câu hỏi an toàn-lỗi thao tác, ví dụ 'trước/sau' để nhân viên luyện nhận biết trạng thái sai và chọn hành động sửa đúng.
  4. Công cụ chỉnh sửa ảnh qua ngôn ngữ có bằng chứng vùng ảnh: người dùng yêu cầu 'đổi nền nhưng giữ người', hệ thống dùng chuỗi ảnh tương tự để xác định vùng giữ-ngữ nghĩa, giảm sửa nhầm chi tiết không liên quan trên ảnh chụp bằng điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04418
ArXiv Abstracthttps://arxiv.org/abs/2611.04418
PDF Downloadhttps://arxiv.org/pdf/2611.04418.pdf
Github Repositoryhttps://github.com/LRuca/VidUEU-Agent

13. EvoTeam: Multi-Agent Collaboration via Evolving Teams (23 votes)​

Tác giả: Qinuo Cao, Xin He, Dianxuan Fu, Lizhi Zhang, Zhaoqing Xing, et al.

Xuất bản lúc: 2026-10-30

Tag: LLM-based Multi-Agent Systems, Agent Evolution, Team Organization, Interaction Rules, Task Decomposition, Continual Learning, Benchmark Evaluation

I. Main Problem:​

Các hệ thống đa tác tử dùng LLM thường cải thiện từng agent riêng lẻ qua phản hồi nhiệm vụ, nhưng agent giỏi hơn chưa chắc tạo thành đội cộng tác tốt hơn. Ở mức cộng tác, các phương pháp hiện có có hai lỗi chính:

  • Tổ chức lại đội bị kẹt: chỉ đổi thành viên/trách nhiệm trong một khung đội chung, khó giữ cách phân công khác nhau cho nhiệm vụ khác nhau.
  • Tái sử dụng quy tắc tương tác sai ngữ cảnh: quy tắc bàn giao thông tin hoặc điều kiện dừng học từ nhiệm vụ cũ bị áp sang đội không tương thích, gây bỏ sót bước lập trình/kiểm thử hoặc dừng quá sớm. Thí nghiệm sơ bộ cho thấy tiếp tục tiến hóa trên nhiệm vụ khác dạng có thể làm kết quả trên nhiệm vụ mục tiêu tệ hơn so với chỉ tiến hóa trên nhiệm vụ mục tiêu.

II. Main Idea:​

EvoTeam là khung tiến hóa lấy cộng tác làm trung tâm: duy trì một thư viện các đội agent tái sử dụng và tiến hóa đồng thời tổ chức đội, quy tắc tương tác theo đội, và kỹ năng cá nhân. Ba giai đoạn:

  • Adaptive Agent Team Composition: nếu có đội trong thư viện phù hợp yêu cầu cộng tác thì chọn; nếu không, một Composer tạo đội tạm thời mới từ agent pool. Chairman sau đó tuyển một nhóm con từ danh sách ứng viên của đội để giảm tham gia thừa và chi phí.
  • Team-Scoped Collaboration: Chairman phân rã truy vấn thành subtask và giao cho agent theo hồ sơ năng lực/độ tin cậy. Mỗi agent làm bằng kỹ năng đã tích lũy và đọc bộ quy tắc tương tác riêng của đội như hướng dẫn mềm khi cần bàn giao thông tin. Hệ thống ghi execution trace gồm suy luận, tool output và handoff trace.
  • Multi-Level Experience Evolution: ba reflector cập nhật ở ba tầng — đội tinh chỉnh mô tả yêu cầu và roster; quy tắc chỉ cập nhật trong đội tương ứng; kỹ năng agent thì tái dùng xuyên đội. Nguyên tắc cốt lõi: kinh nghiệm phối hợp tích lũy trong ngữ cảnh đội tương thích, còn năng lực cá nhân không bị khóa trong một đội.

Ví dụ đời thường: giống quản lý có sổ các đội dự án: việc nào giống việc cũ thì mở đúng sổ tay của đội ấy, việc mới thì lập đội mới; sau mỗi ca làm việc chỉ sửa quy trình riêng của đội đó, còn tay nghề cá nhân thì theo nhân viên sang dự án khác.

III. Main Results:​

  • Trên 4 benchmark / 6 nhóm nhiệm vụ — GAIA, LoCoBench gồm Feat và Refact, LOCA-Bench, BeyondSWE gồm DepMig và CrossR — EvoTeam đạt trung bình cao nhất ở cả hai cài đặt tiến hóa.
  • Individual-benchmark evolution: trung bình 58.85, dẫn 4/6 metric; vượt Meta-Team trên GAIA 78.00 vs 73.00, LoCoBench Feat 67.32 vs 64.82, Refact 66.23 vs 64.63, BeyondSWE CrossR 36.71 vs 36.08.
  • Mixed-benchmark evolution: đứng đầu cả 6 metric, trung bình 59.58 so với Meta-Team 55.55; cải thiện so với individual-benchmark trong khi Meta-Team đi xuống.
  • Cross-backbone transfer giữa DeepSeek-V4.1-Flash và GPT-5.6-Luna: evolved teams/rules vẫn có lợi cả hai chiều; chênh lệch cross-backbone so với same-backbone trong khoảng 4 điểm; GAIA tăng +5.00 khi GPT đánh giá artifact của DeepSeek và +18.00 khi DeepSeek đánh giá artifact của GPT.
  • Ablation: bỏ interaction rules làm mất tới 10.00 điểm trên GAIA và 8.75 trên LOCA; giữ task-conditioned team nhưng bỏ rules vẫn cải thiện mọi task, ví dụ +6.00 GAIA, cho thấy cả cấu trúc đội và kinh nghiệm điều phối đều quan trọng.
  • Chi phí: trên GAIA và BeyondSWE DepMig, EvoTeam đạt điểm cao nhất với chi phí/task thấp hơn Meta-Team và ReCreate; Skill-MAS rẻ hơn nhưng hiệu suất thấp hơn.

IV. Conclusion & Future Works:​

EvoTeam cho thấy cải tiến MAS không nên chỉ nâng cấp agent đơn lẻ, mà cần chọn hoặc tạo đội phù hợp, giữ quy tắc tương tác trong phạm vi đội, và cho kỹ năng cá nhân tái sử dụng xuyên đội. Hạn chế: chưa đánh giá trong môi trường đa phương thức có tương tác liên tục; cơ chế học là cập nhật kinh nghiệm tường minh trong khi giữ nguyên tham số LLM, nên phụ thuộc khả năng model đọc và áp dụng hướng dẫn đã lưu. Hướng mở rộng: dùng execution trace đa phương thức để tinh chỉnh tổ chức đội/quy tắc/kỹ năng, kết hợp tái sử dụng kinh nghiệm với model adaptation để internalize thói quen phối hợp, đồng thời kiểm soát trace và rule tích lũy trước khi dùng cho bối cảnh mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EvoTeam sang môi trường đa phương thức có tương tác: agent phải đọc quan sát hình ảnh, truyền bằng chứng thị giác và điều phối hành động khi môi trường thay đổi.
  2. Nghiên cứu internalize collaboration experience: kết hợp thư viện đội và rule với model adaptation để giảm phụ thuộc vào ngữ cảnh dài và hướng dẫn tường minh.
  3. Team-library routing có kiểm soát chi phí: học cách chọn đội có sẵn, tạo đội mới hay gọi thêm agent dựa trên dự báo lợi ích trên chất lượng và token/tool cost.
  4. Đánh giá an toàn và quyền riêng tư cho experience accumulation: kiểm toán trace, rule và skill trước khi tái sử dụng, chống rò rỉ thông tin nhạy cảm giữa các team context.
  5. EvoTeam cho phần mềm thật quy mô repository: nghiên cứu khi nào nên tái cấu trúc đội, khi nào chỉ sửa rule bàn giao, và cách xử lý timeout, search loop hay missing handoff.

2. Patent:​

  1. Trợ lý điện thoại tự tổ chức theo nhóm chuyên trách: sau nhiều lần giúp người dùng lên kế hoạch, code, dịch thuật hoặc mua sắm, ứng dụng xây dựng các nhóm kỹ năng khác nhau; khi có yêu cầu mới nó chọn đúng nhóm, giao việc con và chỉ cập nhật cách phối hợp cho nhóm tương tự.
  2. Tự động hóa xuyên ứng dụng trên điện thoại theo playbook từng đội: với tác vụ cần lịch, bản đồ, email, ghi chú và thanh toán, hệ thống lưu cách bàn giao thông tin giữa các module đã thành công cho loại tác vụ đó, rồi tái dùng đúng playbook khi gặp tác vụ tương tự.
  3. Bộ nhớ kỹ năng cá nhân trên thiết bị: mỗi trợ lý con có thể học thao tác hay dùng của người dùng như định dạng email, template báo cáo hoặc cách kiểm tra file; khi đổi nhóm công việc, kỹ năng này vẫn theo người dùng thay vì bị khóa trong một workflow cũ.
  4. Chế độ duyệt kinh nghiệm trước khi tái sử dụng: điện thoại hiển thị các quy tắc phối hợp và kỹ năng đã học để người dùng xóa, sửa hoặc khóa trước khi trợ lý áp dụng cho tác vụ mới, giảm rủi ro dùng lại cách làm lỗi hoặc lộ thông tin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.39813
ArXiv Abstracthttps://arxiv.org/abs/2610.39813
PDF Downloadhttps://arxiv.org/pdf/2610.39813.pdf
Github RepositoryN/A

14. WebHarbor: Docking Real Websites for Evolving GUI Agent Environments (19 votes)​

Tác giả: Zhaoyang Wang, Qianhui Wu, Boyu Gou, Demi Wang, Jiacheng Zhang, et al.

Xuất bản lúc: 2026-11-02

Tag: GUI Agents, Web Agents, Reinforcement Learning, Synthetic Environments, Benchmark, Docker, LLM-as-a-Judge

I. Main Problem:​

Đánh giá trên web thật không ổn định: nội dung thay đổi, bị chặn bởi bot detection, CAPTCHA, giới hạn khu vực, và thiếu luồng công việc cần đăng nhập. Trong thực nghiệm, khoảng 38% tác vụ Online-Mind2Web bị chặn và 22% tác vụ WebVoyager lỗi thời do website thay đổi. Ngược lại, môi trường tổng hợp hiện có thường thiếu độ sâu chức năng, hình ảnh nghèo, hoặc không tái hiện đúng thanh toán, đặt chỗ, quản lý tài khoản. Các benchmark tự host như WebArena ổn định nhưng phủ ít website, reset nặng, khó dùng cho huấn luyện tương tác lặp lại.

II. Main Idea:​

WebHarbor biến website thật thà các môi trường chạy offline được bằng cách dock phạm vi cần thiết vào Docker: không dựng lại toàn bộ dịch vụ, mà dùng tác vụ mục tiêu để định nghĩa trang, dữ liệu, hành động và thay đổi trạng thái cần có. Quy trình:

  • con người đề xuất website, yêu cầu chức năng và tác vụ; mô hình ngôn ngữ mở rộng thành luồng ứng viên
  • coding agent khám phá site thật qua trình duyệt, rồi dựng frontend, backend, cơ sở dữ liệu SQLite và ảnh/assets bằng bộ kỹ năng chuẩn
  • môi trường được evolve khi tác vụ mới phát hiện thiếu trang, thiếu form, thiếu dữ liệu hoặc có lối tắt giả
  • reviewer con người kiểm tra độ giống hình ảnh, tính đúng của luồng, tính khả thi của tác vụ, rồi yêu cầu sửa lặp lại

Kết quả là 153 website chạy deterministic, reset nhanh, giàu ảnh, có cả thao tác sau đăng nhập và thay đổi trạng thái bền.

Ví dụ đời thường: giống dựng buồng lái mô phỏng từ sân bay thật — không cần dựng cả thành phố, chỉ cần các nút, màn hình và quy trình cất-hạ cánh liên quan; kỹ sư lắp ráp, phi công chạy thử, sai chỗ nào sửa chỗ đó cho đến khi cảm giác vận hành giống thật.

III. Main Results:​

  • Quy mô suite: 153 môi trường, 3.518 tác vụ; chia 2.288 train, 306 test, 924 chưa phân bổ.
  • Độ phủ: 64,9% tác vụ tìm kiếm/thông tin, 12,7% giao dịch/đặt chỗ; 31,8% cần đăng nhập, 35,6% thay đổi trạng thái bền, 53,7% cần suy luận qua nhiều trang.
  • Độ phức tạp môi trường vượt các suite so sánh: trung bình 37,3 trang, 1.319,9 ảnh, 104,8 MiB ảnh, 6.610,6 dòng code mỗi môi trường.
  • Tính ổn định benchmark: bốn agent được 4,4–18,8 điểm cao hơn trên WebHarbor so với WebVoyager live, giữ nguyên 6/6 thứ hạng cặp mô hình, Spearman 1.000.
  • Huấn luyện tăng cường: agent 4B train trong WebHarbor đạt 75,8 trung bình live-web, hơn SFT chung +22,2 và hơn OpenWebRL-4B +5,2; mạnh nhất trong các agent open-source được liệt kê trên WebVoyager và Online-Mind2Web.
  • Phân tích lợi ích: cải thiện trên mọi nhóm năng lực; lớn nhất ở xác thực +13,3, điều hướng đa trang +12,6, thao tác trạng thái +10,8; trên WebArena giao dịch +21,4.
  • Trên tập test WebHarbor, model 4B tự train đạt verifier 30,0 và agent-judge 41,5, vượt các baseline 4B; GPT-6-Astra trên 95% cho thấy môi trường gần bão hòa với model frontier nhưng vẫn hữu ích cho model nhỏ.

IV. Conclusion & Future Works:​

WebHarbor cho thấy có thể dock web thật thà sandbox kiểm soát được bằng cách kết hợp tác vụ làm phạm vi, coding agent làm cơ chế mở rộng, và con người kiểm chất lượng. Điểm quan trọng không chỉ là benchmark ổn định, mà là reset nhẹ và trạng thái xác thực giúp huấn luyện tương tác khả thi hơn. Hướng tương lai: tăng độ tin cậy của verifier/judge khi có nhiều đường giải đúng, mở rộng sang desktop/mobile và component động nặng client-side, so sánh thêm dữ liệu SFT, harness khác, thuật toán học tăng cường khác, và kiểm chứng khái quát hóa qua nhiều họ model/quy mô.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu giao thức đánh giá chấp nhận nhiều lời giải đúng cho tác vụ web nhiều bước, kết hợp kiểm tra trạng thái cuối, ảnh màn hình và ràng buộc không lộ đáp án.
  2. Mở rộng task-driven docking từ web sang ứng dụng desktop và điện thoại, nơi hành vi động, quyền hệ thống và cửa sổ bật lên làm tăng độ khó kiểm chứng.
  3. Phát triển chiến lược phát triển môi trường theo cộng đồng: phân vai contributor/reviewer, đo chất lượng review, và cân bằng chi phí con người với tự động hóa.
  4. Kiểm tra khái quát hóa của học tăng cường trong môi trường tổng hợp sang model lớn hơn/nhỏ hơn, họ kiến trúc khác, và các thuật toán tối ưu chính sách khác ngoài GRPO.
  5. Xây dựng tập tác vụ có cố ý gây nhiễu: thay đổi giao diện, near-miss items, trạng thái hết hạn phiên đăng nhập, để đo độ chắc của agent web.

2. Patent:​

  1. Ứng dụng điện thoại tạo sandbox luyện tập từ website hay dùng: người dùng chọn tác vụ như đổi mật khẩu, đặt vé, mua hàng; hệ thống dựng bản chạy local có dữ liệu giả, reset sau mỗi lần thử, và chấm điểm theo kết quả cuối cùng trên màn hình.
  2. Hệ kiểm thử hồi quy cho app web doanh nghiệp bằng bản sao reset được: thay vì chạy thử trên hệ thống thật, bản sao lưu trạng thái đăng nhập, đơn hàng, hồ sơ; sau mỗi kịch bản hệ thống trả về trạng thái đầu và ghi nhận lỗi giao diện hoặc sai dữ liệu.
  3. Trợ lý điện thoại học thao tác bằng mô phỏng web có thưởng: người dùng đặt mục tiêu bằng giọng nói, trợ lý thực hiện trong môi trường giả an toàn, nhận phản hồi đúng/sai từ trạng thái cuối rồi mới đề xuất thao tác tương tự trên app thật.
  4. Nền tảng đóng góp cộng đồng cho bản sao website: công cụ gán vai reviewer kiểm tra ảnh, nút bấm, luồng đặt chỗ; tự tạo yêu cầu sửa cho coding agent, theo dõi số vòng duyệt và khóa phiên bản khi đạt chuẩn.
  5. Bộ công cụ ghi lại hành trình khách hàng rồi tái tạo thành kịch bản kiểm thử: ghi click, cuộn trang, nhập form, xác thực; chuyển thành kịch bản chạy lặp trong môi trường Docker để phát hiện lỗi UX trước khi phát hành.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.03634
ArXiv Abstracthttps://arxiv.org/abs/2611.03634
PDF Downloadhttps://arxiv.org/pdf/2611.03634.pdf
Github Repositoryhttps://github.com/aiming-lab/WebHarbor

15. MoLRSI: A Recursive Self-Improving AI agent for Molecular Discovery (16 votes)​

Tác giả: Yikun Zhang, Xiwei Cheng, Mingze Yuan, Yu Zhang, Brian Shim, et al.

Xuất bản lúc: 2026-10-30

Tag: AI Agents, Molecular Discovery, Drug Discovery, Protein Design, Monte Carlo Tree Search, Self-Improving Agents, Antibiotics, MHC Binder Design

I. Main Problem:​

Khám phá phân tử (molecular discovery) đòi hỏi dò tìm không gian kết hợp khổng lồ trong khi cân bằng nhiều mục tiêu sinh học cạnh tranh như hoạt tính (potency), độc tính, tính mới về cấu trúc. Các vấn đề cốt lõi:

  • Thiết kế workflow tính toán hiệu quả cho từng bài toán là một bài toán tìm kiếm khó: không gian cấu hình (biểu diễn phân tử, kiến trúc mô hình, chiến lược huấn luyện, tiêu chí lọc) rất lớn và hiệu suất thay đổi theo từng target.
  • Các agent khoa học hiện có (Biomni, Claude Science...) tự động hóa nhưng bị cô lập từng chiến dịch: bài học từ dự án trước không được lưu lại để cải thiện chiến lược cho dự án sau, dù con người làm điều này rất tốt.
  • Mỗi lần đánh giá ứng viên đều tốn wet-lab validation đắt đỏ, nên lặp lại thử-sai là lãng phí lớn.

II. Main Idea:​

MolRSI là agent tự cải thiện đệ quy (Recursive Self-Improving) cho khám phá phân tử, kết hợp tối ưu workflow với bộ nhớ xuyên suốt giữa các tác vụ:

  • Explore Agent: tổ chức bài báo khoa học + code thành các skill thực thi được, đã kiểm chứng (thư viện 110 skill cho dự đoán tính chất, 65 skill cho thiết kế protein).
  • Experience-guided MCTS: lắp ráp và tinh chỉnh workflow qua Monte Carlo tree search; chính sách chọn workflow dựa trên solution memory (workflow + điểm hiệu suất), refinement memory (thay đổi nào hiệu quả), execution memory (lỗi chạy và cách sửa).
  • Vòng lặp RSI: mỗi lần tìm kiếm cập nhật bộ nhớ, thay đổi cách tìm kiếm ở tác vụ sau — giống như nhà khoa học giàu kinh nghiệm ghi chép bài học thất bại/thành công để lần sau đi thẳng vào hướng khả quan thay vì mò mẫm lại từ đầu.

III. Main Results:​

Khám phá kháng sinh (khử trùng S. aureus, cân bằng hoạt tính kháng khuẩn - độc tính - tính mới cấu trúc):

  • Hit rate thực nghiệm 15.9% (17/107 hợp chất, MIC ≤ 32 µg/mL) so với 8.7% của workflow do chuyên gia xây dựng trước đây với cùng dữ liệu huấn luyện và cùng thư viện ~12.1 triệu hợp chất (+82% tương đối).
  • C3 và C32 mạnh cả trên MRSA (MIC 1 và 8 µg/mL), không độc ở nồng độ đó trên 3 dòng tế bào người.
  • Dự đoán hoạt tính vượt workflow cũ: AUROC 0.828 vs 0.590, AUPRC 0.300 vs 0.090 trên tập kiểm thử chung 271 hợp chất.

Thiết kế peptide-MHC binder (phân biệt target/off-target chỉ khác vài phần dư peptide):

  • Rank đầu trên benchmark 14 target miniprotein: macro EF@1% = 8.01 (agent tốt nhất tiếp theo 7.62).
  • Trên pMHC MART-1 (chưa từng thấy): EF@1% = 3.65, trong khi không agent baseline nào tìm được hit ở top 1%; MolRSI bỏ bộ nhớ xuyên tác vụ thì EF = 0.
  • 8 hit thực nghiệm có độ ưu tiên rõ ràng cho MART-1 và SARS-CoV-1 pMHC so với off-target; Claude Science hoàn toàn không có hit nào dưới cùng ngân sách.
  • Hiệu suất chuyển giao không-search tăng theo kích thước memory pool: AUPRC ~0.32 (2 tác vụ nguồn) → ~0.37 (25 tác vụ).

IV. Conclusion & Future Works:​

MolRSI chứng minh rằng tối ưu hệ thống workflow dựa trên kinh nghiệm tích lũy — chứ không chỉ tự động hóa — giải quyết được các mục tiêu khám phá cạnh tranh tốt hơn cả chuyên gia lẫn các agent khoa học hiện có, đồng thời chiến lược tìm kiếm ngày càng tốt hơn qua từng chiến dịch (vòng lặp RSI).

Hướng mở: mở rộng thư viện skill và các lớp bài toán (hóa học dược, vật liệu); nghiên cứu cách nén/truy xuất bộ nhớ xuyên tác vụ hiệu quả hơn khi số chiến dịch tăng lên; kết hợp phản hồi wet-lab trực tiếp vào vòng lặp tự cải thiện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng framework RSI cho khám phá dược phẩm đa mục tiêu: agent tự xây dựng và tái sử dụng workflow dự đoán ADMET, tự tinh chỉnh pipeline khi chuyển giữa các giai đoạn tối ưu hóa hit-to-lead.
  2. Hệ thống bộ nhớ kinh nghiệm có cấu trúc cho agent khoa học: phương pháp truy xuất và suy luận trên lịch sử thành công/thất bại của workflow để khái quát hóa sang lớp bài toán mới (vật liệu, xúc tác).
  3. Đóng vòng lặp agent-wet-lab: tích hợp kết quả thực nghiệm tự động vào memory-guided MCTS để agent tự điều chỉnh tiêu chí ưu tiên ứng viên sau mỗi đợt screening thật.

2. Patent:​

  1. Ứng dụng điện thoại hỗ trợ bác sĩ nhiễm khuẩn: nhập thông tin bệnh nhân và chủng vi khuẩn, hệ thống trên điện thoại chạy workflow sàng lọc kháng sinh tiềm năng từ thư viện hợp chất, gợi ý các phân tử mới có khả năng diệt khuẩn cao mà ít độc với tế bào người.
  2. Nền tảng thiết kế liệu pháp miễn dịch cá thể hóa: từ trình tự kháng nguyên của khối u bệnh nhân (chụp bằng điện thoại/quét hồ sơ), hệ thống tự thiết kế peptide gắn MHC đích mà tránh gắn MHC của tế bào lành, hỗ trợ thiết kế thụ thể CAR-T.
  3. Phần mềm trợ lý phòng lab tự học: ghi nhận mọi lần chạy mô hình dự đoán tính chất phân tử, tự động học cấu hình mô hình nào tốt nhất cho từng loại assay, và gợi ý cấu hình cho assay mới — giảm thời gian thử-sai cho kỹ thuật viên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.39714
ArXiv Abstracthttps://arxiv.org/abs/2610.39714
PDF Downloadhttps://arxiv.org/pdf/2610.39714.pdf
Github RepositoryN/A

16. SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding (16 votes)​

Tác giả: Kunjun Li, Wenhao Chai, Yihao Liang, Yuezhou Hu, Shuyao Xu, et al.

Xuất bản lúc: 2026-11-02

Tag: Speculative Decoding, LLM Inference, Systems Optimization, Agentic AI, Autonomous Code Generation, KV Cache

I. Main Problem:​

Các hệ thống speculative decoding phát hành sẵn (stock) với parallel drafters (DFlash2, DSpark) không khai thác hết tiềm năng tăng tốc, vì ba thách thức:

  • Một request duy nhất: mỗi bước chỉ chấp nhận vài token nhưng phải đọc toàn bộ trọng số target — các ứng viên drafter xếp hạng cao bị bỏ phí.
  • Batching: mỗi request thêm chi phí attention, recurrent-state và prefill riêng, khiến speedup so với autoregressive (AR) giảm gần một nửa.
  • Tính riêng của từng deployment: serving regime, drafter, target model và GPU khác nhau thì tối ưu khác nhau — cùng một kỹ thuật có thể nhanh hơn ở một regime nhưng chậm hơn 13% ở regime khác. Không có giải pháp vạn năng, còn tối ưu thủ công từng deployment thì không mở rộng được.

II. Main Idea:​

SpecPilot là một vòng lặp agentic tự động, tự khám phá thuật toán và tối ưu hệ thống speculative decoding cho từng deployment cụ thể. Cấu trúc mỗi vòng:

  • Cost model (Phase 0): so sánh hiệu năng đo được với một "trần" lý thuyết (ceiling) để xác định chính xác tốc độ đang mất ở đâu — thiếu token chấp nhận được (τ), kernel chậm, hay overhead.
  • Parallel agents (Phase 1): mỗi GPU chạy một hướng khám phá riêng, chỉ xây thuật toán mới khi headroom ≥ 3%, đo bằng microbenchmark hoặc exact replay.
  • Integration + kernel tuning (Phase 2–3): chồng các patch nhỏ lên nhau thành một hệ thống tối ưu, rồi tinh chỉnh kernel gần nhất tới byte floor.
  • Token forcing (Phase 4): kiểm tra mọi token đầu ra so với stock để phát hiện reward hacking — điều task accuracy bỏ sót (hệ lỗi vẫn đạt accuracy tương đương). Controller tách biệt với agents, chỉ promote thay đổi khi gain có ý nghĩa thống kê trên request chưa thấy.
  • Structured memory: mỗi cơ chế được validate trở thành một entry (code delta + bằng chứng + giới hạn), tái sử dụng ở deployment mới — hiện có 140 entries.

Hệ thống tự tìm ra: định dạng trọng số W12 lossless 12-bit, best-first tree verification cho hybrid recurrent targets, two-level verification (Q pass độ chính xác thấp kiểm trước, exact pass duy nhất chấp nhận token), và ba cơ chế batching.

Ví dụ đời thường: giống đội kỹ thuật xe đua — phân tích đoạn đường mất thời gian nhất (cost model), cử nhiều kỹ sư sửa song song từng bộ phận (parallel agents), kiểm tra nghiêm ngặt xe vẫn chạy đúng chuẩn sau mỗi sửa đổi (token forcing), và ghi sổ tay kinh nghiệm để đội khác dùng lại ở trường đua mới (structured memory).

III. Main Results:​

  • Một request: speedup so với AR tăng từ 4.46× (stock) lên 10.87× trên RTX PRO 6000 với Qwen3.8-27B + DFlash2; 8.86× trên H100, 9.41× với DSpark; 10.63× với Muse-Glimmer-30B.
  • Batching: speedup tăng từ 1.94× lên 3.93× — hơn gấp đôi stock ở mọi kích thước batch.
  • So với DDTree (baseline mạnh nhất trên H100): nhanh hơn 1.84× với một request.
  • Không training, không mất chất lượng: mọi hệ thống cuối cùng đều pass token forcing; τ (token/exact pass) tăng từ ~4.65 lên ~13–16.
  • Khái quát hóa tốt: nhất quán trên 4 target models, 3 drafters, 2 GPU platforms (H100, RTX PRO 6000 Blackwell), 5 benchmarks; W12 tái sử dụng trực tiếp từ memory ở các deployment mới (12.01–12.02 bits/weight trên 8 dense models).

IV. Conclusion & Future Works:​

SpecPilot chứng minh rằng tối ưu speculative decoding theo từng deployment có thể tự động hóa hoàn toàn bằng vòng lặp agentic dẫn hướng bởi cost model, với token forcing là chốt chặn tin cậy chống reward hacking — vốn là rào cản lớn nhất khi dùng coding agents cho tối ưu lossless. Phân tích cross-regime cho thấy cùng một cơ chế có thể tăng tốc một request nhưng chậm lại khi batching, nên việc tự thích ứng theo deployment là bắt buộc, không phải tùy chọn. Hướng phát triển tự nhiên: mở rộng bộ nhớ cơ chế sang nhiều kiến trúc model và thế hệ GPU mới, tinh chỉnh chiến lược chọn hướng của master agent, và áp dụng framework tương tự cho các bài toán tối ưu hệ thống khác ngoài speculative decoding.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng structured memory thành một đồ thị phụ thuộc giữa các cơ chế tối ưu, cho phép suy luận tự động xem cơ chế nào trong kho sẽ hiệu quả trên một deployment mới trước khi chạy round đầu tiên.
  2. Áp dụng phương pháp ceiling-guided agentic optimization cho serving LLM nói chung: quantization-aware scheduling, prefix caching, và disaggregated prefill/decode.
  3. Nghiên cứu token forcing như một kỹ thuật kiểm chứng chung cho mọi tối ưu lossless của LLM serving, với lý thuyết về ngưỡng near-tie và kiểm định thống kê large-margin events.

2. Patent:​

  1. Hệ thống tự tối ưu suy luận LLM trên điện thoại: ứng dụng gọi LLM cục bộ tự chạy một agent nhỏ phân tích bottleneck (đọc trọng số, compute, bộ nhớ) rồi tự tinh chỉnh định dạng trọng số và chiến lược dự thảo cho đúng chip của máy, kiểm chứng đầu ra không đổi so với bản gốc trước khi áp dụng.
  2. Trình duyệt/web app có LLM tích hợp tự tăng tốc theo thiết bị: khi người dùng mở app lần đầu trên một máy mới, hệ thống tự benchmark và cấu hình lại pipeline speculative decoding (kích thước batch, độ sâu cây dự thảo, định dạng trọng số nén) mà không cần cập nhật từ nhà phát triển.
  3. Dịch vụ đám mây tự tối ưu theo tải: máy chủ LLM tự điều chỉnh cơ chế batching (ngân sách node chia sẻ, drafter block theo request, prompt admission) theo số lượng request đang chờ, mỗi thay đổi đều được kiểm chứng lossless bằng cách so khớp từng token với bản chuẩn.
  4. Định dạng trọng số 12-bit có kiểm chứng bit-exact: lưu trọng số mô hình dưới dạng cửa sổ 16 binade mỗi kênh kèm danh sách escape thưa, giảm 25% bộ nhớ đọc mỗi bước giải mã trên thiết bị di động mà đầu ra không đổi một bit.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.02501
ArXiv Abstracthttps://arxiv.org/abs/2611.02501
PDF Downloadhttps://arxiv.org/pdf/2611.02501.pdf
Github Repositoryhttps://github.com/StargazerX0/SpecPilot

17. ParetoSaddler: Pareto-Guided Optimization of Agent Harnesses for Quality and Cost (16 votes)​

Tác giả: Xingzhi Qian, Sungho Park, Rongyuan Tan, Jianbo Yu, Jue Zhang, et al.

Xuất bản lúc: 2026-11-01

Tag: LLM Agents, Harness Optimization, Multi-Objective Optimization, Pareto Frontier, Bayesian Bootstrap, Quality-Cost Trade-off, Prompt Optimization

I. Main Problem:​

Tối ưu harness của LLM agent (prompt, công cụ, middleware, logic điều khiển) hiện chỉ tập trung vào chất lượng phản hồi, bỏ qua chi phí thực thi. Khi mở rộng sang tối ưu đồng thời chất lượng–chi phí, xuất hiện hai khó khăn:

  • Mâu thuẫn giai đoạn trung gian vs. triển khai cuối cùng: áp dụng ngay sở thích triển khai (ví dụ rẻ hơn, vượt ngưỡng chất lượng tối thiểu) khi sàng lọc ứng viên trung gian sẽ loại bỏ sớm các bản cập nhật có giá trị cho các bước cải tiến sau — một bản vá có thể tạm tăng chi phí nhưng sửa được lỗi khiến các bản vá tiếp theo phát triển tốt hơn.
  • Thực thi ngẫu nhiên: cùng một harness chạy lặp lại cho kết quả chất lượng và chi phí khác nhau (biến động trong-task đến 18.8% cho chất lượng, 25.6% cho chi phí trên ClawMark), nên so sánh trung bình đơn thuần có thể phóng đại cải tiến yếu ớt do may rủi gây ra.

II. Main Idea:​

ParetoSaddler tách biệt quyết định thăng cấp ứng viên trong quá trình tối ưu khỏi lựa chọn harness triển khai cuối cùng:

  • Ở mỗi vòng lặp, optimizer (ví dụ AutoSaddler) phân tích trace thực thi, chẩn đoán lỗi và tạo ứng viên mới từ harness cha.
  • Cha và con được chạy lặp lại nhiều lần trên cùng bộ mẫu sàng lọc để thu nhận cặp quan sát chất lượng–chi phí.
  • Quy tắc thăng cấp Pareto thống kê: dùng Bayesian bootstrap (gán trọng số Dirichlet cho các lần chạy lặp, 10.000 draw) để đo mức hỗ trợ thống kê cho việc ứng viên tiến bộ theo ít nhất một mục tiêu (chất lượng tăng hoặc chi phí giảm, với biên an toàn lỏng). Ứng viên được thăng cấp nếu ≥ 70% draw ủng hộ.
  • Ứng viên được thăng cấp mới nhận đánh giá development rộng hơn và đưa vào archive Pareto; mọi ứng viên vẫn có thể làm cha cho vòng sau.
  • Chỉ khi hết ngân sách tối ưu, sở thích triển khai (weighted-sum, ràng buộc chất lượng, hay chọn điểm trên Pareto frontier) mới được áp dụng để chọn kết quả cuối.

Ví dụ đời thường: giống như huấn luyện một đội bóng — trong quá trình luyện, HLV không loại cầu thủ chỉ vì một buổi tập chưa đạt chỉ tiêu thi đấu, mà giữ lại những người cho thấy tiến bộ ở một kỹ năng nào đó; đến ngày thi đấu chính thức mới chọn đội hình phù hợp với chiến thuật.

III. Main Results:​

  • ClawMark: chất lượng tăng từ 70.86% lên 81.35%, chi phí giảm từ 1.17xuo^ˊng∗∗1.17 xuống **1.01**/task.
  • GAIA2: chất lượng tăng từ 56.22% lên 62.89%, chi phí giảm từ 0.78xuo^ˊng∗∗0.78 xuống **0.45**/task (giảm 42.3%).
  • Tối ưu song mục tiêu không làm mất chất lượng: điểm chất lượng cực đại của ParetoSaddler vượt cả baseline chỉ tối ưu chất lượng (AutoSaddler) +7.49 điểm trên ClawMark và +5.56 điểm trên GAIA2, trong khi vẫn rẻ hơn.
  • Vượt Meta-Harness ở cả hai mục tiêu trên cả hai benchmark, kết quả ổn định trên mọi universe held-out của GAIA2.
  • Ablation: chạy lặp 3 lần thay vì 1 lần cải thiện rõ rệt điểm test (ví dụ 75.71% → 81.35% ở đầu chất lượng); sàng lọc Bayesian vượt sàng lọc dựa trên trung bình (81.35%/1.01sovới76.531.01 so với 76.53%/1.15).
  • Cổng Pareto thăng cấp 11 ứng viên so với chỉ 3 của cổng MinCost, giúp thoát khỏi cực tiểu chi phí cục bộ.

IV. Conclusion & Future Works:​

ParetoSaddler cho thấy giá trị của việc bảo tồn các trade-off trung gian và tính đến độ bất định thực thi trong tối ưu harness: thăng cấp theo Pareto giữ lại các ứng viên mà cổng triển kkhuyến triển khai sẽ loại bỏ nhưng lại nền tảng cho cải tiến sau; chạy lặp cung cấp bằng chứng giàu hơn; Bayesian bootstrap lọc ra ứng viên có lợi ích yếu về mặt thống kê. Kết quả là chất lượng cao hơn và chi phí thấp hơn so với tối ưu chỉ chất lượng. Paper không nêu hướng nghiên cứu tương lai cụ thể; hàm ý là mở rộng sang các mục tiêu khác (an toàn, riêng tư) và tinh chỉnh ngưỡng thăng cấp γ cho từng miền.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tổng quát hóa Pareto-aware promotion cho tối ưu đa mục tiêu harness với các ràng buộc thực tế như độ trễ, an toàn và riêng tư, thay vì chỉ chất lượng–chi phí.
  2. Nghiên cứu chiến lược chọn ngưỡng thăng cấp γ và biên an toàn ε theo từng miền ứng dụng để cân bằng giữa chi phí đánh giá và chất lượng tìm kiếm.
  3. Áp dụng Bayesian bootstrap screening cho các bài toán chọn cấu hình agent khác (chọn mô hình, chọn công cụ) dưới thực thi ngẫu nhiên.

2. Patent:​

  1. Hệ thống tự động tinh chỉnh trợ lý AI trên điện thoại: tối ưu đồng thời độ chính xác và chi phí API bằng cách thử nhiều phiên bản prompt/điều khiển, chạy lặp lại nhiều lần, chỉ giữ các bản cải thiện có căn cứ thống kê, rồi để người dùng chọn chế độ 'chính xác tối đa' hay 'tiết kiệm nhất' sau cùng.
  2. Nền tảng quản lý chi phí chatbot doanh nghiệp: tự động sinh và kiểm chứng các bản cập nhật workflow của agent qua bootstrap thống kê, duy trì bộ harness trên Pareto frontier để doanh nghiệp chuyển đổi linh hoạt giữa mức chất lượng và ngân sách theo tháng.
  3. Công cụ tối ưu prompt cho ứng dụng di động offline-hybrid: đánh giá lặp lại từng bản sửa đổi prompt dưới nhiều lần chạy thực tế, thăng cấp bản vá chỉ khi cải tiến được hỗ trợ bởi đa số phép thử, tránh tối ưu theo kết quả ngẫu nhiên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.02079
ArXiv Abstracthttps://arxiv.org/abs/2611.02079
PDF Downloadhttps://arxiv.org/pdf/2611.02079.pdf
Github RepositoryN/A

18. Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses (13 votes)​

Tác giả: Xiaoyi Zhang, Haoqing Wang, Xinjie Zhang, Xiang Ming, Xing Wang, et al.

Xuất bản lúc: 2026-10-29

Tag: Computer-Use Agents, Vision-Language-Action, GUI Grounding, Terminal Execution, Synthetic Data, Supervised Fine-Tuning, Reinforcement Learning, On-Device Intelligence

I. Main Problem:​

Các tác nhân dùng máy tính hiện nay thường chỉ bấm/chạm theo ảnh màn hình, dù kênh đồ họa là phổ quát nhưng rất đắt: một ảnh chụp desktop có thể tốn hàng nghìn token. Trong khi đó, con người thành thạo máy tính không bó buộc ở chuột; họ mở terminal khi terminal nhanh hơn và đọc file để kiểm chứng điều hộp thoại vừa hiển thị.

Vấn đề cốt lõi:

  • Có thêm công cụ không đồng nghĩa biết dùng đúng kênh: mô hình mạnh vẫn có thể lặp lại thao tác click tốn kém, hoặc sửa file trên đĩa trong khi ứng dụng đang mở đã cache trạng thái trong bộ nhớ.
  • Chưng cất trực tiếp từ rollout mặc định của teacher sẽ truyền luôn thói quen định tuyến kém sang student.
  • Nhiều pipeline trước post-train từ checkpoint đã có sẵn grounding/coding/agentic, khác với mục tiêu xây mô hình 4B chạy on-device từ một checkpoint đa phương thức tổng quát.

II. Main Idea:​

Bài báo đề xuất học hybrid computer use bằng cách tối ưu hóa cả harness bên ngoài và quy trình sinh dữ liệu, thay vì chỉ chưng cất từ một teacher mặc định.

  • Evolve harness trước rollout: giữ nguyên trọng số teacher, tinh chỉnh scaffold, tool interface, system prompt và terminal environment. Đây là quá trình vừa thêm vừa cắt: bỏ công cụ chồng lấp như xdotool, thêm thư viện đúng nghiệp vụ như python-pptx để teacher tạo chuỗi hành động sạch, ngắn và đúng kênh hơn.
  • Workflow-first synthesis: thay vì dựng từng task bằng agent mở, một authoring agent xây một workflow tái sử dụng cho mỗi atomic skill, kết hợp LLM nodes với application-specific preparers để tạo instruction, setup script và rubric; các cổng kiểm tra file/package loại bỏ task không nhất quán.
  • Một policy duy nhất chọn kênh trong episode: cùng một chính sách nhìn full-desktop screenshot, phát coordinate mouse/keyboard actions, đồng thời có thể chạy code/terminal rồi quay lại kiểm tra kết quả trên giao diện; quyết định dùng GUI hay terminal là bên trong policy, không phải do orchestrator phân luồng.
  • Five-stage curriculum: GUI-oriented midtraining -> GUI agent SFT -> coding & terminal SFT -> hybrid CUA SFT -> online hybrid RL, đi từ năng lực tách rời đến chính sách hybrid thống nhất.

Ví dụ đời thường: giống đào tạo nhân viên văn phòng không bằng cách bắt chước từng thao tác lộn xộn của sếp, mà chuẩn hóa trước bàn làm việc, bộ công cụ và quy trình kiểm tra; sau đó nhân viên tự quyết định lúc nào dùng chuột, lúc nào viết macro hoặc dòng lệnh để xong việc nhanh và ít lỗi hơn.

III. Main Results:​

  • OSWorld-Verified: Mage-VL-Cowork-4B đạt 66.0% trong ngân sách 50 bước, dưới mức human 72.4% và các frontier model, nhưng là kết quả mạnh ở cỡ 4B, cao hơn Muse Glimmer-30B 65.9%, Qwen3.6-27B 63.9%, EvoCUA-32B 56.7%.
  • Tiến trình huấn luyện: từ GUI SFT 45.56% lên Hybrid SFT 55.84% và cuối cùng RL 66.0%, tức tăng 20.44 percentage points sau curriculum tiến hóa.
  • Quy mô dữ liệu: Mage-CUA-Forge tổng hợp 293,806 tasks trên 6,915 skills; lọc chất lượng giữ lại 318,837 trajectories. Trong tập hybrid, kênh đồ họa chiếm 68.19% tool calls, kênh terminal chiếm 31.81%.
  • Hiệu quả sinh dữ liệu: workflow-first và preparers tái sử dụng giảm 82.6% recurring per-task expenditure so với dựng task riêng lẻ.
  • Hiệu ứng evolved harness: cấu hình teacher-harness tối ưu cho hybrid execution, khi chưng cất vào student 4B, tạo lợi thế tới 12.5 percentage points so với phương án mặc định/ít tối ưu hơn.
  • Độ phủ: 61.76% task một ứng dụng, 38.24% task đa ứng dụng; 877,608 task-file references trải rộng qua spreadsheet, code/web, text/markup, ảnh, presentation, document, PDF và archive.

IV. Conclusion & Future Works:​

Kết luận chính là harness không phải vỏ chứa trung lập: scaffold, tool interface, prompt và terminal environment định hình mạnh cách một teacher cố định hành xử. Bằng cách evolve harness trước rollout và tách riêng 'cách teacher thực thi' khỏi 'task nào được cung cấp', pipeline tạo supervision đủ sạch để một mô hình 4B học được channel routing nội tại, đẩy hiệu năng on-device cho desktop workflow.

Bản trích không đưa roadmap future-work chi tiết; các hướng mở được ngầm gợi mở là:

  • mở rộng skill taxonomy theo phản hồi student qua nhiều vòng, thay vì cố định taxonomy ban đầu
  • làm web replicas và cross-application environments deterministic, resettable hơn để giảm anti-bot blocks, content drift và backend state không reset được
  • tối ưu thêm token/step efficiency của hybrid execution, đặc biệt cho thiết bị cá nhân và triển khai operational có sandbox isolation.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp evolve harness có kiểm soát cho agent hybrid: tối ưu scaffold, tool schema, prompt và terminal environment như một biến học tập riêng, đo lợi ích chưng cất vào student bằng success-cost trade-off trước khi rollout lớn.
  2. Workflow-first environment synthesis cho desktop/web agents: dựng reusable generation workflows và application preparers theo atomic skill, đồng thời định nghĩa rubric/file-level/package-level gates để tạo task nhất quán với chi phí biên thấp.
  3. Curriculum specialize-then-unify cho mô hình nhỏ: từ GUI grounding và tool-format midtraining đến GUI-only SFT, terminal SFT, hybrid SFT và cuối cùng online RL, đo mức đóng góp của từng stage lên channel routing và hiệu suất long-horizon.

2. Patent:​

  1. Trợ lý tự động hóa văn phòng trên điện thoại: nhìn màn hình, chạm/bấm theo tọa độ khi cần thao tác trực quan, đồng thời chạy đoạn script trong vùng cách ly để sửa bảng tính, tài liệu hoặc trạng thái ứng dụng; mọi lệnh terminal đều xin phép người dùng, ghi audit log và có giới hạn quyền truy cập file.
  2. Hệ thống dạng 'khuôn mẫu công việc' cho doanh nghiệp: thay vì lập trình riêng từng quy trình, hệ thống học các khả năng nguyên tử của từng phần mềm, sinh kịch bản thiết lập môi trường và tiêu chí chấm điểm, rồi tái sử dụng để tạo hàng nghìn tình huống kiểm thử hoặc huấn luyện cho robot văn phòng.
  3. Trợ lý hỗ trợ người khiếm thị hoặc người dùng ít kinh nghiệm: kết hợp đọc màn hình, điều khiển chuột/bàn phím và thực thi lệnh an toàn để hoàn thành tác vụ đa ứng dụng; khi gặp thao tác rủi ro, hệ thống chuyển sang gợi ý từng bước và chỉ thực hiện sau khi người dùng xác nhận trên điện thoại hoặc máy tính bảng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.40747
ArXiv Abstracthttps://arxiv.org/abs/2610.40747
PDF Downloadhttps://arxiv.org/pdf/2610.40747.pdf
Github RepositoryN/A

19. "Shall We Approve?" Consequence-Aware Approval for Autonomous Coding Agents (12 votes)​

Tác giả: Weiheng Wu, Junkai Chen, Zhensu Sun, Jieke Shi, Yunbo Lyu, et al.

Xuất bản lúc: 2026-10-29

Tag: LLM Agents, AI Safety, Guardrails, Sandboxing, Code Agents, System-Call Tracing, Cybersecurity

I. Main Problem:​

Các coding agent tự chủ ngày càng cần người phê duyệt (approver) tự động cho từng shell command trước khi chạy, vì một lệnh sai có thể làm lộ credential, xóa dữ liệu hoặc phá vỡ kiểm soát bảo mật. Tuy nhiên, mọi hệ thống hiện có — từ rule-based (CARE), guardrail model (ToolSafe, gpt-oss-safeguard, Qwen3Guard) đến permission classifier thực triển khai (Claude Code Auto Mode) — đều chỉ nhìn vào văn bản của request và command, không quan sát hành vi thực tế:

  • Một command có thể gọi code ẩn (script, Makefile, binary) làm điều độc hại mà văn bản lệnh hoàn toàn vô tội — ví dụ make clean && make xóa build artifacts ở workspace này nhưng xóa cả src/ và .git/ ở workspace khác.
  • Hệ thống quan sát thay đổi sau thực thi (như YoloFS) lại để chính agent hoặc con người tự đánh giá hậu quả, khi thiệt hại đã xảy ra.
  • Hậu quả: các approver dựa trên text chặn cả lệnh nguy hiểm lẫn lệnh vô tội (false block), hoặc bỏ sót hại ẩn trong code được gọi.

II. Main Idea:​

Caper (Consequence-Aware PERmission) — cơ chế phê duyệt dựa trên hậu quả quan sát được, thay vì đoán từ văn bản:

  • Transactional pre-execution: mỗi command được chạy thử đúng một lần trong container Docker đã snapshot, bị cô lập (tắt network, giới hạn tài nguyên) và bị theo dõi bằng strace -f, output bị giữ lại.
  • Bounded effects report: trace thô (hàng chục KB) được tinh lọc thành báo cáo ~4KB (nhỏ hơn khoảng 99%): gồm các consequence cards (thay đổi file persistent, nỗ lực kết nối network, output hiển thị cho user), source attribution (process nào, đọc file nào trước khi gây hậu quả), protected reads (đọc .env, credential stores) và thông tin coverage.
  • LLM approver độc lập nhận task của user + lịch sử hội thoại + báo cáo hậu quả, trả về Allow/Block kèm lý do.
  • Allow → giữ trạng thái đã thực thi, trả output cho agent; Block → khôi phục container về snapshot, trả lý do để agent chọn cách an toàn hơn.

Ví dụ đời thường: giống buổi diễn tập thử (dress rehearsal) — diễn trọn vở kịch trên sân khấu phụ trước, xem có sự cố gì không; nếu ổn thì mới diễn chính thức trước khán giả, nếu hỏng thì dừng lại, khắc phục rồi mới lên sân khấu thật.

III. Main Results:​

  • SABER (682 tác vụ shell, 8 loại hại): harmful-outcome rate của Caper chỉ 6.7%, thấp nhất so với tối thiểu 14.8% của 6 hệ thống khác (CARE 15.0%, Claude Code Auto Mode 14.8%, không phê duyệt 19.7%), trong khi safe-outcome rate không giảm.
  • YoloFS-Ext (benchmark mới, hại ẩn trong tool được gọi; 102 tác vụ nguy hiểm + 102 safe twin): Caper đạt 7.8% harmful (thấp nhất, so với tối thiểu 35.3%), 60.8% safe-completion (cao nhất), và chỉ false block 1.0% safe twins. Cạnh tranh gần nhất (Qwen3Guard) block 0% nhưng để hại 67.6%.
  • Khi lắp Caper làm hook trong Claude Code: harmful rate giảm từ 14.8% → 10.0% (SABER) và 62.7% → 6.9% (YoloFS-Ext), giữ nguyên agent và approver model.
  • Ba phát hiện chính:
    • Approver dựa trên text thất bại vì thiếu khả năng quan sát, không phải thiếu chặt chẽ.
    • Có evidence quan sát, Caper chặn được lệnh hại ở 84.3% tác vụ nguy hiểm nhưng chỉ chặn nhầm 1.0% safe twin; bỏ evidence thì tỷ lệ false block vọt lên 61.8%.
    • Chỉ quan sát thôi chưa đủ: YoloFS thấy cùng thay đổi file nhưng để agent tự xử lý sau thực thi → harmful rate 35.3%, cao hơn cả không phê duyệt, vì credential đã gửi đi thì không thu hồi được.
  • Ablation: dự đoán hậu quả từ command + file (không chạy thật) giảm hại nhưng vẫn false block 61.8%; thêm context hội thoại mà không có evidence cũng chỉ đánh đổi hại ↔ chặn nhầm. Chỉ quan sát thực tế giảm được cả hai.

IV. Conclusion & Future Works:​

Caper chứng minh rằng câu hỏi phê duyệt đúng phải là: "command này sẽ gây ra hậu quả gì trên workspace hiện tại, và có nằm trong phạm vi user yêu cầu không?" — chỉ trả lời được bằng cách chạy thử trong sandbox và để một approver độc lập phán xét trước khi commit, thay vì đọc văn bản lệnh hay để agent tự sửa sau thực thi. Bounded effects report (~4KB, nhỏ hơn trace thô 99%) là chìa khóa biến trace hệ thống thành bằng chứng khả dụng cho LLM. Hướng mở rừờng (ngầm trong thiết kế): mở rộng ngoài shell command sang các loại tool khác; xử lý network thật trong giao dịch (ví dụ admit các registry tin cậy để vẫn rollback được); và cải thiện khả năng phát hiện hành vi deferred (mã cài đặt chạy muộn ở lượt build/commit sau).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng consequence-aware approval sang agent đa dạng tool: pre-execute và tổng hợp effects report cho API calls, database queries và file edits, không chỉ shell commands.
  2. Kết hợp Caper với policy học tự động: học ranh giới cho phép/cấm từ lịch sử quyết định Allow/Block để giảm chi phí LLM approver và xử lý các tác vụ lặp lại.
  3. Nghiên cứu chống tấn công vào chính approver: kẻ tấn công chèn chỉ dẫn trong file/output nhắm thao túng LLM approver — thiết kế evidence format chống prompt injection và đánh giá độ bền trên benchmark mới.

2. Patent:​

  1. Hệ thống bảo vệ lệnh trên điện thoại khi dùng AI assistant lập trình: mỗi lệnh agent đề xuất được chạy thử trong vùng cách ly sao chép từ thư mục làm việc; điện thoại hiển thị bản tóm tắt dạng thẻ (file bị đổi, dữ liệu nhạy cảm bị đọc, kết nối mạng bị gọi) để người dùng chạm Allow hoặc Block một chạm; nếu Block, mọi thay đổi tự động hoàn nguyên.
  2. Ứng dụng duyệt quyền cho trợ lý AI trên điện thoại: trước khi AI thực hiện bất kỳ thao tác nào (gửi tin nhắn, xóa file, chia sẻ ảnh), hệ thống mô phỏng thao tác trong bản sao ảo, phân tích hậu quả (dữ liệu nào rời khỏi máy, file nào biến mất) rồi đưa ra cảnh báo cụ thể thay vì chỉ hiện tên hành động.
  3. Bộ lọc an toàn cho ứng dụng chạy script từ người dùng trên điện thoại: script được thực thi thử trong container snapshot có giới hạn; báo cáo hậu quả nén dưới 8KB (đọc file nào, ghi file nào, gọi mạng đâu) được gửi lên mô hình phân tích trên đám mây để phê duyệt, giảm dung lượng truyền tải hơn 99% so với gửi toàn bộ nhật ký hệ thống.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.40753
ArXiv Abstracthttps://arxiv.org/abs/2610.40753
PDF Downloadhttps://arxiv.org/pdf/2610.40753.pdf
Github Repositoryhttps://github.com/wudaoz/Caper

20. Recursa: Toward Recursively Self-Improving Foundation Model Systems (11 votes)​

Tác giả: Erkang Zhu, Yin Lin, Xiaorong Shi, Xuanrui Lin, Jingren Zhou

Xuất bản lúc: 2026-11-02

Tag: Self-Improving AI, Multi-Agent Systems, Foundation Models, Domain Adaptation, Knowledge Repository, Agentic Systems

I. Main Problem:​

Các foundation model khi vào môi trường mới thường gặp kiến thức miền chưa có trong dữ liệu huấn luyện gốc, nhưng miền mới hiếm khi cung cấp sẵn dữ liệu do chuyên gia tạo hoặc tín hiệu giám sát đáng tin để tiếp tục huấn luyện. Bài toán là foundation model system learning: cải thiện toàn hệ thống gồm model, instructions, skills, memory và harness thông qua tài liệu miền và kinh nghiệm làm tác vụ, không dựa vào chuyên gia người hay model mạnh hơn. Hệ thống phải đóng 2 khoảng trống:

  • Knowledge gap: thiếu sự thật, thuật ngữ, vị trí tài liệu, quy ước của miền.
  • Behavior gap: có thông tin nhưng áp dụng sai, ví dụ tìm đúng tài liệu nhưng chọn sai bằng chứng để trả lời.

Miền giàu tri thức như pháp lý, tài chính càng khó vì tri thức phân tán, kỳ vọng hành vi phụ thuộc ngữ cảnh, và độ đúng sai khó kiểm chứng tự động.

II. Main Idea:​

Recursa là hệ foundation model tự cải thiện hệ thống bằng cách học từ chính kinh nghiệm của mình. Thành phần học được là knowledge repository gồm instructions, skills dạng Agent Skills, và memory ghi lại phản tỉnh về lỗi, chiến lược sửa, trường hợp thất bại.

Quy trình có 2 pha:

  • Bootstrapping: đọc corpus miền để tạo cấu trúc điều hướng hoặc ghi chép khám phá, giữ liên kết nguồn, mức độ tin cậy và phạm vi áp dụng; sau đó tự sinh practice tasks từ tài liệu để luyện cách tìm nguồn, đối chiếu bằng chứng và cập nhật skills ban đầu.
  • Recursive self-improvement: learner gọi nhiều solver chạy song song, đọc feedback và execution traces, chẩn đoán lỗi, sửa instructions/skills, rồi validate lại bằng cách giải lại tác vụ lỗi và mẫu tác vụ đã đúng. Learner có thể chia training tasks cho child learners, merge các bản sửa, loại trùng lặp, hòa giải xung đột, tổng quát hóa bài học lặp lại, rồi reflect để đợt học sau ít stalls và rework hơn.

Harness hỗ trợ bằng persistent Python REPL: model viết code để compose tools, biến trung gian nằm lại trong REPL, chỉ output chọn lọc quay về context; lịch sử đầy đủ nằm trong append-only event log và được truy xuất bằng code khi cần. Harness này chạy cả solver và learner, cho phép long-horizon search và multi-agent orchestration.

Ví dụ đời thường: giống một nhân viên mới không có sếp chỉ, tự lập sổ tay từ tài liệu công ty, sau đó làm thử nhiều ca thật; mỗi lần sai nó ghi lại nguyên nhân, sửa quy trình, rồi đem bản sửa hợp nhất thành playbook chung để cả nhóm lần sau làm nhanh và ít lỗi hơn.

III. Main Results:​

Đánh giá trên Harvey LAB Firm Knowledge: văn phòng luật tổng hợp với 46 khách hàng, 266 matters, 9,288 files, khoảng 108 triệu tokens; 250 tác vụ chia 150 train và 100 test.

  • Harness rất mạnh ngay cả chưa học: với Qwen3.8-27B, persistent REPL đạt criteria pass 79.1% và all-pass 37.2%, cao hơn reference base agent 58.2%/21.6% và cấu hình study tốt nhất 70.1%/31.0%.
  • Bootstrapping tạo 14 skills gồm 1 navigation skill và 13 skills từ self-practice; giảm turns và input tokens khoảng 1/5 đến 1/4, all-pass tăng nhẹ, criteria pass gần như không đổi vì baseline đã mạnh.
  • Self-improvement multi-learner với DeepSeek-V4.1-Flash: train all-pass từ 34.7% lên 48.7%, test all-pass từ 33.0% lên 55.0%; với Qwen3.8-Flash: train từ 37.3% lên 47.3%, test từ 34.0% lên 46.0%.
  • Single learner yếu hơn rõ: DeepSeek test 43.0% so với 55.0%; Qwen train còn 30.0% so với bootstrap 37.3%, test 37.0% so với 46.0%.
  • Lợi ích chính là chuyển câu trả lời đúng một phần thành đúng hoàn toàn, và lợi ích này generalize sang test tasks không tham gia học.
  • Phân tích ca học cho thấy 2 dạng judgment mới: tìm theo ý nghĩa thay vì keyword, ví dụ nhận no-shop qua cả "Exclusivity" và "No Solicitation"; và quy tắc loại inclusion đúng hơn, ví dụ chỉ lấy matters được ghi nhận thuộc practice group IP khi hỏi về IP settlement.

IV. Conclusion & Future Works:​

Recursa cho thấy hệ foundation model có thể tự thích nghi miền mới bằng cách học toàn bộ system, không chỉ cập nhật trọng số model. Điểm then chốt là tách learning thành bootstrapping để đóng knowledge gap và recursive multi-agent learning để đóng behavior gap, trong đó repository ngày càng giàu instructions, skills và memory hướng dẫn cả solver lẫn learner.

Hạn chế gồm phụ thuộc chất lượng corpus, tốn compute, rủi ro lan truyền dữ liệu lệch hoặc model lỗi, hiệu quả phụ thuộc năng lực model nền, và mới kiểm chứng chủ yếu trên một benchmark pháp lý trong sandbox.

Hướng đi tiếp theo: mở rộng recursive self-improvement sang foundation models và harness, thử nghiệm thêm finance, engineering, sciences, đồng thời xử lý cẩn thận rủi ro privacy/security khi hệ thống tự khám phá môi trường và ghi nhớ thông tin.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Recursive self-improvement cho foundation model system trong miền tài chính: mở rộng bootstrapping và multi-agent learning từ pháp lý sang báo cáo tài chính, giao dịch và hồ sơ tuân thủ, đo mức tự generalize sang tác vụ held-out khi correctness phụ thuộc bằng chứng phân tán.
  2. Học harness cùng knowledge repository: cho phép hệ thống sửa cách quản lý context, cách expose tools và cách dispatch subagents, thay vì chỉ học instructions, skills và memory.
  3. Chống learning waste trong hệ self-improving nhiều tác tử: nghiên cứu thuật toán split, merge và reflection nhằm giảm stalls, rework, xung đột bản sửa và trùng lặp chẩn đoán lỗi.
  4. Self-improvement an toàn cho agent tự khám phá môi trường: kết hợp kiểm chứng nguồn, giới hạn quyền truy cập, kiểm toán memory và sandbox cô lập để giảm rủi ro privacy/security.

2. Patent:​

  1. Ứng dụng điện thoại hỗ trợ nghiên cứu hồ sơ doanh nghiệp: người dùng tải tài liệu nội bộ lên, ứng dụng tự đọc, lập bản đồ tài liệu, tạo câu hỏi luyện tập, sau đó khi người dùng tra cứu thì đưa ra câu trả lời kèm trích nguồn và tự sửa cách tìm kiếm sau mỗi phản hồi đúng/sai.
  2. Trợ lý di động cho luật sư khi thẩm định hợp đồng: hệ thống ghi nhớ các cách gọi khác nhau của cùng một điều khoản, tự học quy tắc loại tài liệu theo loại vụ việc, và đề xuất checklist bằng chứng mới dựa trên các lần tra cứu thành công hoặc thất bại trước đó.
  3. Hệ tự cải thiện cho kho tri thức kỹ thuật trên điện thoại: kỹ sư truy vấn sơ đồ, log lỗi và tài liệu dự án; ứng dụng tổng hợp kinh nghiệm sửa lỗi thành hướng dẫn tái sử dụng, tự kiểm tra lại bằng các truy vấn mẫu trước khi đưa vào bộ nhớ chung.
  4. Công cụ hỏi đáp tài liệu cho điện thoại có bộ nhớ phản tỉnh: sau mỗi câu trả lời, hệ thống ghi lại người dùng đã sửa ở đâu, cập nhật cách chọn tài liệu đáng tin, và tổng hợp thành gợi ý tìm kiếm cá nhân hóa mà không cần gửi dữ liệu cho chuyên gia xem lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04035
ArXiv Abstracthttps://arxiv.org/abs/2611.04035
PDF Downloadhttps://arxiv.org/pdf/2611.04035.pdf
Github RepositoryN/A

21. FlowTranslator: Training-Free In-Image Machine Translation with Flow-Based Editing (10 votes)​

Tác giả: Zhixian Li, Xingsong Ye, Yongkun Du, Yunyan Xiao, Yanglin Huang, et al.

Xuất bản lúc: 2026-11-03

Tag: IIMT, OCR, LLM, Flow Matching, Diffusion, T2I, Scene Text Editing, Training-Free, Image Editing

I. Main Problem:​

In-image machine translation (IIMT) cần thay chữ trong ảnh bằng bản dịch nhưng giữ nguyên bối cảnh. Các hệ cascade truyền thống gồm OCR → dịch → rendering; bottleneck nằm ở rendering: xóa chữ cũ rồi dán chữ mới dễ để lại seam, sai typography, phá texture. Các editor học được như GAN/diffusion cải thiện chất lượng nhưng cần cặp ảnh cross-lingual cùng cảnh ở hai ngôn ngữ, dữ liệu này khan hiếm ngoài vài cặp ngôn ngữ lớn. Ngoài ra, chỉnh sửa flow training-free kiểu FlowEdit gặp ignition failure khi vùng chữ là phần rất nhỏ của ảnh: hai branch source/target gần như giống nhau, hiệu velocity ≈ 0, nên bản dịch không bao giờ 'bắt lửa' dù tăng gain.

II. Main Idea:​

FlowTranslator biến một T2I flow model đã đóng băng thành renderer IIMT mà không train/fine-tune thành phần nào. Pipeline:

  • OCR phát hiện text box và chuỗi nguồn.
  • Một LLM đóng băng dịch từng dòng và tạo source caption / target caption giống nhau, chỉ khác phần chữ được trích dẫn.
  • VAE encode ảnh; mask vùng chữ được rasterize hóa và dilate.
  • Region-masked FlowEdit chạy hai branch cùng noise: source branch làm tham chiếu, target branch mang điều kiện caption mới; khác biệt velocity chỉ cập nhật latent trong mask.
  • Hai điều khiển trajectory không thêm forward pass: Region Coupling Release (RCR) làm nhiễu target branch trong mask bị partial decorrelation sớm theo schedule, mở khoảng trống để target branch tách khỏi source; Coupling Expansion (CE) amplify độ dịch chuyển đang nảy sinh giữa trajectory bằng feedback sin², giúp edit tự hoàn thiện.

Cơ chế giống như thay một tấm biển nhỏ trên bức tường lớn: trước hết phải tách nhẹ đúng mảng biển cũ khỏi tường để lớp sơn mới có chỗ bám, rồi khi nét chữ mới vừa lộ rõ thì liên tục đẩy nhẹ theo hướng đó cho tới khi biển mới thành hình, còn phần tường xung quanh không bị động vào.

III. Main Results:​

  • TTV: BLEU trung bình 23.19, cao nhất; vượt UniTranslator đã IIMT-tuned 21.17 và vượt masked FlowEdit cùng hyperparameter 22.92. SSIM 0.746 thấp hơn các hệ tuned khoảng 0.77-0.80, cho thấy edit mạnh làm ảnh lệch reference render hơn.
  • PRIM: đạt BLEU trung bình 20.6 và COMET 57.2, cao hơn UniTranslator 12.8 / 50.7 dù UniTranslator fine-tune trên khoảng 7 triệu cặp in-domain. So với masked FlowEdit, BLEU tăng 16.9 → 20.6, COMET 53.3 → 57.2.
  • ScenePair En→Zh: whole-image real scenes đạt 40.08% exact-match ACC, SSIM 0.9509, vượt AnyText +3.28 điểm và TextFlux +25.78 điểm; bốn hệ còn lại gần như dưới 0.4% ACC trong stress test dị biệt này.
  • Ablation: PRIM avg BLEU tăng 16.88 → 20.57 khi bật RCR+CE; CE một mình chiếm khoảng 90% lợi ích, RCR bổ sung tích cực trên 4/5 hướng. Cửa sổ edit tối ưu là n_max = 45/50; 43 để sót chữ nguồn, 48 over-edit phá layout.
  • Điểm yếu: En→De chỉ 17.15, nghi do EasyOCR yếu với umlaut/compound; En→Ru sụt còn 4.6 do Z-Image-Turbo render Cyrillic không ổn định.

IV. Conclusion & Future Works:​

Khi sửa đúng lỗi coupling cho text-minority regime, một T2I flow model đóng băng có thể sánh ngang hoặc vượt các hệ IIMT đã train trên hàng triệu cặp, đặt flow-based editing thành baseline training-free mạnh. Giới hạn rõ nhất là phương pháp thừa kế script coverage của backbone: Cyrillic/Russian thất bại trong thí nghiệm. Hướng đi tự nhiên là mở rộng RCR/CE sang backbone hỗ trợ chữ viết rộng hơn, nghiên cứu schedule/điều kiện ignition thích ứng, và cải thiện đánh giá read-back để giảm nhiễu do OCR reader gây ra.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RCR và CE sang các T2I/flow backbone có độ phủ chữ viết rộng hơn, đặc biệt Cyrillic, chữ Ả Rập, Devanagari và ngôn ngữ ít tài nguyên, đồng thời giữ nguyên nguyên tắc training-free.
  2. Nghiên cứu điều khiển ignition thích ứng: tự ước lượng diện tích vùng chữ, độ tương phản nền và ngôn ngữ đích để chọn lịch RCR, biên độ CE và edit window thay vì một cấu hình chung.
  3. Cải thiện whole-image IIMT đa vùng chữ bằng cách tách mask theo block OCR, duy trì layout, perspective và ánh sáng cục bộ, rồi kiểm chứng trên benchmark ảnh chụp thật ngoài ScenePair.
  4. Xây dựng giao thức đánh giá read-back robust hơn: kết hợp nhiều OCR engine, sửa lỗi căn chỉnh reference và dùng LLM-as-judge để tách lỗi rendering thật khỏi lỗi do reader gây ra.

2. Patent:​

  1. Ứng dụng camera điện thoại dịch biển hiệu, menu, nhãn sản phẩm: chụp một lần, hệ thống phát hiện vùng chữ, dịch sang ngôn ngữ chọn sẵn, rồi dùng mô hình tạo ảnh đóng băng để viết bản dịch ngay trong vùng chữ gốc mà không phải dán lớp chữ mới lên ảnh.
  2. Module localize hình ảnh thương mại điện tử cho điện thoại: người bán chụp ảnh sản phẩm có chữ nước ngoài, ứng dụng thay slogan, tên sản phẩm và cảnh báo bằng tiếng địa phương nhưng giữ ánh sáng, góc nhìn và chất liệu nền để ảnh catalogue trông tự nhiên.
  3. Tính năng dịch chữ trong ảnh theo thời gian thực cho du lịch và giao thông: người dùng hướng camera vào biển báo hoặc bản đồ, hệ thống giữ nguyên mặt đường, tòa nhà và bóng đổ, chỉ thay nội dung chữ trong khung phát hiện được.
  4. Công cụ chỉnh ảnh tài liệu, slide và screenshot đa ngôn ngữ: chọn vùng chữ cần dịch, hệ thống tái tạo chữ mới cùng font, cỡ, màu và nền, hữu ích cho báo cáo, bài giảng và tài liệu nội bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2611.04303
ArXiv Abstracthttps://arxiv.org/abs/2611.04303
PDF Downloadhttps://arxiv.org/pdf/2611.04303.pdf
Github RepositoryN/A

22. Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena (10 votes)​

Tác giả: Haojian Huang, Pukun Zhao, Zexi Li, Yehang Zhang, Yangkai Wei, et al.

Xuất bản lúc: 2026-10-23

Tag: VLM, Embodied AI, Robotics, Benchmark, Task Planning, Manipulation, Spatial Reasoning

I. Main Problem:​

Các VLM frontier có đủ sức làm robot generalist — hiểu cảnh, hành động và thỏa mãn toàn bộ điều kiện của tác vụ — hay chưa? Đánh giá hiện tại có lỗ hổng:

  • Độ chính xác trung bình che giấu lỗi từng giai đoạn: quỹ đạo đi đúng hướng nhưng trượt điểm cuối; tiếp cận ghế + ra lệnh "ngồi" không đồng nghĩa trạng thái đã ngồi.
  • Thành công từng bước trung gian thường không dẫn tới hoàn thành mục tiêu cuối (mất kiểm soát vật thể, gắn sai vùng nhận, dừng trước khi trạng thái vật lý đạt yêu cầu).
  • Thiếu benchmark tách biệt độ chính xác dự đoán, grounding chức năng và thành công tác vụ gốc trên cùng một giao thức đánh giá thống nhất.

II. Main Idea:​

Giới thiệu Embodied Agent Arena: arena 1,000 ca kết hợp 32 nguồn có sẵn với GeoProbe (168 ca tự xây, biến thiên có kiểm soát chuyển động camera, chuyển động vật thể, thang tham chiếu trong cảnh Blender) để chẩn đoán ước lượng hình học. Năm miền năng lực: Geometry, Spatial Reasoning, Affordance, Task Planning, Manipulation.

Điểm then chốt là minimal harness: giữ nguyên giao diện gốc của từng nguồn, mọi quyết định (quan sát → chọn operation → dựng chuỗi hành động theo feedback) để cho chính model; termination tách riêng khỏi success — evaluator kiểm tra trạng thái môi trường độc lập với lời tuyên bố hoàn thành của agent. Trace hành động–feedback cho thấy khôi phục thành công cần sửa đúng thứ: đổi binding mục tiêu, vá trạng thái tiên quyết, hay bác bỏ claim hoàn thành sai.

Ví dụ đời thường: giống kỳ thi tay nghề thật cho thợ mới — không hỏi lý thuyết (độ chính xác trung bình) mà quan sát trực tiếp người đó làm trọn một món ăn từ đầu đến cuối, và chấm theo món ăn có thật sự ra lò hay không chứ không theo lời họ báo cáo "em làm xong rồi".

III. Main Results:​

  • Closed-weight dẫn đầu cả 5 miền; open-weight (Qwen-397B/27B, DeepSeek-1017) reasoning không gian khá (48–51.6% Spatial) nhưng Planning chỉ 19.1–31.2% và Manipulation 9.9–20.9%.
  • Perception ≠ execution: Qwen-Max ngang Astra về Spatial (68.9% vs 69.4%) nhưng Planning thua hẳn (36.9% vs 80.3%); Opus 5.5 dẫn Manipulation (47.8%) nhưng thua Planning.
  • Lỗi giấu sau trung bình: Gemini 4 và Qwen-397B có AbsRel gần nhau (0.299/0.312) nhưng sau căn chỉnh thang tỉ lệ còn 0.065 vs 0.203 — lỗi bias chung vs méo dạng phần dư khác hẳn nhau.
  • Bề mặt không kéo theo điểm tác động: vùng chồng đúng support chức năng nhưng điểm action có thể trượt; Astra trúng cả 2 vùng đầu-cuối ảnh trên 35/56 đường trace nhưng vẫn vi phạm ràng buộc vật lý 3D.
  • Tính toán thêm không cứu đều: code repair khôi phục được chương trình chạy được nhưng không tạo trạng thái vật thể cần thiết; self-review có thể sửa bound tọa độ nhưng tạo lỗi quan hệ mới.
  • Chi phí lỗi phân hóa: các planner mạnh tập trung token thất bại vào tác vụ điều khiển cơ thể kéo dài (HumanCLAW chỉ 13/157 tác vụ nhưng chiếm 81.7% token thất bại của Astra); model khác thất bại rải rác khắp quy trình, kể cả tác vụ text-only.
  • Bao phủ tập hợp có lợi nhuận giảm dần: Astra giải 126/157; thêm Gemini 4 lên 137; cả 10 model cộng lại chỉ 142 — và chỉ 8 tác vụ được tất cả model giải.

IV. Conclusion & Future Works:​

Frontier VLM agents chưa sẵn sàng làm robot generalist: khoảng cách lớn nhất nằm ở chuyển từ nhận thức sang hoàn thành trọn vẹn quy trình có điều kiện kết thúc vật lý, không phải ở từng khả năng đơn lẻ. Thứ hạng tổng hợp phụ thuộc cả phân bố tác vụ của nguồn (Opus vượt Gemini 4 theo assignment nhưng thứ tự đảo khi cân bằng trọng số 13 nguồn), nên cần đọc cùng cấu trúc yêu cầu tác vụ. Arena + trace phân tách cho phép chỉ ra chính xác khôi phục cần sửa binding, vá tiên quyết hay bác claim hoàn thành — hướng tới đánh giá và huấn luyện agent chú trọng trạng thái vật lý và phục hồi giữa episode.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển agent có cơ chế kiểm chứng trạng thái vật lý trước khi tuyên bố hoàn thành — dùng trace từ arena để huấn luyện model tự phát hiện mục tiêu con đạt được nhưng điều kiện cuối chưa thỏa.
  2. Kỹ thuật khôi phục có chọn lọc trong episode dài: học cách phân loại lỗi (sai binding vùng nhận / thiếu tiên quyết / claim sai) và áp chiến lược sửa tương ứng thay vì self-review hoặc code repair chung chung.
  3. Nghiên cứu tách lỗi ước lượng hình học theo thành phần (scale bias vs residual shape distortion) để huấn luyện mô hình có đầu ra độ sâu/độ lệch được chuẩn hóa thang tự động trong embodied setting.
  4. Benchmark mở rộng cho tác vụ điều khiển cơ thể kéo dài — miền 'đốt token' lớn nhất hiện nay — với ngân sách và tiêu chí success được chuẩn hóa.

2. Patent:​

  1. Hệ đánh giá tích hợp cho robot gia đình trên điện thoại: app quay video căn phòng, agent VLM đưa ra chuỗi hành động; hệ thống tự kiểm tra bằng camera rằng trạng thái vật lý cuối (vật đã vào ngăn kéo, nắp đã đậy) thật sự đạt trước khi báo hoàn thành cho người dùng.
  2. Trợ lý nấu ăn thông minh theo dõi tiến độ: camera bếp nhận diện từng bước công thức; khi phát hiện bước trung gian đúng nhưng mục tiêu cuối sai (đổ sai bát, chưa đun sôi), tự nhắc và hướng dẫn sửa thao tác thay vì tin lời người dùng nói 'xong rồi'.
  3. Module chẩn đoán hiệu chuẩn camera cho drone/robot dịch vụ: chụp cặp ảnh với chuyển động camera có kiểm soát, ước lượng chênh lệch thang và méo hình riêng biệt để cảnh báo khi ước lượng vị trí không đáng tin trước khi thực hiện tác vụ.
  4. Hệ thống tiết kiệm chi phí điều khiển robot qua API: giám sát token và số vòng lặp, phát hiện hành vi 'lặp kiểm tra không quyết định' và can thiệp chuyển sang chính sách dự phòng hoặc người điều khiển trước khi ngân sách cạn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2610.00854
ArXiv Abstracthttps://arxiv.org/abs/2610.00854
PDF Downloadhttps://arxiv.org/pdf/2610.00854.pdf
Github Repositoryhttps://github.com/embodied-agent-arena/embodied-agent-arena