Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-30

Báo cáo được tạo tự động vào lúc 2026-07-31 10:06:45 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM (122 votes)​

Tác giả: Hengyi Xie, Chenfei Yao, Xianjin Wu, Xuanyang Xi, Yiping Tang, et al.

Xuất bản lúc: 2026-07-29

Tag: Vision-Language-Action, Robotics, Efficient Inference, Real-time Control, Continuous Action Prediction

I. Main Problem:​

Các mô hình Vision-Language-Action hiện đại phụ thuộc vào một Large Language Model (LLM) khổng lồ ở trung tâm của quy trình từ cảm nhận đến hành động (V→L→A). Thiết kế này mang lại hậu quả:

  • Độ trễ suy luận cao (93+ ms), chặn tính thời gian thực cần thiết cho điều khiển robot phản ứng nhanh
  • Tiêu thụ VRAM lớn (12+ GB), yêu cầu GPU cao cấp mắt tiền cao
  • Tính toán thừa vì LLM cung cấp khả năng lý luận sinh sản rộng rãi vượt quá nhu cầu của tác vụ điều khiển thực thi (chỉ cần hiểu lệnh, không cần sinh văn bản)
  • Triển khai tốn kém và khó khăn trên nền tảng robot có tài nguyên hạn chế

II. Main Idea:​

TurboVLA xây dựng lại quy trình thành V+L→A trực tiếp, loại bỏ LLM khỏi đường dẫn điều khiển mà vẫn giữ điều kiện hóa ngôn ngữ. Phương pháp:

  • Mã hóa độc lập: sử dụng encoder thị giác (DINOv3) và encoder văn bản nhẹ (BERT) thay vì LLM
  • Tương tác trực tiếp V+L: module tương tác hai chiều đơn giản (bidirectional cross-attention) để trao đổi thông tin giữa ảnh và lệnh, tương tự như Grounding DINO
  • Dự đoán hành động song song: decoder transformer nhẹ dự đoán toàn bộ chuỗi hành động liên tục trong một lần đi qua, không cần sinh token tuần tự

Ví dụ đời thường: giống như một nhân viên mới thay vì đọc tài liệu dài từng trang (LLM), chỉ cần nhìn nhanh bảng hướng dẫn ngắn (BERT) và quan sát hiện trường (ảnh), cái gì cần làm sẽ trở nên rõ ràng ngay, rồi thực hiện hành động liền lạc mà không phải suy tính phức tạp.

III. Main Results:​

  • LIBERO: TurboVLA đạt 97.7% tỉ lệ thành công trung bình, ngang bằng π0.5 (96.9%) nhưng dùng chỉ 6% tham số (0.2B vs 3.4B) và latency 31.2ms vs 93.6ms
  • RoboTwin 2.0 (bimanual): 60.2% thành công, vượt π0.5 (57%) và StarVLA-α (50.3%) với latency 43.4ms
  • Triển khai thực tế (AgileX Piper): TurboVLA đạt 92.5%–90% trên bốn tác vụ, luôn vượt π0.5 trên phần cứng consumer-grade (RTX 4090)
  • Hiệu quả tài nguyên: chỉ 0.9 GB VRAM suy luận, so với 12.8 GB của π0.5, cho phép triển khai trực tiếp trên cạnh thiết bị
  • Ablation: loại bỏ ngôn ngữ sụt từ 97.7% xuống 70.8%; tương tác hai chiều cần thiết (97.7% vs 95.2% khi chỉ nối), N=6 lớp tương tác tối ưu

IV. Conclusion & Future Works:​

TurboVLA chứng minh rằng điều khiển thực thi không cần phải phụ thuộc vào LLM khổng lồ. Bằng cách thiết kế lại đường dẫn thành tương tác V+L trực tiếp, mô hình nhẹ hơn 17 lần vẫn đạt hiệu suất cao hơn, chạy nhanh gấp 3 lần, và tiêu thụ tài nguyên bằng 1/14. Hướng tương lai: (1) mở rộng sang động tác bimanual phức tạp và tác vụ long-horizon với predicting visual foresight; (2) tìm hiểu liệu nén lượng tử hóa có thể giảm latency xuống dưới 20ms; (3) kết hợp world modeling để robot tự thích ứng với môi trường mới mà không cần fine-tune.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp TurboVLA với active exploration: robot tự quyết định những ảnh/trạng thái nào cần lưu vào context để tối thiểu latency đầu ra khi xử lý lệnh mới.
  2. Mở rộng tương tác V+L sang robot đa thân thể: các tác nhân nhẹ nhàng chia sẻ encoder tương tác mà không cần LLM trung tâm, cho phép huấn luyện trên tập dữ liệu đa hình thái.
  3. Áp dụng TurboVLA cho điều khiển từ xa qua mạng: do latency cực thấp, có thể đóng gói chính sách vào ứng dụng di động để người dùng điều khiển tay robot qua video phát trực tiếp mà không cần server.

2. Patent:​

  1. Ứng dụng di động robot điều khiển: sử dụng TurboVLA (0.2B, 31ms) làm nền engine, cho phép smartphone chạy chính sách robot thời gian thực khi kết nối camera (loại bỏ phụ thuộc cloud), tiết kiệm chi phí triển khai cho công ty dịch vụ robot.
  2. Hệ thống đào tạo robot công nghiệp plug-and-play: khi thay đầu kẹp hoặc cảm biến, robot tự chạy thăm dò ngắn (5 giây) để ghi lại chuỗi video + thực thi; TurboVLA suy luận đặc tính mới của kẹp/cảm biến mà không cần lập trình lại, chỉ trong vài phút.
  3. Mô-đun cảm nhận ngoại vi cho robot: gắn TurboVLA vào vi điều khiển có GPU nhỏ (Jetson Orin Nano) để robot tự động điều chỉnh hành động khi quan sát thay đổi lighting hoặc bố trí môi trường, mà không cần cập nhật tham số — chỉ tái sử dụng các encoder đã huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.27205
ArXiv Abstracthttps://arxiv.org/abs/2607.27205
PDF Downloadhttps://arxiv.org/pdf/2607.27205.pdf
Github Repositoryhttps://github.com/H-EmbodVis/TurboVLA

2. CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization (78 votes)​

Tác giả: Bo-Wen Zhang, Junwei He, Wen Wang, Song-Lin Lv, Wentao Ma, et al.

Xuất bản lúc: 2026-07-28

Tag: Reinforcement Learning, Language Models, Policy Optimization, Credit Assignment, Instruction Following, GRPO

I. Main Problem:​

Phương pháp GRPO hiện đại huấn luyện mô hình ngôn ngữ bằng cách gán một điểm thưởng vô hướng cho toàn bộ phản hồi, sau đó phân phối đều lợi ích này cho tất cả các token được sinh ra. Vấn đề: khi rubric chứa nhiều tiêu chí khác nhau (tính chính xác, định dạng, an toàn), những tiêu chí này thường liên quan đến các span khác nhau trong phản hồi. Việc phân phối đều không thể phân biệt token nào đóng góp vào tiêu chí nào — bỏ lỡ thông tin cấu trúc mà rubric cung cấp.

II. Main Idea:​

CoRT (Counterfactual Replay for Token-level credit weighting) sử dụng kỹ thuật replay phản thực để xác định token nào phụ thuộc vào tiêu chí rubric. Quy trình:

  • Lấy một phản hồi đã sinh ra, ghi lại log-probability của nó với prompt đầy đủ (có tiêu chí)
  • Replay cùng phản hồi đó dưới prompt không có tiêu chí (criteria-free)
  • So sánh: token nào có log-probability sụt mạnh là token phụ thuộc vào rubric
  • Chuyển sự khác biệt này thành trọng số token (cách chia lợi ích GRPO)

Khác với các phương pháp khác (huấn luyện riêng mô hình token relevance), CoRT không cần bước học tách riêng — lợi dụng chính sự khác biệt xác suất của chính mô hình chính sách.

Ví dụ đời thường: giống như bạn yêu cầu một học sinh viết bài theo một danh sách yêu cầu, rồi sau đó bạn bảo "viết lại nhưng bỏ qua những yêu cầu đó". Nếu một câu lệch nhiều so với lần đầu, nó chứng tỏ câu đó được kiểm soát bởi yêu cầu — bạn biết phải tập trung chỉnh sửa chỗ nào.

III. Main Results:​

  • Trên bốn benchmark (IFBench, IFEval, MultiDimIF, AdvancedIF), CoRT cải thiện so với GRPO cơ bản ở hầu hết các so sánh, trung bình +4,4 điểm phần trăm.
  • Trên Qwen2.5-7B với reward CSR: IFBench +6,40 điểm, MultiDimIF +11,85 điểm.
  • Cạnh tranh với RTT (phương pháp học riêng token relevance) nhưng không cần bước huấn luyện bổ sung.
  • Trên Qwen3-14B: cải thiện ổn định dưới CSR, biến động dưới AON (reward thưa).
  • Khi kết hợp với DAPO/GSPO (những phương pháp policy optimization khác), CoRT vẫn mang lại cải thiện — cho thấy tính bổ sung của phương pháp.

IV. Conclusion & Future Works:​

CoRT giải quyết vấn đề phân bổ tín hiệu trong mỗi phản hồi bằng cách đưa việc phân bổ credit xuống mức token, chỉ bằng cách sử dụng xác suất log của chính mô hình. Phương pháp giữ đơn giản và ổn định (không cần mô hình phụ, không thay đổi reward), đồng thời tận dụng thông tin cấu trúc từ rubric. Giới hạn: tín hiệu replay yếu khi rubric ít ảnh hưởng đến xác suất token, hoặc khi tiêu chí trùng lặp với prompt gốc. Hướng tương lai: can thiệp chi tiết hơn (per-criterion allocation), credit assignment theo các bước trong lâu dài, và áp dụng cho tác vụ agents với công cụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CoRT cho bối cảnh multi-turn: áp dụng counterfactual replay để phân bổ credit không chỉ trong token mà còn qua các lần tương tác liên tiếp, giúp agent học từ chuỗi quyết định dài.
  2. Kết hợp CoRT với phương pháp xác định tiêu chí cụ thể: thay vì dùng một trọng số chung cho tất cả rubric criteria, tìm cách gán token-level credit riêng cho từng criterion để huấn luyện mô hình có nhận thức rõ ràng về từng hạn chế.
  3. Áp dụng ý tưởng counterfactual contrast cho on-device RL: sử dụng replay để tối ưu hóa mô hình ngôn ngữ nhỏ trên điện thoại thông minh, nơi không thể huấn luyện mô hình phụ, bằng cách tận dụng so sánh xác suất nội bộ của chính mô hình.

2. Patent:​

  1. Hệ thống kiểm chất lượng viết tự động cho nền tảng email/chat: phân tích phản hồi của mô hình ngôn ngữ bằng cách replay dưới prompt không có tiêu chí định dạng để tự động phát hiện và nhấn mạnh các token vi phạm lỗi chính tả, ngữ pháp hoặc tone, hỗ trợ người dùng chỉnh sửa.
  2. Khung huấn luyện RL cho trợ lý ảo trên điện thoại thông minh: sử dụng CoRT để tối ưu hóa trả lời các yêu cầu phức tạp (ví dụ: "điều khiển nhạc + hẹn giờ với quyết định bảo mật") mà không cần GPU bên ngoài — counterfactual scoring chỉ cần hai forward pass của mô hình, tối ưu hóa cho thiết bị di động.
  3. Plugin phân tích chất lượng mã nguồn cho IDE: khi lập trình viên yêu cầu AI tạo mã tuân theo rubric (ghi chú tây, kiểu tên biến), sử dụng replay để xác định dòng nào chịu ảnh hưởng bởi mỗi tiêu chí, giúp IDE làm nổi bật phần cần chỉnh sửa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25659
ArXiv Abstracthttps://arxiv.org/abs/2607.25659
PDF Downloadhttps://arxiv.org/pdf/2607.25659.pdf
Github RepositoryN/A

3. HumanCLAW: Can Vision-Language Models Act Through a Body? (66 votes)​

Tác giả: Siyao Li, Jiawei Gu, Shuai Liu, Kairui Hu, Zekun Li, et al.

Xuất bản lúc: 2026-07-29

Tag: Vision-Language Models, Embodied AI, Robotics, Action Intelligence, Physical Simulation

I. Main Problem:​

Vision-Language Models (VLMs) chưa được đánh giá khả năng kiểm soát cơ thể vật lý. Khi VLM hoạt động với thân thể, không thể phân biệt liệu thất bại do quyết định hành động sai hay do điều khiển vận động thực bại (mất cân bằng, va chạm). Các benchmark hiện tại rơi vào hai cực:

  • Trừu tượng hóa hành động: lệnh được thực hiện qua các đặc tả được định sẵn, VLM không cần sinh ra hành động vật lý thực tế
  • Học end-to-end: chính sách vận động cụ thể entangle quyết định với thực hiện, khó đánh giá khả năng suy luận tổng quát

II. Main Idea:​

HumanCLAW tách quyết định hành động khỏi thực hiện cấp thấp trong vòng lặp kín nửa giây. Cơ chế:

  • VLM có bộ harness: tại mỗi bước, mô hình nhận quan sát egocenteric, lịch sử văn bản và lý luận tuần tự (từ nhận thức → kế hoạch giữa -> kỹ năng cấp thấp) để phát hành một lệnh atomic skill với tham số (ví dụ: walk<0.5m, 30°>)
  • Motion generator: chuyển đổi lệnh atomic thành chuyển động toàn thân 0.5 giây liên tục và tự nhiên
  • Half-physics simulator: áp dụng va chạm, trọng lực, ma sát trên thế giới nhưng loại bỏ lỗi cân bằng và vận động cấp thấp
  • Vòng lặp đóng: quan sát mới trở lại VLM để quyết định bước tiếp theo

Mỗi bước kết nối quyết định tường minh với hậu quả vật lý, cho phép lỗi được ghi công tại tầng quyết định, không phải điều khiển. Ví dụ đời thường: giống như người chơi game first-person nhưng qua tay không thực (thay vì phím), mỗi bước đều có hậu quả vật lý thực.

III. Main Results:​

  • HumanCLAW-Bench: 1.218 tập phim tìm-điều hướng-tương tác egocenteric trên 41 nhà trong 3D
  • Không mô hình nào thành công: 9 frontier VLM được kiểm tra, tốt nhất chỉ đạt 16.8% tỷ lệ thành công
  • Chẩn đoán lỗi: nhận dạng mục tiêu NOT là nút thắt (VLM phát hiện mục tiêu với độ chính xác ~95%). Thất bại tập trung ở self-awareness cụ thể hóa:
    • Không biết cơ thể đang ở đâu
    • Không xác định đã tới mục tiêu hay chưa
    • Không nhận ra va chạm
  • Khác biệt thấy vs hành động: mô hình tốt nhất phát hiện mục tiêu trong 5% độ chính xác so với tỷ lệ thực tế, nhưng xử lý những gì xảy sau lại chất lượng thấp.

IV. Conclusion & Future Works:​

VLMs hiện đại thiếu embodied self-awareness - khả năng theo dõi trạng thái cơ thể, mối quan hệ với không gian xung quanh, và hậu quả vật lý của hành động vừa rồi. Họ mô tả thế giới nhưng không kiểm soát cơ thể họ. Hướng tương lai: phát triển VLM với khả năng định vị egocentric tốt hơn, theo dõi tiến độ tác vụ long-horizon, và suy luận hậu quả vật lý từ hành động của chính mình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng HumanCLAW đến humanoid embodiment khác nhau (tỷ lệ cơ thể, chiều dài chân khác nhau) để kiểm tra zero-shot generalization của VLM qua cấu trúc thân thể.
  2. Tích hợp mô hình 3D world state tracking để VLM theo dõi rõ ràng vị trí các vật thể và chính cơ thể của nó theo thời gian, cải thiện self-awareness.
  3. Phát triển phương pháp fine-tuning hướng VLM tập trung vào action intelligence: từng bước lý luận không chỉ về nhận thức mà cả những hệ quả vật lý sắp xảy ra.

2. Patent:​

  1. Hệ thống điều khiển robot nhân hình điều khiển từ xa qua camera điện thoại: người dùng nói chỉ dẫn tiếng Anh; VLM được harness để phát hành các lệnh kỹ năng atomic; điều khiển cơ thể robot thực tế với hậu quả vật lý thực, không cần training lại mô hình.
  2. Robot chuyên dụng tạp vụ nhà cửa: tích hợp HumanCLAW để robot chọn hành động (đi bộ, cầu gối, ngồi, leo cầu thang) từ yêu cầu ngôn ngữ tự nhiên mà không cần dạy từng tác vụ cụ thể. Học tổng quát qua internet-pretrained VLM.
  3. Module định vị embodied cho robot công nghiệp: trước mỗi tác vụ, robot thực hiện động tác kiểm tra ngắn (chuyển động, giảm tốc) để self-calibrate mô hình vật lý của chính nó, sau đó điều chỉnh kế hoạch hành động sao cho phù hợp với cấu hình cơ thể hiện tại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.27180
ArXiv Abstracthttps://arxiv.org/abs/2607.27180
PDF Downloadhttps://arxiv.org/pdf/2607.27180.pdf
Github Repositoryhttps://github.com/Human-CLAW/HumanCLAW

4. DecoEvo: Score-Decoupled Co-Evolution of Solver and Rubric-Generator Skills in Text Space (57 votes)​

Tác giả: Jiangwang Chen, Zixin Song, Junlin Liu, Shuaiyu Zhou, Haiyan Wu, et al.

Xuất bản lúc: 2026-07-28

Tag: Text-Space Optimization, LLM Adaptation, Rubric Generation, Co-Evolution, Black-Box Adaptation

I. Main Problem:​

Text-space optimization cho phép tinh chỉnh LLM bằng cách chỉnh sửa các artifact ngôn ngữ tự nhiên (prompt, hướng dẫn) thay vì cập nhật trọng số mô hình. Tuy nhiên, hầu hết các phương pháp hiện tại cố định tiêu chí đánh giá. Trên các tác vụ mở, điều này trở thành nút thắt:

  • Khi solver cải thiện theo các tiêu chí hiện có, những khía cạnh bị bỏ lỡ vẫn vô hình với tín hiệu tối ưu hóa
  • Nếu chỉ tiến hóa rubric dựa trên điểm solver, generator có thể tạo những tiêu chí dễ thỏa mãn hơn thay vì cải thiện thật sự
  • Trong y tế, sáng tạo, nghiên cứu: chất lượng đa chiều nhưng rubric cố định không nắm bắt đủ.

II. Main Idea:​

DecoEvo tiến hóa đồng thời hai kỹ năng văn bản: solver (chiến lược giải quyết tác vụ) và generator (nguyên tắc tạo rubric) nhưng tách rời mục tiêu chọn lọc để tránh co-adaptation độc hại.

Cơ chế cốt lõi:

  • Solver: cập nhật từ feedback cấp tiêu chí (criterion-level) từ rubric hiện tại
  • Generator: cập nhật từ hai audit độc lập không dùng điểm tổng hợp của solver:
    • Structural Audit: kiểm tra rubric bỏ lỡ yêu cầu gì dựa trên mô tả tác vụ công khai
    • Contrastive Audit (Near-tie): phát hiện rubric không phân biệt được gì bằng cách so sánh cặp response có điểm gần nhất (rubric-blind preference)
  • Cả hai audit được chưng cất thành nguyên tắc tái sử dụng cho generator thay vì patch cụ thể từng câu hỏi
  • Chỉ có generator được tối ưu; khi triển khai chỉ giữ solver cuối cùng

Ví dụ đời thường: Giống như giáo viên không chỉ xem bài làm của học sinh qua một tiêu chí điểm số cố định, mà còn định kỳ nhờ các chuyên gia độc lập kiểm tra những khía cạnh nào qua lờ, những sai lầm nào giống nhau giữa bài xấu để sửa đề thi, giúp tiêu chí đo lường ngày càng toàn diện hơn.

III. Main Results:​

Trên 5 benchmark (HealthBench, WritingBench, ResearchQA, LLMEval-Med, Creative Writing v3) với 3 backbone LLM (GPT-4o, Qwen3-4B, Qwen3-8B):

  • DecoEvo vượt tất cả phương pháp trên 15 tổ hợp backbone–benchmark
  • Lợi tương đối so với SkillOpt (solver-only): 5.0% (GPT-4o), 2.9% (Qwen3-4B), 2.8% (Qwen3-8B)
  • Chuyển giao miền trong (transfer): +1.4–4.5% trên LLMEval-Med, +2.7–3.9% trên Creative Writing (không tối ưu lại)
  • SC-CoEvo (co-evolution theo điểm): sụt dưới SkillOpt 13/15 trường hợp, chứng tỏ nguy hiểm score coupling
  • Alignment với gold rubric: F1 tăng ~12 điểm so với SkillOpt (cả precision + recall cùng tăng, không phải rubric dễ hơn)
  • Ablation: bỏ structural audit (1.3–1.7pt), bỏ contrastive (1.7–2.1pt); rubric blindness + near-tie sampling (1.0–1.5pt); xác minh (2.4–2.9pt) và distillation (1.4–1.8pt) đều cần thiết

IV. Conclusion & Future Works:​

Decoupling generator selection từ aggregate solver score là nguyên tắc thiết kế hữu hiệu khi co-evolving thành phần đánh giá bên cạnh kỹ năng LLM trong text-space optimization. Tách biệt mục tiêu tránh được co-adaptation score-coupled, giữ lại khả năng kiểm tra và không cần fine-tune trọng số mô hình. Các hướng tương lai:

  • Mở rộng sang audit từ bộ xương khác, không chia sẻ backbone với solver
  • Các tác vụ vượt phạm vi y tế/sáng tạo và đánh giá con người rộng hơn
  • Tối ưu chiến lược thăm dò (thay vì ngẫu nhiên) để tiết kiệm audit records

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DecoEvo cho multi-agent scenarios: mỗi agent tiến hóa solver riêng nhưng chia sẻ generator skill tập trung, hoặc mỗi agent có generator đơn vị với audit tập trung để tránh divergence.
  2. Kết hợp con người vào vòng audit: thay thế hoặc bổ sung auditor LLM bằng nhân viên để xác nhận structural/contrastive audit records trước distillation, cải thiện độ tin cậy generator.
  3. Động lực học audit không gợi ý (zero-shot auditing): thử các prompt audit mà không cần task specification công khai, để tìm omissions và blind spots chỉ từ solver outputs và generated rubrics.

2. Patent:​

  1. Hệ thống đánh giá tự thích ứng cho customer service chatbot: công ty ban đầu cung cấp rubric đơn giản (tính chính xác, lịch sự), nhưng hệ thống tự phát hiện qua audit khi chatbot tốt về mặt "lịch sự" nhưng kém "đồng cảm", tự cập nhật rubric để đánh giá chiều này mà không cần can thiệp con người.
  2. Tối ưu hóa bài tập và tiêu chí chấm tự động cho trung tâm đào tạo trực tuyến: platform học tập sử dụng DecoEvo để vừa cải thiện học sinh (solver) vừa tinh chỉnh hướng dẫn chấm bài (rubric) dựa trên blind-spot audit, giúp từng khóa học ngày càng đo lường chất lượng tốt hơn.
  3. Cải tiến công cụ viết lách (writing assistant) với rubric động: ứng dụng văn phòng kết hợp solver tạo bản nháp với generator rubric; khi người dùng sửa bản nháp, hệ thống phát hiện qua contrastive audit những khía cạnh nào người dùng quan tâm nhưng rubric bỏ qua, tự cập nhật gợi ý chỉnh sửa cho lần tới mà không cần retraining.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25675
ArXiv Abstracthttps://arxiv.org/abs/2607.25675
PDF Downloadhttps://arxiv.org/pdf/2607.25675.pdf
Github RepositoryN/A

5. CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition (41 votes)​

Tác giả: Lai Wei, Chengqi Li, Jiapeng Li, Ruina Hu, Yue Wang, et al.

Xuất bản lúc: 2026-07-28

Tag: Multimodal Context Learning, Benchmarking, LLMs, Vision-Language Models, Knowledge Acquisition

I. Main Problem:​

Mô hình ngôn ngữ lớn không thể học hiệu quả từ ngữ cảnh multimodal trong thế giới thực. Các tài liệu khoa học, báo cáo tài chính, và trang web kết hợp văn bản với hình ảnh, biểu đồ, bảng—nhưng các đánh giá hiện tại chỉ kiểm tra học từ ngữ cảnh văn bản thuần túy. Khi mô hình tiếp cận ngữ cảnh đa phương thức, chúng thất bại theo ba cách:

  • Không tìm thấy bằng chứng liên quan trong các hình ảnh và bảng
  • Sử dụng sai thông tin được cung cấp, thay vào đó dựa vào kiến thức cũ
  • Không học được quy tắc mới được định nghĩa chỉ trong ngữ cảnh

II. Main Idea:​

CLBench-V là một bộ tiêu chuẩn đánh giá học từ ngữ cảnh đa phương thức, được tổ chức thành ba mức độ khả năng phân cấp:

L0 - Nền tảng ngữ cảnh (Context Grounding): Mô hình phải định vị, đọc và kết hợp bằng chứng từ hình ảnh, bảng, biểu đồ. Ví dụ: tìm đúng bảng trong báo cáo tài chính, xác định vị trí trên bản đồ.

L1 - Ứng dụng thông tin mới (New Information Application): Mô hình phải sử dụng dữ liệu cụ thể từ tài liệu (con số, thực tế) bằng kỹ năng suy luận sẵn có. Ví dụ: tính toán ROE từ bảng cân đối kế toán được cung cấp, trả lời câu hỏi dựa trên thông tin trên trang web.

L2 - Học kiến thức mới (New Knowledge Learning): Mô hình phải suy luận các quy tắc hoặc kết luận mới từ bằng chứng đa phương thức. Ví dụ: dự đoán kết quả khoa học của một bài báo dựa trên phương pháp và hình ảnh trước phần kết quả.

Bộ tiêu chuẩn bao gồm 3,443 mẫu từ sáu lĩnh vực: bài báo khoa học, báo cáo tài chính, tài liệu dài, bản đồ, cảnh thể thao, và câu hỏi trực quan kiểu web. Ví dụ cơ chế: như một nhân viên phải tìm được thông tin đúng trong hồ sơ (L0), sau đó áp dụng công thức công ty (L1), rồi cuối cùng hiểu được một thay đổi chiến lược mới được mô tả chỉ trong tài liệu (L2).

III. Main Results:​

  • Kết quả tổng thể còn thấp: mô hình tốt nhất chỉ đạt 0,2847 trên thang 0–1, cho thấy học từ ngữ cảnh đa phương thức vẫn chưa được giải quyết.
  • Mô hình khác nhau ở những cách khác nhau: InternVL3.5-30B-A3B mạnh nhất ở L0 (nền tảng) và L2 (kiến thức mới), đạt 0,3080 và 0,3536; Qwen3.5-Plus mạnh nhất ở L1 (ứng dụng), đạt 0,2954.
  • Các tác vụ khó nhất: Pix2Fact (xác minh sự thật từ hình ảnh), BrowseComp-V3 (tổng hợp web), CourtSI (trí tuệ không gian thể thao) vẫn thấp trên tất cả mô hình.
  • Chiều dài ngữ cảnh không phải là vấn đề chính: tương quan giữa độ dài token và điểm số gần như không có; những thất bại chủ yếu do vượt quá giới hạn ngữ cảnh hoặc không sử dụng thông tin được cung cấp.
  • Lựa chọn trọng tài LLM có ảnh hưởng: điểm số trên các tác vụ mở thay đổi 0,15 đến 0,21 tùy theo mô hình đánh giá.

IV. Conclusion & Future Works:​

Học từ ngữ cảnh đa phương thức là một thử thách lớn mà các mô hình hiện đại chưa giải quyết được. Không đủ để một mô hình chỉ tiếp nhận hình ảnh—nó phải có thể tìm thấy bằng chứng, sử dụng dữ liệu mới, và học các quy tắc mới từ ngữ cảnh.

Hướng tương lai:

  • Cải thiện khả năng định vị bằng chứng trong ngữ cảnh đa phương thức dài
  • Giảm sự phụ thuộc vào kiến thức cũ khi ngữ cảnh mới mâu thuẫn rõ ràng
  • Tăng cường suy luận quy nạp từ bằng chứng cụ thể để học các mẫu mới
  • Phát triển các phương pháp trích xuất và liên kết thông tin hiệu quả hơn trên các định dạng trực quan khác nhau

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CLBench-V với các lĩnh vực mới như y tế lâm sàng, pháp lý, và bán lẻ để đánh giá khả năng tổng quát hóa học từ ngữ cảnh.
  2. Phát triển phương pháp huấn luyện mới để cải thiện L0 Context Grounding — ví dụ, huấn luyện với các mẫu có bằng chứng âm (bằng chứng không liên quan nhiều) để mô hình không bị phân tâm bởi hình ảnh không cần thiết.
  3. Nghiên cứu các cơ chế để mô hình nhớ và áp dụng quy tắc mới được định nghĩa chỉ trong tài liệu hiện tại, giải quyết thất bại L2.
  4. Tối ưu hóa các bộ đánh giá LLM để giảm thiểu thiên kiến và làm cho đánh giá ngữ nghĩa và quy tắc mô phỏng nhất quán hơn trên các mô hình.

2. Patent:​

  1. Ứng dụng di động xác minh tài chính: người dùng chụp ảnh báo cáo quý độ hoặc bảng lương; ứng dụng trích xuất số liệu từ bảng và hình ảnh, áp dụng công thức DuPont để hiển thị chỉ số ROE, khai thác khả năng L1 (ứng dụng thông tin) để tính toán nhanh chóng mà không cần nhập liệu thủ công.
  2. Hệ thống phân tích báo cáo khoa học cho nhà nghiên cứu: khi tải lên một bài báo PDF mới, hệ thống tự động chuyển đổi thành Markdown, chiết xuất kết luận từ bằng chứng không bao gồm phần kết quả (L2 Knowledge Learning), và tạo tóm tắt có cấu trúc về các khám phá chính—giúp nhà khoa học nhanh chóng nắm bắt các công bố mới.
  3. Robot hướng dẫn trên bản đồ thực tế: robot nhận bản đồ màu hoặc ảnh chụp của một khu vực mới, sử dụng khả năng L0 (định vị trên bản đồ) và L1 (áp dụng luật giao thông cụ thể của khu vực từ bảng) để điều hướng hoặc hỗ trợ người dùng di chuyển an toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25294
ArXiv Abstracthttps://arxiv.org/abs/2607.25294
PDF Downloadhttps://arxiv.org/pdf/2607.25294.pdf
Github Repositoryhttps://github.com/IamLihua/CLBench-V

6. CAST: Game Solvers as Turn-Level Teachers for LLM Agents (31 votes)​

Tác giả: Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao, et al.

Xuất bản lúc: 2026-07-28

Tag: Reinforcement Learning, LLM Agents, Credit Assignment, Game Solving, On-Policy Distillation

I. Main Problem:​

Huấn luyện LLM để chơi các trò chơi dài hạn là mục tiêu quan trọng cho quyết định tổng quát hóa, nhưng Reinforcement Learning với phần thưởng có thể kiểm chứng (RLVR) phụ thuộc vào phần thưởng cuối cùng thưa thớt — chỉ cho biết thắng/thua, không tiết lộ hành động nào dẫn đến kết quả. Vấn đề:

  • Không có tín hiệu từng bước chi tiết để hướng dẫn học
  • LLM thua lỗi trên các trò chơi cơ bản (Sokoban: 29.3%, Minesweeper: 22.8%)
  • Các phương pháp hiện tại lấy tín hiệu quá trình qua tìm kiếm tốn kém hoặc mô hình học phức tạp

II. Main Idea:​

CAST (Credit Assignment from Solver Teachers) chuyển đổi các thay đổi trạng thái của game solver thành tín hiệu mỗi lượt. Quy trình:

  • Solver đánh giá từng trạng thái: chi phí còn lại N(s) = số bước tối thiểu để thắng
  • Ưu thế solver = sự giảm chi phí: N(s_t) − N(s_{t+1}) cho mỗi hành động
  • Biến đổi tín hiệu qua asinh (nén giá trị cực lớn) + chuẩn hóa RMS để ổn định
  • Kết hợp vào RLVR: phần thưởng cuối (toàn quỹ đạo) + ưu thế solver (mỗi bước)

Tương đương toán học với on-policy distillation không logit: ưu thế solver mã hóa log-ưu tiên hành động của teacher dưới dạng vô hướng duy nhất, không cần phân phối đầu ra đầy đủ.

Ví dụ đời thường: giống như huấn luyện người mới chơi cờ — thay vì chỉ nói "bạn thắng hay thua", bạn chỉ từng bước "nước đó xấp xỉ bạn gần chiến thắng 1 bước" hoặc "nước đó làm bạn xa mục tiêu", giúp họ học nhanh từng sai lầm.

III. Main Results:​

  • Trong miền (in-domain): CAST đạt tỷ lệ thành công tốt nhất trên cả 3 trò chơi — Sokoban 77.0%, Minesweeper 44.7%, Rush Hour 64.7% (so với DAPO ~44.7% trung bình)
  • Khó độ chưa thấy: CAST vượt 28.4% trung bình (vs DAPO 18.7%) — cải thiện +9.7 điểm
  • Hiệu suất huấn luyện: đạt peak hiệu năng của DAPO nhanh 1.7–2.0× (Sokoban: 120 bước vs 200)
  • Chuyển giao zero-shot: cao nhất trên ALFWorld (37.9%) và WebShop (22.7%), vượt 5.8 và 4.8 điểm so với runner-up
  • Chi phí thực hành: solver chỉ chiếm 0.01% thời gian training tổng cộng; mạng giá trị học được giữ lại ~95% lợi ích của solver chính xác

IV. Conclusion & Future Works:​

CAST giải quyết gán credit chi tiết từng lượt bằng cách khai thác solver game để cung cấp tín hiệu quá trình. Tương đương toán học với on-policy distillation logit-free cho phép mô hình vượt qua teacher khi nhiệm vụ cho phép. Kết quả xác thực trên ba lớp trò chơi khác nhau (quy hoạch, suy luận bất toàn, tìm kiếm tổ hợp) với cải thiện nhất quán cả trong miền và ngoài miền. Hướng tương lai: (1) khám phá tín hiệu bậc cao hơn từ solver (ví dụ: phục hồi từ lỗi), (2) mở rộng sang lĩnh vực RL truyền thống nơi mạng giá trị học được, (3) kết hợp khám phá chủ động để lựa chọn trạng thái thăm dò thông tin nhất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng gán credit từ solver sang các môi trường continuous-control (robot, điều khiển động học) nơi solver xấp xỉ thông qua mạng giá trị khác — so sánh với phương pháp critic và process-reward-model tiêu chuẩn.
  2. Kết hợp CAST với active exploration: robot/agent tự chọn trạng thái thăm dò có entropy cao nhất (nơi solver có bất đồng ý lớn nhất về giá trị) để thu thập tín hiệu cải thiện nhất, thay vì ngẫu nhiên hoàn toàn.
  3. Áp dụng cho lập kế hoạch đa bước trong ngôn ngữ tự nhiên hoặc tóm tắt: dùng sự đánh giá của model lớn hơn thay vì solver game để gán credit từng token, xem có tổng quát hóa sang tác vụ NLP không.

2. Patent:​

  1. Hệ thống tối ưu hóa robot tự động qua tín hiệu solver: công ty sử dụng cánh tay robot đã được lập trình sẵn (kinh điển hoặc DQN) — khi hướng dạy robot mới một tác vụ, query solver để biết mỗi lần cánh tay sai, sinh ra tín hiệu huấn luyện chi tiết. Điều khiển doanh nhân mô-phỏng tối ưu hóa từng bước, không chỉ trial-and-error.
  2. Ứng dụng web shopping/e-commerce agent: dùng hành động cuối cùng (mua, add vào giỏ) như solver check — khi agent thực hiện tương tác, hệ thống quay lại kiểm tra "hành động này gần đến thanh toán bao nhiêu?" dưới dạng point score, tối ưu hóa hành động trên web ngay tức khắc.
  3. Kiểm soát tự động quá trình lập trình LLM: code generator sinh ra từng dòng lệnh — compiler/parser kiểm tra xem dòng đó giảm khoảng cách đến đầu ra đúng đắn bao nhiêu, sinh ra tín hiệu giảm xứ để điều chỉnh token tiếp theo, giống CAST nhưng cho text generation.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25308
ArXiv Abstracthttps://arxiv.org/abs/2607.25308
PDF Downloadhttps://arxiv.org/pdf/2607.25308.pdf
Github Repositoryhttps://github.com/Wloner0809/CAST

7. SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution (19 votes)​

Tác giả: Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, et al.

Xuất bản lúc: 2026-07-29

Tag: Agentic RL, Skill Learning, Cross-Task Transfer, LLM Agents, Credit Assignment

I. Main Problem:​

Các đại lý LLM hiện tại xử lý từng tác vụ độc lập, bỏ lỡ cơ hội học và tái sử dụng kỹ năng có thể chuyển tiếp giữa các tác vụ liên quan. Những phương pháp tồn tại hoặc tập trung vào cố gắng lặp lại tác vụ đơn lẻ (không khái quát hóa được), hoặc sử dụng đường ống đa giai đoạn phức tạp (trích xuất → lưu trữ → truy xuất → thực thi) khiến khó ghi công cho chất lượng kỹ năng thực tế.

II. Main Idea:​

SkillRise là khung RL đầu-cuối (end-to-end) cho việc học kỹ năng xuyên tác vụ. Quy trình:

  • Sắp xếp các tác vụ liên quan thành chuỗi từ dễ đến khó
  • Một chính sách duy nhất xen kẽ giữa hai giai đoạn: (1) Giải quyết tác vụ hiện tại với tài liệu kỹ năng đang phát triển, (2) Dọn dẹp/viết lại tài liệu để lưu lại những gì có ích cho tác vụ tiếp theo
  • Ghi công tách biệt theo vai trò: Giai đoạn giải quyết được đánh giá bằng kết quả hiện tại; giai đoạn dọn dẹp được đánh giá bằng kết quả của các tác vụ phía trước (với hệ số giảm xác suất)

Ví dụ đời thường: giống như một thực tập sinh đang giải quyết chuỗi dự án liên quan (bây giờ xây bàn, sau đó xây ghế, rồi xây tủ) — sau mỗi dự án, họ viết ra bài học quan trọng vào sổ tay, sau đó dùng sổ đó cho dự án tiếp theo. Phần viết sổ chỉ được đánh giá tốt nếu những bài học ấy thực sự giúp dự án tiếp theo thành công.

III. Main Results:​

  • ALFWorld: 85.9% thành công (tốt hơn GiGPO 2.3 điểm); WebShop: 84.4% (tốt hơn 7.1 điểm); ScienceWorld: 54.6% (tốt hơn 8.5 điểm)
  • Khả năng tổng quát hóa nội tác vụ: SkillRise vượt trội ở Pass@2 và Pass@3, thậm chí hơn LaMer (phương pháp được huấn luyện riêng cho cố gắng lặp lại)
  • Scaling tại test-time: Hiệu suất tăng đơn điệu từ 83.6% (K=2 tác vụ) → 87.5% (K=6), mở rộng 3.9 → 8.6 điểm so với baseline, ngay cả khi mỗi tác vụ chỉ được thử một lần (chứng minh kỹ năng được chuyển tiếp thực sự, không phải từ lấy mẫu lặp)
  • Hiệu quả: SkillRise chỉ cần 1.0× thời gian chạy, so với RetroAgent (6.0×) và SkillRL (4.3×)

IV. Conclusion & Future Works:​

SkillRise cung cấp paradigm đơn giản và hiệu quả để các đại lý LLM trích xuất, tinh chỉnh và tái sử dụng kỹ năng trên các tác vụ mà không cần đường ống quản lý bên ngoài phức tạp. Sự cải thiện rõ rệt với kích thước mô hình lớn hơn gợi ý kỹ năng là công việc bổ ích đúng với LLM hiện đại. Hướng tương lai: tự động khám phá mối quan hệ tác vụ trong luồng mở, đánh giá trên mô hình lớn hơn, và mở rộng đến các tác vụ thế giới thực với phần thưởng ít xác định hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SkillRise cho đa tác nhân: Nhiều đại lý trong cùng một chuỗi tác vụ liên quan, mỗi đại lý tạo ra tài liệu kỹ năng riêng nhưng có thể truy cập tài liệu từ đại lý khác, để học hỏi lẫn nhau qua ghi công tách biệt.
  2. Khám phá tác vụ thích ứng: Thay vì dựa vào siêu dữ liệu để sắp xếp tác vụ, hãy huấn luyện một chính sách đồng thời học cách chọn chuỗi tác vụ tiếp theo tối ưu để giáo dục tài liệu kỹ năng hiện tại.
  3. Kỹ năng đa ngôn ngữ: Huấn luyện SkillRise trên các tác vụ xuyên ngôn ngữ để kỹ năng học được (ví dụ: giải thích lôgic, điều hướng) là độc lập với ngôn ngữ và có thể được áp dụng cho các tác vụ mới với hướng dẫn bằng bất kỳ ngôn ngữ nào.

2. Patent:​

  1. Hệ thống tư vấn ecommerce tự học: Một trợ lý AI xử lý chuỗi yêu cầu khách hàng liên quan (tìm kiếm sản phẩm → tùy chỉnh → mua). Sau mỗi tương tác, nó cập nhật tài liệu chứa thủ thuật (ví dụ: cách lọc hiệu quả, những trang web nào nhanh nhất) để áp dụng cho yêu cầu tiếp theo trong phiên, mà không cần huấn luyện lại. Có thể triển khai trên điện thoại với mô hình 4B để cải thiện hiệu suất quy trình mua sắm hàng ngày.
  2. Bộ điều khiển robot lắp ráp tự tiến hóa: Khi được gán một chuỗi tác vụ lắp ráp tương tự (ví dụ: lắp ráp 5 chiếc bàn khác nhau), robot học ra quy trình chung (điều chỉnh áp lực kẹp, vận tốc chuyển động) và ghi vào bộ nhớ. Bộ nhớ được cập nhật sau mỗi tác vụ nhưng không cần lưu trữ bên ngoài hay truy xuất — chính sách chỉ cần tài liệu được điều chỉnh từ lần trước để thành công cao hơn.
  3. Trợ lý hỗ trợ kỹ thuật trên thiết bị di động: Người dùng tương tác với trợ lý AI để khắc phục sự cố (ví dụ: kết nối WiFi, các vấn đề về ứng dụng). Sau mỗi phiên khắc phục sự cố, AI cập nhật tài liệu được nhúng cục bộ với những bước mà nó phát hiện thực sự có ích, để phục vụ tốt hơn cho những yêu cầu tương tự tiếp theo, với độ trễ thấp và riêng tư cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.26784
ArXiv Abstracthttps://arxiv.org/abs/2607.26784
PDF Downloadhttps://arxiv.org/pdf/2607.26784.pdf
Github Repositoryhttps://github.com/Within-yao/SkillRise

8. MindForge: Teaching Small Language Models Whole-Life-Cycle Software Engineering via Source-Free Program Synthesis (18 votes)​

Tác giả: Yihao Chen, Shi Chang, Khaled Chawa, Feng Lin, Boyuan Chen, et al.

Xuất bản lúc: 2026-07-29

Tag: Program Synthesis, Software Engineering, LLM Distillation, Code Generation, Agent Training

I. Main Problem:​

Các mô hình ngôn ngữ thất bại tệ hại khi xây dựng chương trình từ đầu — ngay cả frontier models (GPT-5.5) chỉ giải quyết được < 1% task trên ProgramBench. Nguyên nhân chính là thiếu dữ liệu huấn luyện quy mô lớn bao phủ toàn vòng đời phát triển phần mềm (từ hiểu spec, thiết kế, lập trình, debug, cho đến build thành công). Các pipeline hiện tại chỉ tập trung vào một giai đoạn (sửa lỗi hoặc feature implementation) trong codebase có sẵn, bỏ qua bối cảnh source-free (không có mã nguồn ban đầu).

II. Main Idea:​

MindForge là pipeline tự động chuyển các chương trình command-line mã nguồn mở thành môi trường training source-free (agent chỉ thấy binary đã compile + tài liệu). Quy trình:

  1. Xây dựng môi trường: tự động kiểm tra, build, validate tính tái tạo của 2,235 repository, lọc để giữ 562 chương trình trong 6 ngôn ngữ (Go, Rust, C/C++, Swift, TypeScript)
  2. Thu thập trajectory: dùng GLM-5.2 (teacher) thực hiện toàn bộ vòng đời: khám phá spec → thiết kế kiến trúc → lập trình → debug → test → build thành công
  3. Tinh lọc dữ liệu: (a) phục hồi trajectory bị ngắt do lỗi hạ tầng, (b) viết lại lý luận của agent khi có lỗi tool-use để tránh tạo nhiễu cho student

Kết quả: 1,001 trajectory dài (trung bình 181.6 turns, 177K tokens) với độ phủ cao tất cả giai đoạn (spec 99.1%, design 87.1%, debug 59.4%).

Sau đó fine-tune Qwen3.6-27B trên những trajectory này để học lại quy trình phát triển hoàn chỉnh của teacher.

Ví dụ đời thường: giống như tập huấn nhân viên mới bằng cách cho xem video ghi hình toàn bộ quá trình (từ đọc spec, vẽ sơ đồ, code, test) của một mentor giỏi, thay vì chỉ dạy từng kỹ năng cô lập.

III. Main Results:​

  • ProgramBench (primary): Qwen3.6-27B tăng từ 37.98% → 49.51% (+11.53 điểm, +30.4% tương đối), vượt qua DeepSeek V4 Pro (47.80%) và ngang GPT-5.1 (50.9%), Claude Opus 4.7 (51.38%)
  • Generalization (7 unseen benchmarks, 8 settings):
    • RepoZero-C2Rust: +31.00pp (47.00% → 78.00%) — tăng 9×
    • DeepSWE: +14.16pp (1.76% → 15.92%)
    • NL2Repo-Bench +tests: +10.70pp; -tests: +4.56pp
    • SWE-bench Verified: +5.04pp; Pro: +5.93pp; Multilingual: +5.22pp
    • FeatBench: +4.94pp
  • Hành động agent: MindForge-27B gấp đôi độ dài trajectory (344 → 735.7 turns, 174.4 → 373.0 tool calls) nhưng giảm tỷ lệ lỗi (10.98% → 9.35%), chứng tỏ học được hành động bền vững và có mục đích chứ không phải chỉ dài hơn
  • Chuyển đổi hành động: tỷ lệ convert lý luận/recovery thành chỉnh sửa code tăng từ 27.8% / 31.8% → 50.1% / 48.8% (gần GLM-5.2 là 61.4% / 64.0%)

IV. Conclusion & Future Works:​

Toàn vòng đời phát triển phần mềm (spec → code → debug → build) là trục quan trọng để huấn luyện agent nhỏ gọn (27B) có khả năng sánh với frontier models lớn hơn nhiều lần. Sự khác biệt chính so với công trình trước: trajectory của MindForge dài hơn 5–10 lần (trung bình 177K tokens vs. 32K của SWE-Lego), bao phủ nhiều giai đoạn (không chỉ bug-fix), và source-free (tránh rò rỉ mã nguồn).

Hướng tương lai:

  • Mở rộng sang ngôn ngữ thông dịch (Python, JavaScript) và tác vụ độc lập có trạng thái
  • Tối ưu chiến lược thu thập trajectory để giảm chi phí inference teacher
  • Kết hợp reinforcement learning để agent tự cải thiện trên feedback từ execution

V. Brainstorming Space:​

1. Publish Papers:​

  1. Scaling whole-life-cycle trajectories qua multi-agent collaboration: nhiều teacher agent (GLM, GPT) cùng giải quyết cùng một task, synthetic merging trajectory tối ưu để học từ đa quan điểm phát triển.
  2. Source-free environment generation cho ngôn ngữ thông dịch: Python/JavaScript không có binary tĩnh — sử dụng containerized interpreter + fixture mocking để tạo source-free envs.
  3. Active trajectory selection: thay vì thu thập toàn bộ trajectory, dùng confidence / difficulty estimate để ưu tiên những ví dụ huấn luyện tối ưu, giảm dataset size 50% mà vẫn giữ hiệu suất.

2. Patent:​

  1. IDE plugin tự động generate unit test: khi lập trình viên paste code vào editor, plugin chạy local MindForge-27B (quantized 4-bit) để dự đoán các test case cần có dựa trên spec trong comment, đề xuất assertions ngay lập tức.
  2. Auto-debugging tool cho mobile: khi app crash, collect stack trace + log output, đưa vào source-free environment (stripped binary + API doc), MindForge agent tự tái hiện bug, trace root cause, đề xuất patch để dev review.
  3. Code review assistant cho CI/CD: pull request tới, MindForge-27B phân tích diff trong bối cảnh toàn repo (giống như ProgramBench spec exploration), phát hiện thiếu test, boundary case, compatibility issues trước khi merge.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.27146
ArXiv Abstracthttps://arxiv.org/abs/2607.27146
PDF Downloadhttps://arxiv.org/pdf/2607.27146.pdf
Github RepositoryN/A

9. SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from Scratch (15 votes)​

Tác giả: Yihao Chen, Shi Chang, Feng Lin, Khaled Chawa, Boyuan Chen, et al.

Xuất bản lúc: 2026-07-29

Tag: Program Synthesis, LLM-based Agents, Specification Elicitation, Code Generation, Requirements Engineering

I. Main Problem:​

LLM agents giỏi sinh code khi có bộ mã hiện tại làm tham chiếu, nhưng xây dựng từ đầu vẫn cực khó. Benchmark ProgramBench cho thấy ngay những mô hình mạnh nhất chỉ giải được dưới 1% bài toán—cho sẵn tài liệu tự nhiên và chỉ nhìn thấy được hành vi qua binary thực thi.

Vấn đề gốc rễ: các framework hiện nay trộn lẫn ba việc (đọc tài liệu, khám phá hành vi, sinh code) thành một vòng lặp duy nhất:

  • Agent khám phá không đủ toàn diện vì bận sinh code ngay
  • Hiểu biết hành vi thất thoát qua các turn khi context tăng lên
  • Lỗi sớm lan truyền không được sửa vì không có spec chuẩn để kiểm tra

II. Main Idea:​

SpecFirst tách riêng hai giai đoạn: (1) Spec Agent chỉ tập trung khám phá hành vi bằng cách thử binary có hệ thống, tạo ra tài liệu SPEC.md cấu trúc; (2) Code Synthesis Agent sau đó dùng SPEC.md này để sinh code.

Quá trình:

  • Spec agent thực hiện thăm dò hộp đen qua CLI: thử biên giới dữ liệu, kích hoạt đường lỗi, kết hợp flag, so sánh định dạng đầu ra
  • Ghi lại hành vi vào SPEC.md có cấu trúc (Overview, Flags, Input/Output, Error patterns, Edge cases)
  • Code agent nhận SPEC.md để lập trình có nền tảng, không cần đoán hành vi

Ví dụ đời thường: giống kỹ sư yêu cầu bảng máy mới—trước khi viết code một dòng, thử nghiệm chương trình gốc kỹ lưỡng để hiểu rõ các trường hợp biên, rồi tài liệu được tạo rõ ràng để các coder khác chỉ cần theo spec, tránh việc mỗi coder phải tự khám phá.

III. Main Results:​

  • Trên toàn bộ 200 bài trong ProgramBench, SpecFirst cải thiện được 6.9%–21.3% test pass rate (GPT-5.5-high: 59.02% → 65.14%)
  • Phủ sóng khám phá: Spec agent tăng 9.4%–18.5% probing coverage (các dòng lệnh được thực thi) so với baseline
  • Chất lượng cao hơn: Triệu phần chương trình gần hoàn hảo (≥90% pass) tăng từ 5.5% lên 16.5% với GPT-5.5-high
  • Thay đổi hành vi code agent: Khi có SPEC.md trước, agent bắt đầu viết code sớm hơn (thay vì thăm dò lâu rồi đột ngột), tạo ra codebase lớn hơn 7–29%
  • Độc lập với mô hình: Cải thiện nhất quán trên 4 mô hình (Qwen, GPT) và cả ba mức độ khó

IV. Conclusion & Future Works:​

Tách rõ elicitation khỏi synthesis là khuôn mẫu hữu hiệu cho xây dựng từ đầu. Khác với các framework spec-driven trước chỉ dựa trên hỏi con người, SpecFirst tự động khám phá thông qua black-box probing.

Phân tích lỗi (50 bài):

  • 52% lỗi là execution fault—spec đúng nhưng code sai (cần suy luận sinh code mạnh hơn)
  • 40% lỗi spec (thiếu tính năng, mô tả không chính xác)—cần chiến lược thăm dò thông minh hơn

Hướng tương lai: (1) chiến lược thăm dò chủ động thay thay ngẫu nhiên, (2) vòng kiểm tra-sửa tự động khi code sai spec, (3) mở rộng cho chương trình tương tác (TUI) và môi trường động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SpecFirst cho phủ sóng đầy đủ: dùng học tập chủ động để robot agent chọn thăm dò nào cung cấp thông tin nhất thay vì ngẫu nhiên, tối ưu hóa số lượng thử cần thiết.
  2. Kết hợp elicitation spec + test-driven repair: sau khi sinh code, nếu test thất bại, agent tự tạo đối chiếu lỗi với SPEC.md, xác định lỗi logic là ở đâu rồi sửa có mục tiêu.
  3. Spec-first cho chương trình tương tác: mở rộng framework cho TUI, giao diện click-through, những chương trình có trạng thái để elicit behavior qua chuỗi hành động thay vì chỉ CLI arguments.

2. Patent:​

  1. Công cụ auto-complete lệnh dòng: IDE hoặc shell plugin tự chạy binary ứng dụng người dùng để tạo SPEC.md tự động, rồi dùng spec này để gợi ý argument, flag, định dạng đầu ra—giúp developer học API mới nhanh hơn.
  2. Hệ thống phát hiện regression tự động: CI/CD pipeline tự sinh SPEC.md cho version cũ, so sánh với version mới để phát hiện behavior break early, giúp dev catch behavior change trước release.
  3. Trợ lý reimplement codebase cũ: công ty có binary của ứng dụng cũ (source lạc) nhưng muốn viết lại modern—auto-spec tool thăm dò binary cũ, tạo SPEC.md, dùng nó guide tái triển khai đỡ phải reverse-engineer thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.27167
ArXiv Abstracthttps://arxiv.org/abs/2607.27167
PDF Downloadhttps://arxiv.org/pdf/2607.27167.pdf
Github RepositoryN/A

10. StatePlay: State-Aware Game World Models for Mechanics-Consistent Generation (13 votes)​

Tác giả: Zijun Lin, Zeqing Wang, Cheston Tan, Bihan Wen, Yeying Jin

Xuất bản lúc: 2026-07-29

Tag: World Models, Game Generation, State Modeling, Mechanics Consistency, Diffusion Models, Mixture-of-Transformers

I. Main Problem:​

Các mô hình game world model hiện tại tập trung vào độ chân thực thị giác nhưng bỏ qua lôgic trò chơi (game mechanics). Chúng sinh ra cảnh quay trông hợp lệ nhưng vi phạm luật chơi: nhân vật tiếp tục tấn công sau khi hết máu, hoặc kích hoạt siêu kỹ năng khi thanh skill chưa đầy. Vấn đề gốc: các state biến (máu, skill meter, timer) không thể học một cách tin cậy chỉ từ ảnh, mà cần được mô hình hóa rõ ràng.

II. Main Idea:​

StatePlay kết hợp dự đoán state và sinh hình ảnh trong một mô hình duy nhất. Kiến trúc Mixture-of-Transformers (MoT) duy trì hai nhánh chuyên biệt: nhánh state (nhỏ, 0.76B) dự đoán health/skill/timer; nhánh visual (lớn, 5B) sinh khung hình. Hai nhánh tương tác qua joint attention, cho phép state dự đoán hướng dẫn sinh hình ảnh.

Hàm loss riêng biệt: nhánh state dùng Smooth L1 regression (vì state là số liệu thấp chiều, tuân luật); nhánh visual dùng flow matching (như các diffusion model khác).

Ví dụ đời thường: giống y tá vừa giám sát nhịp tim bệnh nhân (state), vừa ghi chép hành động và diễn biến (hình ảnh)—cách y tá giám sát nhịp tim chi phối cách ghi chép để đảm bảo toàn bộ hồ sơ phản ánh sự thật lâm sàng, chứ không phải chỉ hình dung đẹp trên giấy.

III. Main Results:​

  • Dự đoán state: Khoảng cách L1 chuẩn hóa < 0.06 (rất chính xác).
  • Cơ chế trò chơi: StatePlay đạt 82.3% độ trung thực (Gemini) vs 48.0% của ReactiveGWM tốt nhất → cải thiện 18.6%.
  • Hành động: độ chính xác di chuyển 92.5%, tấn công 95%—so sánh được với baseline.
  • Chất lượng hình ảnh: SSIM 0.378, LPIPS 0.424—tương đương hoặc tốt hơn baseline khi gắn state.
  • Ablation: MoT-style tốt hơn shared-style 17.6% (mechanics fidelity); Smooth L1 tốt hơn flow matching 21.6%.

IV. Conclusion & Future Works:​

StatePlay chứng minh explicit state modeling là cần thiết để tạo trò chơi playable, không chỉ nhìn đẹp. Hạn chế hiện tại: chỉ đánh giá trên Street Fighter 3; cần dataset trạng thái khác nhau (thể loại game khác) để mở rộng. Hướng tương lai: thu thập dataset state-aware đa thể loại, khám phá cách tích hợp state modeling vào các mô hình game lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng StatePlay cho các thể loại game khác (FPS, racing, RPG) với các state khác nhau (ammo, nitro, experience points) để chứng minh tính chung chung của phương pháp.
  2. Kết hợp state prediction với active exploration: mô hình tự chọn chuỗi hành động để khám phá toàn bộ không gian state-action, giúp sinh game đa dạng hơn.
  3. Tích hợp learning from human feedback (LHF) để sửa violation mechanics từ phản hồi người chơi mà không cần retrain toàn bộ mô hình.

2. Patent:​

  1. Công cụ sinh nội dung trò chơi mobile: người phát triển định nghĩa state (máu, năng lượng) và rule bằng ngôn ngữ tự nhiên; StatePlay tự sinh level, enemy behavior, visual assets tuân theo mechanics—tự động hóa phát triển game nhỏ.
  2. Hệ thống kiểm thử tự động cho trò chơi: sử dụng StatePlay để sinh hàng trăm rollout, dùng state prediction để phát hiện bug (ví dụ: nhân vật hành động sau game-over)—nhanh hơn QA thủ công.
  3. Công cụ dạy game AI qua world model: train agent bằng StatePlay rollout thay vì game engine thực → tiết kiệm tài nguyên GPU, mở rộng training đến triệu episode, sau đó deploy vào engine thực tế mà vẫn giữ hiệu suất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.26754
ArXiv Abstracthttps://arxiv.org/abs/2607.26754
PDF Downloadhttps://arxiv.org/pdf/2607.26754.pdf
Github Repositoryhttps://github.com/Jimntu/StatePlay

11. Can AI agents conduct open-ended AI research? Early evidence from two case studies (12 votes)​

Tác giả: Peter Kirgis, Sayash Kapoor, Andrew Schwartz, Stephan Rabanser, David Africa, et al.

Xuất bản lúc: 2026-07-29

Tag: AI R&D Automation, Autonomous Agents, AI Research Evaluation, Frontier Models, Shadow Evaluation

I. Main Problem:​

Các dự báo về tiến bộ AI bùng nổ phụ thuộc vào tự động hóa nghiên cứu AI, nhưng bằng chứng về khả năng này rất hạn chế. Các đánh giá hiện tại hoặc kiểm tra agent trên tác vụ hẹp, có thể xác minh được (loại trừ nghiên cứu mở), hoặc gửi paper AI tới peer review mù, phương pháp này không ổn định, chịu ảnh hưởng ngẫu nhiên cao, và chất lượng review kém. Không có cách nào để đo lường tiến bộ thực tế của agent trong đối phó với những câu hỏi nghiên cứu dài hạn, mở, đòi hỏi sáng tạo như những nhà nghiên cứu thực tế phải làm.

II. Main Idea:​

Shadow evaluations là phương pháp đánh giá mới kết hợp tác vụ mở không bị ô nhiễm và phản hồi từ chuyên gia sâu sắc. Quy trình:

  • Lấy câu hỏi nghiên cứu trung tâm từ paper chưa xuất bản (đảm bảo agent không thể tìm kiếm trực tuyến hoặc nhớ từ dữ liệu huấn luyện)
  • Giao cho agent có đầy đủ tài nguyên (6 ngày, $3,000 API, GPU credits, VM, truy cập web)
  • Các tác giả gốc (những người đã trải qua tháng nghiên cứu) đánh giá kết quả như reviewer hội nghị

Ví dụ đời thường: giống như giao cho nhân viên mới cùng câu hỏi mà bạn đã mất tháng giải quyết, rồi bạn chấm điểm công việc của họ vì bạn biết tất cả những góc cạnh của vấn đề.

III. Main Results:​

  • Cả hai agent đều bị reject: Personas paper nhận 2/6 (Reject), TabPFN paper nhận 1/6 (Strong Reject). Cả hai reviewer độc lập đều cho rằng chất lượng rõ ràng không đủ.
  • Agent hoàn thành kỹ thuật nhưng thất bại về nghiên cứu: chạy được hàng trăm GPU hours, debug thành công, nhưng không trả lời được câu hỏi nghiên cứu cốt lõi.
  • Năm chế độ lỗi lặp đi lặp lại:
    • Thiếu sự phán đoán: không biết khi nào vấn đề được giải quyết đầy đủ; dùng dataset nhỏ, handcrafted để bác bỏ giả thuyết lớn
    • Thiếu sáng tạo: khi nhận phản hồi âm từ AI review, chỉ thêm cảnh báo thay vì tìm hướng tiếp cận mới
    • Backtracking kém: cả hai agent rút lại mục tiêu tham vọng nhất trong 10 giờ đầu, không bao giờ thay đổi chiến lược sau đó
    • Không nhận thức tài nguyên: dùng <50% API budget dù được khuyến khích, không hiểu giới hạn thời gian
    • Drift hướng dẫn: bỏ qua các quy tắc rõ ràng về thời gian khám phá, tần suất review, độ dài paper
  • Survey tiên đoán: 12 đồng tác giả dự báo trước, chỉ 30% kỳ vọng kết quả chấp nhận được; phần lớn dự đoán thất bại vì thiếu sáng tạo và phán đoán.

IV. Conclusion & Future Works:​

Khám phá khái niệm: Agent có thể làm kỹ thuật của nghiên cứu (code, thực nghiệm) nhưng thất bại về tư duy (chọn giả thuyết, nhận ra khi nào cần thay đổi hướng, phán đoán chất lượng). Sự khác biệt giữa engineering (verifiable, hill-climbing) và research (mở, sáng tạo, phán đoán) hiện tại rõ ràng. Hướng tương lai: (1) Kiểm tra trên nhiều paper hơn với GPT-5.6 Sol, Opus 5, Fable 5; (2) Tối ưu scaffold tốt hơn; (3) Hiểu rõ hơn khi nào agent cần chiến lược khám phá chủ động thay vì random, hoặc metatraining để học nhận ra bế tắc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu khám phá: phát triển chiến lược tìm kiếm chủ động (active research search) thay vì để agent random walk; agent học quyết định khi nào quay trở lại ý tưởng cũ vs. thử hướng mới.
  2. Scaffold metatraining: huấn luyện agent trên tập hợp các mini-projects với ground-truth feedback để agent học nhận ra khi nào giả thuyết bị chứng minh sai một cách thuyết phục vs. chỉ là negative result từ cơ chế yếu.
  3. Đánh giá hybrid: kết hợp verifiable tasks, blind review peer, và shadow evaluations để xây dựng bức tranh toàn diện về tiến bộ AI R&D; mỗi phương pháp đo lường khía cạnh khác nhau.
  4. Long-horizon planning trong research: agent có thể cải thiện bằng cách suy hoạch dài hạn với mục tiêu rõ ràng (novel finding, publishable contribution) thay vì myopic tactics, có thể thông qua tree search hoặc outcome-supervised reward.

2. Patent:​

  1. AI research assistant cho nhà khoa học: tích hợp shadow evaluation feedback loop vào tool thực nghiệm; nhà khoa học cho agent câu hỏi, agent chạy thí nghiệm 1 tuần, sau đó chuyên gia domain (chính nhà khoa học hoặc reviewer tương tác) cấp điểm chi tiết và chỉ ra lỗi logic cụ thể (ví dụ: 'dataset này quá nhỏ để kết luận') để agent tự học hỏi và điều chỉnh trong lần chạy tiếp theo.
  2. Công cụ giám sát tiến bộ nghiên cứu cho đội: startup AI có thể xây dựng dashboard hiển thị agent logs theo 5 chế độ lỗi (phán đoán kém, sáng tạo kém, backtrack kém, v.v.), cảnh báo lãnh đạo khi agent bị epistemic lock-in (mắc kẹt ở hướng tiếp cận sai sớm).
  3. Automatic research quality scorer: dùng feedback từ múi shadow evaluations để huấn luyện reward model gán điểm paper sơ thảo (từ 1–6 như NeurIPS), giúp agent tự học khi nào paper đủ chất lượng để submit thay vì chỉ dựa vào heuristics đơn giản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.27191
ArXiv Abstracthttps://arxiv.org/abs/2607.27191
PDF Downloadhttps://arxiv.org/pdf/2607.27191.pdf
Github RepositoryN/A