Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-08-25

Báo cáo được tạo tự động vào lúc 2026-08-26 10:29:02 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Apodex 1.1: Scaling Agentic Intelligence for Complex Work (173 votes)​

Tác giả: Apodex Team, B. An, B. Li, B. Wang, B. Zhang, et al.

Xuất bản lúc: 2026-08-24

Tag: Agentic Intelligence, LLMs, Tool Use, Multi-Agent Coordination, Code Execution, Long-Horizon Tasks, Reinforcement Learning

I. Main Problem:​

Các mô hình ngôn ngữ tổng quát có khả năng suy luận nhưng vẫn thất bại ở công việc phức tạp kéo dài vì chúng thiếu khả năng tương tác liên tục với file, công cụ tìm kiếm và mã thực thi, duy trì trạng thái, phục hồi lỗi và giao kết quả kiểm chứng được. Điểm hạn chế chính là khoảng cách giữa chất lượng câu trả lời và hành động đáng tin cậy trong môi trường thay đổi.

II. Main Idea:​

Apodex 1.1 phát triển working capability — khả năng duy trì tiến bộ kiểm chứng được về một mục tiêu thực tế — bằng cách mở rộng song song hai chiều:

  • Environment Scaling: mở rộng các môi trường file, tìm kiếm và mã có thể thực thi, đa dạng, trung thực và có thể kiểm chứng.
  • Agentic Coordination Scaling: huấn luyện tác nhân phân rã nhiệm vụ dài hạn, ủy thác song song, tích hợp kết quả bất đồng bộ và lập kế hoạch lại.

Một common execution harness kết nối mô hình với các môi trường, trong khi AgentOS duy trì trạng thái, nguồn gốc và phân nhánh xuyên suốt. Quá trình huấn luyện kết hợp SFT thống nhất và agentic RL trên quỹ đạo thực thi và dấu vết phối hợp.

Ví dụ đời thường: giống như một đội xây nhà không chỉ có bản vẽ mà còn có công trường thực tế: một mặt mở rộng địa hình và vật liệu để đội làm quen, mặt khác tổ chức nhiều thợ phối hợp song song — người đo đạc, người lắp đặt, người kiểm tra — liên tục trao kết quả, điều chỉnh kế hoạch khi phát hiện vấn đề và giao công trình hoàn chỉnh đúng hợp đồng.

III. Main Results:​

  • Trên APEX-Agents (Professional Work), Apodex 1.1 Agent Team đạt 38.5, vượt ReAct (34.4) và nhiều hệ thống frontier khác.
  • Trên GDPVal (Professional Work), Agent Team đạt 78.8, ở nhóm dẫn đầu cùng với Claude Opus 5 (89.4) và vượt GPT-5.6 Sol (79.3).
  • Trên FrontierFinance, Agent Team đạt 54.3, cao nhất trong nhóm so sánh, vượt Claude Fable 5 (49.2).
  • Trên FrontierScience-Research, Agent Team đạt 63.3, vượt trội so với Apodex 1.0 (28.3) và DeepSeek V4 Flash (55.0).
  • Trên Humanity's Last Exam (General Reasoning and Search), Agent Team đạt 56.1, gần Claude Opus 5 (64.7) và vượt nhiều mô hình frontier.
  • Apodex 1.1 Mini (35B tham số) duy trì khả năng làm việc mạnh mẽ ở dạng triển khai cục bộ.

IV. Conclusion & Future Works:​

Apodex 1.1 củng cố quan điểm rằng completed work — không phải câu trả lời cô lập — là đơn vị của trí thông minh tác nhân. Hệ thống mở rộng theo hai chiều Environment Scaling và Agentic Coordination Scaling, kết nối qua một harness chung và học từ quỹ đạo thực thi. Hướng tương lai bao gồm mở rộng phân bổ nhiệm vụ động, cải thiện khả năng phục hồi sau lỗi phức tạp, và tiến gần hơn đến mục tiêu Heavy-Duty Solver cho các tác vụ kéo dài, có kiểm chứng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp Environment Scaling với các môi trường mô phỏng vật lý hoặc robot để tác nhân học tương tác đa phương thức với trạng thái không gian thực.
  2. Phát triển phương pháp agentic RL cho việc học phối hợp giữa nhiều tác nhân trong bối cảnh kết quả bất đồng bộ và ràng buộc ngân sách tính toán.
  3. Nghiên cứu cơ chế chứng minh nguồn gốc (provenance) tự động cho tài liệu khoa học và báo cáo tài chính do tác nhân tạo ra.

2. Patent:​

  1. Hệ thống trợ lý nghiên cứu tài chính trên điện thoại: tác nhân tự động tìm kiếm báo cáo công ty, chạy mô hình định giá trong sandbox và tạo bản tóm tắt có nguồn gốc kiểm chứng được.
  2. Nền tảng soạn thảo tài liệu chuyên nghiệp với phối hợp đa tác nhân: một tác nhân thu thập dữ liệu, một tác nhân viết, một tác nhân kiểm tra, tất cả đồng bộ trạng thái qua AgentOS trên máy chủ doanh nghiệp.
  3. Công cụ lập trình tự động cho lập trình viên di động: trợ lý 35B chạy cục bộ trên laptop, đọc repository, sửa lỗi, chạy test và đẩy thay đổi lên git với hợp đồng giao hàng rõ ràng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23283
ArXiv Abstracthttps://arxiv.org/abs/2608.23283
PDF Downloadhttps://arxiv.org/pdf/2608.23283.pdf
Github Repositoryhttps://github.com/ApodexAI/FrontierAgent

2. EchoWM: Open and Enterable Omnimodal World Models (64 votes)​

Tác giả: Songchun Zhang, Yaowei Li, Junhao Zhuang, Weiyang Jin, Haoyu Wang, et al.

Xuất bản lúc: 2026-08-24

Tag: World Models, Omnimodal Generation, Audio-Visual Generation, Trajectory Control, Generative Media, Long-Horizon Generation

I. Main Problem:​

Các mô hình video sinh hiện tại chủ yếu dựa trên lời nhắc và tương tác thụ động; các world model tuy tạo ra trạng thái tương lai nhưng thường chỉ cho ra video không tiếng hoặc phụ thuộc vào không gian hành động riêng cho từng chủ thể. Trong một thế giới tương tác, âm thanh là bắt buộc: tiếng bước chân, va chạm, âm thanh môi trường và lời thoại tạo phản hồi vật lý, không gian và ngữ cảnh xã hội. Thách thức là làm sao tham gia liên tục đa phương thức (video, âm thanh môi trường, nhạc nền, lời nói) trong cảnh thật và cảnh game mà không cần bộ điều khiển riêng cho từng góc nhìn.

II. Main Idea:​

EchoWM biến video thành một thế giới có thể bước vào bằng cách tổ chức tương tác xung quanh camera intent — giao diện không phụ thuộc chủ thể, dùng quỹ đạo tương đối 6 bậc tự do (6-DoF) có tỷ lệ metric chuẩn hóa ở cấp dataset. Cả lệnh rời rạc (phím bấm) và tư thế camera liên tục đều được ánh xạ vào cùng một biểu diễn quỹ đạo; hình học camera tương đối được mã hóa qua relative UCPE để giữ tính nhất quán giữa các nguồn dữ liệu khác nhau.

Quy trình huấn luyện tiến triển gồm 4 giai đoạn:

  • AV-CPT — xây dựng tiên nghiệm động lực học hình ảnh và âm thanh
  • Action-SFT — đóng băng backbone, chỉ huấn luyện nhánh quỹ đạo nhẹ để học điều khiển
  • Joint-FT — fine-tune chung với learning rate thấp trên dữ liệu cân bằng
  • Autoregressive Post-Training — làm quen với ngữ cảnh tự sinh để tạo sinh dài hạn và đa lượt liên tục

Ví dụ đời thường: giống như bạn đeo kính thực tế ảo và chỉ cần nghiêng đầu hoặc bước đi, hệ thống tự động vẽ lại toàn bộ không gian, âm thanh xung quanh và lời thoại phù hợp với vị trí mới — thay vì bạn phải điều khiển từng nhân vật, từng tiếng động hay từng câu thoại riêng lẻ.

III. Main Results:​

  • Đứng đầu WBench Navigation và đạt chất lượng hình ảnh hàng đầu trên SANA-WM-Bench ở cả phân tách quỹ đạo đơn giản và khó.
  • Sinh đồng thời video 720p, âm thanh môi trường, nhạc nền và lời thoại đồng bộ trong cả góc nhìn thứ nhất (FPP) và thứ ba (TPP).
  • Duy trì tính nhất quán về hình ảnh và điều khiển trên các chuỗi long-horizon và cho phép tiếp tục / chuyển lượt đa lượt.
  • Giao diện quỹ đạo thống nhất hoạt động được trên nhiều miền: cảnh trong nhà, ngoài trời, game, phong cách hóa, dưới nước, với chủ thể đa dạng như người, động vật, robot và xe.

IV. Conclusion & Future Works:​

EchoWM chứng minh rằng việc đặt camera intent làm trung tâm cho phép một mô hình duy nhất tạo ra thế giới có thể bước vào, với video, âm thanh môi trường và lời nói được sinh đồng bộ theo chuyển động của người quan sát. Hướng tương lai: mở rộng sang không gian hành động đa dạng hơn (thao tác vật thể), cải thiện khả năng thời gian thực, nâng cao trí nhớ dài hạn tường minh, và tinh gọn mô hình để chạy trên thiết bị biên như điện thoại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng camera-intent world model để hỗ trợ thao tác đối tượng và chỉnh sửa cảnh động trong thế giới sinh liên tục.
  2. Cơ chế trí nhớ đa phương thức dài hạn cho world model: kết hợp lưu trữ video, âm thanh và quỹ đạo để duy trì tính nhất quán qua hàng trăm bước thời gian.
  3. Tinh gọn omnimodal world model xuống thiết bị di động: nén kiến trúc sinh video-âm thanh đồng thời mà vẫn giữ chất lượng và độ trễ tương tác thấp.

2. Patent:​

  1. Ứng dụng thực tế ảo trên điện thoại: người dùng chỉ cần di chuyển hoặc xoay điện thoại, ứng dụng tự sinh không gian ảo liên tục với hình ảnh, âm thanh môi trường và lời thoại đồng bộ theo hướng nhìn.
  2. Trợ lý chơi game trên đám mây cho điện thoại: từ một ảnh chụp màn hình và thao tác điều khiển của người chơi, hệ thống sinh luồng thế giới game liên tục với âm thanh game gốc và đối thoại nhân vật.
  3. Nền video call tương tác trên di động: người dùng có thể đi lại trong một môi trường ảo trong khi gọi video, với âm thanh không gian và nhạc nền thay đổi theo chuyển động của người gọi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23189
ArXiv Abstracthttps://arxiv.org/abs/2608.23189
PDF Downloadhttps://arxiv.org/pdf/2608.23189.pdf
Github Repositoryhttps://github.com/jd-opensource/JoyAI-Echo

3. TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming (55 votes)​

Tác giả: Yibo Hu, Yu Qian, Mao Gu, Yingfan Tao, Yuhao Chen, et al.

Xuất bản lúc: 2026-08-21

Tag: Omni-Modal Learning, Live Streaming, E-Commerce, Multimodal Alignment, Reinforcement Fine-Tuning, GRPO

I. Main Problem:​

Live-stream thương mại điện tử nhiễu và kéo dài: thông tin sản phẩm nằm rải rác trong lời nói host, khung hình video, ảnh sản phẩm, chữ đè trên màn hình và câu hỏi của người xem. Các mô hình cần:

  • gộp đa dạng tín hiệu thay vì xử lý từng模态 riêng lẻ
  • căn chỉnh thời gian giữa âm thanh và hình ảnh với bằng chứng sản phẩm xuất hiện ở nhiều thời điểm khác nhau
  • trả lời trung thực, kịp thời cho ASR, OCR, grounding, temporal grounding và omni-modal QA

Các mô hình omni chung không tối ưu cho bối cảnh live-commerce sản phẩm-centric.

II. Main Idea:​

TLive-Omni xây dựng trên backbone Qwen3.5, ghép thêm encoder âm thanh AuT từ Qwen3-Omni qua một audio aligner nhẹ để đưa hình ảnh, video, âm thanh, văn bản vào cùng một không gian biểu diễn.

Cơ chế chính:

  • Per-vGrid: tổ chức token theo lưới video có timestamp, mỗi lưới gộp khung hình với đoạn âm thanh cùng khoảng thời gian trong boundary token rõ ràng, giúp mô hình nhận ra sự tương ứng trực tiếp trong chuỗi đầu vào.
  • Three-stage SFT: giai đoạn 1 căn chỉnh audio-language; giai đoạn 2 mở rộng hiểu biết âm thanh; giai đoạn 3 tinh chỉnh đa模态 chung.
  • Faithful-RFT: dùng GRPO với phần thưởng có thể kiểm chứng theo từng task để chấm điểm câu trả lời cuối, đồng thời kìm hãm dấu vết suy nghĩ (think trace) không cần thiết, cân bằng độ trung thực và độ trễ thời gian thực.
  • Sampler đồng bộ theo độ dài giảm padding và dynamic resampling tái sinh nhóm rollout khi phương sai reward gần bằng không, duy trì tín hiệu relative advantage cho GRPO.

Ví dụ đời thường: giống như người dự live bán hàng vừa nhìn sản phẩm trên màn hình, vừa nghe host giới thiệu, vừa đọc chữ giá góc màn, rồi tự ghép các manh mối theo đúng thời điểm để trả lời câu hỏi "Áo này giảm còn bao nhiêu?" một cách chính xác và nhanh.

III. Main Results:​

  • ASR live-commerce: TLive-Omni-9B đạt CER 6.46, thấp nhất trong các mô hình open-source; TLive-Omni-4B cũng đạt 6.66, gần bằng.
  • Speaker-attributed ASR: cpWER 12.27 (9B) và 12.88 (4B), thuộc nhóm tốt nhất.
  • Audio description/QA: độ chính xác mô tả 75.96% và audio QA 76.28%, cạnh tranh với Gemini 3 Pro.
  • Product visual grounding: TLive-Omni-9B đạt AP trên ảnh sản phẩm 89.96, vượt các mô hình open-source và đa số closed-source.
  • Text understanding: đạt Loc. F1 87.59, Rec. NED 4.24% và Cls. Acc. 79.85% — tốt nhất trong các mô hình được đánh giá.
  • Video understanding: TG mIoU 81.49 (9B), dense caption accuracy 74.63%, video QA accuracy 93.23%, đều đứng đầu open-source.
  • General benchmarks: TLive-Omni duy trì khả năng khái quát tốt trên các benchmark đa模态 chung, cải thiện so với backbone Qwen3.5 4B/9B trên đa số tác vụ.

IV. Conclusion & Future Works:​

TLive-Omni cho thấy một mô hình omni模态 chuyên biệt hóa cho live thương mại điện tử có thể đạt hiệu suất mạnh trên cả tác vụ nghiệp vụ lẫn benchmark tổng quát. Điểm then chốt là Per-vGrid giữ cho bằng chứng âm-hình gắn liền theo thời gian, còn Faithful-RFT đảm bảo câu trả lời vừa trung thực vừa gọn để triển khai thời gian thực.

Hướng tương lai:

  • mở rộng taxonomy năng lực nguyên tử sang nhiều ngữ cảnh live-stream hơn (thời trang, nông sản, điện tử)
  • tối ưu hóa độ trễ end-to-end cho triển khai online trên thiết bị biên
  • kết hợp thêm tín hiệu tương tác người dùng (comment, like, mua hàng) làm reward cho Faithful-RFT

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Per-vGrid thành phương pháp căn chỉnh âm-hình tổng quát cho các loại luồng dài khác như webinar, họp trực tuyến và phát sóng thể thao, trong đó bằng chứng phân tán trên nhiều模态 và nhiều đoạn thời gian.
  2. Nghiên cứu cách kết hợp reward từ hành vi người dùng thực (click, mua, comment) vào Faithful-RFT để mô hình live-commerce học ưu tiên câu trả lời không chỉ đúng mà còn thúc đẩy chuyển đổi.
  3. Phát triển chiến lược thăm dò tự động cho dynamic resampling trong GRPO, thay vì chỉ tái sinh ngẫu nhiên, nhằm tạo ra các nhóm rollout có phương sai reward cao hơn một cách có hệ thống.

2. Patent:​

  1. Trợ lý mua sắm trực tiếp trên điện thoại: ứng dụng theo dõi luồng live bán hàng, dùng mô hình omni模态 để tự động nhận diện sản phẩm đang giới thiệu, trích xuất giá, màu sắc, kích cỡ từ lời nói host + chữ trên màn hình + hình ảnh, rồi hiển thị thẻ sản phẩm có thể chạm để mua.
  2. Hệ thống kiểm duyệt nội dung live-stream thương mại: phân tích đồng thời âm thanh, hình ảnh và văn bản để phát hiện tuyên bố sai sự thật về sản phẩm, giá ảo hoặc lời hứa không có bằng chứng, cảnh báo ngay cho moderator trên nền tảng.
  3. Tìm kiếm sản phẩm bằng đoạn video live: người dùng quay lại một đoạn live bán hàng hoặc chụp màn hình, hệ thống dùng grounding thời gian và nhận diện sản phẩm để xác định chính xác mặt hàng và khoảnh khắc trong luồng, sau đó đưa ra link mua.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.20958
ArXiv Abstracthttps://arxiv.org/abs/2608.20958
PDF Downloadhttps://arxiv.org/pdf/2608.20958.pdf
Github Repositoryhttps://github.com/TaoLiveAIGC/TLive-Omni

4. Unlocking the Potential of Image Editing via Concept Scaling and Dense Supervision (46 votes)​

Tác giả: Long Cui, Xiaoqian Liu, Qi Qin, Yi Xin, Tao Lin, et al.

Xuất bản lúc: 2026-08-17

Tag: Diffusion, Image Editing, Text-to-Image, Dataset, Dense Supervision, Vision-Language Models

I. Main Problem:​

Các mô hình chỉnh sửa ảnh theo chỉ dẫn văn bản hiện nay bắt chước cách huấn luyện T2I, nhưng áp dụng trực tiếp tạo ra hai lệch lạc cơ bản:

  • Thiếu chi tiết khái niệm chỉnh sửa: các bộ dữ liệu trước đây chỉ mở rộng đa dạng ảnh nguồn, bỏ qua granularity của ý niệm chỉnh sửa (chỉ có vài danh mục thô như "style", "add"), khiến mô hình không khái quát hóa tốt cho các kịch bản chi tiết trong thực tế.
  • Tín hiệu giám sát thưa thớt: trong chỉnh sửa ảnh, phần lớn pixel không đổi; mô hình tối ưu hóa chủ yếu để giữ nguyên nền thay vì học các biến đổi chủ động, làm huấn luyện kém hiệu quả.

II. Main Idea:​

ConceptEdit chuyển đổi cách mở rộng dữ liệu chỉnh sửa ảnh từ "tăng số lượng ảnh nguồn" sang "tăng độ phong phú của khái niệm chỉnh sửa", đồng thời nén thông tin học bằng giám sát dày đặc. Quy trình chính:

  • Xây dựng phân loại tầng tầng 1,000+ khái niệm chỉnh sửa mịn (từ "finger heart", "wink", "confused" đến "Ukiyo-e style", "Fisheye lens") bằng cách khai thác kiến thức thế giới từ LLM.
  • Tổng hợp dữ liệu theo hướng thư viện khái niệm (library-driven) thay vì lấy mẫu ngẫu nhiên từ VLM, tránh sụp đổ phân phối (top 5 style chiếm 74.6% trong phương pháp cũ).
  • Thêm lọc VQA theo từng trường hợp để kiểm tra cụ thể vùng chỉnh sửa dễ lỗi thay vì dùng prompt đánh giá chung chung.
  • Huấn luyện với Dense Supervision bằng cách kết hợp nhiều khái niệm không can thiệp lẫn nhau vào cùng một cặp ảnh, tạo nhiều tín hiệu học hơn trong một forward pass.

Ví dụ đời thường: giống như người học làm bánh: thay vì mỗi lần chỉ luyện một động tác đơn giản và chờ rất lâu mới quen, người thợ một lúc thực hành nhiều thao tác không đè lên nhau (nhào bột, đập trứng, rắc bột) trong cùng một buổi, giúp tiến bộ nhanh hơn rõ rệt.

III. Main Results:​

  • ImgEdit-Bench: ConceptEdit 1000 + Dense Supervision đạt 3.48 (2M) và 3.75 (5M), vượt ScaleEdit tuyệt đối 0.31 và 0.44 điểm; vượt trội ở các nhóm Add, Style, Background, Adjust, Replace, Action.
  • GEdit-Bench: đạt GSC 6.34/6.32 (2M) và 7.07/7.07 (5M) cho tiếng Anh/Hoa, vượt ScaleEdit rõ rệt; mức tăng chủ yếu đến từ độ chính xác theo chỉ dẫn (GSC).
  • Tác dụng của Concept Scaling: trên ImgEdit-Bench 2M, tăng từ 10 → 500 → 1000 danh mục nâng điểm tổng từ 3.05 lên 3.26 rồi 3.33; trên GEdit-Bench-EN 5M, GSC tăng từ 5.91 lên 6.86.
  • Tác dụng của Dense Supervision: cải thiện tổng thể ImgEdit-Bench +0.15 ở cả hai quy mô; đạt hiệu quả tương đương cần 1.5× dữ liệu nếu không dùng composite edits.
  • Hiệu quả lọc VQA: Precision/Recall/F1/Accuracy cao hơn generic validation lần lượt +9%, +30%, +21%, +5% so với pseudo-GT từ Gemini-3-Pro.
  • Công bố bộ dữ liệu ConceptEdit-12M và benchmark ConceptEdit-Bench với hơn 1,000 danh mục mịn.

IV. Conclusion & Future Works:​

ConceptEdit giải quyết hai nút thắt của chỉnh sửa ảnh theo chỉ dẫn bằng cách mở rộng chi tiết khái niệm và dày đặc hóa tín hiệu giám sát. Kết quả cho thấy phân phối khái niệm mịn giúp mô hình khái quát hóa tốt hơn, trong khi chỉnh sửa composite tăng tốc hội tụ và cải thiện cả tác vụ đơn khái niệm. Hướng tương lai: mở rộng thư viện khái niệm sang các miền đặc thù (y tế, thiết kế công nghiệp), nghiên cứu chiến lược kết hợp composite tối ưu hơn, và tích hợp dense supervision vào các mô hình chỉnh sửa đa phương thức thống nhất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng thư viện 1,000 khái niệm sang chỉnh sửa video theo chỉ dẫn, duy trì tính nhất quán thời gian trong khi vẫn khai thác dense supervision theo khung hình.
  2. Kết hợp ConceptEdit với học tăng cường từ phản hồi người dùng để tự động phát hiện và bổ sung các khái niệm chỉnh sửa còn thiếu từ dữ liệu thực tế.
  3. Nghiên cứu cơ chế gộp composite edit thông minh dựa trên attention: tự động chọn các khái niệm có tương tác tích cực thay vì chỉ ràng buộc không gian giao nhau.

2. Patent:​

  1. Ứng dụng chỉnh sửa ảnh trên điện thoại với bộ lọc theo ngữ cảnh chi tiết: khi người dùng yêu cầu "làm mặt cười nhẹ", hệ thống phân biệt "smile", "smirk", "laugh" dựa trên bản đồ khái niệm 1,000 hạng mục và chỉnh sửa chính xác biểu cảm khuôn mặt.
  2. Hệ thống tạo nội dung thương mại điện tử: người bán nhập mô tả "đổi sofa thành phong cách Scandinavian, thêm cây decor, đổi ánh sáng chiều tối"; ứng dụng tổng hợp nhiều thay đổi không chồng chéo trong một lần xử lý, rút ngắn thời gian chỉnh ảnh sản phẩm.
  3. Module huấn luyện nội bộ cho dịch vụ chỉnh sửa ảnh đám mây: tự động sinh cặp ảnh chỉnh sửa composite từ thư viện khái niệm mịn, dùng VQA theo từng trường hợp để lọc dữ liệu huấn luyện chất lượng cao, giảm 30-50% lượng dữ liệu cần thiết so với huấn luyện truyền thống.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.16812
ArXiv Abstracthttps://arxiv.org/abs/2608.16812
PDF Downloadhttps://arxiv.org/pdf/2608.16812.pdf
Github Repositoryhttps://github.com/inclusionAI/ConceptEdit

5. MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks (35 votes)​

Tác giả: Yi Zhu, Xiongwei Wu, Qiyi Wang, Tingyu Qu, Jiajun Liu, et al.

Xuất bản lúc: 2026-08-24

Tag: Mobile Agents, Function Calling, Benchmark, LLMs, Tool Use, Multi-Agent, Memory, Skills

I. Main Problem:​

Đánh giá tác nhân điện thoại dựa trên LLM đang bị kẹt giữa hai hướng tiếp cận có điểm mù nghiêm trọng:

  • GUI-centric benchmarks (AndroidWorld, OSWorld) chỉ kiểm tra thao tác màn hình, bỏ qua việc gọi công cụ nền và lập kế hoạch dài hạn.
  • Static function-calling benchmarks (BFCL, DroidCall, AppBench) dùng ghép chuỗi/khớp JSON ngoại tuyến, không có môi trường thực thi có trạng thái để kiểm tra lỗi runtime, thứ tự gọi công cụ, hoặc giới hạn quyền. Hậu quả là không biết được liệu một Mobile Planner Agent có thực sự hoàn thành tác vụ phức tạp trong hệ sinh thái di động động hay không.

II. Main Idea:​

MobilePA-Bench là một bộ đánh giá tương tác, có trạng thái và lấy công cụ làm trung tâm để đo khả năng của Mobile Planner Agents. Thay vì chỉ nhìn ảnh màn hình hoặc ghép chuỗi JSON tĩnh, nó chạy trong một executable sandbox duy trì cơ sở dữ liệu ứng dụng sống, trả về phản hồi có cấu trúc, và bao gồm 1,705 tác vụ thực tế trải dài 13 lĩnh vực chức năng với 212 công cụ di động thực tế. Benchmark đánh giá bốn chiều năng lực cốt lõi:

  • Basic Tool Use: gọi API, xử lý input đa phương thức (QR, ảnh), tuân thủ thứ tự và quyền, phục hồi lỗi runtime.
  • Sub-agent Collaboration: phân rã tác vụ phức tạp và giao việc chuyên biệt cho các sub-agent (ví dụ GUI agent điền form khi API không có).
  • Memory Usage: truy xuất sở thích, hồ sơ cá nhân, lịch sử người dùng để giải quyết yêu cầu ngầm.
  • Skill Usage: gọi các kỹ năng đóng gói sẵn thay vì lập kế hoạch từng bước, giảm tích lũy lỗi trong tác vụ dài hạn.

Ví dụ đời thường: giống như một trợ lý khách sạn cao cấp không tự đi dọn phòng hay đặt vé máy bay bằng tay, mà nhớ rõ sở thích khách, gọi đúng bộ phận (lễ tân, đặt vé, tài xế), và khi hệ thống đặt vé bị lỗi thì chuyển sang nhờ nhân viên quầy (GUI agent) hoàn tất.

III. Main Results:​

  • MobilePA-Bench chứa 1,705 tác vụ, 212 công cụ, 13 lĩnh vực, với sandbox duy trì cơ sở dữ liệu động và audit log.
  • Các mô hình LLM hàng đầu hiện tại không đáng tin cậy trong môi trường di động: hiệu suất sụt mạnh trước thứ tự công cụ nghiêm ngặt, giới hạn quyền, và lỗi runtime bất ngờ.
  • Ngay cả mô hình tốt nhất cũng chỉ đạt 75,52% tổng thể, cho thấy khoảng cách lớn giữa khả năng lý thuyết và vận hành thực tế trên thiết bị.
  • Thiết kế tách biệt central planner khỏi visual parsing, giúp chẩn đoán lỗi logic/orchestration và tạo nền tảng cho agentic reinforcement learning rollout thông lượng cao.

IV. Conclusion & Future Works:​

MobilePA-Bench thu hẹp khoảng cách giữa đánh giá GUI tĩnh và function calling ngoại tuyến bằng cách cung cấp một sandbox di động có trạng thái, tương tác, lấy công cụ làm trung tâm, đồng thời mở mã nguồn toàn bộ cơ sở hạ tầng để thúc đẩn huấn luyện và RL. Hướng tương lai: mở rộng sang nhiều lĩnh vực di động hơn, tích hợp thiết bị thật, phát triển thuật toán self-repair trước lỗi runtime, và xây dựng planner học cách tự động mở rộng không gian kỹ năng động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Huấn luyện Mobile Planner Agent bằng reinforcement learning trên MobilePA-Bench, với reward dựa trên chuỗi công cụ đúng, trạng thái cuối, và hành vi sub-agent hợp lý.
  2. Nghiên cứu cơ chế tự phục hồi lỗi runtime trong planner: khi sandbox trả về exception (thiếu quyền, tham số sai, xung đột DB), agent tái lập kế hoạch mà không cần gợi ý từ người dùng.
  3. Mở rộng kiến trúc central planner + sub-agent cho tác vụ đa thiết bị (điện thoại, máy tính bảng, wearable), đánh giá phối hợp xuyên thiết bị và bảo mật quyền.
  4. Phát triển phương pháp truy xuất bộ nhớ người dùng có kiểm chứng, trong đó planner phải chứng minh yêu cầu ngầm được giải quyết đúng bằng memory record thay vì bịa đặt.

2. Patent:​

  1. Trợ lý du lịch cá nhân trên điện thoại: tự động truy xuất sở thích (hãng bay, khách sạn, điểm tham quan) từ bộ nhớ cục bộ, gọi skill đặt vé và khách sạn, quét mã QR để đặt vé tham quan, và nhờ GUI agent điền form khi API đối tác không khả dụng.
  2. Sandbox kiểm định agent di động trước khi phát hành: một môi trường mô phỏng hệ điều hành di động có cơ sở dữ liệu ứng dụng sống, dùng để tự động test hàng nghìn kịch bản thực tế (đặt chỗ, tin nhắn, cài đặt) và phát hiện lỗi bảo mật/quyền trước khi triển khai lên thiết bị người dùng.
  3. Hệ thống kỹ năng đóng gói trên điện thoại thông minh: người dùng hoặc nhà phát triển định nghĩa các quy trình đa bước (ví dụ 'chuẩn bị đi làm': tắt chuông, mở bản đồ, gửi tin nhắn), agent tự động nạp skill phù hợp, xử lý ngoại lệ và cập nhật trạng thái hệ thống mà không cần can thiệp thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23035
ArXiv Abstracthttps://arxiv.org/abs/2608.23035
PDF Downloadhttps://arxiv.org/pdf/2608.23035.pdf
Github RepositoryN/A

6. Prime Agent: A Self-Improving RLM Harness (32 votes)​

Tác giả: Seth Karten, Alex L. Zhang, Kevin Thomas, Sebastian Müller, Elie Bakouch, et al.

Xuất bản lúc: 2026-08-24

Tag: Recursive Language Model, Long-Horizon Agents, Tool Use, Multi-Agent Systems, Test-Time Compute

I. Main Problem:​

Mô hình ngôn ngữ vốn là bộ xử lý tuần tự bị giới hạn: quyết định tiếp theo chỉ dựa vào trọng số (L0) và context đang hoạt động (L1). Tuy nhiên, tác vụ đòi hỏi tầm xa (long-horizon agency) cần truy cập thông tin bên ngoài, tính toán bền vững và phối hợp nhiều bước. Các harness hiện có thường:

  • giới hạn hành động hoặc rơi mất trạng thái giữa các turn
  • kết thúc sớm hoặc tính toán sai tài nguyên
  • ép buộc workflow cố định, khiến mô hình thất bại vì harness chứ không phải vì năng lực thực sự.

II. Main Idea:​

Prime Agent là một harness mã nguồn mở giúp mô hình mở rộng không gian chiến lược bằng cách quản lý thông tin và tính toán qua nhiều tầng trạng thái. Kiến trúc gồm:

  • L0 – Model weights: kiến thức đã học.
  • L1 – Active context: trạng thái token-visible, được nén qua compaction.
  • L2 – REPL và subagents: IPython REPL bền vững + lời gọi rlm() đệ quy để chạy code, gọi tool, tạo tác nhân con song song.
  • L3 – Disk-backed state: lịch sử, kỹ năng, bộ nhớ, prompt, đặc tả subagent được lưu và tái sử dụng qua Continual Harness.
  • Agents View: giao diện cho con người xem, gửi tin, can thiệp vào các session daemon-backed.

Mô hình tự xây dựng chương trình, phân rã tác vụ, phân bổ compute và điều phối swarm; harness chỉ chuẩn hóa thực thi, khôi phục, xác minh và kế toán tài nguyên.

Ví dụ đời thường: giống như một nhà quản lý không tự làm hết việc mà cấp cho nhân viên mới một văn phòng riêng, máy tính, hồ sơ lưu trữ và bộ đàm để họ tự lập kế hoạch, thử nghiệm, ghi chép bài học và báo cáo lại; người quản lý chỉ đảm bảo mọi người không mất hồ sơ, không gian lận chi phí và không nghỉ giữa chừng.

III. Main Results:​

  • ARC-AGI-3: Prime Agent + Opus 5 đạt 95.5% RHAE Best@1, nâng từ mức ~30% của harness gốc; GPT-5.6 Sol đạt 78.3%.
  • Long-context coding & reasoning: cạnh tranh hoặc vượt Pi, Claude Code, Codex trên OOLONG, LongBench Pro, LongBench v2, ManyIH, LongCoT-Mini.
  • nanoGPT speedrun: duy trì chạy 85.5 giờ, 19 kỷ lục được xác minh; mô hình thường dùng REPL để thử nghiệm optimizer/coefficient ngoài script huấn luyện chính.
  • EmulatorBench: Prime Agent + Sol xây dựng thành công emulator Sega Genesis và Game Boy Color, trong khi các harness khác về 0.
  • PMPP-Hard (GPU kernel): đạt tỷ lệ giải 62.3–71.0% tùy cặp mô hình, với chi phí token thấp hơn đáng kể so với native harness.
  • Factorio: 24 công nghệ hoàn thành, 71% tiến độ advanced-circuit sau 23.4 triệu output token; tạo 633 subagent với tối đa 7 tác nhân song song.
  • MazeBench: hỗ trợ khám phá môi trường 3D dài hạn.

IV. Conclusion & Future Works:​

Prime Agent chứng minh rằng một harness biểu đạt, bền vững và có khả năng đệ quy có thể chuyển đổi token/cost thêm thành tiến bộ có xác minh trên các tác vụ dài hạn. Bằng cách tách lỗi harness khỏi lỗi mô hình và để mô hình tự quyết định chiến lược, đo lường sát hơn với năng lực tối đa thực sự của mô hình. Hướng tương lai: tăng cường an toàn cho refinement trực tuyến (chống exploit đo lường), cải thiện agentic garbage collection ở L2, và mở rộng huấn luyện thế hệ mô hình sau từ dữ liệu trajectory đã lưu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích định lượng mức đóng góp của từng thành phần harness (REPL bền vững, Continual Harness, direct agent-to-agent communication) lên các benchmark dài hạn qua ablation có kiểm soát.
  2. Nghiên cứu cơ chế self-improvement trong harness: làm thế nào việc lưu skills, memories và subagent specs tĩnh có thể thay thế hoặc bổ sung fine-tuning trọng số ở L0.
  3. Phát triển khung đánh giá an toàn cho agent tự chỉnh sửa: phát hiện và rollback refinement bị nhiễm exploit (như trường hợp Factorio spawn tài nguyên qua RCON).
  4. Mở rộng nguyên lý đa tác nhân đệ quy của Prime Agent sang phối hợp hàng trăm subagent trong các môi trường mở như MazeBench hoặc mô phỏng khoa học.

2. Patent:​

  1. Nền tảng agent lập trình dài hạn trên điện thoại: ứng dụng di động duy trì một IPython kernel bền vững trên cloud, cho phép AI trợ lý tự viết script, lưu kỹ năng và tiếp tục công việc coding sau khi người dùng đóng app.
  2. Hệ thống quản lý dự án phần mềm tự động: PM kỹ thuật AI phân rã feature thành các subagent, mỗi agent chạy song song, trao đổi qua hàng đợi bất đồng bộ và tự cập nhật skill/memory trong khi người quản lý giám sát qua Agents View.
  3. Môi trường đánh giá agent an toàn cho doanh nghiệp: harness container hóa cô lập quyền truy cập file/mạng/thông tin xác thực, ghi lại toàn bộ event history và tài nguyên, hỗ trợ audit và rollback khi agent tự tinh chỉnh gây ra hành vi không mong muốn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23552
ArXiv Abstracthttps://arxiv.org/abs/2608.23552
PDF Downloadhttps://arxiv.org/pdf/2608.23552.pdf
Github Repositoryhttps://github.com/PrimeIntellect-ai/prime-agent

7. The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models (29 votes)​

Tác giả: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, et al.

Xuất bản lúc: 2026-08-24

Tag: Causal Leakage Detection, Prefix Invariance, Attention, State-Space Models, Hybrid Sequence Models, Model Auditing

I. Main Problem:​

Các mô hình tự hồi quy giả định rằng đại diện tại vị trí t chỉ phụ thuộc vào các token ≤ t, nhưng tính chất này hiếm khi được kiểm chứng. Với kiến trúc lai hiện đại kết hợp attention, state-space, recurrent, và convolution, việc chỉ kiểm tra attention mask không còn đủ — rò rỉ thông tin tương lai có thể xảy ra qua scan, aggregation, hoặc normalization. Hậu quả:

  • leakage làm các metric huấn luyện (loss, perplexity, benchmark) trông tốt hơn thay vì báo lỗi rõ ràng
  • các so sánh kiến trúc và kết quả báo cáo có thể bị nhiễm trước khi phát hiện
  • không có công cụ nhẹ, nhanh, và xác định layer bị lỗi để kỹ sư sửa code.

II. Main Idea:​

Đề xuất prefix invariance audit: một phép kiểm tra gradient-free chỉ cần hai forward pass. Cho hai chuỗi đầu vào giống hệt nhau ngoại trừ token cuối cùng, so sánh đầu ra từng layer tại các vị trí prefix [0, T−1). Nếu bất kỳ layer nào khác nhau tại prefix, đó chính là layer đầu tiên bị rò rỉ.

Ưu điểm so với mask inspection:

  • không hỏi "mask đúng chưa" mà hỏi "đại diện prefix có thay đổi khi tương lai thay đổi không"
  • áp dụng cho attention-only, state-space, recurrent, hybrid mà không cần sửa code
  • localize chính xác đến layer, thay vì chỉ báo "có lỗi"

Ví dụ đời thường: giống như thợ sửa ống nước không hỏi "van đóng có đúng kiểu không" mà mở nước ở cuối đường ống xem nước có chảy ngược về đầu không; chỗ nào nước chảy ngược đầu tiên là chỗ van hỏng.

III. Main Results:​

  • Kiểm tra 192 injected-fault trials trên 8 checkpoints: audit localize chính xác 192/192 layer bị lỗi, trong khi static mask inspection phát hiện 0/192.
  • Audit chạy trên CPU trong 0.1–0.5 giây cho model 135M tham số; multi-billion-parameter chỉ cần GPU vì dung lượng, không phải vì tính toán test.
  • Static/dynamic analysis phát hiện lỗi chunk-axis trong Zamba2 và Nemotron-H, patch 2 dòng đưa leak về exact zero.
  • So sánh baselines:
    • logits-only perturbation phát hiện được nhưng không localize
    • gradient-based localization chính xác nhưng cần backward pass, không chạy được với quantization/custom kernel
    • cache-consistency test báo false positive trên model sạch
  • Clean checkpoints cho delta exact zero, khiến threshold-robust trong khoảng τ ∈ [10⁻⁶, 10⁻³].
  • Phát hiện quan trọng: audit sequence length phải vượt quá chunk/kernel/window size mới kích hoạt được đường dẫn lỗi; nhiều model trông sạch ở T=48 nhưng leak ở T lớn hơn chunk size.

IV. Conclusion & Future Works:​

Prefix invariance là một tính chất semantic và có thể kiểm tra trực tiếp, không phải qua kiểm tra mask. Audit đơn giản đủ để trở thành tiêu chuẩn bắt buộc khi release mô hình, tương tự như báo parameter count và benchmark. Hướng tương lai: tích hợp audit vào CI/CD release, mở rộng cho speech/vision/time-series autoregressive, và nghiên cứu chiến lược chọn độ dài chuỗi audit tự động dựa trên hyperparameter của kiến trúc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng prefix invariance audit cho các mô hình autoregressive ngoài ngôn ngữ: WaveNet-style audio, Vision Transformers autoregressive, và time-series forecasting để xác minh tính nhân quả trong các miền khác.
  2. Phát triển chiến lược tự động chọn độ dài chuỗi kiểm tra T dựa trên chunk size, kernel size, và attention window của kiến trúc nhằm kích hoạt tất cả đường dẫn thực thi có thể gây leak.
  3. Mở rộng audit từ forward-only sang kiểm tra tương đương giữa cached inference path và full-sequence path, vì đây là một tính chất riêng biệt quan trọng cho deployment.

2. Patent:​

  1. Module kiểm tra nhân quả tích hợp trong pipeline release mô hình ngôn ngữ trên điện thoại: trước khi đẩy OTA update, thiết bị tự chạy two-forward-pass audit, chỉ cho phép load model nếu prefix invariance đạt exact zero.
  2. Công cụ diagnostic trên điện thoại cho các assistant AI: khi người dùng báo model đưa ra phản hồi kỳ lạ, hệ thống chạy nhanh prefix audit để xác định layer đầu tiên bị leak và gửi báo cáo layer index về backend.
  3. Hệ thống kiểm tra causal correctness cho chip NPU trên thiết bị di động: so sánh output của model chạy trên NPU tùy chỉnh với reference CPU bằng cách thay token cuối và đo delta prefix, phát hiện lỗi compiler/kernel scan trước khi ship firmware.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.22876
ArXiv Abstracthttps://arxiv.org/abs/2608.22876
PDF Downloadhttps://arxiv.org/pdf/2608.22876.pdf
Github RepositoryN/A

8. Block3D: Efficient Text-to-3D Generation via Block-Wise Diffusion (27 votes)​

Tác giả: Bowen Cui, Weijie Wang, Zeyu Zhang, Yefei He, Mingda Lin, et al.

Xuất bản lúc: 2026-08-20

Tag: Text-to-3D Generation, Diffusion Models, Autoregressive Models, 3D Shape Generation, Efficient Inference, Block-Wise Generation

I. Main Problem:​

Sinh hình 3D từ văn bản đối mặt với sự đánh đổi gay gắt giữa chất lượng hình học và độ trễ suy luận:

  • Các mô hình autoregressive (như Cube) giải mã từng token hình dạng một cách tuần tự, không thể sửa lỗi sau khi đã phát sinh, dẫn đến tích lũy sai sót.
  • Các mô hình diffusion/flow-matching tinh chỉnh toàn bộ biểu diễn 3D qua nhiều bước, làm tăng chi phí tính toán khi đòi hỏi chi tiết cao.
  • Kết quả là các phương pháp hiện có khó đạt đồng thời độ trung thực hình học cao và thời gian sinh tương tác.

II. Main Idea:​

Block3D thay đổi đơn vị sinh từ từng token riêng lẻ sang các khối (block) token liên tiếp. Quy trình:

  • Chia chuỗi 1024 mã hình dạng của Cube thành 16 khối, mỗi khối 64 token.
  • Các khối được sinh từ trái sang phải theo kiểu autoregressive, nhưng tất cả token trong khối đang hoạt động được khử nhiễu song song dưới attention hai chiều.
  • Trước khi khóa khối, cơ chế confidence-guided intra-block correction kết hợp M2T (điền mặt nạ) và T2T (sửa token đã điền) để sửa các token có độ tin cậy thấp, giảm tích lũy lỗi.
  • Khối đã hoàn thành bị đóng băng làm prefix, không mở lại; decoder VQ cố định của Cube biến chuỗi mã thành lưới 3D.

Ví dụ đời thường: giống như đóng từng thùng carton khi chuyển nhà — xếp tất cả đồ vào một thùng cùng lúc, kiểm tra và sắp xếp lại trong thùng đó trước khi dán băng, rồi mới chuyển sang thùng tiếp theo; khác với viết từng từ không thể sửa hay viết lại cả cuốn sách nhiều lần.

III. Main Results:​

  • Tốc độ: thời gian sinh trung bình giảm từ 25.71 giây (Cube) xuống 4.99 giây, đạt tăng tốc 5.15× trên một A100.
  • Chất lượng hình học: Block3D đạt chỉ số tốt nhất trong các phương pháp so sánh trên tập 100 vật thể TRELLIS-500K: CD-L1 = 0.078, normal consistency = 0.668, F@1% = 0.309; vượt qua Cube (0.094/0.632/0.219) và TRELLIS-text, ShapeLLM-Omni, AR3D-R1.
  • Căn chỉnh văn bản-hình dạng: CLIPScore 23.24, cạnh tranh với Cube 23.87.
  • Ablation: block size B = 64 và T = 4 bước khử nhiễu cho cân bằng tốt nhất giữa chất lượng và độ trễ; bỏ T2T editing làm CD-L1 tăng 4.7% và F@1% giảm.

IV. Conclusion & Future Works:​

Block3D cho thấy có thể kết hợp tính song song của diffusion trong khối với tính nhân quả từng khối của autoregression để sinh 3D nhanh hơn nhiều mà không làm giảm độ chính xác hình học, thậm chí còn cải thiện. Cơ chế sửa lỗi trong khối trước khi cam kết là yếu tố then chốt giảm tích lũy sai sót.

Hướng phát triển: mở rộng lịch trình khối thích ứng (adaptive block schedule), áp dụng block-wise diffusion cho các biểu diễn 3D khác như 3D Gaussian Splatting hoặc NeRF, và tinh chỉnh chiến lược confidence-guided để cân bằng chất lượng-latency linh hoạt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng khuôn khổ block-wise diffusion cho sinh video hoặc âm thanh dài, chia chuỗi token thành các khối thời gian và sửa lỗi nội khối trước khi tiến về phía trước.
  2. Kết hợp Block3D với 3D Gaussian Splatting để sinh cảnh 3D có thể render tương tác trong thời gian thực từ mô tả văn bản.
  3. Nghiên cứu lịch trình khối động (dynamic block size) dựa trên độ phức tạp hình học cục bộ, thay vì cố định kích thước khối.
  4. Mở rộng block-wise diffusion cho few-shot và zero-shot 3D generation, tận dụng prefix đã đóng băng để điều kiện hóa nhanh từ vài hình ảnh tham chiếu.
  5. Phát triển bộ tokenizer 3D lai kết hợp mã hóa đa cấp (hierarchical/octree) với khối cố định để cân bằng độ phân giải và chi phí suy luận.

2. Patent:​

  1. Ứng dụng di động tạo mô hình 3D từ mô tả văn bản cho thiết kế sản phẩm: người dùng nhập mô tả trên điện thoại, hệ thống dùng block-wise diffusion để sinh mô hình 3D trong vài giây, hỗ trợ xem trước AR và xuất file in 3D.
  2. Hệ thống tạo nội dung 3D cho game di động: nhà phát triển mô tả vật phẩm/nhân vật bằng ngôn ngữ tự nhiên, hệ thống sinh khối lưới 3D tối ưu để nhập trực tiếp vào engine game với độ trễ tương tác.
  3. Ứng dụng thương mại điện tử tạo mô hình 3D sản phẩm từ mô tả: người bán nhập mô tả sản phẩm, hệ thống tạo nhanh tài sản 3D để khách hàng xoay, zoom trên điện thoại mà không cần chụp ảnh nhiều góc.
  4. Công cụ hỗ trợ giáo dục trên máy tính bảng: giáo viên hoặc học sinh nhập khái niệm (ví dụ "tế bào thực vật", "động cơ điện"), hệ thống sinh mô hình 3D có thể tương tác để quan sát cấu trúc từ mọi góc độ.
  5. Module thiết kế nội thất nhanh trên điện thoại: người dùng mô tả đồ nội thất mong muốn, hệ thống sinh mô hình 3D tương thích kích thước và đặt vào ảnh thực tế của căn phòng qua AR để đánh giá trước khi mua.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.19567
ArXiv Abstracthttps://arxiv.org/abs/2608.19567
PDF Downloadhttps://arxiv.org/pdf/2608.19567.pdf
Github Repositoryhttps://github.com/ziplab/Block3D

9. RISE: Adaptive Imagination for World Action Models (24 votes)​

Tác giả: Hongbo Lu, Liang Yao, Chenghao He, Hao Han, Fan Liu, et al.

Xuất bản lúc: 2026-08-20

Tag: World Action Models, Autonomous Driving, Adaptive Rollout, Counterfactual Data, Planning

I. Main Problem:​

Các mô hình World Action Models (WAMs) cải thiện quy hoạch bằng cách dự đoán sự tiến hóa của thế giới trước khi sinh hành động, nhưng các phương pháp hiện tại dùng ngân sách tưởng tượng cố định cho mọi cảnh. Hệ quả:

  • lãng phí chi phí tính toán ở tình huống đơn giản, khi quan sát hiện tại đã đủ để quyết định
  • không đủ chiều sâu dự đoán ở các cảnh phức tạp, tiềm ẩn va chạm hoặc tương tác chưa được giải quyết
  • dữ liệu lái xe thực chỉ chứa một tương lai đã xảy ra, khiến mô hình không tiếp xúc được các kịch bản nguy hiểm có thể xảy ra để học rủi ro.

II. Main Idea:​

RISE (Refining Imagination through Selective Rollout) thêm một Scheduler nhẹ gồm Latent Evaluator và Rollout Gate vào kiến trúc Encoder–Predictor–Planner của WAM. Quy trình:

  • ở mỗi bước roll-out, Latent Evaluator ước tính Risk Profile (rủi ro đã lộ ra qua prefix hiện tại) và Future Planning Gain Profile (mức cải thiện quy hoạch nếu dự đoán tiếp)
  • Rollout Gate cân nhắc lợi ích dự kiến với chi phí tính toán thêm, rồi quyết định Roll (sinh thêm một bước tiềm ẩn tương lai) hoặc Stop (chuyển prefix đã chọn cho Planner)
  • độ sâu roll-out hiệu quả nảy sinh từ chuỗi quyết định tuần tự, chứ không phải một số cố định chọn trước
  • CounterDrive bổ sung các kịch bản counterfactual đã xác minh với đa dạng kết quả và mức rủi ro, cung cấp giám sát rủi ro địa phương và làm phong phú động lực học tương lai

Ví dụ đời thường: giống như tài xế khi đến ngã tư đông đúc thì chậm lại, quan sát thêm vài giây để đọc ý định của xe khác rồi mới rẽ; còn trên đường trống thì nhìn một cái là đi luôn, không lãng phí thời gian suy nghĩ thêm.

III. Main Results:​

  • NAVSIM v1: đạt 91.5 PDMS; NAVSIM v2: đạt 90.8 EPDMS, vượt các phương pháp hiện đại.
  • nuScenes: L2 trung bình 0.31 m, tỷ lệ va chạm trung bình 0.10, đạt hiệu suất quy hoạch tổng thể tốt nhất.
  • Giảm số bước roll-out không cần thiết mà vẫn giữ chất lượng quy hoạch.
  • CounterDrive cải thiện khả năng phân biệt các tình huống nguy hiểm trong đánh giá safety-critical.
  • Scheduler của RISE có thể cắm vào kiến trúc WAM khác mà không sửa Predictor hay Planner, chứng tỏ tính tổng quát plug-in.

IV. Conclusion & Future Works:​

RISE chứng minh rằng ngân sách tưởng tượng nên là hàm của từng cảnh, không phải siêu tham số cố định. Việc kết hợp lợi ích quy hoạch tương lai với chi phí tính toán tạo ra sự đánh đổi linh hoạt giữa độ an toàn và độ trễ. Hướng tương lai: mở rộng Evaluator cho nhiều modal hơn, tích hợp chi phí độ trễ thời gian thực rõ ràng, và áp dụng CounterDrive cho các tác vụ world modeling khác ngoài lái xe.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng chiến lược roll-out thích ứng cho các môi trường động lực học phức tạp như điều khiển robot thao tác hoặc quản lý giao thông đô thị, trong đó lợi ích của việc dự đoán sâu thay đổi theo ngữ cảnh.
  2. Mở rộng CounterDrive sang các lĩnh vực ngoài xe tự hành để xây dựng tập dữ liệu counterfactual đã xác minh, phục vụ đánh giá rủi ro cho robot y tế hoặc hệ thống công nghiệp.
  3. Nghiên cứu học tăng cường với reward dựa trên Future Planning Gain để mô hình tự điều chỉnh độ sâu tưởng tượng mà không cần siêu tham số chi phí cố định.
  4. Kết hợp RISE với các mô hình video diffusion lớn để sinh roll-out chất lượng cao hơn, đồng thời dùng Evaluator để lọc các tương lai không hợp lý trước khi đưa vào Planner.

2. Patent:​

  1. Ứng dụng hỗ trợ lái xe trên điện thoại thông minh: dùng camera điện thoại quay đường phía trước, ước lượng Future Planning Gain theo từng khung hình để quyết định dự đoán thêm hay cảnh báo ngay, cân bằng giữa độ chính xác và tiêu hao pin.
  2. Hệ thống định vị và quy hoạch đường đi trên điện thoại cho người đi bộ hoặc đạp xe: tự động tăng độ sâu dự đoán khi đến ngã tư đông đúc hoặc khu vực có nhiều phương tiện, giảm tính toán khi đường vắng để phản hồi nhanh hơn.
  3. Module an toàn cho xe hơi kết nối điện thoại: điện thoại xử lý hình ảnh từ camera sau hoặc dashcam, sinh các kịch bản counterfactual về va chạm tiềm năng và đánh giá rủi ro địa phương để cảnh báo tài xế đúng lúc.
  4. Robot giao hàng nhỏ điều khiển qua ứng dụng di động: dựa trên luồng video từ camera robot, Scheduler thích ứng điều chỉnh số bước dự đoán trước khi rẽ hoặc vượt chướng ngại vật, giúp robot vừa an toàn vừa phản ứng nhanh trên điện thoại người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.20430
ArXiv Abstracthttps://arxiv.org/abs/2608.20430
PDF Downloadhttps://arxiv.org/pdf/2608.20430.pdf
Github Repositoryhttps://github.com/COOWAI/RISE

10. Towards a Densing Law for User Representation Learning at Billion-Scale Capacity (22 votes)​

Tác giả: Bin Dou, Junru Zhang, Zhaoyi Yuan, Wuliang Huang, Letian Gong, et al.

Xuất bản lúc: 2026-08-24

Tag: User Representation Learning, Scaling Law, Behavioral Tokenization, Residual Quantization, Industrial Recommendation

I. Main Problem:​

Học biểu diễn người dùng trong hệ thống công nghiệp tỷ quy mô gặp tường mở rộng dữ liệu thô: tăng số người dùng, độ dài chuỗi hành vi hay kích thước mô hình mang lại lợi ích cận biên ngày càng nhỏ. Cụ thể:

  • Dữ liệu hành vi người dùng chứa nhiều sự kiện lặp lại theo thói quen hàng ngày, nên thể tích dữ liệu tăng nhanh hơn nhiều so với lượng thông tin thực sự hữu ích.
  • Mô hình lớn hơn làm loss huấn luyện giảm nhưng không cải thiện độ chính xác downstream, tức xảy ra hiện tượng loss–quality dissociation.
  • Chưa có công thức định lượng để chọn cấu hình tokenization (kích thước codebook, độ sâu residual, độ dài token) phù hợp với quy mô dữ liệu.

II. Main Idea:​

Bài báo đề xuất User Behavioral Densing Law để đặc trưng hóa mối quan hệ định lượng giữa quy mô dữ liệu và dung lượng tokenization tối thiểu đủ dùng. Cốt lõi:

  • Behavioral densing: biến đổi lịch sử hành vi thô dài thành các biểu diễn rời rạc, gọn gàng qua residual quantization (RQ-VAE), giữ lại phân biệt liên quan downstream và loại bỏ thừa thãi.
  • Dựa trên ba nguyên tắc: Bounded Raw Gains (lợi ích thô bị giới hạn), Density Driven Scaling (mở rộng theo mật độ thông tin) và Minimal Sufficient Capacity (chỉ dùng đủ dung lượng cần thiết).
  • Đề xuất ALGN (Adaptive Length Gated Network): phân bổ độ sâu residual biến đổi theo từng mẫu người dùng, cấp thêm token cho đoạn hành vi entropy cao và ít token cho thói quen lặp lại.

Ví dụ đời thường: giống như thu dọn tủ quần áo chật cứng thành vài chiếc túi gọn gàng, mỗi túi chỉ giữ lại trang phục thực sự cần cho chuyến đi, thay vì cố nhét thêm tủ đồ cũ vào vali.

III. Main Results:​

  • Trên tập Alipay tỷ quy mô, dữ liệu thô bão hòa ở khoảng 0.03B người dùng và 60 ngày lịch sử, trong khi dữ liệu tokenized tiếp tục tăng hiệu suất trên các tác vụ classification, text retrieval và U2U retrieval.
  • Tăng kích thước mô hình từ 0.2B lên 0.4B tham số trên dữ liệu thô gần như không cải thiện AUC downstream, chứng tỏ nút thắt là mật độ thông tin, không phải sức chứa mô hình.
  • Biểu diễn tokenized vượt qua tường mở rộng của dữ liệu thô dưới cùng ngân sách token và compute.
  • ALGN vượt các baseline hiện có về hiệu suất và hiệu quả trên nhiều nguồn dữ liệu, phương pháp tokenization và tác vụ downstream.

IV. Conclusion & Future Works:​

Densing Law cho thấy con đường bền vững để mở rộng học biểu diễn người dùng là tăng mật độ thông tin trong mỗi đơn vị đầu vào, thay vì xử lý thêm sự kiện thô. ALGN thực hiện nguyên tắc này bằng cách phân bổ dung lượng token thích ứng theo độ phức tạp của từng người dùng. Hướng tương lai: tinh chỉnh định luật cho các miền hành vi khác nhau, mở rộng quy mô codebook và độ sâu residual, đồng thời tích hợp tối ưu compute-aware cho hệ thống sản xuất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Densing Law cho dữ liệu đa phương thức (PayBill, MiniProgram, SPM) với phân bổ dung lượng chéo giữa các nguồn hành vi.
  2. Nghiên cứu lý thuyết về biên thông tin của chuỗi hành vi người dùng để dự đoán dung lượng tokenization tối thiểu mà không cần thử nghiệm đầy đủ.
  3. Áp dụng tokenization dựa trên entropy cho các tác vụ tuần tự dài khác như log hệ thống, chuỗi giao dịch tài chính và dữ liệu chuỗi thời gian công nghiệp.

2. Patent:​

  1. Hệ thống gợi ý và quảng cáo cá nhân hóa trên ví điện tử/điện thoại: thuật toán trên đám mây tokenizes lịch sử giao dịch tỷ người dùng thành semantic ID gọn nhẹ, cung cấp cho các mô hình CTR/CVR mà không cần lưu trữ chuỗi thô dài.
  2. Module tìm kiếm và targeting người dùng theo văn bản trên ứng dụng di động: biểu diễn người dùng được nén thành token rời rạc, cho phép tìm kiếm người dùng tương tự (U2U retrieval) và targeting zero-shot nhanh trên thiết bị di động.
  3. Hệ thống phát hiện gian lận theo thời gian thực: lịch sử giao dịch dài của người dùng được densing thành chuỗi token ngắn, giúp phát hiện bất thường với độ trễ thấp và tiết kiệm bộ nhớ trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23392
ArXiv Abstracthttps://arxiv.org/abs/2608.23392
PDF Downloadhttps://arxiv.org/pdf/2608.23392.pdf
Github Repositoryhttps://github.com/David-Dou/find-densing-law

11. Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization (15 votes)​

Tác giả: Xianlei Zhou, Xiangdi Meng, Yu He, Tianyu Qi, Shuyan Guan, et al.

Xuất bản lúc: 2026-08-24

Tag: LLMs, Reinforcement Learning, Policy Optimization, GRPO, KL Regularization, RLVR, Mathematical Reasoning

I. Main Problem:​

Tối ưu chính sách (Policy Optimization) cho LLM đối mặt với cặp phản xạ ổn định–thăm dò trong thiết lập RLVR hiện tại:

  • Policy-KL thường áp đặt lên phân phối câu trả lời (action-side), vừa khóa hành vi tạo câu trả lời, vừa tiêu tốn ngân sách thăm dò.
  • Nếu bỏ Policy-KL, tối ưu mất điều khiển độ trôi (drift control), dễ dẫn đến reward hacking hoặc sụp đổ chính sách.
  • Hơn nữa, khi huấn luyện, phân phối query mà mô hình tự gán xác suất cũng bị trôi khỏi tham chiếu pre-RL, tạo ra non-stationarity ở đầu vào và phóng đại phương sai gradient mà không có chốt hãm nào.

II. Main Idea:​

Environment-Regularized Policy Optimization (ERPO) chuyển regularization từ action-side sang input-side thay vì siết chặt câu trả lời:

  • Query-KL (QKL): giới hạn KL divergence giữa phân phối query do chính sách hiện tại sinh ra ρθ và phân phối tham chiếu pre-RL ρθ0, kiểm soát độ trôi của môi trường huấn luyện.
  • Query reweighting: nhân gradient từng query với trọng số tĩnh dựa trên likelihood tham chiếu, đẩy cập nhật về các query điển hình, giảm phương sai và ổn định khi sampling nhiệt độ cao.
  • Tách biệt cấu trúc: gradient QKL chỉ đi qua likelihood của query ∇θℓθ(q), không động đến score function của câu trả lời, nên bảo toàn khả năng thăm dò ở action space.
  • ERPO cắm trực tiếp vào GRPO/PPO/REINFORCE, chỉ cần cached log-likelihood query tham chiếu và likelihood query hiện tại từ forward pass sẵn có.

Ví dụ đời thường: giống như trường dạy lái xe thay vì siết tay lái của học viên (hạn chế cách đánh lái), học viên được tự do đánh lái, nhưng các tuyến đường thực hành được giữ ổn định và ưu tiên những tuyến quen thuộc, giúp học nhanh hơn mà không bị choáng trước địa hình lạ.

III. Main Results:​

  • Trên 6 benchmark lý luận toán học (AIME24/25, AMC, MATH500, Minerva, OlympiadBench), ERPO vượt GRPO với +6.2% Avg@32, +3.64% Pass@32, +5.69% Pass@1 (Qwen2.5-Math-7B).
  • ERPO duy trì hiệu suất ổn định hơn rõ rệt trong huấn luyện dài hạn (lên đến 1K bước) và ở nhiệt độ decoding cao, nơi GRPO bắt đầu sụt giảm mạnh sau ~400 bước.
  • Ablation: Query-KL là thành phần mang lại phần lớn lợi ích; query reweighting đóng vai trò bổ trợ, giảm Policy-KL và entropy, giúp training ổn định hơn.
  • Khi tăng số rollout lên 16, ERPO đạt Pass@1 trung bình 74.6% và khả năng chịu nhiệt cao cải thiện đáng kể; mô hình cũng học định dạng reasoning tốt hơn GRPO.
  • Qwen-32B với ERPO đạt Avg@32 84.60%, vượt GRPO (81.62%) và đặc biệt vượt trội ở nhiệt độ cao (82.80% vs 57.20%).

IV. Conclusion & Future Works:​

ERPO giải quyết bài toán stability–exploration bằng cách tách regularization khỏi không gian câu trả lời và chuyển sang kiểm soát phân phối query—yếu tố gây non-stationarity bị bỏ qua trong các phương pháp PO truyền thống. Phương pháp cho thấy có thể kiểm soát KL tương đương mà không cần siết Policy-KL, đồng thời cải thiện độ chính xác và ổn định.

Hướng tương lai:

  • Kiểm chứng ERPO trên các miền rộng hơn: instruction-following, dialogue, code generation, đa ngôn ngữ.
  • Cải thiện chi phí/độ chính xác của ước lượng query-level likelihood với các cơ chế chọn dữ liệu và quy mô mô hình khác.
  • Tìm kiếm siêu tham số α có hệ thống và nghiên cứu cân bằng giữa query-KL và policy entropy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Environmental Regularization cho các bộ dữ liệu instruction-following và code generation, xác định điều kiện mà query-drift ảnh hưởng mạnh nhất đến hiệu suất tổng quát.
  2. Kết hợp ERPO với Process Reward Models (PRMs) để ổn định huấn luyện multi-step reasoning khi reward thưa và phương sai cao.
  3. Nghiên cứu chiến lược adaptive α dựa trên mức độ trôi query trong thời gian thực, cân bằng giữa regularization và exploration động.

2. Patent:​

  1. Hệ thống huấn luyện mô hình lý luận trên điện toán đám mây sử dụng ERPO: tách biệt kiểm soát query distribution khỏi giới hạn câu trả lời, cho phép cá nhân hóa mô hình trợ lý mà vẫn giữ tính ổn định và sáng tạo trong phản hồi.
  2. Module ổn định RL cho ứng dụng giải toán trên điện thoại: tính năng tự động cache likelihood các câu hỏi tham chiếu và điều chỉnh trọng số cập nhật, giảm crash/sai lệch mô hình khi người dùng đưa ra prompt nhiệt độ cao hoặc không chuẩn.
  3. Công cụ đánh giá chất lượng huấn luyện LLM dựa trên Query-KL: dashboard theo dõi độ trôi phân phối query theo thời gian thực, cảnh báo khi môi trường huấn luyện lệch quá xa pre-RL reference để kỹ sư can thiệp sớm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23311
ArXiv Abstracthttps://arxiv.org/abs/2608.23311
PDF Downloadhttps://arxiv.org/pdf/2608.23311.pdf
Github Repositoryhttps://github.com/AlibabaResearch/ERPO

12. ReWorld: An Interactive World Model with Long-Horizon Memory (15 votes)​

Tác giả: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, et al.

Xuất bản lúc: 2026-08-24

Tag: World Models, Interactive Video Generation, Long-Horizon Memory, Diffusion Models, Camera Control, LoRA Distillation, KV Cache

I. Main Problem:​

Các mô hình thế giới tương tác phải đồng thời làm ba việc mâu thuẫn nhau: phản ứng tức thì theo hành động người dùng, ghi nhớ không gian để địa điểm quay lại trông như cũ, và stream liên tục trong thời gian thực. Vấn đề cấu trúc là điều khiển camera cần cửa sổ chú ý ngắn, trong khi trí nhớ không gian cần cửa sổ dài vô hạn; khi huấn luyện chung, điều khiển học tốt nhưng trí nhớ xa bị suy giảm. Hơn nữa, ở suy luận thiết bị không thể giữ toàn bộ lịch sử KV cache, nên các phương pháp cửa sổ trượt sớm quên mất bằng chứng quay lại, còn full-KV thì hết bộ nhớ.

II. Main Idea:​

ReWorld tách biệt điều khiển và trí nhớ trong huấn luyện, rồi nén trí nhớ vào ngân sách cố định khi suy luận. Cơ chế chính:

  • Mixed per-head attention windows: mỗi block 24 heads được chia thành 18 head local (chỉ nhìn 12 frame gần nhất) để học phản ứng nhanh, và 6 head global (toàn bộ lịch sử nhân quả) để học truy xuất xa.
  • Random head routing: mỗi bước optimizer đổi bộ 6 head toàn cục theo một bể 12 phân vùng ngẫu nhiên, nên không head nào gắn liền với một năng lực cố định; khi suy luận tất cả head đọc chung một cache hữu hạn mà không mất khả năng nào.
  • Pose-indexed landmark bank: chunk cũ được lưu đầy đủ độ phân giải như một landmark khi camera đã di chuyển đủ xa, ngân hàng giới hạn K=30 và xóa landmark dư thừa nhất theo khoảng cách pose; khi quay lại, 6 landmark gần pose hiện tại được nạp vào cache.
  • Chunk-drop training: ngẫu nhiên che một nửa lịch sử chunk trong huấn luyện, giúp mô hình quen với cache thưa, không liên tục như lúc suy luận.
  • Distribution-matching distillation trong LoRA: cùng một backbone với adapter rank-128 sinh 4 bước denoising để stream real-time, trong khi tắt LoRA vẫn có chế độ multi-step chất lượng cao.
  • Metric-scale-aligned data engine: hợp nhất 8 nguồn (UE render, video thực, gameplay) về cùng thang tỷ lệ vật lý, dùng quỹ đạo palindrome để tạo dữ liệu quay lại.

Ví dụ đời thường: giống như người lái xe vừa liên tục quan sát gương chiếu hậu gần để đổi làn an toàn (cửa sổ ngắn), vừa thỉnh thoảng liếc bản đồ tổng thể để biết mình đã đi đâu (cửa sổ dài); và vì não không nhớ từng mét đường, họ chỉ ghi nhớ các cột mốc quan trọng dọc đường, rồi tra lại cột mốc gần nhất khi quay lại đoạn cũ.

III. Main Results:​

  • Điều khiển camera tốt nhất trên benchmark 40 ảnh × 6 quỹ đạo so với 6 baseline: RotErr 11.95° và CamMC 0.332, vượt SANA-WM, DreamX, HY-WorldPlay, Matrix-Game 3.0, LingBot-World, Yume-1.5.
  • Chất lượng video tốt nhất theo các chỉ số VBench trong nhóm so sánh.
  • Trí nhớ chân trời dài: trên rollout đi-về kéo dài 64 giây, 384 latent (12× phạm vi sliding window), cache cố định 12 chunk của ReWorld vẫn tái tạo được khung cảnh ban đầu, trong khi sliding window đã xóa bằng chứng và full-KV bị OOM.
  • Điều khiển được cách ly khỏi chính sách cache: ablation cho thấy thay đổi cách nén cache ở suy luận không làm thay đổi lỗi điều khiển, chứng minh random head routing đã ngăn khả năng điều khiển gắn vào cửa sổ dài.
  • Stream real-time 704×1280 ở cả thế giới photorealistic, game-style và stylized nhờ DMD LoRA 4 bước.

IV. Conclusion & Future Works:​

ReWorld chứng minh việc tách cửa sổ chú ý trong huấn luyện và nén trí nhớ theo pose ở suy luận có thể giải quyết mâu thuẫn giữa điều khiển tức thì và trí nhớ xa. Hướng phát triển tiếp theo có thể là mở rộng landmark bank cho cảnh động, thêm bộ nhớ phân cấp cho chân trời dài hơn, hoặc học chính sách consolidation dựa trên xác suất quay lại thay vì chỉ dựa trên dư thừa hình học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng random head routing và window-split training cho các tác vụ generative streaming khác ngoài world models, ví dụ tiếp nối video dài hoặc sinh nhạc tương tác.
  2. Nghiên cứu chính sách consolidation có thể học được (learned eviction/retention) dựa trên xác suất dự đoán đoạn đường sẽ được quay lại, thay vì chỉ dùng khoảng cách pose.
  3. Kết hợp trí nhớ pose-indexed của ReWorld với retrieval ngữ nghĩa để hỗ trợ lệnh mở cho tác nhân tự do trong môi trường ảo.

2. Patent:​

  1. Ứng dụng du lịch AR trên điện thoại: người dùng cầm điện thoại đi bộ trong bảo tàng hoặc khu phố; ứng dụng xây dựng pose-indexed landmark cache, khi người dùng quay lại đúng vị trí cũ, lớp AR hiển thị hướng dẫn ảo hoặc nhân vật từ đúng góc nhìn trước đó, không bị trôi.
  2. Game streaming tương tác trên mobile: người chơi điều khiển camera bay trong thế giới game được render trên đám mây; thiết bị giữ một landmark bank gọn để khi quay lại dungeon hoặc khu phố cũ, hình ảnh load ngay và nhất quán, dù bộ nhớ điện thoại cố định.
  3. Trợ lý tạo video trên smartphone: người dùng quay một đoạn video ngắn rồi nhập lệnh camera path; điện thoại dùng mô hình thế giới 4 bước để mở rộng video tương tác, với bộ nhớ landmark có giới hạn đảm bảo nhân vật và phông nền trông giống hệt khi camera quay lại vị trí cũ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23565
ArXiv Abstracthttps://arxiv.org/abs/2608.23565
PDF Downloadhttps://arxiv.org/pdf/2608.23565.pdf
Github Repositoryhttps://github.com/zhifeichen097/ReWorld

13. ARC: Fair Relative Advantage Comparison in Open-Ended Real-World Interaction (15 votes)​

Tác giả: Yongqi Tong, Tan Li Hui Faith, Choy Zhen Wen Marcus, Zhou Jin, Kewei Fu, et al.

Xuất bản lúc: 2026-08-13

Tag: Reinforcement Learning, RLHF, AI Agents, Tool Use, Group-Based RL, Reward Fairness, Interaction Strategies

I. Main Problem:​

Các phương pháp học tăng cường dựa trên nhóm (GRPO, PPO, DAPO) so sánh các rollout trong cùng một nhóm để ước lượng ưu thế tương đối. Trong tương tác thực mở, cùng một trạng thái hội thoại có thể chấp nhận nhiều hành động hợp lý: trả lời trực tiếp, hỏi lại làm rõ, cập nhật tiến độ, hoặc xác nhận trước hành động không thể hoàn tác. Các lựa chọn này khác nhau về chiến lược tương tác hơn là chất lượng. Khi reward model mang thiên lệch về độ dài, phong cách hoặc dữ liệu huấn luyện, phần thưởng chuẩn hóa sẽ lẫn lộn chất lượng thực sự với sở thích của reward model, tạo ra ưu thế tương đối không công bằng và đẩy chính sách về kiểu tương tác mà reward model thích thay vì kiểu phù hợp ngữ cảnh. Bài báo hình thức hóa đây là reward fairness problem.

II. Main Idea:​

Advantage Regularization via Conditioning (ARC) là công thức huấn luyện nhóm chiến lược có điều kiện. Cơ chế chính:

  • Mỗi ví dụ huấn luyện được ghép với một chỉ dẫn chiến lược tương tác, ví dụ: cập nhật tiến độ, hỏi lại làm rõ, xác nhận, hoặc trả lời trực tiếp.
  • Mô hình sinh nhiều rollout trong cùng một lớp chiến lược đó, rồi tính ưu thế tương đối chỉ bên trong nhóm.
  • Điều này loại bỏ phương sai liên chiến lược ra khỏi tín hiệu ưu thế, thay vì so sánh trực tiếp các hành vi khác loại trong cùng một nhóm.
  • Hàm mục tiêu kết hợp hybrid reward và entropy regularization để tránh sụp đổ entropy khi sinh đồng thời suy luận ẩn, thẻ câu trả lời và lệnh công cụ.
  • Khi suy luận thực tế, chỉ dẫn chiến lược được gỡ bỏ, chính sách tự chọn chiến lược phù hợp với ngữ cảnh.

Kèm theo đó, INTER3 tách kênh tương tác người dùng ra khỏi kênh thực thi nội bộ: nội dung trong thẻ <answer> được stream cho người dùng, phần còn lại là suy luận ẩn, và lệnh công cụ là hành động nội bộ. Điều này biến cập nhật tiến độ, hỏi lại, xác nhận và điều hướng giữa chừng thành các hành vi có thể kiểm soát, ghi nhãn và so sánh công bằng.

Ví dụ đời thường: Giống như cuộc thi nấu ăn chia thí sinh theo thể loại món—một nhóm làm món ăn nhanh, một nhóm làm thực đơn đầy đủ. Nếu ghép cả hai thể loại vào cùng bảng chấm, điểm sẽ bị lệch theo sở thích khẩu vị của giám khảo. Bằng cách chấm riêng từng nhóm, điểm phản ánh đúng chất lượng trong từng thể loại thay vì sở thích cá nhân của giám khảo.

III. Main Results:​

  • Cải thiện tool-use trong miền: ARC kết hợp GRPO tăng trung bình +5.37 điểm so với GRPO cơ sở. Cụ thể:
    • τ-airline: 31.33 → 44.00
    • τ-retail: 40.29 → 50.00
    • τ2-airline: 36.67 → 48.00
  • Giảm độ trễ đáp ứng: INTER3 kéo time-to-first-token từ 4.91s xuống 1.27s so với baseline think-then-act.
  • Hiệu quả ở quy mô nhỏ: trên Qwen3-4B, ARC đạt 34.23 so với 22.33 của GRPO thường trong bộ tool-use.
  • Huấn luyện ổn định hơn: đường cong reward cho thấy GRPO tiêu chuẩn đạt đỉnh rồi giảm do khai thác thiên lệch reward model, trong khi ARC duy trì hoặc cải thiện hiệu suất trong cùng ngân sách tính toán.
  • Chỉ dẫn chiến lược cần giữ nguyên trong suốt huấn luyện: thử nghiệm loại bỏ dần hoặc loại bỏ cố định chỉ dẫn đều kém hơn mặc định ARC.
  • Suy luận thực tế không cần chỉ dẫn: khi xóa chỉ dẫn chiến lược ở inference, hiệu suất tốt nhất, chứng tỏ chính sách đã nội hóa cách chọn chiến lược thay vì bám vào gợi ý prompt.

IV. Conclusion & Future Works:​

  • Vấn đề cốt lõi trong học tương tác mở không chỉ là phần thưởng hay mô hình lớn hơn, mà là cách xây dựng tập so sánh công bằng khi nhiều hành vi hợp lệ đồng tồn tại.
  • ARC là một sửa đổi có mục tiêu: điều kiện hóa lớp so sánh tại thời điểm sinh rollout, thay vì thay đổi bộ máy tối ưu hóa chính sách.
  • INTER3 làm cho vấn đề này quan sát được trong thực tế bằng cách tách tương tác người dùng khỏi suy luận ẩn và thực thi công cụ, cho phép ghi nhận, ghi nhãn và huấn luyện các chiến lược đa dạng.
  • Cải thiện không đồng đều trên mọi backbone và metric, nên ARC nên được xem là biện pháp khắc phục thiên lệch so sánh, không phải tối ưu toàn năng.
  • Hạn chế: phân loại chiến lược còn thô, miền thử nghiệm tập trung tool-use, phụ thuộc vào dữ liệu và nhãn chiến lược, phân tích lý thuyết chỉ ở mức ước lượng.
  • Hướng tương lai: mở rộng lên phân loại chiến lược tinh vi hơn, thử nghiệm ngoài miền tool-use, và phát triển cách tự động phát hiện chiến lược từ trace triển khai không nhãn để giảm phụ thuộc ghi chú.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng so sánh công bằng trong học tăng cường nhóm cho các biến chiến lược liên tục trong hội thoại mở, thay vì chỉ các họ chiến lược rời rạc.
  2. Tự động khám phá chiến lược tương tác từ dữ liệu triển khai không nhãn, rồi áp dụng điều kiện hóa nhóm cho các chiến lược tự học được.
  3. Áp dụng tư duy so sánh có điều kiện cho đa tác nhân hợp tác, trong đó vai trò của từng tác nhân tạo thành một họ hành vi cần được so sánh công bằng với chính nó.

2. Patent:​

  1. Trợ lý dịch vụ khách hàng thông minh trong ứng dụng ngân hàng điện thoại: khi xử lý yêu cầu hoàn tiền hoặc chuyển khoản, hệ thống tự quyết định hỏi thêm thông tin còn thiếu, gửi cập nhật tiến độ trong khi tra cứu hệ thống backend, hoặc xác nhận lại trước khi thực hiện, đảm bảo không bị thiên lệch về một kiểu tương tác duy nhất.
  2. Trợ lý giọng nói trên điện thoại cho tác vụ nhiều bước: trong khi chạy các công cụ tra cứu lịch, đặt vé, hoặc kiểm tra tài khoản ở hậu trường, trợ lý gửi các thông báo tiến độ ngắn cho người dùng và chờ xác nhận trước hành động không thể hoàn tác.
  3. Ứng dụng chăm sóc sức khỏe di động với tương tác có kiểm soát: khi trợ lý gợi ý lịch hẹn hoặc đơn thuốc, nó tách suy luận nội bộ khỏi nội dung hiển thị, chỉ cho người dùng thấy câu hỏi làm rõ, tóm tắt lựa chọn và xác nhận trước khi đặt lịch.
  4. Hệ thống đặt xe hoặc ship hàng trên điện thoại: trợ lý tương tác liên tục cập nhật trạng thái tìm tài xế, ước tính giá và xác nhận trước khi khóa đơn hàng, giảm thời gian chờ phản hồi đầu tiên so với mô hình suy nghĩ xong mới trả lời.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.13622
ArXiv Abstracthttps://arxiv.org/abs/2608.13622
PDF Downloadhttps://arxiv.org/pdf/2608.13622.pdf
Github RepositoryN/A

14. GameXpert-Bench: How Far Are Coding Agents from Expert Game Development? (13 votes)​

Tác giả: Kun Chen, Haorong Hong, Peizhong Gao, Jianfeng Lin, Tongxu Luo, et al.

Xuất bản lúc: 2026-08-22

Tag: Coding Agents, Game Development, Benchmark, LLMs, Automated Evaluation, Bug Repair, Multi-turn Refinement

I. Main Problem:​

Đánh giá coding agent trong làm game hiện nay chỉ nhìn sản phẩm cuối hoặc một giai đoạn riêng lẻ, bỏ qua toàn bộ quá trình phát triển thực tế. Game khác phần mềm thông thường ở chỗ cần logic, đồ họa, âm thanh, giao diện, điều khiển và trải nghiệm chơi hoạt động cùng nhau trong một tệp thực thi. Hậu quả:

  • benchmark cũ không đo được khả năng tạo → sửa → tối ưu liên tục,
  • agent có thể tạo game chạy được nhưng lại không tự tìm lỗi, không giữ ổn định qua nhiều lần sửa, và thiếu chiều sâu nội dung.

II. Main Idea:​

Tác giả đề xuất GAMEXPERT-BENCH, một bộ benchmark gồm 3 track bao phủ vòng đời phát triển game qua coding agent:

  • GAMEGEN: agent tạo game hoàn chỉnh từ một yêu cầu duy nhất, workspace trống, không có template, asset hay engine cố định — 97 game thuộc 11 thể loại.
  • GAMEFIX: agent chẩn đoán và sửa lỗi trong 50 màn game chuẩn (Gold Games) đã được con người kiểm tra, mỗi màn bị tiêm 19–27 lỗi có thể đảo ngược; đánh giá cả khi lỗi được chỉ rõ và khi agent phải tự phát hiện.
  • GAMEOPT: agent tối ưu đa lượt (6 turn, 17 chuỗi, 102 yêu cầu) dựa trên các đoạn hội thoại phát triển game thật giữa người và agent.

Mỗi track đều kiểm tra trên tệp game thực thi: chơi thử, kiểm thử xác định, hoặc đánh giá cuối kèm kiểm tra hồi quy.

Ví dụ đời thường: giống như đánh giá một đầu bếp không chỉ qua món ăn cuối, mà qua cả ba bài thi — nấu từ nguyên liệu trống tủ lạnh, phát hiện và thay thế nguyên liệu hỏng, rồi nêm nếm lại theo phản hồi của khách mà vẫn giữ nguyên hương vị cốt lõi.

III. Main Results:​

  • GAMEGEN: 15 model được đánh giá trên 97 game, tổng cộng 1.455 lần chạy. Claude-Opus-5 dẫn đầu với 79.7 điểm tổng, vượt Claude-Fable-5 (75.8) và Kimi-K3 (71.3).
  • Trên 4 chiều đánh giá, agent làm tốt nhất ở Completeness (trung bình 77.5) nhưng yếu nhất ở Richness (trung bình 46.1), cho thấy dễ tạo khung chơi cơ bản nhưng khó thêm nội dung, cơ chế phong phú.
  • Game 3D khó hơn 2D rõ rệt: trung bình giảm 5.8 điểm, đặc biệt Completeness giảm 8.8 điểm; chỉ Kimi-K3 nhích hơn trên 3D.
  • GAMEFIX: khi lỗi bị giấu, khoảng cách giữa các model lớn; sửa gần như hoàn toàn rất hiếm khi một màn có nhiều bug.
  • GAMEOPT: các model hàng đầu thường giữ được chức năng đã yêu cầu qua 6 lượt, nhưng duy trì vòng lặp game cốt lõi và cải thiện cân bằng giữa các chiều chất lượng còn thiếu ổn định.
  • Nhìn chung, agent mạnh ở xây nền chơi được và tuân theo yêu cầu tường minh, nhưng yếu ở tự tìm lỗi, kiểm chứng runtime và bảo toàn chức năng qua thay đổi.

IV. Conclusion & Future Works:​

Chất lượng tạo game ban đầu không đủ để đo năng lực phát triển game của coding agent; cần đánh giá cả tạo, sửa và tối ưu đa lượt. GAMEXPERT-BENCH cho thấy điểm yếu chung của agent hiện tại nằm ở khâu tự phát hiện vấn đề, kiểm chứng hành vi thực thi và kiểm soát hồi quy.

Hướng tương lai:

  • phát triển agent tự khám phá và chẩn đoán lỗi runtime tốt hơn,
  • cải thiện kiểm soát hồi quy khi sửa hoặc tối ưu game,
  • mở rộng benchmark sang nhiều engine/game engine thực thụ,
  • xây dựng playtester tự động để phản hồi liên tục trong quá trình phát triển.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Benchmark đa giai đoạn cho phát triển phần mềm tương tác nói chung: từ tạo ứng dụng, sửa lỗi runtime, đến tối ưu theo phản hồi người dùng qua nhiều turn.
  2. Phương pháp tự khám phá lỗi trong game và ứng dụng GUI bằng cách kết hợp chơi thử tự động với chẩn đoán nguyên nhân gốc rễ trên mã nguồn.
  3. Hệ thống kiểm soát hồi quy cho agent chỉnh sửa mã: tự động xây dựng test behavioral để đảm bảo chức năng cũ không bị phá vỡ khi thêm tính năng mới.

2. Patent:​

  1. Trợ lý lập trình game trên điện thoại: người dùng mô tả ý tưởng bằng giọng nói, agent tạo game HTML5 chạy ngay trên trình duyệt di động, sau đó tự chơi thử để báo lỗi và đề xuất cải tiến qua từng turn.
  2. Công cụ kiểm thử game tự động cho studio nhỏ: tiêm lỗi có kiểm soát vào bản build, chạy agent sửa lỗi, rồi so sánh với bản gold để xác nhận patch an toàn trước khi release.
  3. Nền tảng thiết kế game cộng tác người–AI: người chơi phản hồi trực tiếp (ví dụ “điều khiển chậm”), agent điều chỉnh cân bằng, giao diện và âm thanh qua nhiều vòng, đồng thời kiểm tra lại toàn bộ vòng lặp game để tránh hỏng cũ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.21833
ArXiv Abstracthttps://arxiv.org/abs/2608.21833
PDF Downloadhttps://arxiv.org/pdf/2608.21833.pdf
Github RepositoryN/A

15. LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures (13 votes)​

Tác giả: Yunfei Zhang, Boyu Feng, Changhua Pei, Zexin Wang, Zhihuang Peng, et al.

Xuất bản lúc: 2026-08-15

Tag: LLM Agents, Failure Diagnosis, Benchmarking, Root Cause Analysis, Long-Horizon Agents

I. Main Problem:​

Các bộ đánh giá agent dài hạn chỉ xác nhận kết quả thất bại nhưng không cho biết bước quyết định gây lỗi nằm ở đâu trong hàng trăm bước, cũng như vai trò nào chịu trách nhiệm. Hệ quả:

  • lập trình viên phải duyệt thủ công toàn bộ trajectory
  • các benchmark hiện tại tập trung vào trace ngắn, bỏ qua chế độ lỗi bị trì hoãn xa điểm kết thúc
  • việc gán vai trò và xác định bước gốc cần được đánh giá như hai mục tiêu riêng biệt.

II. Main Idea:​

Root-Cause Trajectory Attribution (RCTA) chẩn đoán trajectory dài mà không cần huấn luyện bằng cách chia nhỏ lịch sử thực thi, gợi ý các bước nghi ngờ từ tóm tắt từng đoạn, rồi truy ngược các handoff instruction trước đó để xem lỗi bắt nguồn từ chỉ dẫn ban đầu hay từ bước thực hiện sau này.

Khác các baseline đọc toàn bộ trace một lần hoặc tìm kiếm nhị phân, RCTA tách biệt tìm kiếm rộng (segment summaries) với so sánh chính xác (nguyên văn log và handoff text), giúp xác định lỗi tiềm ẩn sâu trong quá khứ.

Ví dụ đời thường: giống như kiểm tra một chiếc xe chết máy — thợ máy không đọc hết bảng điều khiển từ đầu đến cuối, mà xem các giai đoạn hoạt động, rồi truy lệnh bảo dưỡng cuối cùng trước khi xe hỏng để xem liệu lỗi đã nằm trong chỉ dẫn hay do người làm sai sau đó.

III. Main Results:​

  • LongRCA Bench công bố 1,140 trajectory thất bại tự nhiên qua 5 lĩnh vực, trung vị 145 bước, tối đa 728 bước, khoảng cách từ gốc lỗi đến kết thúc trung vị 48 bước và P90 là 183 bước.
  • RCTA đạt 51.1% đúng vai trò, 24.1% đúng chính xác bước gốc, 37.4% đúng trong phạm vi ±5 bước, và MAE 38.6 bước.
  • Baseline mạnh nhất (ECHO) chỉ đạt 27.5% / 13.2% / 24.7%, nghĩa là RCTA vượt trội lần lượt +23.6, +10.9, +12.7 điểm phần trăm.
  • Các phương pháp prompting trực tiếp (all-at-once, step-by-step, binary search) đều dưới 28% đúng vai trò và dưới 8% đúng chính xác bước gốc.
  • Đồng thuận giữa các annotator: 65.9% vai trò, 39.5% bước gốc — cho thấy tự chính xác bước gốc khó ngay cả với con người.

IV. Conclusion & Future Works:​

LongRCA Bench đặt ra chuẩn mực mới cho việc gán vai trò chịu trách nhiệm và xác định chính xác bước gốc trong trajectory dài, làm nổi bật khoảng cách giữa hai nhiệm vụ này. Hướng tương lai: cải thiện khả năng truy vết lỗi khi handoff phức tạp, tích hợp học từ nhiều trajectory tương tự, và nâng cao độ chính xác bước gốc khi lỗi nằm cách xa hàng trăm bước so với kết quả thất bại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RCTA cho các tổ chức agent đa vai trò động, trong đó vai trò và luồng handoff thay đổi theo từng tác vụ, bằng cách học biểu diễn handoff có cấu trúc từ dữ liệu.
  2. Kết hợp phân tích segment-level với mô hình ngôn ngữ nhỏ chuyên biệt để chẩn đoán trajectory dài theo thời gian thực trong hệ thống giám sát agent.
  3. Xây dựng cơ chế tự sửa lỗi cho agent dài hạn: dùng chẩn đoán bước gốc để quay lại và sửa chữa quyết định sai thay vì bắt đầu lại toàn bộ tác vụ.

2. Patent:​

  1. Hệ thống giám sát quy trình tự động hóa thông minh cho doanh nghiệp: khi một chuỗi công việc AI dài hạn thất bại, hệ thống tự phân tích log, chỉ ra vai trò chịu trách nhiệm và bước đầu tiên gây lỗi, giúp kỹ sư nhanh chóng can thiệp thay vì đọc cả ngàn dòng log.
  2. Trợ lý chẩn đoán lỗi trên điện thoại cho quy trình tự động hóa cá nhân: người dùng thiết lập một chuỗi tác vụ AI, khi lỗi xảy ra ứng dụng chỉ ra bước nào và phần nào của hệ thống gây ra, đề xuất cách sửa trong giao diện chat.
  3. Module kiểm thử và gán trách nhiệm cho công cụ lập trình tự động: khi hệ thống AI viết code thất bại test, module tự động xác định xem lỗi bắt nguồn từ kế hoạch sửa lỗi ban đầu hay từ bước thực thi sau đó, giúp công cụ CI/CD gửi phản hồi chính xác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.15242
ArXiv Abstracthttps://arxiv.org/abs/2608.15242
PDF Downloadhttps://arxiv.org/pdf/2608.15242.pdf
Github RepositoryN/A