Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-17

Báo cáo được tạo tự động vào lúc 2026-03-18 13:52:04 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. AI Can Learn Scientific Taste (220 votes)​

Tác giả: Jingqi Tong, Mingzhe Li, Hangcheng Li, Yongzhuo Yang, Yurong Mou, Weijie Ma, Zhiheng Xi, Hongji Chen, Xiaoran Liu, Qinyuan Cheng, Ming Zhang, Qiguang Chen, Weifeng Ge, Qipeng Guo, Tianlei Ying, Tianxiang Sun, Yining Zheng, Xinchi Chen, Jun Zhao, Ning Ding, Xuanjing Huang, Yugang Jiang, Xipeng Qiu

Xuất bản lúc: 2026-03-15

Tag: Reinforcement Learning, LLMs, Preference Learning, Scientific Discovery, AI Scientist, Generative AI, RLCF, Preference Modeling, Preference Alignment

I. Main Problem:​

Vấn đề chính là hầu hết các nghiên cứu về AI khoa học hiện nay tập trung vào khả năng thực thi (như tìm kiếm tài liệu, tự động hóa thí nghiệm) mà bỏ qua việc phát triển "gu khoa học" của AI. "Gu khoa học" đề cập đến khả năng đánh giá và đề xuất các ý tưởng nghiên cứu có tiềm năng tác động cao, một phẩm chất quan trọng của các nhà khoa học vĩ đại. AI hiện tại khó phân biệt giữa các ý tưởng mới lạ nhưng tầm thường với những hướng nghiên cứu thực sự có giá trị.

II. Main Idea:​

Tác giả đề xuất một phương pháp huấn luyện mới gọi là Reinforcement Learning from Community Feedback (RLCF) để dạy AI "gu khoa học". Phương pháp này xem xét việc học "gu khoa học" như một vấn đề mô hình hóa và điều chỉnh sở thích.

  1. Mô hình hóa sở thích (Preference Modeling): Huấn luyện mô hình Scientific Judge để đánh giá ý tưởng nghiên cứu. Mô hình này được huấn luyện trên SciJudgeBench, một bộ dữ liệu gồm 700K cặp bài báo (có số trích dẫn cao hơn so với thấp hơn, được ghép cặp theo lĩnh vực và thời gian) sử dụng thuật toán GRPO. Scientific Judge học cách đưa ra phán đoán sau khi suy luận.
  2. Điều chỉnh sở thích (Preference Alignment): Sử dụng Scientific Judge làm mô hình phần thưởng, huấn luyện mô hình Scientific Thinker (một mô hình chính sách) để đề xuất các ý tưởng nghiên cứu có tiềm năng tác động cao. Scientific Thinker được huấn luyện bằng Comparison-Based GRPO, nơi nó tạo ra một nhóm các ý tưởng và Scientific Judge so sánh từng cặp để tính toán phần thưởng dựa trên tỷ lệ thắng.

III. Main Results:​

  • Scientific Judge:
    • Vượt trội so với các LLM tiên tiến (ví dụ: GPT-5.2, Gemini 3 Pro) trên SciJudgeBench.
    • Khả năng học "gu khoa học" có tính mở rộng (scaling): hiệu suất cải thiện log-tuyến tính với quy mô dữ liệu huấn luyện và cải thiện nhất quán với quy mô mô hình. SciJudge-Qwen3-30B vượt qua tất cả các mô hình độc quyền được liệt kê.
    • Khả năng khái quát hóa cao:
      • Khái quát hóa theo thời gian: Dự đoán chính xác sở thích cho các bài báo xuất bản trong tương lai (năm 2025), với mức tăng trung bình lên tới +55.1 điểm.
      • Khái quát hóa theo lĩnh vực: Chuyển giao hiệu quả sang các lĩnh vực chưa từng thấy (Toán học, Vật lý, các lĩnh vực khác) ngay cả khi chỉ được huấn luyện trên dữ liệu Khoa học Máy tính.
      • Khái quát hóa theo tiêu chí đánh giá: Đồng thuận đáng kể hơn với sở thích đánh giá ngang hàng (peer-review) trên các cặp bài báo ICLR, với mức tăng lên tới +72.0 điểm.
  • Scientific Thinker: Đề xuất các ý tưởng nghiên cứu có tiềm năng tác động cao hơn so với các mô hình nền tảng. Kết quả tổng thể cho thấy AI có thể học "gu khoa học", đánh dấu một bước quan trọng hướng tới các nhà khoa học AI đạt trình độ ngang con người.

IV. Conclusion & Future Works:​

Nghiên cứu này chứng minh rằng "gu khoa học" không phải là một đặc điểm bí ẩn của con người mà là một mục tiêu có thể học được đối với AI. Bằng cách sử dụng Reinforcement Learning from Community Feedback (RLCF), AI có thể học cách đánh giá và đề xuất các ý tưởng nghiên cứu có tiềm năng tác động cao. Các mô hình Scientific Judge và Scientific Thinker thể hiện khả năng vượt trội và khái quát hóa mạnh mẽ. Kết quả này mở ra một hướng đi quan trọng trong việc phát triển các hệ thống AI có khả năng phán đoán khoa học giống con người.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RLCF cho các loại phản hồi cộng đồng khác: Nghiên cứu cách áp dụng RLCF không chỉ với trích dẫn mà còn với các tín hiệu phản hồi cộng đồng khác như lượt tải xuống, lượt xem, bình luận, hoặc các chỉ số tương tác trên các nền tảng khoa học xã hội để làm phong phú thêm khả năng học "gu khoa học" của AI.
  2. Tích hợp "gu khoa học" vào chu trình nghiên cứu tự động hoàn chỉnh: Phát triển một hệ thống AI có khả năng không chỉ đề xuất ý tưởng nghiên cứu (bởi Scientific Thinker) và đánh giá chúng (bởi Scientific Judge), mà còn tự động thực hiện các bước tiếp theo của chu trình nghiên cứu, bao gồm tìm kiếm tài liệu chuyên sâu, thiết kế thí nghiệm, và thậm chí là viết bản nháp bài báo khoa học.
  3. Nghiên cứu khả năng giải thích và tính minh bạch của "gu khoa học" của AI: Phát triển các phương pháp để AI có thể giải thích lý do tại sao một ý tưởng nghiên cứu được đánh giá là có tiềm năng cao hoặc thấp, hoặc tại sao một ý tưởng được đề xuất lại có giá trị. Điều này sẽ tăng cường sự tin cậy và khả năng cộng tác giữa nhà khoa học con người và AI.

2. Patent:​

  1. Hệ thống gợi ý ý tưởng sáng tạo cá nhân trên điện thoại di động: Một ứng dụng di động sử dụng công nghệ "gu khoa học" của AI để phân tích các ghi chú, ý tưởng, hoặc tài liệu mà người dùng nhập vào. AI sẽ đánh giá tiềm năng tác động của các ý tưởng đó và gợi ý các hướng phát triển hoặc cải tiến, giúp người dùng biến các suy nghĩ ban đầu thành các dự án hoặc sản phẩm có giá trị hơn.
  2. Công cụ đánh giá và sắp xếp tin tức/bài viết khoa học cá nhân hóa: Một tính năng trên điện thoại di động sử dụng thuật toán của Scientific Judge để phân tích các bản tóm tắt bài báo khoa học, tin tức công nghệ, hoặc các bài viết chuyên ngành. Nó sẽ đánh giá "tầm quan trọng khoa học" hoặc "tiềm năng tác động" của từng bài viết đối với lĩnh vực quan tâm của người dùng, từ đó sắp xếp và ưu tiên hiển thị những nội dung có giá trị nhất, giúp người dùng tiết kiệm thời gian và cập nhật hiệu quả.
  3. Trợ lý sáng tạo nội dung thông minh cho người dùng di động: Một ứng dụng di động tích hợp khả năng "Scientific Thinker" để giúp người dùng phát triển ý tưởng cho các dự án cá nhân, nội dung mạng xã hội, hoặc kịch bản. Dựa trên một chủ đề hoặc một bản tóm tắt ban đầu, AI sẽ đề xuất các ý tưởng mở rộng, các góc nhìn mới, hoặc các cách tiếp cận độc đáo, giúp người dùng tạo ra nội dung sáng tạo và có sức ảnh hưởng hơn trực tiếp trên điện thoại của họ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.14473
ArXiv Abstracthttps://arxiv.org/abs/2603.14473
PDF Downloadhttps://arxiv.org/pdf/2603.14473.pdf
Github Repositoryhttps://github.com/tongjingqi/AI-Can-Learn-Scientific-Taste

2. OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data (130 votes)​

Tác giả: Yuwen Du, Rui Ye, Shuo Tang, Xinyu Zhu, Yijun Lu, Yuzhu Cai, Siheng Chen

Xuất bản lúc: 2026-03-16

Tag: LLMs, Search Agents, Data Synthesis, Open-source AI, Supervised Fine-tuning

I. Main Problem:​

Việc phát triển các tác nhân tìm kiếm hiệu suất cao bị chi phối bởi các tập đoàn công nghiệp lớn do thiếu dữ liệu đào tạo chất lượng cao, minh bạch. Sự khan hiếm dữ liệu này đã cản trở đáng kể sự tiến bộ của cộng đồng nghiên cứu trong lĩnh vực này. Các mô hình độc quyền từ Google và OpenAI chiếm ưu thế, trong khi các mô hình mã nguồn mở hiện có hoặc không công bố dữ liệu đào tạo, chỉ cung cấp một phần nhỏ dữ liệu, hoặc không đạt được hiệu suất cạnh tranh, tạo ra một 'hàng rào dữ liệu' ngăn cản sự phát triển của cộng đồng mã nguồn mở.

II. Main Idea:​

Để giải quyết vấn đề thiếu dữ liệu đào tạo chất lượng cao, OpenSeeker giới thiệu một tác nhân tìm kiếm mã nguồn hoàn toàn mở (cả mô hình và dữ liệu) đạt hiệu suất hàng đầu thông qua hai đổi mới kỹ thuật cốt lõi:

  1. Tổng hợp QA có kiểm soát, có thể mở rộng, dựa trên sự thật (Fact-grounded scalable controllable QA synthesis): Kỹ thuật này đảo ngược cấu trúc đồ thị web thông qua mở rộng cấu trúc liên kết và làm mờ thực thể để tạo ra các nhiệm vụ suy luận phức tạp, đa bước với phạm vi và độ phức tạp có thể kiểm soát được. Quá trình này bao gồm việc mở rộng đồ thị từ các trang web hạt giống, trích xuất các thực thể chính, tạo câu hỏi yêu cầu suy luận đa bước, và làm mờ các thực thể để tăng độ khó. Các cặp QA được tạo ra sau đó được xác minh bằng cách kiểm tra độ khó (yêu cầu công cụ bên ngoài) và khả năng giải quyết (tính nhất quán logic).
  2. Tổng hợp quỹ đạo đã khử nhiễu (Denoised trajectory synthesis): Cơ chế này sử dụng tóm tắt hồi cứu để khử nhiễu quỹ đạo, từ đó thúc đẩy các LLM giáo viên tạo ra các hành động chất lượng cao. Trong quá trình tổng hợp, mô hình giáo viên sử dụng ngữ cảnh đã được khử nhiễu (lịch sử tóm tắt), trong khi mô hình học sinh được đào tạo trên ngữ cảnh thô (lịch sử đầy đủ chưa nén) để học cách tự động khử nhiễu và trích xuất thông tin liên quan.

III. Main Results:​

OpenSeeker, được đào tạo chỉ với 11.700 mẫu tổng hợp (chỉ trong một lần chạy đào tạo và SFT đơn giản), đạt hiệu suất tiên tiến trên nhiều điểm chuẩn:

  • BrowseComp: Đạt 29.5%, vượt trội đáng kể so với tác nhân mã nguồn mở tốt thứ hai là DeepDive (15.3%).
  • BrowseComp-ZH: Đạt 48.4%, thậm chí vượt qua đối thủ công nghiệp Tongyi DeepResearch của Alibaba (46.7%), vốn được đào tạo bằng cách sử dụng pre-training liên tục mở rộng (CPT), SFT và học tăng cường (RL).
  • xbench-DeepSearch: Đạt 74.0%.
  • WideSearch: Đạt 59.4% (F1).

Kết quả này chứng minh chất lượng cao của dữ liệu đào tạo tổng hợp của OpenSeeker, cho phép nó cạnh tranh hoặc vượt trội so với các giải pháp hàng đầu của các tập đoàn lớn, ngay cả với dữ liệu ít hơn và phương pháp đào tạo đơn giản hơn.

IV. Conclusion & Future Works:​

OpenSeeker là công trình đầu tiên của một nhóm nghiên cứu thuần túy học thuật đạt được hiệu suất tiên tiến trên các điểm chuẩn tìm kiếm hàng đầu trong khi công khai hoàn toàn dữ liệu đào tạo của nó. Công trình này nhằm mục đích dân chủ hóa khả năng tìm kiếm thông minh bằng cách chứng minh rằng tổng hợp dữ liệu chiến lược có thể thu hẹp khoảng cách hiệu suất với các nỗ lực quy mô công nghiệp. Bằng cách cung cấp sự minh bạch dữ liệu hoàn toàn, OpenSeeker hy vọng sẽ trở thành chất xúc tác cho cộng đồng nghiên cứu tham gia vào sự phát triển mở, hợp tác và lành mạnh hơn của các tác nhân tự động. Các hướng nghiên cứu trong tương lai bao gồm việc cập nhật dữ liệu tiếng Anh để có độ khó cao hơn, khám phá các kỹ thuật đào tạo tiên tiến hơn ngoài SFT, và khả năng mở rộng việc tạo dữ liệu với các cấu hình đồ thị web khác nhau để tạo ra luồng mẫu vô hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nâng cao tổng hợp dữ liệu QA cho các tác nhân tìm kiếm đa ngôn ngữ và đa phương thức: Nghiên cứu các phương pháp để cải thiện độ khó và chất lượng của dữ liệu tổng hợp QA cho các ngôn ngữ khác ngoài tiếng Anh và tiếng Trung. Đồng thời, khám phá cách tích hợp thông tin đa phương thức (ví dụ: hình ảnh, video) từ web vào quy trình tổng hợp QA, cho phép các tác nhân tìm kiếm thực hiện suy luận sâu hơn và toàn diện hơn trên các loại nội dung đa dạng.
  2. Tối ưu hóa tác nhân tìm kiếm mã nguồn mở với các kỹ thuật đào tạo nâng cao: Mặc dù OpenSeeker đạt hiệu suất cao chỉ với SFT, nghiên cứu có thể tập trung vào việc áp dụng các kỹ thuật đào tạo tiên tiến như Continual Pre-Training (CPT), Reinforcement Learning (RL), hoặc các phương pháp điều chỉnh khác (ví dụ: DPO, PPO) trên bộ dữ liệu chất lượng cao của OpenSeeker. Mục tiêu là khám phá liệu các phương pháp này có thể đẩy hiệu suất lên cao hơn nữa và cải thiện khả năng thích ứng của tác nhân với các nhiệm vụ tìm kiếm chuyên biệt hay không.
  3. Phát triển khung tổng hợp dữ liệu tự động và thích ứng cho các miền cụ thể: Nghiên cứu cách tạo ra một khung tổng hợp dữ liệu linh hoạt, có khả năng tự động điều chỉnh độ phức tạp và phạm vi của các nhiệm vụ QA dựa trên các miền kiến thức hoặc yêu cầu người dùng cụ thể. Điều này sẽ cho phép tạo ra các bộ dữ liệu đào tạo được tùy chỉnh cho các ứng dụng chuyên ngành (ví dụ: tìm kiếm y tế, nghiên cứu khoa học), tối ưu hóa hiệu suất của tác nhân trong các bối cảnh hẹp hơn và có độ chính xác cao hơn.

2. Patent:​

  1. Trợ lý tìm kiếm thông minh theo ngữ cảnh trên điện thoại di động: Một tính năng trên điện thoại di động sử dụng công nghệ 'tổng hợp quỹ đạo đã khử nhiễu' để cung cấp thông tin tìm kiếm liên quan và cô đọng dựa trên ngữ cảnh hiện tại của người dùng (ví dụ: ứng dụng đang mở, cuộc trò chuyện). Hệ thống sẽ tự động tóm tắt các kết quả tìm kiếm đa bước, chỉ hiển thị những thông tin quan trọng và hữu ích mà không làm người dùng choáng ngợp bởi nội dung web thô. Ví dụ, khi người dùng đang xem một sản phẩm, điện thoại có thể tự động tìm và tóm tắt các đánh giá, so sánh giá từ nhiều nguồn.
  2. Hệ thống học tập cá nhân hóa dựa trên truy vấn tự động: Một ứng dụng di động sử dụng 'tổng hợp QA có kiểm soát, có thể mở rộng, dựa trên sự thật' để tạo ra các câu hỏi và nhiệm vụ tìm kiếm cá nhân hóa cho người dùng. Dựa trên lịch sử duyệt web và sở thích của họ, ứng dụng sẽ tạo ra các 'câu đố' đòi hỏi suy luận đa bước trên web, hướng dẫn người dùng khám phá sâu hơn một chủ đề, biến việc duyệt web thụ động thành một trải nghiệm học tập chủ động và hấp dẫn. Người dùng có thể 'giải quyết' các nhiệm vụ này để mở khóa cấp độ kiến thức mới hoặc nhận huy hiệu.
  3. Công cụ xác minh thông tin chủ động trên thiết bị di động: Một ứng dụng trên điện thoại di động có khả năng tự động thực hiện 'tìm kiếm sâu' để xác minh thông tin mà người dùng đang xem (ví dụ: bài báo, bài đăng mạng xã hội). Bằng cách sử dụng khả năng truy ngược thông tin về các nguồn web gốc thông qua suy luận đa bước, công cụ này sẽ làm nổi bật các thông tin sai lệch tiềm ẩn hoặc cung cấp bản tóm tắt các bằng chứng hỗ trợ/mâu thuẫn. Điều này giúp người dùng đưa ra quyết định sáng suốt và chống lại tin giả một cách hiệu quả ngay trên thiết bị của họ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15594
ArXiv Abstracthttps://arxiv.org/abs/2603.15594
PDF Downloadhttps://arxiv.org/pdf/2603.15594.pdf
Github Repositoryhttps://github.com/rui-ye/OpenSeeker

3. EnterpriseOps-Gym: Environments and Evaluations for Stateful Agentic Planning and Tool Use in Enterprise Settings (129 votes)​

Tác giả: Shiva Krishna Reddy Malay, Shravan Nayak, Jishnu Sethumadhavan Nair, Sagar Davasam, Aman Tiwari, Sathwik Tejaswi Madhusudhan, Sridhar Krishna Nemala, Srinivas Sunkara, Sai Rajeswar

Xuất bản lúc: 2026-03-13

Tag: LLMs, Agents, Benchmarking, Tool Use, Planning, Enterprise AI, Stateful Systems, Policy Adherence

I. Main Problem:​

Việc triển khai các mô hình ngôn ngữ lớn (LLM) làm tác nhân AI đáng tin cậy trong môi trường doanh nghiệp bị đình trệ do các benchmark hiện có không thể nắm bắt được sự phức tạp của môi trường chuyên nghiệp. Cụ thể, các benchmark này thiếu khả năng đánh giá lập kế hoạch dài hạn trong bối cảnh thay đổi trạng thái liên tục và các giao thức truy cập nghiêm ngặt. Các phương pháp đánh giá hiện tại thường coi việc gọi công cụ là nguyên tử và không trạng thái, giới hạn trong một hệ sinh thái nhà cung cấp duy nhất, với môi trường nông cạn, thời gian thực hiện tác vụ ngắn và hạn chế các ràng buộc chính sách.

II. Main Idea:​

Công trình này giới thiệu ENTERPRISEOPS-GYM, một benchmark được thiết kế để đánh giá khả năng lập kế hoạch của tác nhân AI trong các môi trường doanh nghiệp thực tế. ENTERPRISEOPS-GYM có một môi trường sandbox được container hóa với 164 bảng cơ sở dữ liệu và 512 công cụ chức năng, mô phỏng sự phức tạp của thế giới thực. Các tác nhân được đánh giá trên 1.150 tác vụ do chuyên gia biên soạn trên tám lĩnh vực quan trọng (bao gồm Dịch vụ khách hàng, HR, IT, Email, Lịch, Teams, Drive và Hybrid), trong đó có 30 tác vụ không khả thi để kiểm tra khả năng từ chối an toàn. Việc đánh giá được thực hiện bằng các tập lệnh SQL xác minh trạng thái cuối cùng, kiểm tra việc hoàn thành mục tiêu, tính toàn vẹn của trạng thái, tuân thủ chính sách và các tác dụng phụ. Mục tiêu chính là kiểm tra lập kế hoạch dài hạn, quản lý trạng thái đa hệ thống và thực thi có ràng buộc chính sách.

III. Main Results:​

Đánh giá 14 mô hình tiên tiến cho thấy những hạn chế nghiêm trọng: Claude Opus 4.5, mô hình hoạt động tốt nhất, chỉ đạt tỷ lệ thành công 37.4%. Cung cấp các kế hoạch do con người biên soạn (oracle human plans) cải thiện hiệu suất lên 14–35 điểm phần trăm, cho thấy suy luận chiến lược là nút thắt cổ chai chính, chứ không phải việc thực thi công cụ. Các tác nhân thường xuyên không từ chối các tác vụ không khả thi (mô hình tốt nhất đạt 53.9%), dẫn đến các tác dụng phụ không mong muốn. Hiệu suất suy giảm đáng kể khi độ dài chuỗi tác vụ (task horizon) tăng lên. Ngân sách suy nghĩ (thinking budget) có tác động đáng kể nhưng có giới hạn cụ thể theo từng miền, cho thấy việc tăng token suy luận không thể bù đắp hoàn toàn cho các khoảng trống năng lực cơ bản.

IV. Conclusion & Future Works:​

Các tác nhân AI hiện tại còn rất xa mới đạt được mức độ sẵn sàng cho việc triển khai trong doanh nghiệp, với khả năng lập kế hoạch là nút thắt cổ chai chính, không phải thực thi công cụ. Khả năng từ chối an toàn các tác vụ không khả thi cũng còn yếu. Các hướng nghiên cứu tương lai bao gồm: (1) Tạo kế hoạch nhận biết ràng buộc: Phát triển các phương pháp suy luận rõ ràng về các ràng buộc chính sách, sự phụ thuộc vào tác dụng phụ và cấu trúc tiên quyết trước khi cam kết thực hiện chuỗi hành động. (2) Quản lý trạng thái dài hạn: Nghiên cứu các cơ chế duy trì trạng thái thế giới nhất quán qua nhiều lần gọi công cụ, chẳng hạn như bộ nhớ theo từng giai đoạn hoặc biểu diễn trạng thái có cấu trúc, để ngăn chặn sự tích lũy lỗi khi độ dài chuỗi tác vụ tăng lên. (3) Từ chối và leo thang an toàn: Xây dựng các tác nhân có khả năng phát hiện đáng tin cậy các yêu cầu không khả thi hoặc vi phạm chính sách và từ chối một cách rõ ràng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các mô hình lập kế hoạch nhận biết ràng buộc (constraint-aware planning) cho tác nhân AI, tập trung vào việc tích hợp suy luận về chính sách, phụ thuộc tác dụng phụ và cấu trúc tiên quyết trong môi trường doanh nghiệp phức tạp.
  2. Nghiên cứu các kiến trúc quản lý trạng thái dài hạn (long-horizon state management) cho tác nhân AI, khám phá hiệu quả của bộ nhớ theo từng giai đoạn (episodic memory) hoặc biểu diễn trạng thái có cấu trúc để duy trì tính nhất quán của thế giới qua nhiều tương tác công cụ.
  3. Xây dựng và đánh giá các cơ chế từ chối an toàn (safe refusal) và leo thang (escalation) cho tác nhân AI khi đối mặt với các tác vụ không khả thi hoặc vi phạm chính sách, nhằm đảm bảo tính an toàn và tin cậy trong môi trường sản xuất.

2. Patent:​

  1. Chức năng trợ lý công việc thông minh có nhận biết chính sách trên điện thoại di động: Một công nghệ cho phép trợ lý AI trên điện thoại di động tự động thực hiện các tác vụ công việc phức tạp, nhiều bước bằng cách kết nối với các ứng dụng khác nhau. Hệ thống này sẽ có khả năng duy trì trạng thái tác vụ qua nhiều lần tương tác và tuân thủ chặt chẽ các quy tắc bảo mật hoặc quy trình của công ty, tự động cảnh báo hoặc từ chối nếu hành động vi phạm chính sách, giúp người dùng hoàn thành công việc hiệu quả và an toàn hơn.
  2. Hệ thống kiểm duyệt yêu cầu thông minh tích hợp ứng dụng di động doanh nghiệp: Một hệ thống tích hợp vào các ứng dụng doanh nghiệp trên điện thoại di động (ví dụ: HR, IT support) để tự động kiểm tra tính khả thi và hợp lệ của các yêu cầu do người dùng nhập vào. Nếu yêu cầu vi phạm chính sách, thiếu thông tin hoặc không thể thực hiện, hệ thống sẽ ngay lập tức thông báo cho người dùng và đề xuất các bước thay thế hoặc từ chối yêu cầu một cách an toàn, ngăn chặn các lỗi hoặc hành động không mong muốn làm ảnh hưởng đến hệ thống.
  3. Công cụ lập kế hoạch cá nhân hóa và quản lý tác vụ đa ứng dụng trên di động với khả năng dự đoán lỗi: Một ứng dụng di động cung cấp khả năng lập kế hoạch tự động cho các tác vụ cá nhân và công việc, kết nối với nhiều ứng dụng khác nhau trên điện thoại (ví dụ: ghi chú, nhắc nhở, email, lịch). Ứng dụng sẽ học hỏi từ thói quen và ưu tiên của người dùng, đưa ra các bước hành động tối ưu, dự đoán các vấn đề tiềm ẩn hoặc xung đột chính sách trước khi chúng xảy ra và đề xuất các công cụ phù hợp để hoàn thành tác vụ, đồng thời duy trì một cái nhìn tổng thể về các mục tiêu dài hạn của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.13594
ArXiv Abstracthttps://arxiv.org/abs/2603.13594
PDF Downloadhttps://arxiv.org/pdf/2603.13594.pdf
Github Repositoryhttps://github.com/ServiceNow/EnterpriseOps-Gym

4. Grounding World Simulation Models in a Real-World Metropolis (108 votes)​

Tác giả: Junyoung Seo, Hyunwook Choi, Minkyung Kwon, Jinhyeok Choi, Siyoon Jin, Gayoung Lee, Junho Kim, JoungBin Lee, Geonmo Gu, Dongyoon Han, Sangdoo Yun, Seungryong Kim, Jin-Hwa Kim

Xuất bản lúc: 2026-03-16

Tag: World Model, Video Generation, Diffusion Models, Retrieval-Augmented Generation, 3D Reconstruction, City-scale simulation

I. Main Problem:​

Các mô hình thế giới sinh tạo trước đây chỉ tổng hợp các môi trường tưởng tượng hoặc nhân tạo. Công trình này giải quyết vấn đề thiếu các mô hình thế giới được gắn kết với một địa điểm thực tế cụ thể, đặc biệt là ở quy mô thành phố. Nó cũng giải quyết các thách thức kỹ thuật phát sinh khi gắn kết mô hình với thế giới thực, bao gồm sự sai lệch về thời gian giữa các tham chiếu được truy xuất và cảnh động mục tiêu, sự đa dạng quỹ đạo hạn chế và dữ liệu thưa thớt từ các cảnh quay gắn trên xe, cũng như sự tích lũy lỗi khi tạo ra video dài.

II. Main Idea:​

SWM (Seoul World Model) là một mô hình thế giới quy mô thành phố được gắn kết với thành phố Seoul thực tế. Ý tưởng chính là neo giữ quá trình tạo video tự hồi quy thông qua điều kiện tăng cường truy xuất từ các hình ảnh street-view lân cận. Để giải quyết các thách thức, SWM giới thiệu:

  • Ghép nối chéo thời gian (cross-temporal pairing): Ghép nối các tham chiếu và mục tiêu từ các mốc thời gian khác nhau trong quá trình huấn luyện để mô hình học cách phân tách cấu trúc bền vững khỏi nội dung nhất thời.
  • Tập dữ liệu tổng hợp quy mô lớn: Sử dụng dữ liệu tổng hợp dựa trên Unreal Engine để cung cấp các quỹ đạo camera đa dạng, bao gồm cả đường đi của người đi bộ.
  • Quy trình nội suy khung hình (intermittent freeze-frame strategy): Tổng hợp các video huấn luyện nhất quán về mặt thời gian từ các hình ảnh street-view thưa thớt bằng cách đảm bảo mỗi khung hình khóa tạo thành một nhóm 4 khung hình hoàn chỉnh cho 3D VAE.
  • Điểm neo ảo nhìn trước (Virtual Lookahead Sink): Ổn định quá trình tạo video dài bằng cách liên tục tái gắn kết mỗi đoạn với một hình ảnh được truy xuất tại một vị trí trong tương lai.
  • Tham chiếu hình học và ngữ nghĩa: Sử dụng cả hình ảnh tham chiếu được làm cong vênh (warped) để cung cấp bố cục không gian và hình ảnh tham chiếu gốc để bảo toàn chi tiết diện mạo.

III. Main Results:​

SWM vượt trội hơn các phương pháp mô hình thế giới video hiện có trong việc tạo ra các video có độ chân thực về không gian, nhất quán về thời gian và có độ dài lớn, được gắn kết với môi trường đô thị thực tế trên các quỹ đạo dài hàng trăm mét. Mô hình cũng hỗ trợ các chuyển động camera đa dạng và các biến thể kịch bản được nhắc bằng văn bản. SWM đã được đánh giá trên ba thành phố: Seoul, Busan và Ann Arbor, chứng minh khả năng tổng quát hóa chéo thành phố mà không cần tinh chỉnh trên các thành phố không có trong dữ liệu huấn luyện.

IV. Conclusion & Future Works:​

SWM chứng minh rằng mô phỏng thế giới có thể được gắn kết một cách chân thực vào các môi trường thực tế, tồn tại vật lý ở quy mô thành phố. Điều này mở ra tiềm năng lớn cho các ứng dụng như trực quan hóa quy hoạch đô thị, tạo kịch bản lái xe tự động và khám phá dựa trên vị trí. Các hướng phát triển trong tương lai có thể bao gồm việc tăng cường độ chân thực của mô phỏng, mở rộng phạm vi địa lý và tích hợp thêm các tương tác phức tạp hơn trong môi trường thế giới thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về tích hợp dữ liệu đa phương thức và cảm biến thời gian thực để tăng cường độ chân thực và tương tác trong mô hình thế giới đô thị dựa trên AI.
  2. Khám phá các phương pháp tối ưu hóa và nén mô hình để triển khai hiệu quả các mô hình thế giới quy mô lớn trên các thiết bị biên hoặc nền tảng di động có tài nguyên hạn chế.
  3. Phát triển các kỹ thuật gắn kết mô hình thế giới với dữ liệu 3D động (ví dụ: quét LiDAR thời gian thực) để cho phép mô phỏng các thay đổi liên tục và tương tác vật lý phức tạp hơn trong môi trường đô thị.

2. Patent:​

  1. Ứng dụng 'Hướng dẫn ảo cá nhân' trên điện thoại di động: Một ứng dụng cho phép người dùng nhập một địa điểm và một kịch bản mong muốn (ví dụ: 'đi bộ qua con phố này vào mùa đông với tuyết rơi'). Điện thoại sẽ tạo ra một video mô phỏng con đường đó với điều kiện đã chọn, sử dụng dữ liệu bản đồ và hình ảnh đường phố thực tế. Công nghệ 'Virtual Lookahead Sink' và 'cross-temporal pairing' sẽ giúp đảm bảo video liền mạch và chân thực, mang lại trải nghiệm khám phá ảo độc đáo cho người dùng ngay trên thiết bị cầm tay.
  2. Hệ thống 'Lập kế hoạch đô thị tương tác' cho thiết bị di động: Cho phép các nhà quy hoạch hoặc công dân bình thường trên điện thoại của họ 'chèn' hoặc 'thay đổi' các yếu tố trong môi trường đô thị ảo (ví dụ: thêm tòa nhà mới, thay đổi vật liệu đường, trồng cây xanh). Mô hình sẽ tự động tạo ra một video mô phỏng trực quan về tác động của những thay đổi này đối với cảnh quan đường phố, giúp dễ dàng hình dung và chia sẻ các ý tưởng quy hoạch mà không cần phần mềm chuyên dụng.
  3. Tính năng 'Tái tạo cảnh quan theo yêu cầu' trong ứng dụng bản đồ: Tích hợp vào các ứng dụng bản đồ trên điện thoại, cho phép người dùng chọn một tuyến đường và yêu cầu tạo ra video mô phỏng tuyến đường đó dưới các điều kiện cụ thể (ví dụ: 'lái xe trong điều kiện giao thông đông đúc vào buổi chiều', 'đi bộ qua đây khi có mưa lớn'). Ứng dụng sẽ sử dụng dữ liệu street-view và khả năng sinh tạo của mô hình để tạo ra video chân thực, giúp người dùng chuẩn bị hoặc hình dung trước chuyến đi của mình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15583
ArXiv Abstracthttps://arxiv.org/abs/2603.15583
PDF Downloadhttps://arxiv.org/pdf/2603.15583.pdf
Github Repositoryhttps://github.com/naver-ai/seoul-world-model

5. HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions (92 votes)​

Tác giả: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu

Xuất bản lúc: 2026-03-16

Tag: 3D Reconstruction, Human-Scene Interaction, Physical Simulation, Embodied AI, Reinforcement Learning, Generative Models

I. Main Problem:​

Các phương pháp tái tạo tương tác người-cảnh (HSI) 3D hiện có từ các hình ảnh hoặc video thông thường thường tạo ra các kết quả chỉ trông có vẻ hợp lý về mặt thị giác nhưng lại vi phạm các ràng buộc vật lý. Điều này dẫn đến sự mất ổn định trong các công cụ vật lý và thất bại trong các ứng dụng AI hiện thân (embodied AI), tạo ra một "khoảng cách giữa nhận thức và mô phỏng". Các vấn đề cụ thể bao gồm mô hình hóa rời rạc giữa con người và môi trường, bỏ qua sự ghép nối vật lý rõ ràng, và ưu tiên căn chỉnh hình ảnh 2D hơn là tính hợp lệ về mặt hình học và vật lý.

II. Main Idea:​

HSImul3R là một framework thống nhất để tái tạo HSI 3D sẵn sàng cho mô phỏng từ các bản chụp thông thường. Nó giải quyết "khoảng cách giữa nhận thức và mô phỏng" bằng cách giới thiệu một quy trình tối ưu hóa hai chiều dựa trên vật lý, sử dụng trình mô phỏng vật lý như một người giám sát tích cực để cùng tinh chỉnh động lực học của con người và hình học cảnh.

  • Hướng chuyển tiếp (Forward direction): Sử dụng Học tăng cường có mục tiêu cảnh (Scene-targeted Reinforcement Learning) để tối ưu hóa chuyển động của con người dưới sự giám sát kép về độ trung thực của chuyển động và sự ổn định khi tiếp xúc.
  • Hướng ngược lại (Reverse direction): Đề xuất Tối ưu hóa phần thưởng mô phỏng trực tiếp (Direct Simulation Reward Optimization - DSRO), tận dụng phản hồi mô phỏng về sự ổn định trọng lực và thành công tương tác để tinh chỉnh hình học cảnh.
  • Framework này cũng giới thiệu HSIBench, một bộ dữ liệu benchmark mới với các đối tượng và kịch bản tương tác đa dạng để hỗ trợ đào tạo và đánh giá.

III. Main Results:​

HSImul3R tạo ra các bản tái tạo HSI ổn định, sẵn sàng cho mô phỏng đầu tiên và có thể triển khai trực tiếp cho các robot hình người trong thế giới thực.

  • So sánh định lượng về tái tạo và mô phỏng HSI (Bảng 1): HSImul3R vượt trội đáng kể so với các phương pháp cơ sở (HSfM và các biến thể) về "Stability-HSI (%)" (ví dụ: 53.68% so với 10.52% cho trường hợp Easy), giảm "Scene Penetration" (22.9% so với 69.51%), và cải thiện "Human Motion Quality" (giảm W-MPJPE và PA-MPJPE).
  • So sánh định lượng về chất lượng tạo ảnh-sang-3D (Bảng 2): Việc tinh chỉnh DSRO cải thiện chất lượng tạo ảnh-sang-3D, tăng "Stability-HSI" và "Stability-Gravity (SG)", đồng thời giảm "CD" (Chamfer Distance) và tăng "F-Score". (ví dụ: Stability-HSI Easy: 53.68% so với 29.56% của MIDI).
  • Tiện ích trong thế giới thực: Các chuyển động đã tinh chỉnh có thể được tái mục tiêu cho robot hình người Unitree và được sử dụng để đào tạo chính sách theo dõi chuyển động toàn thân để triển khai vật lý.

IV. Conclusion & Future Works:​

HSImul3R là phương pháp đầu tiên đạt được các bản tái tạo tương tác người-cảnh ổn định, sẵn sàng cho mô phỏng từ các bản chụp thông thường, mang lại hiệu suất mạnh mẽ trên nhiều kịch bản đa dạng và vượt trội đáng kể so với các kỹ thuật hiện có. Công trình này cũng chứng minh tính hữu ích trong thế giới thực thông qua việc triển khai cho robot hình người. Khả năng mở rộng sang video đơn sắc và tính linh hoạt trong việc sử dụng các mô hình tạo sinh 3D tiên tiến hơn trong tương lai là những hướng tiềm năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện Khả năng Tổng quát hóa của Mô hình Tạo sinh 3D cho Cảnh Vật lý Phức tạp: Nghiên cứu các phương pháp mới để tăng cường độ mạnh mẽ của các mô hình tạo sinh 3D trong việc tạo ra hình học cảnh chính xác, đặc biệt là đối với các vật thể có cấu trúc mỏng hoặc bị che khuất nhiều, nhằm giảm thiểu các lỗi cấu trúc gây mất ổn định vật lý.
  2. Mô hình hóa Tương tác Động giữa Người và Cảnh trong Môi trường Thay đổi: Phát triển framework HSImul3R để xử lý các kịch bản động, nơi cả con người và các đối tượng trong cảnh đều di chuyển. Điều này đòi hỏi các phương pháp mới để theo dõi và căn chỉnh động lực học 3D trong thời gian thực, đồng thời duy trì sự ổn định vật lý.
  3. Các Chiến lược Học tăng cường Nâng cao cho Tương tác Người-Đối tượng Phức tạp: Khám phá các thuật toán Học tăng cường mới hoặc cải tiến để tối ưu hóa chuyển động của con người, đặc biệt tập trung vào các tương tác phức tạp hơn với nhiều đối tượng hoặc các hành vi đòi hỏi sự khéo léo, nhằm đạt được sự ổn định và độ chân thực cao hơn trong mô phỏng.

2. Patent:​

  1. Ứng dụng Thiết kế Nội thất AR với Phản hồi Vật lý trên Điện thoại Di động: Một ứng dụng di động sử dụng camera của điện thoại để quét và tái tạo lại không gian phòng 3D. Người dùng có thể đặt các vật thể ảo (như bàn, ghế) vào cảnh và tương tác với chúng một cách chân thực (ví dụ: chạm, đẩy, ngồi thử) với phản hồi vật lý được mô phỏng, cho phép kiểm tra độ ổn định và phù hợp của vật thể ảo trong không gian thực.
  2. Hệ thống Huấn luyện Thể chất Cá nhân dựa trên Mô phỏng Vật lý trên Điện thoại Di động: Một ứng dụng di động ghi lại các bài tập của người dùng bằng camera. Ứng dụng sẽ tái tạo chuyển động 3D của người dùng và mô phỏng tương tác vật lý với sàn nhà hoặc thiết bị ảo để đánh giá sự ổn định, thăng bằng và kỹ thuật thực hiện. Nó có thể cảnh báo người dùng về các tư thế không ổn định hoặc không đúng cách dựa trên các ràng buộc vật lý, giúp ngăn ngừa chấn thương.
  3. Trò chơi Di động Tương tác với Vật thể Thực được Tái tạo Vật lý: Một trò chơi di động cho phép người dùng quét các vật thể thực bằng camera điện thoại. Ứng dụng sẽ tái tạo mô hình 3D của vật thể và gán các thuộc tính vật lý. Sau đó, người dùng có thể tương tác với các vật thể đã được tái tạo này trong một môi trường trò chơi ảo với vật lý chân thực, ví dụ như xếp chồng các khối, lăn xe đồ chơi, hoặc tạo ra các chuỗi phản ứng vật lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15612
ArXiv Abstracthttps://arxiv.org/abs/2603.15612
PDF Downloadhttps://arxiv.org/pdf/2603.15612.pdf
Github Repositoryhttps://github.com/yukangcao/HSImul3R

6. Attention Residuals (68 votes)​

Tác giả: Kimi Team, Guangyu Chen, Yu Zhang, Jianlin Su, Weixin Xu, Siyuan Pan, Yaoyu Wang, Yucheng Wang, Guanduo Chen, Bohong Yin, Yutian Chen, Junjie Yan, Ming Wei, Y. Zhang, Fanqing Meng, Chao Hong, Xiaotong Xie, Shaowei Liu, Enzhe Lu, Yunpeng Tai, Yanru Chen, Xin Men, Haiqing Guo, Y. Charles, Haoyu Lu, Lin Sui, Jinguo Zhu, Zaida Zhou, Weiran He, Weixiao Huang, Xinran Xu, Yuzhi Wang, Guokun Lai, Yulun Du, Yuxin Wu, Zhilin Yang, Xinyu Zhou

Xuất bản lúc: 2026-03-16

Tag: LLMs, Residual Connections, Attention Mechanisms, Deep Learning, Transformer Architectures, MoE

I. Main Problem:​

Các kết nối Residual tiêu chuẩn với PreNorm trong các mô hình ngôn ngữ lớn (LLM) hiện đại tích lũy tất cả các đầu ra của lớp với trọng số cố định, dẫn đến sự phát triển không kiểm soát của trạng thái ẩn theo chiều sâu và làm suy yếu dần đóng góp của mỗi lớp. Thông tin từ các lớp đầu bị chôn vùi và không thể truy xuất chọn lọc, gây ra mất mát thông tin không thể đảo ngược và làm tăng kích thước đầu ra của các lớp sau để giành ảnh hưởng, có thể gây mất ổn định trong quá trình huấn luyện và phân phối gradient không đồng đều.

II. Main Idea:​

Bài báo đề xuất Attention Residuals (AttnRes) thay thế cơ chế tích lũy cố định bằng cơ chế attention softmax trên các đầu ra của các lớp trước đó, cho phép mỗi lớp tổng hợp chọn lọc các biểu diễn trước đó với các trọng số học được, phụ thuộc vào đầu vào. Để giải quyết chi phí bộ nhớ và truyền thông khi mở rộng, Block AttnRes được giới thiệu, phân chia các lớp thành các khối và chỉ thực hiện attention trên các biểu diễn cấp khối. Kết hợp với giao tiếp đường ống dựa trên bộ nhớ đệm (cache-based pipeline communication) và chiến lược tính toán hai pha, Block AttnRes trở thành một giải pháp thay thế thực tế cho kết nối residual tiêu chuẩn với chi phí tối thiểu.

III. Main Results:​

Các thử nghiệm với luật mở rộng (scaling law) xác nhận rằng AttnRes liên tục vượt trội hơn đường cơ sở trên mọi quy mô mô hình. Block AttnRes đạt được mức suy giảm lỗi tương đương với đường cơ sở được huấn luyện với lượng tính toán nhiều hơn 1.25 lần. Khi tích hợp vào kiến trúc Kimi Linear (48B tham số), AttnRes đã giảm nhẹ vấn đề pha loãng PreNorm, dẫn đến độ lớn đầu ra đồng nhất hơn và phân phối gradient đều hơn theo chiều sâu. Mô hình cuối cùng cũng cải thiện hiệu suất trên tất cả các tác vụ đánh giá downstream. Chi phí độ trễ suy luận cuối cùng dưới 2% trên các tác vụ điển hình.

IV. Conclusion & Future Works:​

AttnRes là một phương pháp hiệu quả giúp cải thiện hiệu suất và sự ổn định của các mô hình ngôn ngữ sâu bằng cách thay thế cơ chế tích lũy residual cố định bằng cơ chế attention softmax linh hoạt, giải quyết vấn đề pha loãng PreNorm và phân phối gradient không đồng đều. Tiềm năng của Full AttnRes sẽ được khai thác tối đa khi công nghệ kết nối liên bộ xử lý (interconnect) trong tương lai được cải thiện, giúp chi phí truyền thông O(Ld) trở nên khả thi hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về AttnRes đầy đủ (Full AttnRes) khi công nghệ kết nối liên bộ xử lý (interconnect) tiến bộ, nhằm khai thác tối đa tiềm năng của nó mà hiện tại bị hạn chế bởi chi phí bộ nhớ và truyền thông.
  2. Phát triển các chiến lược phân khối động cho Block AttnRes, cho phép kích thước khối hoặc cách gộp lớp thay đổi dựa trên nội dung đầu vào hoặc đặc điểm của các lớp để tối ưu hóa hiệu suất và hiệu quả tài nguyên.
  3. Áp dụng cơ chế Attention Residuals cho các kiến trúc mạng sâu khác ngoài LLM, chẳng hạn như trong thị giác máy tính (ví dụ: ResNet, Vision Transformer), để cải thiện khả năng tổng hợp thông tin theo chiều sâu và phân phối gradient.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại thông minh với khả năng hiểu ngữ cảnh sâu: Một trợ lý ảo sử dụng công nghệ cải tiến kết nối giữa các lớp xử lý thông tin trong mô hình AI. Công nghệ này cho phép trợ lý hiểu sâu hơn các cuộc hội thoại dài và phức tạp bằng cách chọn lọc thông tin quan trọng từ các giai đoạn xử lý khác nhau của mô hình, giúp đưa ra phản hồi chính xác và phù hợp hơn với ngữ cảnh mà vẫn duy trì hiệu suất trên thiết bị di động.
  2. Cải thiện tính năng tìm kiếm ảnh và video trên thiết bị di động: Một ứng dụng thư viện ảnh/video sử dụng công nghệ cải tiến kết nối giữa các lớp xử lý thông tin. Công nghệ này giúp mô hình AI phân tích và lập chỉ mục nội dung bằng cách tổng hợp thông tin từ các lớp xử lý sâu hơn của hình ảnh hoặc video. Điều này cho phép người dùng tìm kiếm nội dung dựa trên các mô tả phức tạp hoặc các yếu tố trừu tượng một cách hiệu quả hơn trên điện thoại.
  3. Ứng dụng dịch thuật thời gian thực trên di động với độ chính xác cao: Một ứng dụng dịch thuật ngôn ngữ trên điện thoại sử dụng công nghệ cải tiến kết nối giữa các lớp xử lý thông tin. Bằng cách cho phép mô hình tập trung có chọn lọc vào các phần quan trọng của văn bản gốc và bản dịch đang được tạo ra ở các lớp khác nhau, ứng dụng có thể cung cấp bản dịch tự nhiên và chính xác hơn cho các câu dài và phức tạp mà không làm tăng đáng kể độ trễ hoặc tiêu thụ pin trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15031
ArXiv Abstracthttps://arxiv.org/abs/2603.15031
PDF Downloadhttps://arxiv.org/pdf/2603.15031.pdf
Github Repositoryhttps://github.com/MoonshotAI/Attention-Residuals

7. Mixture-of-Depths Attention (52 votes)​

Tác giả: Lianghui Zhu, Yuxin Fang, Bencheng Liao, Shijie Wang, Tianheng Cheng, Zilong Huang, Chen Chen, Lai Wei, Yutao Zeng, Ya Wang, Yi Lin, Yu Li, Xinggang Wang

Xuất bản lúc: 2026-03-16

Tag: LLMs, Attention Mechanisms, Transformers, Deep Learning, Hardware Efficiency, Signal Degradation, Information Dilution

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) ngày càng sâu thường gặp phải vấn đề suy giảm tín hiệu: các đặc trưng thông tin được hình thành ở các lớp nông dần bị pha loãng do các cập nhật dư lặp đi lặp lại, khiến chúng khó phục hồi hơn ở các lớp sâu hơn. Các kết nối dư tiêu chuẩn nén lịch sử chiều sâu vào một quỹ đạo trạng thái ẩn duy nhất, và các kết nối dày đặc giữa các lớp (DenseNet-style) tuy giải quyết được việc pha loãng nhưng lại quá tốn kém về tham số cho LLMs. Vấn đề cốt lõi là làm thế nào để mở rộng chiều sâu mô hình trong khi vẫn duy trì sự ổn định tối ưu hóa và ngăn chặn sự pha loãng thông tin một cách hiệu quả về mặt phần cứng.

II. Main Idea:​

Các tác giả giới thiệu Mixture-of-Depths Attention (MoDA), một cơ chế cho phép mỗi đầu chú ý (attention head) đồng thời chú ý đến các cặp khóa-giá trị (KV pairs) theo trình tự ở lớp hiện tại và các cặp KV theo chiều sâu từ các lớp trước đó. MoDA thống nhất thông tin tuần tự và theo chiều sâu trong một toán tử softmax duy nhất, cung cấp không gian biểu diễn đồng nhất. Để làm cho MoDA khả thi ở quy mô lớn, các tác giả đã phát triển một thuật toán hiệu quả về phần cứng, giải quyết các mẫu truy cập bộ nhớ không liền kề. Thuật toán này bao gồm việc hợp nhất (fusing) attention tuần tự và attention theo chiều sâu trong một lần chuyển tiếp duy nhất với các trạng thái softmax trực tuyến được chia sẻ, cùng với bố cục KV theo chiều sâu nhận biết khối (chunk-aware) và lập chỉ mục nhận biết nhóm (group-aware) để cải thiện đáng kể hiệu quả truy cập bộ nhớ.

III. Main Results:​

MoDA đạt 97.3% hiệu suất của FlashAttention-2 ở độ dài chuỗi 64K. Trên các mô hình 1.5B tham số, MoDA liên tục vượt trội so với các mô hình nền mạnh mẽ, cải thiện độ phức tạp trung bình (average perplexity) 0.2 trên 10 điểm chuẩn xác thực và tăng hiệu suất trung bình 2.11% trên 10 tác vụ downstream, với chi phí tính toán FLOPs chỉ 3.7% không đáng kể. Kết quả cũng cho thấy việc kết hợp MoDA với post-norm mang lại hiệu suất tốt hơn so với pre-norm. Việc triển khai MoDA nhận biết phần cứng cho thấy hành vi mở rộng tuyến tính có thể dự đoán được và vẫn hiệu quả trong các chế độ chuỗi dài, tận dụng cao.

IV. Conclusion & Future Works:​

MoDA là một cấu trúc nguyên thủy đầy hứa hẹn để mở rộng chiều sâu trong LLMs. Nó cung cấp một cơ chế hiệu quả, phụ thuộc vào dữ liệu để khai thác lịch sử chiều sâu với chi phí thấp hơn đáng kể so với các kết nối chéo lớp dày đặc. Bằng cách tổng hợp thông tin tuần tự và chiều sâu trong một toán tử softmax thống nhất, MoDA mang lại biểu diễn tốt hơn và hiệu quả trong thực tế. Các kết quả thực nghiệm và phân tích toàn diện xác nhận MoDA là một nền tảng đáng tin cậy để mở rộng chiều sâu trong LLMs. Hướng phát triển trong tương lai có thể tập trung vào việc áp dụng MoDA cho các kiến trúc mô hình và miền ứng dụng rộng hơn, cũng như tối ưu hóa thêm cho các môi trường phần cứng khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ứng dụng MoDA trong các kiến trúc Transformer cho thị giác máy tính: Khám phá cách MoDA có thể cải thiện khả năng tổng hợp thông tin theo chiều sâu và giải quyết vấn đề suy giảm tín hiệu trong các mô hình thị giác dựa trên Transformer, chẳng hạn như Vision Transformers, để tăng cường hiệu suất trong các tác vụ phân loại hình ảnh, phát hiện đối tượng và phân đoạn ngữ nghĩa.
  2. Tối ưu hóa MoDA cho các mô hình ngôn ngữ đa phương thức (multimodal LLMs): Phát triển các biến thể của MoDA để xử lý hiệu quả thông tin từ nhiều phương thức (ví dụ: văn bản, hình ảnh, âm thanh) trong các mô hình đa phương thức, cho phép mô hình truy xuất và kết hợp thông tin sâu từ các lớp trước đó của từng phương thức hoặc giữa các phương thức một cách linh hoạt và hiệu quả.
  3. Phân tích lý thuyết và thực nghiệm về tác động của MoDA đến khả năng học biểu diễn: Thực hiện các nghiên cứu sâu hơn để hiểu rõ hơn về cách MoDA thay đổi không gian biểu diễn của mô hình, đặc biệt là cách nó ngăn chặn sự pha loãng thông tin và cải thiện khả năng thu hồi các đặc trưng quan trọng ở các lớp sâu. Điều này có thể bao gồm việc phát triển các phương pháp trực quan hóa và đo lường mới cho các mô hình sử dụng MoDA.

2. Patent:​

  1. Hệ thống quản lý thông báo thông minh trên điện thoại di động: Một hệ thống sử dụng công nghệ tương tự MoDA để phân tích và ưu tiên các thông báo dựa trên ngữ cảnh tương tác sâu của người dùng với các ứng dụng khác nhau và lịch sử thông báo. Thay vì chỉ sắp xếp theo thời gian, hệ thống có thể 'ghi nhớ' mức độ quan trọng của các loại thông báo từ các tương tác trước đó (các lớp sâu) để hiển thị những thông báo thực sự quan trọng một cách nổi bật hơn, giảm bớt sự phiền nhiễu và tăng hiệu quả sử dụng điện thoại.
  2. Tính năng 'nhớ lại' ngữ cảnh cuộc gọi/tin nhắn thông minh: Một tính năng trên ứng dụng gọi điện hoặc nhắn tin của điện thoại di động sử dụng cơ chế giống MoDA. Khi người dùng nhận một cuộc gọi hoặc tin nhắn từ một liên hệ, hệ thống sẽ tự động hiển thị các thông tin liên quan từ các cuộc trò chuyện, email hoặc sự kiện lịch sử gần đây với người đó (từ các 'lớp' tương tác trước đó), giúp người dùng nhanh chóng nắm bắt ngữ cảnh mà không cần tìm kiếm thủ công, đặc biệt hữu ích cho các liên hệ công việc hoặc người thân.
  3. Trình duyệt web di động với khả năng tóm tắt và trích xuất thông tin theo chiều sâu: Một trình duyệt web trên điện thoại tích hợp một mô hình ngôn ngữ dựa trên MoDA. Khi người dùng đọc một bài viết dài hoặc nghiên cứu một chủ đề, trình duyệt có thể tóm tắt các đoạn văn bản quan trọng hoặc trích xuất các ý chính từ các trang đã xem trước đó (từ các 'lớp' thông tin sâu của phiên duyệt web), giúp người dùng nhanh chóng nắm bắt thông tin và theo dõi chủ đề mà không bị quá tải bởi lượng lớn dữ liệu, đồng thời tiết kiệm pin do xử lý hiệu quả.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15619
ArXiv Abstracthttps://arxiv.org/abs/2603.15619
PDF Downloadhttps://arxiv.org/pdf/2603.15619.pdf
Github Repositoryhttps://github.com/hustvl/MoDA

8. Effective Distillation to Hybrid xLSTM Architectures (31 votes)​

Tác giả: Lukas Hauzenberger, Niklas Schmidinger, Thomas Schmied, Anamaria-Roberta Hartl, David Stap, Pieter-Jan Hoedt, Maximilian Beck, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Xuất bản lúc: 2026-03-16

Tag: Distillation, LLMs, xLSTM, Transformer, Hybrid Architectures, Knowledge Distillation, Efficient Inference, Sub-quadratic models, Machine Learning

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) hiện tại dựa trên cơ chế attention bậc hai đòi hỏi tài nguyên tính toán khổng lồ, dẫn đến việc tiêu tốn năng lượng và chi phí triển khai cao. Các nỗ lực chưng cất LLMs thành kiến trúc tuyến tính, bậc dưới bậc hai thường không đạt được hiệu suất tương đương với mô hình giáo viên trên nhiều tác vụ, đặc biệt là các tác vụ tạo sinh phức tạp như suy luận toán học hoặc tổng hợp mã. Điều này cho thấy những hạn chế trong các quy trình chưng cất, kiến trúc và giao thức đánh giá hiện có.

II. Main Idea:​

Bài báo giới thiệu một quy trình chưng cất hiệu quả cho các mô hình học sinh dựa trên kiến trúc xLSTM lai, với mục tiêu đạt được sự chưng cất "không mất mát" (lossless distillation) – tức là mô hình học sinh có thể đạt hoặc vượt qua hiệu suất của mô hình giáo viên. Kiến trúc học sinh thay thế các khối multi-head attention bằng một khối lai kết hợp Sliding Window Attention (SWA) để nắm bắt ngữ cảnh cục bộ và mLSTM để xử lý phụ thuộc dài hạn với độ phức tạp tuyến tính, được kết hợp động bằng một cổng học được. Quy trình chưng cất bao gồm ba giai đoạn: (1) Căn chỉnh trạng thái ẩn theo từng lớp, (2) Chưng cất tri thức thưa (sparse knowledge distillation) sử dụng kết hợp dự đoán token tiếp theo và phân phối của mô hình giáo viên, và (3) Giai đoạn hợp nhất bổ sung, nơi các chuyên gia được tuyến tính hóa riêng lẻ (chuyên biệt theo miền) được đào tạo độc lập và sau đó được hợp nhất thành một mô hình duy nhất thông qua hợp nhất trọng số tuyến tính đơn giản. Phương pháp này cho phép "vá lỗi khả năng" (capability patching) và cải thiện hiệu quả triển khai.

III. Main Results:​

Các mô hình học sinh dựa trên xLSTM đã phục hồi hầu hết hiệu suất của mô hình giáo viên và thậm chí vượt trội trên một số tác vụ. Cụ thể, trên các tác vụ hiểu ngôn ngữ và kiến thức, các mô hình xLSTM chưng cất đạt được hoặc gần như đạt được sự tương đương với mô hình giáo viên, vượt trội đáng kể so với các phương pháp LoLCATs và QRWKV6-7B. Trên các tác vụ tạo sinh và suy luận phức tạp (toán học, mã hóa), các phương pháp trước đây cho thấy khoảng cách hiệu suất đáng kể (α⋆ = 1.0), trong khi các mô hình lai xLSTM đạt điểm tương đối mạnh (α⋆ = 0.0 cho Llama3.1-8B và α⋆ = 0.01 cho Olmo3-7B). Đối với các mô hình được tinh chỉnh theo hướng dẫn (Llama3.1-8B-IT và Qwen2.5-7B-IT), quy trình chưng cất phi tập trung tạo ra các mô hình học sinh tuyến tính mạnh mẽ, khớp với mô hình giáo viên trên tác vụ hiểu ngôn ngữ và tạo mã, đồng thời phục hồi phần lớn hiệu suất trên các tác vụ suy luận toán học. Các mô hình hợp nhất cũng nhận được điểm ưu tiên cao hơn so với mô hình giáo viên của chúng trên MT-bench. Về hiệu suất suy luận, mô hình học sinh nhanh hơn đáng kể (~2× thông lượng cao hơn, ~2× giảm thời gian đến token đầu tiên), giảm một nửa độ trễ và bộ nhớ GPU ở ngân sách tạo sinh lớn, và đạt thông lượng tạo sinh cao hơn tới ~4× khi độ dài ngữ cảnh tăng lên.

IV. Conclusion & Future Works:​

Quy trình chưng cất hiệu quả cho các kiến trúc xLSTM lai, bao gồm cả giai đoạn hợp nhất các chuyên gia được tuyến tính hóa riêng lẻ, là một bước tiến quan trọng hướng tới việc thay thế các LLMs dựa trên Transformer hiệu quả năng lượng và chi phí hơn. Các hướng nghiên cứu trong tương lai bao gồm mở rộng quy mô hiệu quả chế độ chưng cất KL thưa cho ngữ cảnh dài, cũng như áp dụng tinh chỉnh theo miền cụ thể hoặc chưng cất theo chính sách cho từng chuyên gia trước khi hợp nhất, ví dụ, học từ các quỹ đạo tự tạo với phản hồi từ mô hình giáo viên.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp hiệu quả để mở rộng quy mô quá trình chưng cất tri thức thưa (sparse knowledge distillation), đặc biệt cho các mô hình ngôn ngữ lớn xử lý ngữ cảnh dài, nhằm giảm chi phí tính toán khi truy vấn mô hình giáo viên trực tuyến.
  2. Khám phá việc áp dụng chưng cất theo chính sách (on-policy distillation) và tinh chỉnh chuyên biệt theo từng miền (domain-specific fine-tuning) cho các chuyên gia xLSTM riêng lẻ trước khi hợp nhất, bao gồm việc học từ các quỹ đạo tự tạo với phản hồi từ mô hình giáo viên.
  3. Phân tích sâu hơn các cơ chế gây nhiễu (interference) và chuyển giao tích cực (positive transfer) khi hợp nhất các chuyên gia được tinh chỉnh độc lập trong kiến trúc lai xLSTM, đặc biệt là cách tối ưu hóa việc hợp nhất để giảm thiểu suy giảm hiệu suất trên các miền nhất định (ví dụ: STEM).

2. Patent:​

  1. Hệ thống Trợ lý AI Tiết kiệm Pin (Battery-Efficient AI Assistant): Một hệ thống trợ lý ảo trên điện thoại di động sử dụng mô hình ngôn ngữ lớn đã được chưng cất thành kiến trúc xLSTM lai. Hệ thống này có thể thực hiện các tác vụ phức tạp như tóm tắt văn bản, trả lời câu hỏi, hoặc tạo nội dung với mức tiêu thụ năng lượng thấp hơn đáng kể so với các mô hình truyền thống, kéo dài thời lượng pin của thiết bị.
  2. Tối ưu hóa Xử lý Ngôn ngữ Ngoại tuyến cho Điện thoại (Offline Language Processing Optimization for Mobile): Phát triển một công nghệ cho phép các ứng dụng trên điện thoại di động xử lý ngôn ngữ tự nhiên hiệu quả ngay cả khi không có kết nối internet. Bằng cách sử dụng các mô hình xLSTM đã được chưng cất, điện thoại có thể thực hiện các chức năng như dịch thuật, nhận dạng giọng nói, hoặc phân tích văn bản cục bộ với tốc độ nhanh và ít hao tốn tài nguyên, lý tưởng cho các khu vực có kết nối kém.
  3. Nền tảng Tích hợp Chuyên gia AI Mô-đun trên Điện thoại (Modular AI Expert Integration Platform on Mobile): Một nền tảng phần mềm trên điện thoại di động cho phép tích hợp và hợp nhất các mô hình AI chuyên biệt cho từng tác vụ (ví dụ: một chuyên gia về toán học, một chuyên gia về lập trình, một chuyên gia về trò chuyện) thành một mô hình tổng thể duy nhất. Nền tảng này sử dụng kỹ thuật hợp nhất trọng số để cho phép điện thoại cập nhật các khả năng AI mới hoặc cải thiện hiệu suất trên các miền cụ thể mà không cần tải xuống toàn bộ mô hình lớn, giúp tiết kiệm dung lượng lưu trữ và băng thông.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15590
ArXiv Abstracthttps://arxiv.org/abs/2603.15590
PDF Downloadhttps://arxiv.org/pdf/2603.15590.pdf
Github RepositoryN/A

9. Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models (25 votes)​

Tác giả: Lexiang Xiong, Qi Li, Jingwen Ye, Xinchao Wang

Xuất bản lúc: 2026-03-16

Tag: VLM, Hallucination Detection, Explainable AI, Information Theory, Anomaly Detection, Computational Cognition

I. Main Problem:​

Các Mô hình Thị giác-Ngôn ngữ (VLM) thường xuyên gặp phải 'ảo giác' – tức là tạo ra các phát biểu có vẻ hợp lý nhưng thực tế lại sai lệch. Điều này tạo ra rào cản lớn đối với việc triển khai đáng tin cậy của VLM trong các lĩnh vực quan trọng. Các ảo giác này không phải là lỗi đơn lẻ mà là các 'bệnh lý' phức tạp, nhiều giai đoạn, nơi các lỗi khác nhau như sai lệch nhận thức và bỏ qua logic có thể kết hợp và tương tác. Các phương pháp hiện tại thường xem quá trình tạo ra nội dung là một sự kiện nguyên khối, không thể chia cắt hoặc chỉ đánh giá sự nhất quán ngữ nghĩa của đầu ra cuối cùng, do đó không thể phân biệt được liệu ảo giác xuất phát từ lỗi ban đầu trong việc hiểu hình ảnh (sai lệch nhận thức) hay từ một bước nhảy logic bỏ qua các sự kiện đã được trích xuất (bỏ qua suy luận).

II. Main Idea:​

Nghiên cứu này đề xuất một mô hình mới để chẩn đoán ảo giác, coi chúng không phải là lỗi đầu ra tĩnh mà là các bệnh lý động trong nhận thức tính toán của mô hình. Khung công tác này dựa trên nguyên tắc hợp lý tính toán, cho phép mô hình hóa quá trình tạo nội dung của VLM như một 'quỹ đạo nhận thức động'. Các tác giả thiết kế một bộ công cụ thăm dò dựa trên lý thuyết thông tin để chiếu quỹ đạo này lên một 'Không gian Trạng thái Nhận thức' (Cognitive State Space) có thể diễn giải được, với ba chiều: Độ bất ổn nhận thức (Perceptual Instability - HEvi), Lỗi logic-nhân quả (Inferential Conflict - SConf) và Sự mơ hồ trong quyết định (Decision Entropy - HAns). Khám phá trung tâm là 'tính đối ngẫu hình học-thông tin': sự bất thường về mặt hình học của một quỹ đạo nhận thức trong không gian này về cơ bản tương đương với sự bất ngờ cao về mặt lý thuyết thông tin của nó. Do đó, việc phát hiện ảo giác được tái định hình thành một bài toán phát hiện bất thường hình học. Hệ thống được hiệu chỉnh bằng cách học cấu trúc hình học của các trạng thái nhận thức 'bình thường' bằng mô hình Gaussian Mixture Model (GMM) dựa trên dữ liệu có câu trả lời đúng (giám sát yếu).

III. Main Results:​

Khung công tác CAD (Cognitive Anomaly Detection) đạt hiệu suất vượt trội trên nhiều thiết lập khác nhau, từ QA nhị phân nghiêm ngặt (POPE) và suy luận toàn diện (MME) đến tạo chú thích mở (MS-COCO). Cụ thể, trên benchmark POPE (Adversarial), CAD đạt hiệu suất trung bình AUC là 0.858, vượt trội đáng kể so với tất cả các phương pháp cơ sở, bao gồm cả các phương pháp yêu cầu chi phí tính toán cao hơn (như Semantic Entropy với 10x chi phí). Trên benchmark MME, CAD cũng cho thấy khả năng tổng quát hóa mạnh mẽ với hiệu suất trung bình AUC là 0.7960. Điều quan trọng là, nó hoạt động với hiệu quả cao dưới sự giám sát yếu và vẫn rất mạnh mẽ ngay cả khi dữ liệu hiệu chuẩn bị nhiễm bẩn đáng kể. Phân tích cơ chế cho thấy các mô hình VLM khác nhau có 'dấu vân tay nhận thức' độc đáo, ví dụ: Idefics2 có 'mô hình rối loạn cấu trúc', Llava có 'mô hình đấu tranh minh bạch', trong đó Qwen2-VL và DeepSeek thể hiện 'các trạng thái đan xen' (những lời nói dối tự tin), nơi các quỹ đạo ảo giác hòa quyện với các quỹ đạo bình thường.

IV. Conclusion & Future Works:​

Nghiên cứu này không chỉ cung cấp một phương pháp phát hiện ảo giác tiên tiến mà còn là một khung chẩn đoán có nguyên tắc, mang lại cái nhìn mới để hiểu các lỗi của VLM. Khung công tác này mở ra con đường hướng tới việc xây dựng các hệ thống AI có khả năng suy luận minh bạch, có thể kiểm toán và chẩn đoán theo thiết kế. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc giải quyết các 'trạng thái đan xen' (Entangled States) được tìm thấy ở một số mô hình, nơi ảo giác là lỗi nội dung phát sinh từ một quá trình dường như bình thường, đặt ra thách thức cho các phương pháp chẩn đoán dựa trên bất thường quá trình. Ngoài ra, việc mở rộng khung công tác để chủ động giảm thiểu ảo giác hoặc tích hợp sâu hơn vào kiến trúc mô hình có thể là những hướng đi tiềm năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích sâu hơn về các 'trạng thái đan xen' trong ảo giác VLM: Nghiên cứu về nguyên nhân gốc rễ và cơ chế của 'trạng thái đan xen' (Entangled States) nơi các quỹ đạo nhận thức ảo giác chồng chéo với các quỹ đạo bình thường. Đề xuất các phương pháp mới để phân biệt và giảm thiểu loại ảo giác 'tự tin' này, có thể liên quan đến việc khám phá các tín hiệu nội bộ tinh vi hơn hoặc các can thiệp trong quá trình suy luận.
  2. Mở rộng khung chẩn đoán cho các tác vụ VLM đa dạng hơn: Áp dụng và điều chỉnh khung CAD cho các tác vụ VLM phức tạp hơn ngoài VQA và tạo chú thích, chẳng hạn như tương tác hội thoại đa phương thức, tạo nội dung video, hoặc điều khiển robot. Nghiên cứu cách các 'dấu vân tay nhận thức' thay đổi và cách các thăm dò có thể được tùy chỉnh cho các miền ứng dụng này.
  3. Tích hợp các tín hiệu chẩn đoán để giảm thiểu ảo giác trong thời gian suy luận: Phát triển các kỹ thuật mới để sử dụng các chỉ số HEvi, SConf, HAns làm tín hiệu phản hồi trong thời gian suy luận (inference-time) để hướng dẫn VLM tạo ra các phản hồi ít ảo giác hơn. Điều này có thể bao gồm các cơ chế điều chỉnh động quá trình tạo token hoặc các kỹ thuật tái suy luận có ý thức về trạng thái nhận thức.

2. Patent:​

  1. Hệ thống cảnh báo ảo giác cho trợ lý AI trên điện thoại di động: Một tính năng trên điện thoại di động sử dụng khung chẩn đoán để phân tích các phản hồi của trợ lý AI (ví dụ: mô tả hình ảnh, trả lời câu hỏi dựa trên hình ảnh) và hiển thị cảnh báo trực quan cho người dùng nếu phát hiện khả năng cao có ảo giác. Ví dụ, khi người dùng hỏi về một bức ảnh, nếu AI mô tả sai một vật thể, điện thoại sẽ đánh dấu phần mô tả đó hoặc hiển thị một biểu tượng cảnh báo, giúp người dùng không tin tưởng vào thông tin sai lệch.
  2. Ứng dụng kiểm tra thực tế hình ảnh tức thì: Một ứng dụng di động cho phép người dùng chụp ảnh hoặc tải lên hình ảnh, sau đó nhập một tuyên bố về hình ảnh đó. Ứng dụng sẽ sử dụng VLM để đánh giá tuyên bố và sử dụng các chỉ số nhận thức (như độ bất ổn nhận thức và xung đột suy luận) để xác định mức độ tin cậy của VLM đối với tuyên bố đó. Nếu VLM 'ảo giác', ứng dụng sẽ cảnh báo người dùng về khả năng sai sự thật, hữu ích cho việc kiểm tra thông tin sai lệch trực quan.
  3. Hệ thống giám sát và cải thiện tự động cho mô hình AI cục bộ trên thiết bị: Một phần mềm chạy trên điện thoại hoặc thiết bị biên, liên tục giám sát hiệu suất của các mô hình VLM nhỏ được triển khai cục bộ. Nó sử dụng các chỉ số chẩn đoán (HEvi, SConf, HAns) để phát hiện khi mô hình bắt đầu có dấu hiệu 'ảo giác' hoặc suy luận kém. Dựa trên các phát hiện này, hệ thống có thể tự động kích hoạt các cơ chế tự sửa lỗi nhẹ, đề xuất cập nhật mô hình, hoặc cung cấp phản hồi cho nhà phát triển để cải thiện phiên bản tiếp theo của mô hình AI trên thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15557
ArXiv Abstracthttps://arxiv.org/abs/2603.15557
PDF Downloadhttps://arxiv.org/pdf/2603.15557.pdf
Github Repositoryhttps://github.com/Lexiang-Xiong/CAD

10. ViFeEdit: A Video-Free Tuner of Your Video Diffusion Transformer (23 votes)​

Tác giả: Ruonan Yu, Zhenxiong Tan, Zigeng Chen, Songhua Liu, Xinchao Wang

Xuất bản lúc: 2026-03-16

Tag: Diffusion Models, Transformers, Video Editing, Image-to-Video, Spatiotemporal Consistency, Fine-tuning

I. Main Problem:​

Các mô hình Diffusion Transformers (DiTs) đã cho thấy khả năng mở rộng và chất lượng đáng kể trong việc tạo hình ảnh và video. Tuy nhiên, tiến bộ trong kiểm soát và chỉnh sửa video vẫn còn hạn chế so với hình ảnh. Các vấn đề chính bao gồm:

  • Sự khan hiếm dữ liệu video có cặp: Việc xây dựng các bộ dữ liệu video có cặp là cực kỳ tốn kém và đòi hỏi nhiều tài nguyên (ví dụ: hơn 10.000 ngày GPU cho một bộ dữ liệu).
  • Chi phí tính toán cao: Huấn luyện các mô hình khuếch tán video đòi hỏi tài nguyên tính toán lớn do sự phụ thuộc đa khung hình của dữ liệu video.
  • Thách thức về tính nhất quán không gian-thời gian: Chỉnh sửa video không chỉ yêu cầu các sửa đổi nhất quán về không gian mà còn phải duy trì tính nhất quán về thời gian trên các khung hình.

II. Main Idea:​

Để giải quyết vấn đề về dữ liệu và chi phí tính toán, nghiên cứu này đề xuất ViFeEdit, một khung điều chỉnh (tuner) không cần dữ liệu video dành cho các bộ biến đổi khuếch tán video (Video Diffusion Transformers). Các ý tưởng chính của ViFeEdit là:

  • Điều chỉnh không cần video: ViFeEdit cho phép tạo và chỉnh sửa video đa năng chỉ bằng cách điều chỉnh với dữ liệu hình ảnh 2D, loại bỏ hoàn toàn yêu cầu về dữ liệu video.
  • Tái tham số hóa kiến trúc để tách rời không gian-thời gian: Đây là cốt lõi của phương pháp. Thay vì cố gắng tách biệt rõ ràng trong cơ chế chú ý 3D đầy đủ, ViFeEdit đóng băng các module chú ý 3D gốc của DiT (để bảo toàn khả năng duy trì tính nhất quán thời gian của mô hình được huấn luyện trước).
  • Giới thiệu module chú ý không gian 2D bổ sung: Một cặp module chú ý không gian 2D bổ sung (tích cực và tiêu cực) được giới thiệu. Các module này được khởi tạo để chống lại nhau, đảm bảo hiệu suất ban đầu của mô hình được giữ nguyên và chỉ học các hành vi chỉnh sửa không gian từ hình ảnh 2D.
  • Kiến trúc đường dẫn kép (Dual-Path Pipeline): ViFeEdit sử dụng một kiến trúc đường dẫn kép xử lý riêng biệt trạng thái ẩn nhiễu (noisy latent) và tín hiệu điều kiện (video nguồn). Hai luồng này chỉ tương tác bên trong các module chú ý không gian 2D mới, không ảnh hưởng đến cơ chế chú ý 3D gốc.
  • Nhúng bước thời gian riêng biệt: Để đảm bảo hướng dẫn điều kiện chính xác, trạng thái ẩn nhiễu được gán bước thời gian hiện tại (t), trong khi video điều kiện luôn được gán bước thời gian 0 (cho biết đầu vào video sạch).

III. Main Results:​

Các thí nghiệm sâu rộng trên sáu tác vụ chỉnh sửa video chi tiết (chuyển đổi phong cách nhất quán, thay thế đối tượng cứng, thay thế đối tượng không cứng, thay đổi màu sắc, thêm đối tượng và loại bỏ đối tượng) đã chứng minh hiệu quả của ViFeEdit:

  • Phương pháp đạt được kết quả đầy hứa hẹn trong việc tạo và chỉnh sửa video có thể kiểm soát được chỉ với việc huấn luyện tối thiểu trên dữ liệu hình ảnh 2D (100-250 cặp) và chi phí tính toán thấp.
  • ViFeEdit thể hiện khả năng chuyển đổi phong cách chất lượng cao với sự nhất quán về thời gian và không gian.
  • Trong các tác vụ chuyển đổi phong cách, ViFeEdit đạt được điểm số cao hơn đáng kể trên các chỉ số nhất quán chủ thể, nhất quán nền, nhấp nháy thời gian, độ mượt chuyển động và màu sắc so với các phương pháp cơ sở như OmniConsistency (thường gặp vấn đề về tính nhất quán thời gian do xử lý từng khung hình) và VACE (ngay cả khi được tinh chỉnh).

IV. Conclusion & Future Works:​

ViFeEdit là phương pháp tiên phong cho phép điều chỉnh các DiT chuyển văn bản thành video để thực hiện các tác vụ chỉnh sửa video đa dạng mà không cần bất kỳ dữ liệu video nào. Bằng cách tái tham số hóa kiến trúc để tách rời tương tác không gian khỏi cơ chế chú ý 3D đầy đủ và hoạt động trong một đường dẫn kép với các nhúng bước thời gian riêng biệt, ViFeEdit duy trì được tính nhất quán thời gian trong khi vẫn cho phép chỉnh sửa không gian linh hoạt chỉ với dữ liệu hình ảnh 2D.

Hướng nghiên cứu tương lai có thể bao gồm:

  • Mở rộng ViFeEdit để xử lý các tác vụ chỉnh sửa video phức tạp hơn, đòi hỏi sự hiểu biết sâu sắc hơn về mối quan hệ không gian-thời gian hoặc tương tác đa đối tượng.
  • Tối ưu hóa hơn nữa hiệu quả của mô hình để có thể triển khai trên các thiết bị có tài nguyên hạn chế, chẳng hạn như điện thoại di động, cho phép chỉnh sửa video theo thời gian thực hoặc gần thời gian thực.
  • Khám phá các phương pháp học tập không giám sát hoặc tự giám sát để giảm bớt yêu cầu về dữ liệu hình ảnh có cặp, làm cho quá trình điều chỉnh trở nên linh hoạt và dễ tiếp cận hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. ViFeEdit-XL: Nâng cao khả năng chỉnh sửa video không cần dữ liệu video cho các tác vụ phức tạp hơn Nghiên cứu mở rộng ViFeEdit để xử lý các tác vụ chỉnh sửa video nâng cao hơn như thay đổi bối cảnh toàn bộ, tạo hiệu ứng chuyển động phức tạp hoặc chỉnh sửa tương tác giữa nhiều đối tượng, đồng thời vẫn duy trì phương pháp huấn luyện chỉ bằng hình ảnh 2D.
  2. Tối ưu hóa ViFeEdit cho thiết bị biên: Chỉnh sửa video chất lượng cao trên di động Nghiên cứu các kỹ thuật nén mô hình và tăng cường hiệu quả tính toán của ViFeEdit để triển khai trên các thiết bị di động hoặc thiết bị biên, cho phép chỉnh sửa video tức thì mà không cần tải lên đám mây và vẫn đảm bảo tính nhất quán về thời gian.
  3. Học tập không giám sát cho ViFeEdit: Khám phá tiềm năng chỉnh sửa video mà không cần dữ liệu hình ảnh có cặp Phát triển các phương pháp học tập không giám sát hoặc tự giám sát để ViFeEdit có thể học các khả năng chỉnh sửa video mà không yêu cầu các cặp hình ảnh nguồn-đích được chú thích, giảm đáng kể yêu cầu về dữ liệu và mở rộng phạm vi ứng dụng.

2. Patent:​

  1. Ứng dụng chỉnh sửa video thông minh trên điện thoại di động Một ứng dụng cho phép người dùng thay đổi phong cách video (ví dụ: chuyển sang phong cách hoạt hình Ghibli, Chibi 3D) hoặc thực hiện các chỉnh sửa đối tượng (thay thế, thêm, xóa) trực tiếp trên điện thoại của họ. Ứng dụng này sẽ sử dụng một công nghệ nền tảng tương tự ViFeEdit để đảm bảo sự nhất quán về chuyển động và hình ảnh trong video đã chỉnh sửa, ngay cả khi người dùng chỉ cung cấp một hình ảnh tham chiếu cho phong cách hoặc đối tượng mới, mà không cần dữ liệu video huấn luyện phức tạp.
  2. Công cụ tạo hiệu ứng video AI cho mạng xã hội Một tính năng tích hợp vào các nền tảng mạng xã hội hoặc ứng dụng chỉnh sửa video cho phép người dùng áp dụng các hiệu ứng đặc biệt hoặc thay đổi màu sắc của đối tượng trong video của họ chỉ bằng cách mô tả bằng văn bản hoặc chọn một hình ảnh mẫu. Công nghệ này sẽ duy trì tính nhất quán của hiệu ứng trên toàn bộ video mà không làm gián đoạn chuyển động, mang lại trải nghiệm chỉnh sửa chuyên nghiệp mà không yêu cầu kỹ năng phức tạp hoặc tài nguyên tính toán lớn.
  3. Hệ thống cá nhân hóa quảng cáo video dựa trên nội dung Một hệ thống sử dụng công nghệ tương tự ViFeEdit để tự động điều chỉnh nội dung quảng cáo video dựa trên sở thích của người xem hoặc bối cảnh hiển thị. Ví dụ, nếu quảng cáo hiển thị một sản phẩm có màu sắc nhất định, hệ thống có thể thay đổi màu sắc sản phẩm đó trong video quảng cáo để phù hợp với thương hiệu hoặc sở thích của người dùng, mà không cần tạo lại toàn bộ video. Việc này được thực hiện bằng cách tinh chỉnh các yếu tố không gian trong video gốc bằng các hình ảnh mẫu, đồng thời giữ nguyên chuyển động và cấu trúc video.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15478
ArXiv Abstracthttps://arxiv.org/abs/2603.15478
PDF Downloadhttps://arxiv.org/pdf/2603.15478.pdf
Github Repositoryhttps://github.com/Lexie-YU/ViFeEdit

11. POLCA: Stochastic Generative Optimization with LLM (21 votes)​

Tác giả: Xuanfei Ren, Allen Nie, Tengyang Xie, Ching-An Cheng

Xuất bản lúc: 2026-03-16

Tag: LLMs, Generative Optimization, Stochastic Optimization, ε-Net, Meta-learning, Reinforcement Learning

I. Main Problem:​

Tối ưu hóa các hệ thống phức tạp, từ các prompt của LLM đến các tác nhân đa lượt và trình tạo mã, đòi hỏi quá trình lặp lại thủ công tốn nhiều công sức. Các phương pháp tối ưu hóa sinh tạo hiện tại với LLM gặp phải các thách thức chính:

  • Tính ngẫu nhiên: Phản hồi nhiễu, lấy mẫu minibatch và hành vi hệ thống ngẫu nhiên làm cho việc đánh giá hiệu suất không ổn định và tốn kém.
  • Mở rộng không giới hạn không gian giải pháp: Các LLM tối ưu hóa có xu hướng tạo ra nhiều tham số tương tự về mặt ngữ nghĩa, dẫn đến chi phí đánh giá cao và không gian tìm kiếm phát triển tuyến tính thay vì thông tin hữu ích.
  • Bất ổn định và bế tắc trong tối ưu hóa: LLM có thể lặp lại lỗi hoặc không nhận đủ thông tin từ phản hồi để cải thiện.
  • Không gian tham số lớn, rời rạc và không có thứ tự tự nhiên: Ví dụ như không gian của tất cả các chương trình Python hợp lệ, khiến việc tìm kiếm hiệu quả trở nên khó khăn.

II. Main Idea:​

Bài báo giới thiệu Prioritized Optimization with Local Contextual Aggregation (POLCA), một framework có khả năng mở rộng để tối ưu hóa sinh tạo ngẫu nhiên với LLM. Các ý tưởng chính bao gồm:

  • Hàng đợi ưu tiên (Priority Queue - Q): Duy trì và cập nhật liên tục lịch sử đánh giá của các giải pháp ứng cử viên, sử dụng điểm ưu tiên (như điểm trung bình thực nghiệm hoặc điểm UCB) để cân bằng giữa khám phá và khai thác.
  • Cơ chế ε-Net: Sử dụng chức năng nhúng (embedding function) để đo lường sự tương đồng ngữ nghĩa giữa các tham số. Các tham số mới chỉ được chấp nhận vào hàng đợi Q nếu khoảng cách ngữ nghĩa của chúng với tất cả các tham số hiện có vượt quá ε, ngăn chặn sự bùng nổ của không gian giải pháp bằng cách loại bỏ các đề xuất dư thừa và duy trì sự đa dạng.
  • Tóm tắt LLM (LLM Summarizer): Một thành phần LLM bên ngoài xử lý toàn bộ hàng đợi Q đã cập nhật để tạo ra ngữ cảnh toàn cục (c_history) cô đọng, cung cấp hướng dẫn cấp cao cho LLM tối ưu hóa.
  • LLM tối ưu hóa (LLM Optimizer - O): Đề xuất các tham số mới dựa trên ngữ cảnh cục bộ (dữ liệu từ đánh giá minibatch hiện tại) và ngữ cảnh toàn cục (c_history) do Summarizer cung cấp, giúp ổn định tìm kiếm và thoát khỏi các cực tiểu cục bộ.
  • Đánh giá Minibatch: Lấy mẫu một minibatch các tác vụ để ước tính hiệu suất của các chương trình được đề xuất, giảm chi phí tính toán và đối phó với tính ngẫu nhiên.
  • Phân tích lý thuyết: Chứng minh rằng POLCA hội tụ về các giải pháp gần tối ưu trong môi trường ngẫu nhiên, với tốc độ hội tụ bị ảnh hưởng bởi hiệu quả của trình tối ưu hóa và tính ngẫu nhiên của các đánh giá.

III. Main Results:​

POLCA được đánh giá trên nhiều benchmark khác nhau, bao gồm τ-bench, HotpotQA (tối ưu hóa tác nhân), VeriBench (dịch mã) và KernelBench (tạo mã CUDA kernel).

  • Hiệu suất vượt trội: POLCA liên tục vượt trội so với các thuật toán hiện đại (GEPA, OpenEvolve, DSPy) về tốc độ hội tụ và hiệu suất cuối cùng trong cả các vấn đề xác định và ngẫu nhiên.
  • Xử lý tính ngẫu nhiên hiệu quả:
    • Trên τ-bench, POLCA xử lý hiệu quả tính ngẫu nhiên phát sinh từ việc lấy mẫu minibatch và tính ngẫu nhiên nội bộ của tác nhân, cải thiện hiệu suất trên các tác vụ không nhìn thấy.
    • POLCA cũng đạt được kết quả vượt trội trong tối ưu hóa prompt HotpotQA.
    • Trong VeriBench, POLCA thể hiện khả năng học hỏi từ tín hiệu biên dịch và phản hồi LLM ngẫu nhiên khi dịch mã Python sang Lean 4.
  • Hiệu quả và mạnh mẽ: Các kết quả thực nghiệm chứng minh POLCA đạt được hiệu suất mạnh mẽ, hiệu quả về mẫu và thời gian.
  • Xác minh tầm quan trọng của ε-Net: Xác minh rằng mô hình hóa phần thưởng tham số thông qua một tập hợp dễ bị ảnh hưởng bởi tính ngẫu nhiên của đánh giá, nhấn mạnh sự cần thiết của cơ chế bộ nhớ liên tục như ε-Net để đảm bảo một framework mạnh mẽ và có nguyên tắc cho việc mở rộng trình tối ưu hóa LLM khi đối mặt với tính ngẫu nhiên.

IV. Conclusion & Future Works:​

POLCA là một framework mạnh mẽ và có khả năng mở rộng để tối ưu hóa sinh tạo ngẫu nhiên với LLM, giải quyết các thách thức chính về tính ngẫu nhiên và sự mở rộng không giới hạn của không gian giải pháp thông qua cơ chế hàng đợi ưu tiên và ε-Net. Nó đã được chứng minh là vượt trội so với các phương pháp hiện có trên nhiều benchmark.

Các hướng nghiên cứu trong tương lai có thể bao gồm:

  • Khám phá các hàm ưu tiên và chiến lược tìm kiếm khác nhau ngoài UCB để tối ưu hóa việc cân bằng khám phá/khai thác.
  • Mở rộng ứng dụng của POLCA sang các miền tối ưu hóa khác ngoài prompt và mã, ví dụ như tối ưu hóa cấu trúc dữ liệu rời rạc hoặc các giải pháp chức năng phức tạp hơn.
  • Nghiên cứu cách tích hợp các loại tín hiệu phản hồi đa phương thức (hình ảnh, video, âm thanh) vào cơ chế hướng dẫn của POLCA để giải quyết các vấn đề tối ưu hóa đa dạng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. POLCA-X: Optimizing Complex Generative Models Beyond LLMs: Nghiên cứu mở rộng framework POLCA để tối ưu hóa không chỉ các mô hình ngôn ngữ lớn mà còn các mô hình sinh tạo khác (ví dụ: mô hình diffusion, GANs) trong các tác vụ thiết kế sáng tạo hoặc khám phá khoa học, tập trung vào cách điều chỉnh cơ chế ε-Net và Summarizer cho các không gian tham số phi văn bản.
  2. Adaptive ε-Net for Dynamic Exploration-Exploitation in Generative Optimization: Phát triển một cơ chế ε-Net tự điều chỉnh, nơi giá trị ε thay đổi động trong quá trình tối ưu hóa dựa trên sự đa dạng của các đề xuất và hiệu suất hiện tại. Điều này có thể tối ưu hóa việc cân bằng giữa khám phá (khi cần đa dạng hơn) và khai thác (khi cần tập trung vào các giải pháp tốt nhất) mà không cần người dùng đặt trước.
  3. Multi-Objective Generative Optimization with POLCA: Balancing Performance and Resource Efficiency: Mở rộng POLCA để giải quyết các vấn đề tối ưu hóa đa mục tiêu, nơi cần cân bằng nhiều yếu tố như hiệu suất, chi phí tính toán, độ phức tạp của chương trình hoặc khả năng giải thích. Nghiên cứu cách cập nhật hàng đợi ưu tiên và cơ chế lọc ε-Net để hỗ trợ tìm kiếm trên mặt trận Pareto.

2. Patent:​

  1. Hệ thống tối ưu hóa prompt thông minh cho trợ lý ảo di động: Một ứng dụng trên điện thoại di động sử dụng công nghệ giống POLCA để tự động tối ưu hóa các prompt (lời nhắc) được gửi đến các mô hình ngôn ngữ lớn (LLM) của trợ lý ảo. Người dùng cung cấp phản hồi đơn giản (ví dụ: "tốt hơn", "tệ hơn") và hệ thống sẽ tự động điều chỉnh prompt để cải thiện chất lượng phản hồi của trợ lý ảo theo thời gian, giúp người dùng có trải nghiệm cá nhân hóa và hiệu quả hơn mà không cần phải tự mình mày mò các prompt phức tạp.
  2. Công cụ tự động cải thiện mã nguồn trên thiết bị di động cho nhà phát triển: Một công cụ tích hợp trong môi trường phát triển ứng dụng di động cho phép nhà phát triển tự động tối ưu hóa các đoạn mã nhỏ hoặc các hàm cụ thể. Công cụ này sẽ đề xuất các cải tiến về hiệu suất hoặc hiệu quả năng lượng dựa trên các bài kiểm tra thực nghiệm và phản hồi tự động, sau đó lọc bỏ các đề xuất trùng lặp hoặc kém hiệu quả, giúp nhà phát triển nhanh chóng có được mã nguồn chất lượng cao hơn mà không cần nhiều công sức thủ công.
  3. Hệ thống điều chỉnh hành vi tự động cho ứng dụng game di động: Một hệ thống thông minh tích hợp vào các trò chơi di động cho phép nhà phát triển tự động điều chỉnh các tham số hành vi của NPC (nhân vật không phải người chơi) hoặc độ khó của trò chơi. Dựa trên dữ liệu thu thập từ hành vi người chơi và mục tiêu tối ưu hóa (ví dụ: tăng mức độ tương tác, duy trì độ khó vừa phải), hệ thống sẽ đề xuất các điều chỉnh, kiểm tra chúng trong môi trường mô phỏng và chỉ giữ lại những thay đổi thực sự cải thiện trải nghiệm người chơi, đồng thời loại bỏ các biến thể không cần thiết.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.14769
ArXiv Abstracthttps://arxiv.org/abs/2603.14769
PDF Downloadhttps://arxiv.org/pdf/2603.14769.pdf
Github Repositoryhttps://github.com/rlx-lab/POLCA

12. Safe and Scalable Web Agent Learning via Recreated Websites (19 votes)​

Tác giả: Hyungjoo Chae, Jungsoo Park, Alan Ritter

Xuất bản lúc: 2026-03-11

Tag: LLMs, Web Agents, Reinforcement Learning, Synthetic Data, Environment Generation, Self-Evolution

I. Main Problem:​

Vấn đề chính là việc huấn luyện các tác nhân web tự trị (autonomous web agents) trên các trang web thực tế gặp phải nhiều hạn chế cơ bản:

  1. Không an toàn và bị hạn chế: Tương tác trực tiếp với các trang web thực có thể gây nguy hiểm (ảnh hưởng đến người dùng khác, vi phạm chính sách, bị chặn bởi các cơ chế bảo mật như Cloudflare, CAPTCHAs).
  2. Khó thiết lập lại và thiếu phản hồi xác minh: Các môi trường web thực tế khó thiết lập lại về trạng thái ban đầu và hiếm khi cung cấp phản hồi có thể xác minh được, khiến việc đánh giá hiệu suất của tác nhân trở nên không đáng tin cậy.
  3. Tạo tác vụ không rõ ràng: Các phương pháp hiện có thường tạo ra các tác vụ không rõ ràng, có nhiều câu trả lời hợp lệ và dựa vào LLM-as-a-judge để đánh giá, dẫn đến tín hiệu phần thưởng không đáng tin cậy và quá trình học không ổn định.

II. Main Idea:​

VERIENV là một framework đề xuất sử dụng các mô hình ngôn ngữ (LMs) làm công cụ tạo môi trường, tự động sao chép các trang web thực tế thành các môi trường tổng hợp (synthetic environments) hoàn toàn có thể thực thi và xác minh được. Các ý tưởng chính bao gồm:

  1. Sao chép trang web: Sử dụng một tác nhân lập trình (coding agent) để tự động sao chép một trang web mục tiêu (bao gồm giao diện người dùng, logic backend và cơ sở dữ liệu cơ bản) vào một môi trường tổng hợp có thể thực thi.
  2. Truy cập nội bộ có kiểm soát: Môi trường tổng hợp cung cấp một SDK Python để truy cập nội bộ có kiểm soát, cho phép tác nhân tự tạo các tác vụ với phần thưởng có thể xác minh được bằng chương trình một cách xác định (deterministic).
  3. Tạo tác vụ và bộ đánh giá có thể xác minh: Các mô hình ngôn ngữ lớn (LLMs) được sử dụng để tạo ra các tác vụ cùng với các chương trình xác thực có thể thực thi. Các chương trình này đảm bảo tính khả thi của tác vụ và tạo ra các bộ đánh giá (judges) có thể xác minh, cung cấp tín hiệu phần thưởng đáng tin cậy, không phụ thuộc vào phán đoán của LLM hay các phương pháp heuristic.
  4. Học tự tiến hóa an toàn và có thể mở rộng: Thiết kế này tách biệt quá trình học của tác nhân khỏi tương tác không an toàn với thế giới thực, đồng thời cho phép tác nhân tự tiến hóa một cách có thể mở rộng thông qua việc mở rộng môi trường.

III. Main Results:​

Các thí nghiệm trên các bộ benchmark tác nhân web cho thấy:

  1. Khả năng tổng quát hóa: Các tác nhân được huấn luyện với VERIENV có khả năng tổng quát hóa hiệu quả sang các trang web chưa từng thấy. Cụ thể, trên WebArena, VERIENV cải thiện tỷ lệ thành công thêm +6.06 điểm (với Qwen3-4B) và +9.70 điểm (với LLaMA-3.2-3B-Instruct) so với các mô hình cơ sở tương ứng. Trên Mind2Web-Online, VERIENV cũng cho thấy mức tăng đáng kể (+7.27 điểm với Qwen3-4B và +13.19 điểm với LLaMA-3.2-3B-Instruct).
  2. Nắm vững trang web cụ thể: Các tác nhân đạt được khả năng nắm vững chuyên sâu cho từng trang web cụ thể thông qua quá trình huấn luyện tự tiến hóa lặp đi lặp lại trong môi trường mô phỏng. VERIENV mang lại hiệu suất ổn định và tăng trưởng tốt hơn so với các phương pháp khác (ví dụ: PAE).
  3. Hiệu ứng mở rộng môi trường: Hiệu suất của tác nhân được cải thiện khi số lượng môi trường huấn luyện tăng lên, cho thấy tính hiệu quả của việc mở rộng môi trường trong quá trình học của tác nhân web tự tiến hóa.
  4. Chất lượng môi trường và tác vụ: Đánh giá của con người cho thấy các môi trường tổng hợp có chất lượng cao (90.3% đúng chức năng, 4.7/5 về mặt hình ảnh), và các tác vụ có tính khả thi cao (90% tác vụ có thể thực thi, 76% bộ đánh giá chính xác).

IV. Conclusion & Future Works:​

VERIENV là một framework giúp huấn luyện các tác nhân web trong các trang web được tái tạo bằng cách tạo ra các tác vụ với các trình xác thực có thể thực thi và xác minh. Thiết kế này cải thiện tính an toàn và khả năng tái tạo bằng cách tránh tương tác với các dịch vụ thực và giảm sự phụ thuộc vào các bộ đánh giá LLM chủ quan. Các thí nghiệm cho thấy những cải tiến đáng kể và khả năng tự tiến hóa ổn định, hỗ trợ việc mở rộng quy mô lấy môi trường làm trung tâm để tạo ra các tác nhân web mạnh mẽ.

Hướng nghiên cứu trong tương lai bao gồm:

  1. Học tăng cường (Reinforcement Learning): Tận dụng các môi trường được tái tạo này cho học tăng cường. Vì VERIENV cung cấp các bộ đánh giá có thể thực thi và xác minh, các tín hiệu phần thưởng sẽ có tính xác định và có thể tái tạo, giảm đáng kể sự mất ổn định thường thấy trong các framework đánh giá dựa trên LLM hoặc heuristic.
  2. Nghiên cứu nguyên tắc về tác nhân web tự tiến hóa: Thiết lập này cho phép nghiên cứu có nguyên tắc hơn về các tác nhân web tự tiến hóa, nơi các tác nhân liên tục tạo ra các tác vụ, tương tác với môi trường và cải thiện thông qua các vòng lặp huấn luyện có thể mở rộng.
  3. Xử lý các trang web phức tạp: Cải thiện khả năng của tác nhân lập trình để tái tạo các trang web phức tạp, đặc biệt là những trang web phụ thuộc nhiều vào truyền tải đa phương tiện (ví dụ: tài liệu PDF, luồng video) hoặc các dịch vụ sử dụng nhiều hình ảnh, bằng cách sử dụng các phần giữ chỗ nhẹ (lightweight placeholders) hoặc mô hình văn bản thành hình ảnh (text-to-image models) để tăng tính chân thực của môi trường.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về tác động của các chiến lược tạo tác vụ và đánh giá có thể xác minh lên hiệu suất của tác nhân web trong các môi trường tổng hợp phức tạp, tập trung vào việc định lượng sự cải thiện về độ bền và khả năng tổng quát hóa.
  2. Khám phá việc áp dụng học tăng cường sâu (Deep Reinforcement Learning) trong các môi trường web được tái tạo của VERIENV, với một phân tích chi tiết về cách các tín hiệu phần thưởng xác định tác động đến sự hội tụ và hiệu suất học tập của tác nhân so với các phương pháp dựa trên LLM-as-a-judge.
  3. Phát triển một phương pháp tự động hóa nâng cao cho việc tái tạo các trang web có tính năng đa phương tiện phong phú, bao gồm các giải pháp cho việc phục vụ nội dung động và tích hợp các công cụ tạo nội dung tổng hợp (ví dụ: text-to-image) để cải thiện tính chân thực của môi trường.

2. Patent:​

  1. Hệ thống tạo môi trường ứng dụng di động ảo để kiểm thử và huấn luyện: Một ứng dụng di động hoặc dịch vụ đám mây cho phép nhà phát triển tự động "sao chép" các chức năng cốt lõi của một ứng dụng di động hoặc trang web (ví dụ: ứng dụng mua sắm, ngân hàng) thành một môi trường ảo an toàn. Môi trường này có thể được sử dụng để kiểm thử tự động, huấn luyện chatbot hoặc tác nhân ảo mà không cần tương tác với dữ liệu người dùng thực hoặc hệ thống sản xuất. Điều này giúp phát hiện lỗi, tối ưu hóa quy trình và đào tạo các tác nhân AI một cách an toàn và hiệu quả trước khi triển khai thực tế.
  2. Công cụ tạo tác vụ và trình xác minh có thể lập trình cho ứng dụng di động: Một tính năng trên điện thoại thông minh hoặc nền tảng phát triển ứng dụng cho phép người dùng hoặc nhà phát triển định nghĩa các tác vụ tự động (ví dụ: "đặt hàng một chiếc áo sơ mi màu xanh trên ứng dụng X") và tạo ra các chương trình nhỏ để tự động xác minh kết quả. Hệ thống này sẽ không dựa vào việc đánh giá chủ quan mà sử dụng các tiêu chí lập trình rõ ràng (ví dụ: kiểm tra trạng thái cơ sở dữ liệu ảo, xác nhận thông báo thành công) để xác định xem tác vụ đã hoàn thành đúng hay chưa, giúp người dùng kiểm tra hiệu suất của các tác nhân tự động hoặc các kịch bản sử dụng ứng dụng.
  3. Nền tảng học tập tự tiến hóa cho trợ lý ảo di động: Một dịch vụ tích hợp vào trợ lý ảo trên điện thoại (ví dụ: Siri, Google Assistant) cho phép trợ lý tự động tạo ra các "thử thách" hoặc tác vụ mới liên quan đến việc sử dụng các ứng dụng trên điện thoại (ví dụ: "tìm một nhà hàng Ý gần đây", "đặt lịch hẹn trong lịch"). Khi trợ lý thực hiện các tác vụ này trong một môi trường tổng hợp trên thiết bị hoặc đám mây, nó sẽ nhận được phản hồi xác định từ các bộ đánh giá tự động, cho phép nó tự học và cải thiện khả năng thực hiện các yêu cầu phức tạp của người dùng mà không cần dữ liệu huấn luyện thủ công liên tục hoặc tương tác thực với các dịch vụ bên ngoài trong giai đoạn học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.10505
ArXiv Abstracthttps://arxiv.org/abs/2603.10505
PDF Downloadhttps://arxiv.org/pdf/2603.10505.pdf
Github Repositoryhttps://github.com/kyle8581/VeriEnv

13. Make it SING: Analyzing Semantic Invariants in Classifiers (15 votes)​

Tác giả: Harel Yadid, Meir Yossef Levi, Roy Betser, Guy Gilboa

Xuất bản lúc: 2026-03-15

Tag: Interpretability, Null Space, Classifiers, Vision-Language Models, SVD, CLIP

I. Main Problem:​

Các bộ phân loại, bao gồm cả các mô hình thị giác hiện đại, đều sở hữu các bất biến (invariants) trong không gian null của chúng, dẫn đến các tập hợp đầu vào tương đương tạo ra đầu ra giống hệt nhau. Tuy nhiên, nội dung ngữ nghĩa của các bất biến này vẫn còn mơ hồ, vì các phương pháp hiện có gặp khó khăn trong việc cung cấp thông tin dễ hiểu cho con người. Điều này cản trở khả năng xác định các bất biến mang thông tin ngữ nghĩa có thể gây hại cho bộ phân loại.

II. Main Idea:​

Các tác giả đề xuất SING (Semantic Interpretation of the Null-space Geometry), một phương pháp xây dựng các hình ảnh tương đương (về mặt mạng lưới) và gán ý nghĩa ngữ nghĩa cho các biến thể có sẵn. SING sử dụng ánh xạ từ các đặc trưng mạng sang các mô hình ngôn ngữ-thị giác đa phương thức (như CLIP) để thu được mô tả ngôn ngữ tự nhiên và ví dụ trực quan về các thay đổi ngữ nghĩa. Phương pháp này phân tích không gian null của lớp tuyến tính cuối cùng bằng SVD, sau đó huấn luyện một bộ dịch tuyến tính để ánh xạ các đặc trưng từ không gian nhúng của mạng mục tiêu sang không gian nhúng hình ảnh của CLIP. Hai chỉ số chính được định nghĩa là Attribute Score (AS) để đo lường mức độ rò rỉ ngữ nghĩa và Image Score (IS) để đo lường sự thay đổi ngữ nghĩa tổng thể.

III. Main Results:​

SING cho thấy ResNet50 rò rỉ các thuộc tính ngữ nghĩa liên quan vào không gian null, trong khi DinoViT (một ViT được huấn luyện tự giám sát với DINO) vượt trội hơn trong việc duy trì ngữ nghĩa lớp trong không gian bất biến. DinoViT đạt được sự cân bằng tốt nhất giữa IS/AS, cho thấy khả năng chống chịu cao nhất đối với việc thao túng không gian null có định hướng. Ngược lại, ResNext101, EfficientNet và ResNet50 cho thấy AS lớn hơn, cho thấy các thành phần null của chúng dễ bị điều khiển hơn và các nhiễu loạn bất biến có hướng có thể thay đổi ngữ nghĩa mà không làm thay đổi logit của bộ phân loại.

IV. Conclusion & Future Works:​

SING là một cách tiếp cận mới để phân tích các bất biến trong mạng phân loại, chuyển đổi không gian null thành bằng chứng có thể đo lường và dễ hiểu. Nó tiết lộ cách ngữ nghĩa có thể dịch chuyển trong khi logit vẫn cố định, cung cấp một công cụ chẩn đoán nhỏ gọn bổ sung cho độ chính xác ở cấp độ mô hình, lớp và từng hình ảnh. Các hướng nghiên cứu trong tương lai bao gồm: (i) Tăng cường dữ liệu có hướng trong quá trình tinh chỉnh để khuyến khích AS nhỏ cho các khái niệm thiết yếu; (ii) Kiểm soát đại số tuyến tính (ví dụ: chuẩn hóa máy chiếu, điều chỉnh hạng, cập nhật ràng buộc) để chuyển ngữ nghĩa hữu ích từ không gian null sang không gian chính trong khi vẫn bảo toàn logit.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp tăng cường dữ liệu có hướng dẫn trong quá trình tinh chỉnh mô hình để giảm thiểu sự rò rỉ ngữ nghĩa của các khái niệm thiết yếu vào không gian null, nhằm cải thiện khả năng diễn giải và độ bền của bộ phân loại.
  2. Phát triển các kỹ thuật kiểm soát đại số tuyến tính (ví dụ: chuẩn hóa máy chiếu, điều chỉnh hạng, cập nhật ràng buộc) để chuyển các ngữ nghĩa hữu ích từ không gian null sang không gian chính, đồng thời bảo toàn logit, nhằm tối ưu hóa cấu trúc không gian tiềm ẩn của mô hình.
  3. Khám phá các cuộc tấn công đối kháng bằng cách thao túng không gian null để thay đổi ngữ nghĩa hình ảnh mà không làm thay đổi quyết định phân loại, đánh giá rủi ro bảo mật tiềm ẩn và đề xuất biện pháp phòng thủ hiệu quả cho các hệ thống AI.

2. Patent:​

  1. Một tính năng chỉnh sửa ảnh thông minh trên điện thoại di động cho phép người dùng thay đổi các yếu tố thẩm mỹ (ví dụ: nền, ánh sáng, thêm các chi tiết nhỏ) mà không làm thay đổi cách các mô hình AI của điện thoại (như nhận dạng đối tượng hoặc phân loại ảnh) nhận diện chủ thể chính. Điều này đảm bảo các chỉnh sửa cá nhân hóa không gây nhầm lẫn cho các tính năng thông minh của điện thoại.
  2. Một chức năng chia sẻ hình ảnh bảo mật trên điện thoại di động giúp chỉnh sửa hình ảnh để loại bỏ thông tin nhạy cảm hoặc định danh từ nền (ví dụ: gợi ý vị trí, vật dụng cá nhân) đồng thời đảm bảo rằng các bộ lọc nội dung hoặc bộ phân loại do AI cung cấp (ví dụ: cho nội dung không phù hợp) vẫn hiểu đúng chủ thể chính. Điều này giúp người dùng chia sẻ ảnh riêng tư hơn mà không kích hoạt cảnh báo sai trong việc kiểm duyệt nội dung.
  3. Một công cụ gỡ lỗi mô hình AI cá nhân hóa cho các nhà phát triển ứng dụng di động, giúp họ hiểu lý do tại sao các mô hình AI của họ (ví dụ: cho thực tế tăng cường, tính năng hỗ trợ tiếp cận) có thể hiểu sai một số hình ảnh trên điện thoại của người dùng. Công cụ này sẽ hiển thị những yếu tố ngữ nghĩa mà mô hình bỏ qua hoặc coi là không liên quan, cho phép các nhà phát triển cải thiện độ bền của mô hình cho các môi trường người dùng đa dạng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.14610
ArXiv Abstracthttps://arxiv.org/abs/2603.14610
PDF Downloadhttps://arxiv.org/pdf/2603.14610.pdf
Github Repositoryhttps://github.com/harel314/SING-analyzing-semantic-invariants-classifiers

14. TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning (15 votes)​

Tác giả: Alliot Nagle, Jakhongir Saydaliev, Dhia Garbaya, Michael Gastpar, Ashok Vardhan Makkuva, Hyeji Kim

Xuất bản lúc: 2026-03-13

Tag: Large Reasoning Models, Chain-of-Thought, Early Stopping, Inference Optimization, Binary Classification, Probe Classifier, Overthinking

I. Main Problem:​

Các Mô hình Suy luận Lớn (LRMs) thường gặp phải hiện tượng "suy nghĩ quá mức" (overthinking), tiêu tốn đáng kể thời gian tính toán ngay cả sau khi câu trả lời đã được tạo ra sớm. Việc xác định độ dài suy luận tối ưu (optimal reasoning length) để cắt ngắn quá trình Chain-of-Thought (CoT) là rất khó khăn vì chúng phụ thuộc hoàn toàn vào tác vụ và mô hình, dẫn đến lãng phí tài nguyên tính toán trong giai đoạn suy luận mà không cải thiện hiệu suất.

II. Main Idea:​

TERMINATOR là một chiến lược dừng sớm (early-exit) được thiết kế cho LRMs trong quá trình suy luận để giảm thiểu việc suy nghĩ quá mức. Ý tưởng trung tâm là vị trí xuất hiện đầu tiên của câu trả lời cuối cùng của LRM thường có thể dự đoán được. Phương pháp này định nghĩa "độ dài suy luận tối ưu theo hồi tưởng" (hindsight-optimal reasoning length) là số lượng token tối thiểu mà LRM cần tạo ra để đưa ra cùng một câu trả lời cuối cùng. TERMINATOR tận dụng sự thay đổi rõ rệt trong độ tin cậy cấp token (Token-Confidence) và phân bố sử dụng token của LRM khi câu trả lời xuất hiện lần đầu. Một bộ phân loại thăm dò nhị phân (binary probe classifier) được huấn luyện trên các trạng thái ẩn (hidden states) của lớp cuối cùng của LRM để dự đoán liệu câu trả lời cuối cùng đã được tạo ra hay chưa. Khi đa số dự đoán trong một cửa sổ trượt cho thấy câu trả lời đã có, một token dừng sẽ được chèn vào để dừng quá trình suy luận.

III. Main Results:​

TERMINATOR đạt được sự giảm đáng kể độ dài CoT trung bình từ 14%–55% trên bốn tập dữ liệu thực tế đầy thách thức (MATH-500, AIME 2025, HumanEval, GPQA), đồng thời vượt trội hơn các phương pháp hiện tại. Phương pháp này đạt hiệu suất tốt nhất hoặc thứ hai trên 28 trong số 32 chỉ số, mang lại sự cân bằng tốt hơn giữa tỷ lệ nén và hiệu suất so với các phương pháp trước đây trên biên Pareto. TERMINATOR giảm một nửa độ trễ trung bình so với LRM vanilla, chỉ với một chi phí nhỏ (10.8% cho Qwen3-8B và 7.5% cho Qwen3-14B). TERMINATOR đạt gần đến mức tối ưu theo hồi tưởng cho MATH-500, AIME25 và HumanEval, nhưng còn cách xa cho GPQA. TERMINATOR có khả năng phục hồi các tín hiệu dừng sớm như hành vi tăng đột biến trong Token-Confidence trung bình theo sự kiện và sự thay đổi trong phân bố tần suất sử dụng "thinking token", với vị trí dừng được dự đoán gần với vị trí thực tế (sai khác trung bình là 7 token).

IV. Conclusion & Future Works:​

TERMINATOR là một chiến lược dừng sớm hiệu quả và mạnh mẽ, giúp giảm đáng kể chi phí tính toán mà vẫn duy trì độ chính xác cao. Hướng nghiên cứu trong tương lai bao gồm việc khám phá thêm các tín hiệu có ý nghĩa và có thể quan sát được từ LRMs bằng cách sử dụng các phương pháp phân tích tương tự như tiềm năng liên quan đến sự kiện (Event-Related Potential - ERP) trong khoa học thần kinh. Cải thiện quy trình quản lý dữ liệu cho các tác vụ khó như GPQA cũng là một hướng cần thiết để nâng cao khả năng tổng quát hóa của mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá Tiềm năng Liên quan đến Sự kiện (ERPs) trong LRMs để Hiểu sâu hơn về Quá trình Suy luận: Mở rộng nghiên cứu về các tín hiệu có thể quan sát được từ LRMs bằng cách áp dụng các phương pháp phân tích tương tự như tiềm năng liên quan đến sự kiện (ERP) trong khoa học thần kinh. Mục tiêu là hiểu rõ hơn cách LRMs "suy nghĩ" và xác định các dấu hiệu nội bộ cho các sự kiện quan trọng trong quá trình suy luận.
  2. Quy trình Quản lý Dữ liệu Thích ứng cho Độ dài Suy luận Tối ưu theo Hồi tưởng trong các Lĩnh vực Thách thức: Phát triển một quy trình quản lý và gán nhãn dữ liệu tự động, thích ứng hơn, đặc biệt tập trung vào các tập dữ liệu phức tạp và đa dạng như GPQA, để tạo ra tập dữ liệu "hindsight-optimal reasoning length" chất lượng cao. Điều này nhằm cải thiện khả năng tổng quát hóa của các mô hình dừng sớm trên các tác vụ khó.
  3. Nghiên cứu Tín hiệu Đa phương thức để Dừng sớm trong Suy luận Thị giác-Ngôn ngữ: Mở rộng khái niệm dừng sớm sang các mô hình suy luận đa phương thức (ví dụ: Vision-Language Models) bằng cách tích hợp các tín hiệu từ cả dữ liệu thị giác và ngôn ngữ. Điều này có thể dẫn đến việc dừng suy luận hiệu quả hơn trong các tác vụ yêu cầu hiểu biết kết hợp hình ảnh và văn bản.

2. Patent:​

  1. Hệ thống Tiết kiệm Năng lượng cho Trợ lý Ảo trên Điện thoại: Một hệ thống dành cho trợ lý ảo AI trên điện thoại di động, tự động phát hiện khi trợ lý đã tìm thấy câu trả lời cuối cùng cho một truy vấn phức tạp (như giải một bài toán hoặc viết đoạn mã) và dừng các quá trình "suy nghĩ" không cần thiết. Điều này giúp điện thoại không lãng phí pin và sức mạnh xử lý vào các tính toán thừa hoặc tìm kiếm giải pháp thay thế sau khi câu trả lời đúng đã được xác định.
  2. Hệ thống Tạo Nội dung Thích ứng cho Ứng dụng Di động: Một tính năng trong các ứng dụng tạo nội dung trên điện thoại (ví dụ: viết lách, lên ý tưởng, hoặc lập trình) sử dụng AI để tạo gợi ý hoặc hoàn thành các tác vụ. Hệ thống này theo dõi "độ tự tin" nội bộ của AI về nội dung được tạo ra và tự động dừng việc tạo nội dung khi một kết quả có độ tin cậy cao, mạch lạc đã đạt được, hoặc báo hiệu cho người dùng rằng một câu trả lời tốt có thể đã có. Điều này tránh việc tạo ra nội dung quá dài, trùng lặp hoặc không liên quan, cải thiện trải nghiệm người dùng và hiệu suất thiết bị.
  3. Hệ thống Tăng tốc Học tập Cá nhân hóa trên Thiết bị Di động: Một ứng dụng học tập chạy bằng AI trên thiết bị di động cung cấp các giải thích từng bước cho các bài toán giáo dục. Hệ thống tự động điều chỉnh độ dài của quá trình suy luận của AI cho mỗi lời giải thích dựa trên tiến độ của người dùng và độ phức tạp của bài toán. Đối với các bài toán dễ hoặc khi người dùng nắm bắt khái niệm tốt, AI sẽ cung cấp các giải thích ngắn gọn, tiết kiệm thời gian xử lý và pin. Đối với các bài toán khó hơn, nó cho phép suy luận chi tiết hơn, đảm bảo sự hiểu biết toàn diện mà không cần suy nghĩ quá mức không cần thiết.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12529
ArXiv Abstracthttps://arxiv.org/abs/2603.12529
PDF Downloadhttps://arxiv.org/pdf/2603.12529.pdf
Github RepositoryN/A

15. WebVR: Benchmarking Multimodal LLMs for WebPage Recreation from Videos via Human-Aligned Visual Rubrics (14 votes)​

Tác giả: Yuhong Dai, Yanlin Lai, Mitt Huang, Hangyu Guo, Dingming Li, Hongbo Peng, Haodong Li, Yingxiu Zhao, Haoran Lyu, Zheng Ge, Xiangyu Zhang, Daxin Jiang

Xuất bản lúc: 2026-03-11

Tag: MLLMs, Web Generation, Benchmarking, Video-to-Code, Multimodal AI, Human-Aligned Evaluation, Dynamic Webpages, Front-end Development

I. Main Problem:​

Các benchmark tạo trang web hiện có chủ yếu dựa vào lời nhắc văn bản hoặc ảnh chụp màn hình tĩnh, bỏ qua các tín hiệu phong phú từ video như luồng tương tác, thời gian chuyển tiếp và tính liên tục của chuyển động, vốn rất cần thiết để tái tạo trang web một cách chân thực. Các phương pháp đánh giá hiện tại thiếu các tiêu chí chi tiết, phù hợp với con người để đánh giá độ chính xác về hình ảnh và tương tác.

II. Main Idea:​

Giới thiệu WebVR, một benchmark đầu tiên đánh giá khả năng của MLLM trong việc tạo lại trang web từ video trình diễn. WebVR chứa 175 trang web đa dạng, được xây dựng thông qua quy trình tổng hợp có kiểm soát để tránh trùng lặp dữ liệu. Benchmark này sử dụng một bộ tiêu chí trực quan chi tiết, phù hợp với con người để đánh giá các trang web được tạo ra trên nhiều khía cạnh như cấu trúc bố cục, màu sắc, kiểu chữ, đầy đủ thành phần, chất lượng hoạt ảnh và tính đúng đắn của tương tác. Mã được tạo ra được render và ghi lại trong một môi trường sandbox tiêu chuẩn, sau đó một MLLM đánh giá video thực thi so với video tham chiếu theo bộ tiêu chí này.

III. Main Results:​

Kimi-K2.5 đạt điểm tổng thể cao nhất (79.14), theo sau là Claude-Sonnet-4.6 (78.49) và GPT-5.2-Thinking (77.93), cho thấy các mô hình mã nguồn mở tốt nhất có thể cạnh tranh với các mô hình mã nguồn đóng. Các mô hình đạt điểm cao về Global Aesthetics (GA) và Navigation and Footer (NF), nhưng Interaction and Motion (IM) vẫn là điểm nghẽn lớn nhất (điểm cao nhất chỉ khoảng 60), tiếp theo là Section-Specific Layouts (SSL). Thứ tự khó khăn nhất quán trên 19 mô hình là GA > NF > SSL > IM. Việc mở rộng quy mô mô hình và các phiên bản "Thinking" cải thiện hiệu suất, nhưng chủ yếu ở các khía cạnh dễ hơn (GA/NF), trong khi IM vẫn thấp. Đánh giá tự động dựa trên bộ tiêu chí đạt 96% độ đồng thuận với đánh giá của con người, trong khi việc thiếu bộ tiêu chí dẫn đến điểm số bị thổi phồng, thiếu khả năng phân biệt và không nhất quán với ưu tiên của con người.

IV. Conclusion & Future Works:​

Các MLLM hiện tại đã thu hẹp khoảng cách về độ trung thực hình ảnh tĩnh, nhưng vẫn còn một khoảng cách đáng kể trong việc tái tạo các tương tác động phong phú của trang web. Để khắc phục hạn chế này, cần có những tiến bộ vượt ra ngoài việc mở rộng quy mô, chẳng hạn như mô hình hóa thời gian rõ ràng hoặc các mục tiêu huấn luyện nhận biết tương tác, để nắm bắt chính xác logic chuyển động và chuyển đổi trạng thái được mã hóa trong các video trình diễn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô hình hóa thời gian rõ ràng cho tương tác động: Nghiên cứu các kiến trúc MLLM mới có khả năng xử lý và tái tạo các tín hiệu không gian-thời gian phức tạp từ video một cách hiệu quả hơn, tập trung vào việc cải thiện chất lượng hoạt ảnh, thời gian chuyển tiếp và phản hồi tương tác.
  2. Mục tiêu huấn luyện nhận biết tương tác: Phát triển các mục tiêu huấn luyện mới cho MLLM, ưu tiên độ trung thực của các hành vi tương tác và chuyển đổi trạng thái, thay vì chỉ tập trung vào bố cục hoặc phong cách tĩnh, để giải quyết điểm nghẽn hiện tại trong việc tái tạo Interaction and Motion (IM).
  3. Tạo mã trang web đa ngôn ngữ từ video: Mở rộng WebVR để hỗ trợ tạo mã trang web không chỉ bằng HTML/CSS/JS mà còn bằng các framework front-end khác (ví dụ: React, Vue) và từ video trình diễn có giao diện người dùng đa ngôn ngữ, để kiểm tra khả năng của MLLM trong việc xử lý ngữ nghĩa và văn hóa khác nhau.

2. Patent:​

  1. Hệ thống "Video-to-App" tự động trên điện thoại: Một ứng dụng di động cho phép người dùng quay video tương tác với một trang web hoặc ứng dụng mẫu, sau đó sử dụng AI để tự động tạo ra mã front-end (ví dụ: HTML, CSS, JavaScript) hoặc các thành phần UI/UX có thể tùy chỉnh được cho ứng dụng di động của họ, giúp các nhà phát triển nghiệp dư nhanh chóng biến ý tưởng thành sản phẩm.
  2. Trợ lý thiết kế giao diện di động dựa trên cử chỉ: Một tính năng trên điện thoại thông minh cho phép người dùng ghi lại các cử chỉ tay (ví dụ: vuốt, chạm, chụm) trên màn hình trống hoặc trên một bản phác thảo, và AI sẽ diễn giải các cử chỉ đó để đề xuất hoặc tạo ra các thành phần giao diện người dùng (UI) động, hoạt ảnh chuyển tiếp hoặc luồng tương tác cho ứng dụng di động, giúp thiết kế UI/UX trực quan hơn.
  3. Công cụ đánh giá chất lượng trải nghiệm người dùng tự động dựa trên video trên thiết bị di động: Một công cụ tích hợp trong hệ điều hành di động hoặc ứng dụng phát triển, cho phép ghi lại video người dùng tương tác với một ứng dụng. Sau đó, một AI sẽ phân tích video này dựa trên các tiêu chí trực quan và tương tác (tương tự như rubric của WebVR) để cung cấp điểm số và phản hồi chi tiết về bố cục, hoạt ảnh, và tính đúng đắn của tương tác, giúp nhà phát triển nhanh chóng cải thiện trải nghiệm người dùng trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.13391
ArXiv Abstracthttps://arxiv.org/abs/2603.13391
PDF Downloadhttps://arxiv.org/pdf/2603.13391.pdf
Github Repositoryhttps://github.com/broalantaps/WebVR

16. Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty (11 votes)​

Tác giả: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang

Xuất bản lúc: 2026-03-16

Tag: LLMs, Reasoning, Uncertainty, Information Theory, Self-correction, Epistemic Verbalization, Distillation, Chain-of-Thought

I. Main Problem:​

Các Mô hình Ngôn ngữ Lớn (LLM) thường thể hiện các khoảnh khắc "Aha moments" (tự điều chỉnh, phản ánh) trong quá trình suy luận, nhưng cơ chế tính toán hoặc thông tin cơ bản của chúng vẫn chưa rõ ràng. Các phương pháp dựa trên lý thuyết thông tin hiện tại chủ yếu giả định thực thi theo quy trình từng bước và không giải thích đầy đủ hành vi tự điều chỉnh của các mô hình suy luận hiện đại, đặc biệt là khả năng phục hồi sau khi đi vào một quỹ đạo sai lầm. Suy luận theo quy trình có thể trở nên trì trệ về mặt thông tin, không thể phục hồi khỏi các lỗi cơ bản, và sự không chắc chắn ở cấp độ token thường không phản ánh sự không chắc chắn của toàn bộ quá trình suy luận và không thể truy cập được trong quá trình suy luận.

II. Main Idea:​

Nghiên cứu này giới thiệu một khung lý thuyết thông tin phân tách suy luận thành hai phần: thông tin theo quy trình (procedural information) và lời nói biểu thị tri thức (epistemic verbalization) – sự thể hiện rõ ràng sự không chắc chắn bên trong của mô hình ra bên ngoài. Lời nói biểu thị tri thức cho phép mô hình tiếp tục thu thập thông tin ngay cả khi suy luận theo quy trình bị trì trệ và rất quan trọng để đạt được sự đầy đủ thông tin. Suy luận được coi là sự phân bổ thông tin chiến lược trong điều kiện không chắc chắn, kết hợp thông tin theo quy trình với lời nói biểu thị tri thức. Các token cụ thể như "Wait" được hiểu là phương tiện hiệu quả của lời nói biểu thị tri thức, nhưng yếu tố cốt lõi là sự thể hiện sự không chắc chắn ra bên ngoài, không phải bản thân các token. Lời nói biểu thị tri thức là một thành phần thông tin, tách biệt với các hành động kiểm soát (như tự điều chỉnh), giúp giải thích khi nào và tại sao tự điều chỉnh lại xuất hiện.

III. Main Results:​

Các kết quả thực nghiệm chứng minh rằng hiệu suất suy luận mạnh mẽ được thúc đẩy bởi sự thể hiện sự không chắc chắn ra bên ngoài, chứ không phải bởi các token bề mặt cụ thể. Lời nói biểu thị tri thức cho phép tiếp tục thu thập thông tin ngay cả khi suy luận theo quy trình bị trì trệ và rất quan trọng để đạt được sự đầy đủ thông tin. Phân tích cho thấy rằng các vùng có thông tin tương hỗ cao (MI) tương ứng với các hành vi đánh giá (thể hiện sự không chắc chắn) chứ không phải bản thân các token. Các mô hình nhỏ hơn sử dụng các token biểu thị tri thức thường xuyên hơn khi đối mặt với các vấn đề khó. Việc ngăn chặn các token biểu thị tri thức trong các mô hình suy luận mạnh mẽ làm giảm hiệu suất đáng kể (25% và 19%), trong khi việc đưa các token này vào thông qua few-shot prompting hiệu quả hơn nhiều so với việc can thiệp muộn. Hơn nữa, quá trình chưng cất (distillation) chỉ với các quy trình đúng mà không có lời nói biểu thị tri thức làm suy giảm hiệu suất, nhấn mạnh tầm quan trọng của các tín hiệu không chắc chắn. Thành công của chưng cất phụ thuộc vào sự phù hợp phân phối giữa khả năng biểu thị tri thức của mô hình học sinh và tập dữ liệu.

IV. Conclusion & Future Works:​

Nghiên cứu này đã làm rõ vai trò của lời nói biểu thị tri thức trong việc quản lý sự không chắc chắn và tự điều chỉnh của LLM, định hình lại suy luận như một sự phân bổ thông tin chiến lược. Khung này giúp thống nhất các phát hiện trước đây và cung cấp một lăng kính tổng quát để hiểu suy luận của LLM. Các hướng nghiên cứu trong tương lai bao gồm: thiết kế các hệ thống suy luận mạnh mẽ, dễ diễn giải và kiểm soát hơn; phát triển các khung phân cấp sử dụng chú thích dựa trên thẻ để phân biệt thông tin theo quy trình và tri thức; lập kế hoạch chưng cất và RLVR dựa trên khả năng; và tối ưu hóa độ dài Chain-of-Thought (CoT) một cách có chọn lọc, bảo toàn các lời nói biểu thị tri thức quan trọng trong khi loại bỏ nội dung thừa, cân nhắc độ khó của tác vụ và năng lực của mô hình. Cần chú ý đến việc tránh sự tin tưởng quá mức vào các đầu ra của mô hình, vì các tín hiệu này chỉ hỗ trợ kiểm soát chứ không đảm bảo tính đúng đắn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích định lượng sự đóng góp của các loại tín hiệu trong quá trình suy luận của LLMs: Nghiên cứu sâu hơn về cách đo lường và phân tách đóng góp thông tin của các loại tín hiệu (thông tin thủ tục, lời nói biểu thị tri thức) trong các mô hình suy luận ngôn ngữ lớn (LLMs). Cụ thể, phát triển các phương pháp định lượng mới để đánh giá mức độ ảnh hưởng của từng loại tín hiệu đến khả năng tự điều chỉnh và đạt được kết quả chính xác của mô hình trên các tác vụ suy luận phức tạp.
  2. Thiết kế kiến trúc mô hình LLM mới tích hợp cơ chế biểu thị sự không chắc chắn từ đầu: Khám phá việc xây dựng các kiến trúc LLM mới, nơi khả năng biểu thị sự không chắc chắn (epistemic verbalization) không chỉ là một hiện tượng phát sinh mà được tích hợp ngay từ giai đoạn thiết kế và huấn luyện. Điều này có thể bao gồm việc thêm các token đặc biệt, các lớp mạng chuyên biệt hoặc các hàm mục tiêu huấn luyện khuyến khích mô hình "nghĩ lớn" về trạng thái tri thức của nó, đặc biệt trong các tình huống mơ hồ hoặc khi gặp lỗi.
  3. Tối ưu hóa độ dài Chain-of-Thought (CoT) dựa trên ngữ cảnh và năng lực mô hình: Phát triển một phương pháp tự động điều chỉnh độ dài của chuỗi suy luận (CoT) của LLM, không chỉ cắt ngắn mà còn bảo toàn các lời nói biểu thị tri thức (epistemic verbalizations) quan trọng. Phương pháp này sẽ xem xét độ khó của nhiệm vụ và năng lực hiện tại của mô hình để loại bỏ các bước lặp lại hoặc ít giá trị, đồng thời đảm bảo đủ thông tin về sự không chắc chắn được duy trì để hỗ trợ các hành động kiểm soát và tự điều chỉnh hiệu quả.

2. Patent:​

  1. Hệ thống hỗ trợ ra quyết định thông minh trên điện thoại di động với khả năng tự đánh giá độ tin cậy: Một ứng dụng di động sử dụng mô hình ngôn ngữ lớn (LLM) để hỗ trợ người dùng trong các tác vụ phức tạp (ví dụ: lập kế hoạch du lịch, tư vấn tài chính cơ bản, giải quyết vấn đề). Khi đưa ra câu trả lời hoặc đề xuất, hệ thống sẽ tự động hiển thị mức độ "chắc chắn" của mình thông qua các cụm từ đơn giản (ví dụ: "Tôi nghĩ...", "Có thể là...", "Tôi cần kiểm tra lại...") và đề xuất các hành động kiểm soát như tìm kiếm thêm thông tin hoặc xem xét lại các bước suy luận, giúp người dùng đưa ra quyết định sáng suốt hơn.
  2. Trợ lý học tập cá nhân hóa trên thiết bị di động với phản hồi tự sửa lỗi: Một ứng dụng di động đóng vai trò là gia sư ảo, giúp học sinh giải các bài toán hoặc câu hỏi phức tạp. Khi học sinh gặp khó khăn hoặc đưa ra câu trả lời sai, trợ lý sẽ không chỉ đưa ra đáp án đúng mà còn "tự suy nghĩ" và chỉ ra những điểm nghi ngờ trong quá trình giải của học sinh (ví dụ: "Hmm, bước này có vẻ không hợp lý lắm, bạn có muốn kiểm tra lại không?"), khuyến khích học sinh tự sửa lỗi và hiểu sâu hơn về vấn đề, thay vì chỉ cung cấp giải pháp.
  3. Công cụ tạo nội dung thông minh trên điện thoại di động với khả năng tự điều chỉnh chất lượng: Một tính năng tích hợp trong ứng dụng soạn thảo văn bản hoặc email trên điện thoại, giúp người dùng viết nội dung chuyên nghiệp hơn. Khi người dùng soạn thảo, công cụ sẽ không chỉ gợi ý từ ngữ mà còn tự động đánh giá "độ rõ ràng" hoặc "tính thuyết phục" của câu/đoạn văn và đưa ra các tín hiệu "tự vấn" (ví dụ: "Bạn có chắc ý này đã đủ rõ ràng chưa?", "Liệu có cách diễn đạt nào tốt hơn không?") để người dùng cân nhắc, từ đó cải thiện chất lượng nội dung trước khi gửi đi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.15500
ArXiv Abstracthttps://arxiv.org/abs/2603.15500
PDF Downloadhttps://arxiv.org/pdf/2603.15500.pdf
Github Repositoryhttps://github.com/beanie00/strategic-information-allocation-llm-reasoning