🤗 Daily Hugging Face Paper Digest - 2026-03-10

Báo cáo được tạo tự động vào lúc 2026-03-17 08:54:46 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Lost in Stories: Consistency Bugs in Long Story Generation by LLMs (83 votes)

Tác giả: Junjie Li, Xinrui Guo, Yuhao Wu, Roy Ka-Wei Lee, Hongzhi Li, Yutao Xie

Xuất bản lúc: 2026-03-06

Tag: LLMs, Narrative Generation, Consistency, Evaluation, Benchmark, Automated Evaluation, Long-form Text

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn (LLMs) hiện nay có thể tạo ra những câu chuyện dài hàng chục nghìn từ nhưng thường không duy trì được tính nhất quán xuyên suốt. Khi tạo các câu chuyện dài, các mô hình này có thể mâu thuẫn với các sự kiện, đặc điểm nhân vật và quy tắc thế giới mà chúng đã thiết lập. Các bộ tiêu chuẩn tạo câu chuyện hiện có chủ yếu tập trung vào chất lượng cốt truyện và sự trôi chảy, bỏ qua các lỗi nhất quán. Ngoài ra, các phương pháp đánh giá tự động hiện tại thường thiếu bằng chứng văn bản rõ ràng và lý do có thể diễn giải.

II. Main Idea:

Để giải quyết vấn đề trên, nghiên cứu này giới thiệu ConStory-Bench, một bộ tiêu chuẩn được thiết kế để đánh giá tính nhất quán trong việc tạo câu chuyện dài. ConStory-Bench bao gồm 2.000 lời nhắc (prompts) trên bốn kịch bản nhiệm vụ và định nghĩa một phân loại gồm năm danh mục lỗi với 19 loại phụ chi tiết. Nghiên cứu cũng phát triển CONSTORY-CHECKER, một quy trình tự động phát hiện mâu thuẫn và chứng minh mỗi đánh giá bằng bằng chứng văn bản rõ ràng. Quy trình này sử dụng phương pháp LLM-as-a-judge gồm bốn giai đoạn: Trích xuất có hướng dẫn theo danh mục, Ghép cặp mâu thuẫn, Chuỗi bằng chứng và Báo cáo JSON. Các mô hình LLM khác nhau được đánh giá bằng cách sử dụng hai số liệu bổ sung: Mật độ lỗi nhất quán (Consistency Error Density - CED) và Xếp hạng tương đối theo nhóm (Group Relative Rank - GRR).

III. Main Results:

Các lỗi nhất quán có xu hướng rõ ràng: chúng phổ biến nhất ở các khía cạnh về sự thật (Factual & Detail Consistency) và thời gian (Timeline & Plot Logic), thường xuất hiện ở khoảng giữa câu chuyện, xảy ra trong các đoạn văn bản có entropy cấp độ token cao hơn, và một số loại lỗi có xu hướng xảy ra đồng thời. GPT-5-REASONING đạt hiệu suất tốt nhất với CED thấp nhất (0.113) và GRR tốt nhất (2.80). Các nhiệm vụ "Generation" (tạo câu chuyện tự do từ một thiết lập cốt truyện tối thiểu) tạo ra CED cao hơn đáng kể so với các nhiệm vụ khác. Số lượng lỗi tăng gần như tuyến tính với độ dài đầu ra. Nội dung có lỗi có mức entropy cao hơn đáng kể so với toàn bộ văn bản, cho thấy mô hình đưa ra lựa chọn không chính xác khi đối mặt với sự không chắc chắn lớn hơn. "Factual & Detail Consistency" là trung tâm, tương quan mạnh nhất với "Characterization", "World-building & Setting" và "Timeline & Plot Logic". Các lỗi không phân bố đều, với các vị trí mâu thuẫn chủ yếu tập trung trong khoảng 40–60% độ dài câu chuyện.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng các LLM hiện tại vẫn tạo ra các lỗi nhất quán có hệ thống, đặc biệt là trong việc theo dõi sự thật và lý luận thời gian; hơn nữa, những lỗi này không ngẫu nhiên mà tập trung ở các vùng câu chuyện có thể dự đoán được. Các hướng nghiên cứu trong tương lai bao gồm mở rộng bộ tiêu chuẩn sang các ngữ cảnh đa ngôn ngữ và đa văn hóa, phát triển các phương pháp nhận biết sự mơ hồ có chủ ý (ví dụ: các kết thúc bất ngờ hoặc thông tin bị trì hoãn một cách chiến lược) và điều chỉnh khung đánh giá để đánh giá tính nhất quán trong các thể loại văn bản dài khác (ví dụ: tài liệu kỹ thuật, văn bản học thuật, kịch bản phim).

V. Brainstorming Space:

1. Publish Papers:

Đánh giá tính nhất quán đa văn hóa và đa ngôn ngữ trong tạo văn bản dài: Nghiên cứu mở rộng ConStory-Bench để đánh giá tính nhất quán của LLM trong việc tạo câu chuyện dài theo các quy ước kể chuyện và ngôn ngữ từ các nền văn hóa không phải phương Tây, khảo sát các loại lỗi đặc trưng và mức độ phổ biến của chúng.
Phân biệt lỗi nhất quán và sự mơ hồ có chủ ý trong kể chuyện của LLM: Phát triển các phương pháp để phân biệt giữa các lỗi nhất quán do LLM tạo ra và các yếu tố kể chuyện có chủ ý như các tình tiết bất ngờ, người kể chuyện không đáng tin cậy hoặc thông tin bị trì hoãn chiến lược, nhằm nâng cao độ chính xác của đánh giá.
Tạo văn bản dài có nhất quán chủ động dựa trên tín hiệu không chắc chắn: Thiết kế và triển khai một hệ thống tạo văn bản dài cho LLM có khả năng tự kiểm tra và điều chỉnh theo thời gian thực, sử dụng các tín hiệu không chắc chắn ở cấp độ token (ví dụ: entropy) để chủ động ngăn chặn và sửa chữa các lỗi nhất quán trước khi chúng xuất hiện trong đầu ra cuối cùng.

2. Patent:

Hệ thống trợ lý viết truyện thông minh trên điện thoại di động với cảnh báo nhất quán tức thì: Một ứng dụng trên điện thoại di động giúp người dùng viết truyện dài, tích hợp một công cụ kiểm tra nhất quán hoạt động theo thời gian thực. Khi người dùng nhập văn bản, hệ thống sẽ tự động phát hiện các mâu thuẫn tiềm ẩn về sự kiện, đặc điểm nhân vật hoặc dòng thời gian, hiển thị cảnh báo và cung cấp bằng chứng văn bản cụ thể để người dùng có thể sửa chữa ngay lập tức.
Công cụ tạo nội dung dài cá nhân hóa đảm bảo tính nhất quán trên thiết bị di động: Một ứng dụng di động cho phép người dùng tạo ra các câu chuyện dài cá nhân hóa (ví dụ: truyện cổ tích, tiểu thuyết ngắn) dựa trên các gợi ý đầu vào. Ứng dụng này sẽ sử dụng một cơ chế kiểm tra nhất quán tích hợp để đảm bảo rằng toàn bộ câu chuyện được tạo ra không có mâu thuẫn về thông tin, thời gian hoặc mô tả, đặc biệt hữu ích cho việc tạo nội dung giáo dục hoặc giải trí chất lượng cao.
Nền tảng tạo kịch bản/tài liệu kỹ thuật nhất quán trên điện thoại di động: Một ứng dụng trên điện thoại thông minh dành cho các nhà biên kịch hoặc người viết tài liệu kỹ thuật, cho phép họ tạo ra các kịch bản hoặc tài liệu dài với tính nhất quán cao. Ứng dụng sẽ theo dõi các chi tiết cốt truyện, đặc điểm nhân vật, quy tắc thế giới hoặc thuật ngữ kỹ thuật, và cảnh báo người dùng về bất kỳ sự không nhất quán nào khi họ phát triển nội dung, đảm bảo tính mạch lạc và chính xác của tài liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.05890
ArXiv Abstract	https://arxiv.org/abs/2603.05890
PDF Download	https://arxiv.org/pdf/2603.05890.pdf
Github Repository	https://github.com/Picrew/ConStory-Bench

2. Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence (79 votes)

Tác giả: Yuanyuan Gao, Hao Li, Yifei Liu, Xinhao Ji, Yuning Gong, Yuanjun Liao, Fangfu Liu, Manyuan Zhang, Yuchen Yang, Dan Xu, Xue Yang, Huaxi Huang, Hongjie Zhang, Ziwei Liu, Xiao Sun, Dingwen Zhang, Zhihang Zhong

Xuất bản lúc: 2026-03-08

Tag: 3D Reconstruction, Vision-Language Models, Spatial Reasoning

I. Main Problem:

Các phương pháp hiện có để xây dựng hiểu biết không gian 3D (spatial intelligence) dựa trên các bộ dữ liệu 3D được chú thích thủ công, quy mô nhỏ và hạn chế về ngữ nghĩa. Điều này dẫn đến khả năng mở rộng kém, tồn tại khoảng cách miền (domain gap) và làm giảm hiệu suất của mô hình. Sự khan hiếm và mất cân bằng của dữ liệu không gian thô, cùng với sự phụ thuộc vào phần cứng quét chuyên dụng và quy trình chú thích thủ công, là những rào cản chính.

II. Main Idea:

Holi-Spatial đề xuất một quy trình hoàn toàn tự động, quy mô lớn để chuyển đổi các luồng video thô thành dữ liệu chú thích không gian 3D toàn diện mà không cần sự can thiệp của con người. Quy trình này bao gồm ba giai đoạn chính:

Tối ưu hóa hình học (Geometric Optimization): Chuyển đổi luồng video thành cấu trúc 3D có độ trung thực cao bằng cách sử dụng 3D Gaussian Splatting (3DGS), được khởi tạo từ các thông tin tiền đề đơn lẻ và tối ưu hóa dưới sự giám sát hình học để làm sắc nét cấu trúc và loại bỏ các nhiễu ảnh.
Nhận diện cấp độ hình ảnh (Image-level Perception): Lấy mẫu các khung hình chính, sử dụng Vision-Language Models (VLM) để suy luận các danh mục từ vựng mở, sau đó hướng dẫn SAM3 tạo ra các mặt nạ phân đoạn chất lượng cao. Các mặt nạ 2D này được nâng lên không gian 3D bằng cách chiếu ngược các pixel sử dụng bản đồ độ sâu được kết xuất và tham số camera.
Tinh chỉnh cấp độ cảnh (Scene-level Refinement): Hợp nhất các ứng viên đối tượng 3D trùng lặp từ nhiều góc nhìn, lọc bỏ các ứng viên có độ tin cậy thấp bằng tác nhân dựa trên VLM, tạo chú thích chi tiết và xây dựng các cặp câu hỏi-trả lời (QA) không gian để huấn luyện khả năng suy luận và định vị 3D của VLM. Dựa trên quy trình này, nhóm nghiên cứu đã xây dựng Holi-Spatial-4M, bộ dữ liệu ngữ nghĩa 3D quy mô lớn, chất lượng cao đầu tiên, được sử dụng để tinh chỉnh các mô hình Vision-Language (VLM) cho các tác vụ suy luận không gian.

III. Main Results:

Holi-Spatial vượt trội đáng kể so với các phương pháp hiện có về chất lượng chú thích dữ liệu:

Cải thiện ước tính độ sâu đa góc nhìn thêm 0.5 F1 và tăng 3D detection AP50 lên 64% trên ScanNet.
Bộ dữ liệu Holi-Spatial-4M chứa 12K cảnh 3DGS được tối ưu hóa, 1.3M mặt nạ 2D, 320K hộp giới hạn 3D, 320K chú thích đối tượng, 1.2M trường hợp định vị 3D và 1.2M cặp QA không gian.
Tinh chỉnh các mô hình Qwen3-VL trên Holi-Spatial-4M đạt hiệu suất vượt trội: tăng 15% AP50 trên ScanNet++ cho 3D grounding và tăng 7.9% độ chính xác trên MMSI-Bench cho spatial reasoning.
Trong 3D object detection, Holi-Spatial đạt AP25 là 81.06 trên ScanNet++, vượt trội hơn một bậc so với các 3D-VLM tiên tiến khác (LLaVA-3D, 12.2 AP25).
Tạo ra hình học sạch hơn với ít nhiễu ảnh và các điểm nổi không mong muốn hơn, cùng với mặt nạ phân đoạn 2D sắc nét hơn, đầy đủ hơn và các danh mục chi tiết chính xác hơn.

IV. Conclusion & Future Works:

Holi-Spatial là một framework tự động hoàn toàn đầu tiên có khả năng biến đổi các luồng video thô thành các chú thích không gian 3D toàn diện mà không cần can thiệp thủ công. Nó cho phép xây dựng các bộ dữ liệu 3D ngữ nghĩa chất lượng cao, quy mô lớn như Holi-Spatial-4M, từ đó nâng cao đáng kể khả năng của các mô hình Vision-Language trong các tác vụ suy luận không gian. Vì toàn bộ quy trình chú thích là tự động, nó có thể được mở rộng hơn nữa khi có đủ tài nguyên. Hướng phát triển trong tương lai có thể tập trung vào việc mở rộng quy mô dữ liệu sang các môi trường đa dạng hơn và nâng cao khả năng suy luận của tác nhân VLM trong quy trình.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng suy luận không gian phức tạp của tác nhân VLM trong chú thích: Nghiên cứu các phương pháp để làm cho tác nhân dựa trên VLM trong giai đoạn tinh chỉnh cấp độ cảnh trở nên mạnh mẽ hơn đối với các trường hợp mơ hồ và thực hiện suy luận ngữ cảnh phức tạp hơn cho việc xác minh đối tượng và tạo QA, có thể kết hợp thông tin thời gian từ luồng video.
Tối ưu hóa 3DGS quy mô lớn cho hiểu biết cảnh thời gian thực: Khám phá các kỹ thuật để tăng tốc giai đoạn tối ưu hóa hình học 3DGS nhằm cho phép xử lý luồng video gần thời gian thực để tái tạo 3D và chú thích, phù hợp cho các môi trường động hoặc ứng dụng trên thiết bị.
Khả năng tổng quát hóa đa miền của Holi-Spatial: Mở rộng quy trình Holi-Spatial sang các môi trường mới và đa dạng hơn ngoài các cảnh trong nhà (ví dụ: môi trường đô thị ngoài trời, cảnh quan tự nhiên) để đánh giá và cải thiện khả năng tổng quát hóa cũng như phạm vi ngữ nghĩa của nó trên các miền khác nhau.

2. Patent:

Hệ thống tạo mô hình 3D nội thất tự động từ video điện thoại: Một ứng dụng di động cho phép người dùng quay video không gian trong nhà. Hệ thống sẽ tự động xử lý video để tạo ra mô hình 3D chi tiết của căn phòng, bao gồm vị trí, kích thước và loại của từng đồ vật (ghế, bàn, tủ...). Dữ liệu này có thể được sử dụng để sắp xếp lại nội thất ảo, đo đạc không gian, hoặc hỗ trợ các ứng dụng mua sắm nội thất thực tế tăng cường trên điện thoại.
Công cụ nhận diện và định vị đối tượng 3D bằng camera điện thoại: Một tính năng tích hợp trong camera điện thoại thông minh, sử dụng công nghệ tương tự Holi-Spatial để nhận diện và định vị các đối tượng trong môi trường 3D theo thời gian thực. Ví dụ, khi người dùng hướng camera vào một căn phòng, điện thoại có thể hiển thị hộp giới hạn 3D và nhãn của từng vật thể, cùng với thông tin về khoảng cách và mối quan hệ không gian giữa chúng. Điều này hữu ích cho người dùng khi cần đo đạc nhanh, tìm kiếm vật thể hoặc hỗ trợ điều hướng trong nhà.
Hệ thống tạo câu hỏi-trả lời không gian cá nhân hóa trên thiết bị di động: Một ứng dụng học tập hoặc trợ lý ảo trên điện thoại sử dụng dữ liệu không gian 3D được tạo từ video cá nhân của người dùng. Ứng dụng có thể tạo ra các câu hỏi về vị trí, hướng, hoặc mối quan hệ giữa các vật thể trong môi trường quen thuộc của người dùng (ví dụ: "Chiếc điều khiển TV đang ở đâu so với chiếc ghế sofa?"). Điều này giúp cải thiện khả năng định hướng và ghi nhớ không gian của người dùng, hoặc hỗ trợ người khiếm thị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.07660
ArXiv Abstract	https://arxiv.org/abs/2603.07660
PDF Download	https://arxiv.org/pdf/2603.07660.pdf
Github Repository	https://github.com/Visionary-Laboratory/holi-spatial

3. LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory (54 votes)

Tác giả: Junyi Zhang, Charles Herrmann, Junhwa Hur, Chen Sun, Ming-Hsuan Yang, Forrester Cole, Trevor Darrell, Deqing Sun

Xuất bản lúc: 2026-03-03

Tag: 3D Reconstruction, Long-Context, Hybrid Memory, Sliding Window Attention, Test-Time Training, Feedforward Models, SLAM, Transformer

I. Main Problem:

Các mô hình nền tảng hình học 3D (geometric foundation models) hiện tại đạt được khả năng tái tạo mạnh mẽ trong cửa sổ ngắn nhưng gặp khó khăn khi mở rộng sang các video dài hàng phút. Vấn đề chính là sự phức tạp bậc hai của cơ chế attention hoặc bộ nhớ hiệu quả hạn chế trong các thiết kế lặp lại. Cụ thể hơn, tồn tại "bức tường ngữ cảnh" do sự phức tạp bậc hai của attention giới hạn ngữ cảnh sử dụng và "bức tường dữ liệu" vì các mô hình được huấn luyện trên các "bong bóng" ngữ cảnh ngắn, không thể tổng quát hóa cho các phụ thuộc tầm xa trong quá trình suy luận. Việc xử lý video theo từng đoạn (chunk-wise) đặt ra thách thức về việc quản lý bộ nhớ và sự nhất quán giữa các ranh giới đoạn, đòi hỏi phải cân bằng giữa chi tiết trong cửa sổ, ngữ cảnh không nén cho căn chỉnh cục bộ chính xác cao, và tính toàn vẹn cấu trúc toàn cầu trên phạm vi dài.

II. Main Idea:

LoGeR (Long-context Geometric Reconstruction) là một kiến trúc mới được đề xuất để mở rộng tái tạo 3D dày đặc cho các chuỗi cực dài mà không cần tối ưu hóa hậu kỳ. LoGeR xử lý luồng video theo từng đoạn, tận dụng các ưu tiên hai chiều mạnh mẽ để suy luận trong đoạn với độ trung thực cao. Để giải quyết thách thức về sự nhất quán giữa các ranh giới đoạn, LoGeR giới thiệu một module bộ nhớ lai dựa trên học máy, bao gồm hai thành phần:

Bộ nhớ Test-Time Training (TTT) tham số: Dùng để neo khung tọa độ toàn cầu và ngăn chặn sự trôi tỷ lệ. Nó nén ngữ cảnh toàn cầu và duy trì các trọng số nhanh (fast weights) trên nhiều đoạn.
Cơ chế Sliding Window Attention (SWA) không tham số: Dùng để bảo toàn ngữ cảnh không nén, đảm bảo căn chỉnh liền mạch, độ chính xác cao giữa các đoạn lân cận. Kiến trúc này cho phép LoGeR được huấn luyện trên các chuỗi 128 khung hình và tổng quát hóa lên đến hàng nghìn khung hình trong quá trình suy luận. Ngoài ra, một biến thể LoGeR* kết hợp bước căn chỉnh hoàn toàn theo kiểu feedforward để căn chỉnh các dự đoán thô vào một hệ tọa độ toàn cầu nhất quán. Để khắc phục "bức tường dữ liệu", LoGeR sử dụng hỗn hợp dữ liệu huấn luyện nặng về các tập dữ liệu cảnh quy mô lớn và áp dụng chiến lược huấn luyện theo chương trình (curriculum training) lũy tiến để ổn định quá trình tối ưu hóa các lớp TTT lặp lại.

III. Main Results:

LoGeR đã chứng minh hiệu suất vượt trội trên các điểm chuẩn tiêu chuẩn và tập dữ liệu VBR được tái sử dụng với các chuỗi lên đến 19.000 khung hình:

Cải thiện đáng kể trên KITTI: Giảm lỗi quỹ đạo tuyệt đối (ATE) trên KITTI hơn 74% (từ 72.86 xuống 18.65 với LoGeR*), vượt trội hơn cả các phương pháp dựa trên tối ưu hóa mạnh nhất.
Độ chính xác cao trên VBR: Đạt được cải thiện tương đối 30.8% trên các chuỗi cực dài của điểm chuẩn VBR, cho thấy khả năng tái tạo nhất quán toàn cầu và mạnh mẽ trên các chân trời chưa từng có.
Khả năng tổng quát hóa: Mô hình được huấn luyện trên 128 khung hình có thể tổng quát hóa liền mạch lên đến 1.000 khung hình trong quá trình suy luận và mở rộng hiệu quả lên đến 19.000 khung hình với việc đặt lại trạng thái định kỳ.
Hiệu suất trên chuỗi ngắn: Vượt trội hơn các phương pháp trước đây trên các chuỗi ngắn hơn (7-Scenes, ScanNetV2, TUM-Dynamics), ví dụ, giảm 69.2% Chamfer Distance trên 7-Scenes và tăng 80.0%/66.1% độ chính xác ước tính tư thế trên ScanNet/TUM.
Xác nhận kiến trúc: Nghiên cứu loại bỏ cho thấy cả SWA và TTT đều cần thiết cho hiệu suất tối ưu, và hỗn hợp dữ liệu quy mô lớn cùng chiến lược huấn luyện theo chương trình đều đóng góp đáng kể vào kết quả.

IV. Conclusion & Future Works:

LoGeR đã giải quyết các hạn chế của việc ước tính chuỗi dài cho các mô hình hình học 3D feedforward bằng cách giới thiệu một kiến trúc lai bổ sung kết hợp Sliding Window Attention (SWA) với lớp Test-Time Training (TTT). LoGeR xử lý hàng nghìn khung hình mà không cần tối ưu hóa, vượt trội so với các phương pháp khác trong việc tái tạo chuỗi dài với nhiều biểu diễn khác nhau.

Các hướng nghiên cứu trong tương lai bao gồm:

Giải quyết nút thắt cổ chai tổng quát hóa độ dài: Tìm cách để các trọng số nhanh của TTT tổng quát hóa vượt quá độ dài ngữ cảnh được huấn luyện, ngăn chặn sự tích lũy lỗi và trôi quỹ đạo trên các chuỗi cực dài mà không cần đặt lại trạng thái định kỳ.
Xây dựng bộ dữ liệu chất lượng cao, dài hạn: Tập trung vào việc tạo ra các bộ dữ liệu đa dạng, dài hạn hơn để khắc phục "bức tường dữ liệu" hiện tại.
Mở rộng kiến trúc bộ nhớ lai: Khám phá tiềm năng của kiến trúc bộ nhớ lai (SWA + TTT) trong các lĩnh vực khác ngoài tái tạo hình học 3D, chẳng hạn như suy luận không gian-thời gian trong các cảnh động, hiểu video và robot học, nơi đòi hỏi cả sự nhất quán toàn cầu dài hạn và các phụ thuộc cục bộ mạnh mẽ.

V. Brainstorming Space:

1. Publish Papers:

Cải tiến khả năng tổng quát hóa độ dài của bộ nhớ TTT cho tái tạo 3D: Nghiên cứu các cơ chế bộ nhớ tuyến tính mới hoặc cải tiến Test-Time Training (TTT) để duy trì ngữ cảnh dài vô hạn mà không cần đặt lại trạng thái định kỳ, giải quyết vấn đề tích lũy lỗi và trôi quỹ đạo trên các chuỗi cực dài trong tái tạo 3D.
Phương pháp thu thập và chú thích tự động cho bộ dữ liệu 3D dài hạn, quy mô lớn: Phát triển các kỹ thuật dựa trên AI để tự động hoặc bán tự động thu thập và chú thích các bộ dữ liệu 3D tái tạo cảnh quan rộng lớn, dài hạn, đa dạng hơn nhằm khắc phục "bức tường dữ liệu" và thúc đẩy nghiên cứu tái tạo hình học 3D.
Ứng dụng kiến trúc bộ nhớ lai (SWA + TTT) cho hiểu video và học robot: Áp dụng và điều chỉnh kiến trúc bộ nhớ lai của LoGeR cho các tác vụ khác ngoài tái tạo hình học 3D, chẳng hạn như phân tích hành vi trong video dài hoặc học điều khiển robot trong môi trường động, nơi cần cả sự nhất quán toàn cầu dài hạn và sự phụ thuộc cục bộ mạnh mẽ.

2. Patent:

Hệ thống Bản đồ 3D Thời gian thực cho Điều hướng AR trên điện thoại di động: Một công nghệ cho phép điện thoại di động tạo ra bản đồ 3D chi tiết của môi trường xung quanh người dùng trong thời gian thực khi họ di chuyển. Hệ thống sử dụng camera của điện thoại để liên tục tái tạo không gian, duy trì sự nhất quán toàn cầu và ngăn chặn sự trôi tỷ lệ ngay cả trên quãng đường dài. Điều này cho phép các ứng dụng thực tế tăng cường (AR) trên điện thoại hiển thị thông tin điều hướng, đối tượng ảo hoặc điểm POI một cách chính xác trên thế giới thực, mang lại trải nghiệm điều hướng AR liền mạch và đáng tin cậy.
Công cụ Quét và Tạo Mô hình 3D cho Vật thể/Không gian lớn bằng Điện thoại: Một tính năng trên điện thoại di động cho phép người dùng dễ dàng quét và tạo mô hình 3D của các vật thể lớn (ví dụ: một bức tường, đồ nội thất lớn, hoặc toàn bộ căn phòng) hoặc không gian rộng. Công nghệ này tổng hợp nhiều khung hình từ camera điện thoại, sử dụng bộ nhớ lai để duy trì độ chi tiết cục bộ và sự gắn kết tổng thể của mô hình 3D, tránh các lỗi tích lũy. Mô hình 3D chất lượng cao được tạo ra có thể được chia sẻ, sử dụng trong các ứng dụng thiết kế nội thất/ngoại thất hoặc tạo nội dung 3D cho trò chơi/AR.
Tối ưu hóa Ghi hình Video 3D cho Nội dung VR/AR do người dùng tạo trên Điện thoại: Một công cụ tích hợp trong ứng dụng camera điện thoại cho phép người dùng quay video và tự động chuyển đổi chúng thành nội dung 3D chất lượng cao, sẵn sàng cho trải nghiệm thực tế ảo (VR) hoặc thực tế tăng cường (AR). Hệ thống xử lý video đã quay theo từng đoạn, sử dụng cơ chế bộ nhớ lai để đảm bảo các cảnh quay được liên kết liền mạch và không bị biến dạng tỷ lệ hoặc trôi quỹ đạo. Điều này giúp tạo ra nội dung 3D nhập vai và chân thực hơn từ video do người dùng tạo mà không cần quy trình hậu kỳ phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.03269
ArXiv Abstract	https://arxiv.org/abs/2603.03269
PDF Download	https://arxiv.org/pdf/2603.03269.pdf
Github Repository	https://github.com/Junyi42/LoGeR

4. How Far Can Unsupervised RLVR Scale LLM Training? (49 votes)

Tác giả: Bingxiang He, Yuxin Zuo, Zeyuan Liu, Shangziqi Zhao, Zixuan Fu, Junlin Yang, Cheng Qian, Kaiyan Zhang, Yuchen Fan, Ganqu Cui, Xiusi Chen, Youbang Sun, Xingtai Lv, Xuekai Zhu, Li Sheng, Ran Li, Huan-ang Gao, Yuchen Zhang, Bowen Zhou, Zhiyuan Liu, Ning Ding

Xuất bản lúc: 2026-03-09

Tag: RL, LLMs, Unsupervised Learning, Model Collapse, Reinforcement Learning, Self-Supervised Learning

I. Main Problem:

Vấn đề chính là sự hạn chế về khả năng mở rộng của việc huấn luyện mô hình ngôn ngữ lớn (LLM) bằng Học tăng cường với phần thưởng có thể kiểm chứng (RLVR) do "nút cổ chai giám sát". Việc thu thập nhãn ground truth đòi hỏi chi phí nhân lực quá cao và trở nên không khả thi khi các mô hình đạt hoặc vượt qua chuyên môn của con người. Các phương pháp URLVR hiện tại dựa trên tín hiệu nội tại của mô hình cho thấy những cải thiện ban đầu đầy hứa hẹn nhưng lại gặp phải các chế độ lỗi nghiêm trọng như "reward hacking" và "model collapse", khiến khả năng mở rộng thực sự của chúng không rõ ràng.

II. Main Idea:

Nghiên cứu này cung cấp một phân tích toàn diện về URLVR, bao gồm phân loại, lý thuyết và thực nghiệm mở rộng. Đầu tiên, URLVR được chia thành hai loại chính: phần thưởng nội tại (intrinsic rewards) và phần thưởng bên ngoài (external rewards), dựa trên nguồn gốc của tín hiệu phần thưởng. Về lý thuyết, một khuôn khổ thống nhất được thiết lập, tiết lộ rằng tất cả các phương pháp phần thưởng nội tại đều hội tụ theo cơ chế "làm sắc nét" (sharpening) phân phối ban đầu của mô hình, khuếch đại các ưu tiên hiện có. Về thực nghiệm, nghiên cứu chứng minh rằng phần thưởng nội tại luôn tuân theo mô hình "tăng rồi giảm" (rise-then-fall), với thời điểm sụp đổ được xác định bởi "tiền đề mô hình" (model prior). Cuối cùng, nghiên cứu đề xuất "Bước sụp đổ mô hình" (Model Collapse Step) như một chỉ số thực tế để đo lường tiền đề mô hình và khám phá các phương pháp phần thưởng bên ngoài khai thác sự bất đối xứng tính toán trong việc xác minh, cho thấy chúng có thể thoát khỏi giới hạn "tự tin-chính xác" của phần thưởng nội tại.

III. Main Results:

Các phần thưởng nội tại nhất quán tuân theo mô hình "tăng rồi giảm" (rise-then-fall) trên tất cả các phương pháp, với thời điểm sụp đổ được xác định bởi tiền đề mô hình (model prior) chứ không phải các lựa chọn kỹ thuật. Cơ chế làm sắc nét của phần thưởng nội tại thành công khi sự tự tin ban đầu của mô hình phù hợp với tính đúng đắn, nhưng thất bại nghiêm trọng khi không phù hợp. Phần thưởng nội tại vẫn có giá trị trong quá trình huấn luyện tại thời điểm kiểm tra (test-time training) trên các bộ dữ liệu nhỏ, giúp ngăn chặn sự sụp đổ của mô hình. "Bước sụp đổ mô hình" (Model Collapse Step) tương quan mạnh mẽ với GT Gain và là một chỉ số tốt hơn Pass@k Gain để dự đoán khả năng huấn luyện RL. Các phương pháp phần thưởng bên ngoài, đặc biệt là khai thác sự bất đối xứng giữa việc tạo ra và xác minh (generation-verification asymmetry), cho thấy bằng chứng sơ bộ rằng chúng có thể thoát khỏi giới hạn "tự tin-chính xác" và duy trì cải thiện mà không bị sụp đổ.

IV. Conclusion & Future Works:

Phân tích chỉ ra rằng phần thưởng nội tại hoạt động trong các giới hạn được xác định rõ ràng bởi tiền đề mô hình, mang lại lợi ích hiệu quả và an toàn trong quá trình huấn luyện tại thời điểm kiểm tra nhưng có nguy cơ "reward hacking" khi sự tự tin không phù hợp với tính đúng đắn. Những hạn chế này thúc đẩy việc khám phá các phương pháp phần thưởng bên ngoài, từ sự bất đối xứng giữa việc tạo ra và xác minh trong các miền có cấu trúc đến các tín hiệu tự giám sát từ các kho dữ liệu không nhãn khổng lồ. Các hướng đi trong tương lai bao gồm phát triển các môi trường có thể kiểm chứng đa dạng và mở rộng các bất đối xứng xác minh sang các lĩnh vực khoa học mới để đạt được khả năng mở rộng URLVR lâu dài và mạnh mẽ hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế "làm sắc nét" phân phối ban đầu của mô hình trong URLVR nội tại trên các kiến trúc LLM khác nhau và các nhiệm vụ đa dạng để hiểu rõ hơn về các yếu tố ảnh hưởng đến "Bước sụp đổ mô hình" và cách giảm thiểu nó.
Khám phá các phương pháp phần thưởng bên ngoài mới khai thác sự bất đối xứng giữa việc tạo ra và xác minh trong các lĩnh vực khoa học hoặc kỹ thuật phức tạp chưa được khám phá, như mô phỏng vật lý, thiết kế vật liệu hoặc sinh học tổng hợp, để thúc đẩy khả năng suy luận của LLM.
Phát triển một khuôn khổ URLVR lai (hybrid URLVR) kết hợp những lợi ích của phần thưởng nội tại (ví dụ: huấn luyện tại thời điểm kiểm tra an toàn) với khả năng mở rộng của phần thưởng bên ngoài, có thể thông qua một hệ thống phân cấp phần thưởng hoặc cơ chế chuyển đổi động.

2. Patent:

Hệ thống đánh giá và cải thiện ứng dụng di động thông minh: Một hệ thống trên điện thoại di động sử dụng trí tuệ nhân tạo để tự động kiểm tra và cải thiện hiệu suất các ứng dụng. Người dùng có thể yêu cầu điện thoại kiểm tra một ứng dụng cụ thể; hệ thống sẽ tự động chạy thử nghiệm với các kịch bản sử dụng đa dạng, sau đó sử dụng các tín hiệu nội bộ của mô hình AI để đánh giá độ tin cậy và hiệu quả của ứng dụng. Nếu phát hiện vấn đề hoặc có thể cải thiện, AI sẽ đề xuất các bản vá hoặc cập nhật tối ưu hóa cho nhà phát triển, khai thác cơ chế "làm sắc nét" để tăng cường các hành vi đúng của ứng dụng.
Trợ lý giải toán và lập trình di động có khả năng tự kiểm chứng: Ứng dụng điện thoại thông minh cung cấp một trợ lý trí tuệ nhân tạo giúp học sinh hoặc lập trình viên giải các bài toán phức tạp hoặc viết mã. Người dùng nhập bài toán hoặc yêu cầu lập trình, AI sẽ đưa ra các giải pháp. Sau đó, AI sẽ sử dụng một "công cụ xác minh bên ngoài" (ví dụ: một trình biên dịch tích hợp cho mã, hoặc một công cụ kiểm tra kết quả toán học) để tự động kiểm tra tính đúng đắn của giải pháp mà nó vừa tạo ra. Quá trình này khai thác sự bất đối xứng "khó tạo - dễ xác minh" để liên tục cải thiện khả năng giải quyết vấn đề của AI mà không cần nhãn ground truth từ con người.
Công cụ tạo nội dung thông minh và tự điều chỉnh trên thiết bị di động: Một ứng dụng trên điện thoại cho phép người dùng tạo ra các loại nội dung đa dạng như kịch bản, câu chuyện, hoặc bài viết. Trí tuệ nhân tạo sẽ tạo ra nhiều phiên bản nội dung. Sau đó, nó sẽ sử dụng các "tín hiệu tự giám sát" từ một kho dữ liệu lớn có sẵn trên thiết bị (hoặc trên đám mây với quyền riêng tư được đảm bảo) để đánh giá mức độ mạch lạc, phù hợp và chất lượng của các phiên bản nội dung này. AI sẽ chọn ra phiên bản tốt nhất hoặc điều chỉnh nội dung dựa trên phản hồi tự động này, giúp cải thiện khả năng sáng tạo của nó theo thời gian mà không cần sự can thiệp liên tục của con người.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08660
ArXiv Abstract	https://arxiv.org/abs/2603.08660
PDF Download	https://arxiv.org/pdf/2603.08660.pdf
Github Repository	N/A

5. Believe Your Model: Distribution-Guided Confidence Calibration (38 votes)

Tác giả: Xizhong Yang, Haotian Zhang, Huiming Wang, Mofei Song

Xuất bản lúc: 2026-03-04

Tag: LLMs, Confidence Calibration, Test-Time Scaling, Gaussian Mixture Models, Self-Reflection, Voting

I. Main Problem:

Các Mô hình Suy luận Lớn (LRMs) gặp khó khăn trong việc đánh giá chất lượng câu trả lời và điều chỉnh quá trình tạo câu trả lời trong giai đoạn kiểm thử do thiếu tín hiệu nhãn hoặc phần thưởng. Mặc dù các tín hiệu nội bộ như điểm độ tin cậy có thể chỉ ra tính đúng đắn của câu trả lời và có mối tương quan phân bố với độ chính xác, thông tin phân bố này chưa được tận dụng triệt để để hướng dẫn việc chọn câu trả lời. Đặc biệt, có sự chồng chéo đáng kể giữa phân bố độ tin cậy của các câu trả lời đúng và sai, dẫn đến các kết quả dương tính giả trong quá trình bỏ phiếu cuối cùng.

II. Main Idea:

Bài báo đề xuất phương pháp DistriVoting, kết hợp thông tin phân bố tiên nghiệm cùng với độ tin cậy trong quá trình bỏ phiếu. Cụ thể, DistriVoting (1) phân tách phân bố độ tin cậy hỗn hợp thành các thành phần dương tính và âm tính bằng Mô hình hỗn hợp Gaussian (GMM), và (2) áp dụng bộ lọc loại bỏ dựa trên các mẫu dương tính/âm tính để giảm thiểu sự chồng chéo. Ngoài ra, để giảm chồng chéo từ góc độ phân bố, bài báo giới thiệu SelfStepConf, sử dụng độ tin cậy cấp bước để điều chỉnh động quá trình suy luận, tăng cường sự tách biệt giữa hai phân bố và cải thiện độ tin cậy của các điểm tin cậy trong bỏ phiếu. Phương pháp bỏ phiếu cơ bản được sử dụng là HierVoting.

III. Main Results:

Các thử nghiệm trên 16 mô hình và 5 bộ dữ liệu benchmark cho thấy phương pháp của chúng tôi vượt trội đáng kể so với các phương pháp hiện đại nhất. DistriVoting liên tục mang lại hiệu suất cao hơn trên các mô hình và bộ dữ liệu khác nhau. SelfStepConf làm tăng sự phân tách giữa các phân bố dương tính và âm tính, thúc đẩy hơn nữa những cải tiến này. GMM cải thiện hiệu suất so với bộ lọc ngưỡng cố định (Top50), ví dụ, tăng từ 74.75% lên 76.64% với WSC trên DeepSeek-R1-8B. GMM cũng đạt hiệu quả cao hơn 1.78 lần so với K-Means và 5.49 lần so với MeanShift, đồng thời vượt trội về độ chính xác dự đoán tính đúng đắn của quỹ đạo và hiệu suất bỏ phiếu.

IV. Conclusion & Future Works:

Nghiên cứu này đã thành công trong việc cải thiện đáng kể độ chính xác của các Mô hình Suy luận Lớn bằng cách tận dụng thông tin phân bố độ tin cậy và cơ chế tự phản ánh động trong quá trình suy luận. DistriVoting và SelfStepConf cùng nhau nâng cao độ tin cậy của việc hiệu chuẩn độ tin cậy và hiệu suất bỏ phiếu. Việc tiếp tục nghiên cứu trong lĩnh vực này là rất quan trọng để phát triển các kỹ thuật hiệu chuẩn độ tin cậy mạnh mẽ hơn và tối ưu hóa hiệu suất của các mô hình AI trong các tác vụ suy luận phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kỹ thuật mô hình hóa phân bố thay thế cho điểm độ tin cậy: Khám phá việc sử dụng các mô hình hỗn hợp khác (ví dụ: mô hình hỗn hợp Student's t để chống lại các giá trị ngoại lai) hoặc các phương pháp ước lượng mật độ phi tham số để nắm bắt tốt hơn các phân bố độ tin cậy phức tạp, đặc biệt trong các kịch bản có nhiều hơn hai trạng thái đúng đắn tiềm ẩn hoặc dữ liệu bị lệch cao.
Cơ chế tự phản ánh nâng cao để điều chỉnh động quá trình suy luận: Phát triển các chính sách phản ánh tinh vi hơn cho SelfStepConf, có thể sử dụng học tăng cường để học các chiến lược can thiệp tối ưu hoặc kết hợp các token/lời nhắc phản ánh đa dạng được điều chỉnh cho các lỗi suy luận cụ thể, nhằm tăng cường hơn nữa sự tách biệt của các phân bố độ tin cậy đúng/sai.
Tích hợp DistriVoting với các phương pháp mở rộng thời gian kiểm thử và kiến trúc mô hình khác: Điều tra khả năng áp dụng và sức mạnh tổng hợp của DistriVoting với các kỹ thuật TTS tiên tiến khác (ví dụ: tree-of-thought, graph-of-thought) hoặc các kiến trúc mô hình nền tảng khác nhau (ví dụ: mô hình Mixture-of-Experts), phân tích cách thông tin phân bố tiên nghiệm có thể được tận dụng trong các cài đặt phức tạp hơn này.

2. Patent:

Hệ thống kiểm tra độ tin cậy câu trả lời của trợ lý ảo trên di động: Một ứng dụng di động có thể tích hợp một cơ chế tương tự DistriVoting để đánh giá độ tin cậy của các câu trả lời do trợ lý ảo tạo ra. Khi người dùng hỏi một câu hỏi phức tạp, trợ lý ảo sẽ tạo ra nhiều câu trả lời ứng cử viên. Hệ thống sẽ phân tích phân bố độ tin cậy của các câu trả lời này, lọc bỏ những câu có khả năng sai và chỉ hiển thị câu trả lời đáng tin cậy nhất hoặc cảnh báo người dùng về độ tin cậy thấp. Điều này giúp tăng cường trải nghiệm người dùng bằng cách cung cấp thông tin chính xác hơn.
Chức năng "Tự sửa lỗi suy luận" cho ứng dụng học tập/giải toán trên điện thoại: Một ứng dụng học tập trên điện thoại có thể sử dụng cơ chế giống SelfStepConf để theo dõi quá trình suy luận của mô hình AI khi giải một bài toán hoặc trả lời một câu hỏi phức tạp. Nếu hệ thống phát hiện độ tin cậy của các bước suy luận giảm đáng kể, nó sẽ tự động kích hoạt "tự phản ánh" để điều chỉnh quá trình giải, ví dụ như thử một phương pháp khác hoặc tìm kiếm thông tin bổ sung. Điều này giúp đảm bảo rằng ứng dụng luôn đưa ra các lời giải chính xác và đáng tin cậy.
Bộ lọc tin tức/thông tin đáng tin cậy dựa trên phân bố độ tin cậy cho ứng dụng mạng xã hội: Một ứng dụng tổng hợp tin tức hoặc mạng xã hội trên điện thoại có thể sử dụng nguyên tắc phân tích phân bố độ tin cậy để đánh giá các nguồn tin hoặc nội dung được tạo bởi AI. Mỗi mục tin tức hoặc bài đăng sẽ được gán một "điểm tin cậy" nội bộ. Hệ thống sẽ sử dụng mô hình phân bố (như GMM) để phân loại các mục thành "đáng tin cậy" và "ít đáng tin cậy", sau đó lọc và ưu tiên hiển thị những nội dung có độ tin cậy cao hơn cho người dùng. Điều này giúp chống lại tin giả và cung cấp một dòng thông tin chất lượng hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.03872
ArXiv Abstract	https://arxiv.org/abs/2603.03872
PDF Download	https://arxiv.org/pdf/2603.03872.pdf
Github Repository	N/A

6. CARE-Edit: Condition-Aware Routing of Experts for Contextual Image Editing (34 votes)

Tác giả: Yucheng Wang, Zedong Wang, Yuetong Wu, Yue Ma, Dan Xu

Xuất bản lúc: 2026-03-09

Tag: Diffusion Models, Image Editing, Mixture-of-Experts, Conditional Generation, Latent Diffusion, Vision-Language Action

I. Main Problem:

Các trình chỉnh sửa hình ảnh dựa trên mô hình khuếch tán hợp nhất hiện tại thường sử dụng một kiến trúc chung cố định cho nhiều tác vụ khác nhau, dẫn đến hiện tượng nhiễu loạn giữa các tác vụ và khả năng thích ứng kém với các yêu cầu đa dạng (ví dụ: chỉnh sửa cục bộ so với toàn cục, ngữ nghĩa so với quang trắc). Đặc biệt, các biến thể phổ biến như ControlNet và OmniControl kết hợp nhiều tín hiệu điều kiện (như văn bản, mặt nạ, hình ảnh tham chiếu) thông qua nối tĩnh hoặc bộ điều hợp phụ trợ, không thể ưu tiên hoặc loại bỏ động các phương thức xung đột. Điều này gây ra các lỗi như lem màu qua ranh giới mặt nạ, sai lệch nhận dạng hoặc phong cách, và hành vi không thể đoán trước dưới nhiều điều kiện đầu vào xung đột.

II. Main Idea:

CARE-Edit (Condition-Aware Routing of Experts) đề xuất một khuôn khổ định tuyến các token khuếch tán đến các chuyên gia không đồng nhất dựa trên các điều kiện văn bản, mặt nạ và tín hiệu tham chiếu, cho phép chỉnh sửa chất lượng cao trên nhiều tác vụ. Cụ thể, một bộ định tuyến latent-attention nhẹ sẽ gán các token khuếch tán được mã hóa cho bốn chuyên gia chuyên biệt—Text, Mask, Reference và Base—dựa trên các điều kiện đa phương thức và các bước khuếch tán. Hệ thống bao gồm: (i) mô-đun Mask Repaint để tinh chỉnh mặt nạ thô do người dùng định nghĩa, đảm bảo hướng dẫn không gian chính xác; (ii) bộ định tuyến sử dụng lựa chọn top-K thưa thớt để phân bổ tính toán động cho các chuyên gia phù hợp nhất; (iii) mô-đun Latent Mixture sau đó kết hợp các đầu ra của chuyên gia, tích hợp một cách mạch lạc thông tin ngữ nghĩa, không gian và phong cách vào hình ảnh gốc. Quá trình huấn luyện được thực hiện theo lộ trình tăng dần, từ dữ liệu đơn tác vụ đến đa tác vụ phức tạp.

III. Main Results:

Các thử nghiệm xác nhận hiệu suất mạnh mẽ của CARE-Edit trên các tác vụ chỉnh sửa theo ngữ cảnh, bao gồm xóa, thay thế, chỉnh sửa theo văn bản và chuyển giao phong cách. CARE-Edit đạt được kết quả cạnh tranh so với các trình chỉnh sửa hợp nhất trên bộ dữ liệu EMU-Edit và MagicBrush, với điểm số CLIPim, CLIPout và DINO tốt nhất hoặc cạnh tranh. Trên DreamBench++, CARE-Edit đạt hiệu suất tốt nhất trên tất cả các chỉ số trong cả thiết lập đối tượng đơn và đa đối tượng. Phân tích thực nghiệm cho thấy hành vi chuyên biệt theo tác vụ của các chuyên gia, chứng minh tầm quan trọng của quá trình xử lý động, nhận biết điều kiện để giảm thiểu xung đột đa điều kiện. Nghiên cứu cắt bỏ cũng khẳng định vai trò quan trọng của từng thành phần cốt lõi và K=3 là tối ưu cho routing.

IV. Conclusion & Future Works:

CARE-Edit giải quyết các xung đột đa điều kiện bằng cách sử dụng các chuyên gia không đồng nhất với cơ chế định tuyến hiệu quả, mang lại khả năng chỉnh sửa hình ảnh linh hoạt và chất lượng cao. Mô hình cải thiện khả năng kiểm soát thông qua mặt nạ và tham chiếu với chi phí bổ sung khiêm tốn. Các hạn chế của công trình này bao gồm các siêu tham số bổ sung (ví dụ: top-K) và tập hợp chuyên gia hiện tại chỉ bao gồm các tác vụ và phương thức phổ biến. Trong tương lai, nhóm nghiên cứu sẽ khám phá việc mở rộng tập hợp chuyên gia để xử lý các loại chỉnh sửa rộng hơn, có thể thông qua tải hoặc mở rộng chuyên gia động.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Mô hình Chuyên gia cho Các Kiểu Chỉnh sửa Đa dạng hơn: Nghiên cứu các phương pháp để mở rộng tập hợp các chuyên gia của CARE-Edit nhằm xử lý các loại chỉnh sửa hình ảnh phức tạp và đa dạng hơn (ví dụ: tạo đối tượng hoàn toàn mới, thay đổi tư thế, thay đổi biểu cảm khuôn mặt) thông qua việc bổ sung chuyên gia mới hoặc cơ chế tải/mở rộng chuyên gia động.
Tối ưu hóa Siêu tham số và Kiến trúc Định tuyến cho Diffusion Transformers: Tập trung vào việc nghiên cứu sâu hơn về ảnh hưởng của các siêu tham số (như K trong top-K routing) và kiến trúc định tuyến (ví dụ: tần suất xen kẽ các lớp định tuyến) đối với hiệu suất và hiệu quả tính toán của các mô hình Diffusion Transformer dựa trên MoE trong chỉnh sửa hình ảnh.
Phân tích và Tăng cường Khả năng Giải quyết Xung đột Đa điều kiện trong Chỉnh sửa Hình ảnh: Tiến hành phân tích sâu hơn về cách các chuyên gia tương tác và giải quyết xung đột giữa các tín hiệu điều kiện khác nhau (văn bản, mặt nạ, tham chiếu) ở các bước khuếch tán khác nhau, và đề xuất các cơ chế tương tác chuyên gia hoặc hàm mất mát mới để tăng cường khả năng này.

2. Patent:

Hệ thống Chỉnh sửa Ảnh Đa Chế độ Thông minh trên Thiết bị Di động: Một ứng dụng trên điện thoại di động cho phép người dùng chỉnh sửa ảnh một cách linh hoạt bằng cách kết hợp các lệnh văn bản, vùng chọn trên ảnh và ảnh tham chiếu. Ví dụ, người dùng có thể nói "thay thế chiếc túi này bằng một chiếc túi màu xanh lá cây" và chọn vùng chiếc túi cũ, sau đó chỉ định một bức ảnh có phong cách túi mong muốn. Hệ thống sẽ tự động điều chỉnh để đảm bảo vật thể mới hòa hợp tự nhiên với bối cảnh, tránh các lỗi như lem màu hoặc mất chi tiết, mang lại trải nghiệm chỉnh sửa chất lượng cao mà không cần kỹ năng chuyên môn.
Công cụ Thay thế Vật thể Tích hợp Ngữ cảnh cho Thực tế Tăng cường (AR) trên Điện thoại: Một tính năng trong ứng dụng AR trên điện thoại di động cho phép người dùng thay thế các vật thể trong môi trường thực tế được hiển thị qua camera bằng các vật thể ảo mới. Người dùng có thể chỉ định vật thể cần thay thế và cung cấp một vật thể tham chiếu (ví dụ: một bức ảnh của chiếc ghế sofa mới). Hệ thống sẽ tự động điều chỉnh kích thước, ánh sáng và màu sắc của vật thể ảo để phù hợp với môi trường xung quanh trong thời gian thực, hữu ích cho việc thử đồ nội thất ảo hoặc thay đổi phụ kiện trong không gian sống.
Công nghệ Chuyển giao Phong cách và Tái cấu trúc Cảnh thông minh dựa trên Ngữ cảnh cho Chụp ảnh Di động: Một tính năng trong ứng dụng chụp ảnh hoặc chỉnh sửa ảnh trên điện thoại di động cho phép người dùng áp dụng phong cách nghệ thuật từ một bức ảnh tham chiếu lên một phần hoặc toàn bộ bức ảnh của họ, đồng thời đảm bảo các yếu tố quan trọng như khuôn mặt hoặc vật thể chính được giữ nguyên. Ngoài ra, nó còn cho phép người dùng di chuyển, thay đổi kích thước hoặc xóa bỏ các vật thể trong cảnh một cách mượt mà và tự nhiên, giúp tạo ra những bức ảnh sáng tạo và chuyên nghiệp ngay trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08589
ArXiv Abstract	https://arxiv.org/abs/2603.08589
PDF Download	https://arxiv.org/pdf/2603.08589.pdf
Github Repository	https://github.com/CARE-Edit/Code

7. CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation (33 votes)

Tác giả: Haodong Li, Chunmei Qing, Huanyu Zhang, Dongzhi Jiang, Yihang Zou, Hongbo Peng, Dingming Li, Yuhong Dai, ZePeng Lin, Juanxi Tian, Yi Zhou, Siqi Dai, Jingwei Wu

Xuất bản lúc: 2026-03-09

Tag: Text-to-Image, T2I, Chain-of-Thought, CoT, Code Generation, Multimodal Models, MLLMs, Structured Generation, Image Editing, Rectified Flow

I. Main Problem:

Các phương pháp tạo ảnh từ văn bản (T2I) dựa trên Chain-of-Thought (CoT) hiện tại chủ yếu dựa vào lập kế hoạch bằng ngôn ngữ tự nhiên trừu tượng. Điều này dẫn đến thiếu độ chính xác cần thiết cho các bố cục không gian phức tạp, các yếu tố trực quan có cấu trúc, và nội dung văn bản dày đặc (ví dụ: biểu đồ khoa học, hình ảnh chứa văn bản). Các mô hình hiện tại thường gặp khó khăn trong việc tạo ra cấu trúc chính xác hoặc văn bản dễ đọc khi xử lý các lời nhắc phức tạp.

II. Main Idea:

Bài nghiên cứu đề xuất CoCo (Code-as-CoT), một khuôn khổ suy luận dựa trên mã lệnh, biểu diễn quá trình suy luận dưới dạng mã có thể thực thi. CoCo hoạt động qua ba giai đoạn:

Tạo mã lệnh: Từ một lời nhắc văn bản, mô hình CoCo tạo ra mã có thể thực thi để chỉ định bố cục cấu trúc của cảnh. Mã này mô tả rõ ràng các yếu tố hình ảnh chính như bố cục không gian, mối quan hệ đối tượng, hiển thị văn bản và cấu hình canvas.
Kết xuất ảnh nháp: Mã lệnh được thực thi trong môi trường sandbox để tạo ra một ảnh nháp (draft image) xác định. Ảnh nháp này là sự thể hiện trực quan cụ thể của kết quả suy luận, giúp cấu trúc được lên kế hoạch trực tiếp quan sát và kiểm chứng.
Tinh chỉnh ảnh nháp: Mô hình sau đó tinh chỉnh ảnh nháp này thông qua chỉnh sửa ảnh chi tiết để tạo ra kết quả cuối cùng có độ chân thực cao. Để hỗ trợ quy trình này, nhóm nghiên cứu đã xây dựng CoCo-10K, một tập dữ liệu được tuyển chọn chứa các cặp ảnh nháp-ảnh cuối cùng có cấu trúc, được thiết kế để dạy cả việc xây dựng ảnh nháp có cấu trúc và tinh chỉnh hình ảnh hiệu chỉnh.

III. Main Results:

CoCo đã đạt được những cải thiện đáng kể so với các phương pháp tạo ảnh trực tiếp và các phương pháp dựa trên CoT khác:

Trên StructT2IBench, CoCo cải thiện +68.83% so với tạo ảnh trực tiếp và vượt trội hơn các phương pháp dựa trên CoT bằng văn bản tới 64.48%.
Trên OneIG-Bench, CoCo cải thiện +54.8%.
Trên LongText-Bench, CoCo cải thiện +41.23%. Những kết quả này chứng minh rằng mã có thể thực thi là một mô hình suy luận hiệu quả và đáng tin cậy để tạo ảnh từ văn bản một cách chính xác, có thể kiểm soát và có cấu trúc.

IV. Conclusion & Future Works:

CoCo giới thiệu mã có thể thực thi như một phương tiện suy luận có cấu trúc để thu hẹp khoảng cách giữa ý định ngữ nghĩa và hiện thực hóa hình ảnh. Phương pháp này cung cấp một hình thức lập kế hoạch chính xác và có thể kiểm chứng hơn so với mô tả ngôn ngữ tự nhiên trừu tượng. Có thể tập trung vào việc mở rộng khả năng của CoCo để xử lý các loại mã lệnh phức tạp hơn, tích hợp với các môi trường thực thi đa dạng hơn, và khám phá khả năng tự cải thiện của mô hình trong việc tạo và tinh chỉnh mã.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các ngôn ngữ mã lệnh chuyên biệt cho các miền hình ảnh cụ thể: Nghiên cứu việc tạo ra các ngôn ngữ lập trình hoặc thư viện chuyên biệt, được tối ưu hóa cho việc mô tả các loại cấu trúc hình ảnh nhất định (ví dụ: kiến trúc, y tế, thiết kế công nghiệp), cho phép kiểm soát chi tiết hơn và hiệu quả hơn trong việc tạo ảnh.
Tích hợp phản hồi từ người dùng hoặc hệ thống để tinh chỉnh mã lệnh và ảnh nháp: Khám phá cách mô hình có thể học cách điều chỉnh mã lệnh hoặc quá trình tinh chỉnh ảnh nháp dựa trên phản hồi định tính hoặc định lượng (ví dụ: người dùng chỉnh sửa ảnh nháp, đánh giá tự động về chất lượng cấu trúc), nhằm cải thiện độ chính xác và khả năng kiểm soát lặp lại.
Mở rộng CoCo để hỗ trợ tạo ảnh 3D và cảnh động: Nghiên cứu việc áp dụng khái niệm "Code-as-CoT" cho việc tạo ra các mô hình 3D hoặc chuỗi hình ảnh động, nơi mã lệnh có thể chỉ định các thuộc tính không gian 3D, chuyển động, và tương tác giữa các đối tượng trong một cảnh.

2. Patent:

Ứng dụng "Thiết kế nhanh giao diện người dùng bằng mã" trên điện thoại: Một ứng dụng di động cho phép người dùng mô tả giao diện ứng dụng hoặc trang web mong muốn bằng văn bản đơn giản. Ứng dụng sẽ dịch mô tả này thành mã giao diện (ví dụ: XML, JSON cho bố cục), sau đó hiển thị bản nháp trực quan của giao diện đó. Người dùng có thể chỉnh sửa trực tiếp trên bản nháp hoặc điều chỉnh mô tả văn bản để tinh chỉnh, giúp các nhà phát triển hoặc người dùng phổ thông nhanh chóng tạo ra các thiết kế UI cơ bản.
Hệ thống "Tạo biểu đồ và đồ thị thông minh từ dữ liệu và mô tả" trên điện thoại: Một tính năng tích hợp trong ứng dụng bảng tính hoặc ghi chú trên điện thoại, cho phép người dùng nhập dữ liệu và mô tả bằng văn bản về loại biểu đồ họ muốn (ví dụ: "biểu đồ cột so sánh doanh số quý 1 và quý 2"). Hệ thống sẽ tự động tạo mã để vẽ biểu đồ, hiển thị ảnh nháp, và cho phép tinh chỉnh màu sắc, nhãn, hoặc kiểu dáng thông qua các tùy chọn đơn giản hoặc chỉnh sửa văn bản bổ sung, sau đó xuất ra biểu đồ chất lượng cao.
Công cụ "Tạo hình ảnh quảng cáo và thông tin với văn bản chính xác" trên điện thoại: Một công cụ trong ứng dụng chỉnh sửa ảnh hoặc mạng xã hội trên điện thoại, cho phép người dùng nhập văn bản quảng cáo hoặc thông tin kèm theo mô tả về bố cục mong muốn (ví dụ: "poster giảm giá 50%, chữ lớn ở giữa, hình ảnh sản phẩm bên trái, địa chỉ cửa hàng nhỏ ở dưới"). Hệ thống sẽ tạo một ảnh nháp với bố cục và văn bản được sắp xếp chính xác theo yêu cầu, sau đó người dùng có thể chọn các mẫu thiết kế, font chữ, hoặc hình ảnh nền để tinh chỉnh thành sản phẩm cuối cùng chuyên nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08652
ArXiv Abstract	https://arxiv.org/abs/2603.08652
PDF Download	https://arxiv.org/pdf/2603.08652.pdf
Github Repository	https://github.com/micky-li-hd/CoCo

8. HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising (29 votes)

Tác giả: Kai Zou, Dian Zheng, Hongbo Liu, Tiankai Hang, Bin Liu, Nenghai Yu

Xuất bản lúc: 2026-03-09

Tag: Autoregressive Video Generation, Diffusion Models, Hierarchical Denoising, Temporal Continuity, Error Accumulation, Self-Rollout Distillation, Forward-KL Regularization, Video Quality, Long Video Generation

I. Main Problem:

Việc tạo video dài bằng các mô hình khuếch tán tự hồi quy (AR diffusion) đối mặt với thách thức lớn trong việc duy trì tính liên tục theo thời gian và ngăn chặn sự suy giảm chất lượng lũy tiến do tích lũy lỗi. Các phương pháp hiện có thường điều kiện trên các ngữ cảnh đã được khử nhiễu hoàn toàn, điều này vô tình làm tăng cường sự lan truyền lỗi với độ chắc chắn cao, dẫn đến sự xuống cấp chất lượng nghiêm trọng. Ngoài ra, quá trình chưng cất tự triển khai (self-rollout distillation) trong mô hình này còn khuếch đại một "lối tắt chuyển động thấp" (low-motion shortcut), khiến mô hình có xu hướng tạo ra các đầu ra gần như tĩnh và hy sinh sự đa dạng chuyển động.

II. Main Idea:

Bài báo đề xuất HiAR, một khuôn khổ khử nhiễu phân cấp đảo ngược thứ tự tạo video thông thường. Thay vì hoàn thành từng khối video một cách tuần tự, HiAR thực hiện tạo sinh nhân quả trên tất cả các khối ở mỗi bước khử nhiễu. Điều này đảm bảo rằng mỗi khối luôn được điều kiện bởi ngữ cảnh có cùng mức độ nhiễu với khối hiện tại (cụ thể là mức độ nhiễu đầu ra của bước khử nhiễu hiện tại tj+1), giúp giảm thiểu đáng kể sự lan truyền lỗi giữa các khối và cải thiện độ ổn định của video dài. Kiến trúc phân cấp này cũng cho phép suy luận song song theo đường ống (pipelined parallel inference), mang lại tốc độ xử lý nhanh hơn đáng kể. Để chống lại "lối tắt chuyển động thấp" trong quá trình huấn luyện, HiAR giới thiệu một bộ điều hòa Forward-KL thông qua chưng cất chú ý hai chiều (bidirectional-attention distillation), giúp bảo toàn sự đa dạng chuyển động mà không can thiệp vào hàm mất mát chưng cất chính.

III. Main Results:

Trên bộ kiểm tra VBench (tạo video 20 giây), HiAR đạt điểm tổng thể cao nhất (0.821) và độ trôi dạt theo thời gian thấp nhất (0.257) so với tất cả các phương pháp được so sánh. Mô hình đạt điểm chất lượng tốt nhất (0.846) và điểm ngữ nghĩa mạnh (0.723). Về khía cạnh động lực (Dynamic), HiAR đạt 0.686, gần như bảo toàn sự đa dạng chuyển động của mô hình giáo viên Wan2.1-1.3B (0.690) và vượt trội hơn đáng kể so với các phương pháp AR khác. HiAR giảm độ trôi dạt 27.6% so với Self-Forcing (0.257 so với 0.355). Về hiệu suất suy luận, HiAR đạt tốc độ 30 khung hình/giây và độ trễ 0.30 giây/khối, nhanh hơn khoảng 1.8 lần so với các mô hình AR đã được chưng cất khác.

IV. Conclusion & Future Works:

HiAR giải quyết thành công các thách thức trong việc tạo video dài bằng cách giới thiệu một quy trình khử nhiễu phân cấp và bộ điều hòa Forward-KL. Điều này giúp tạo ra video dài với chất lượng ổn định, tính liên tục liền mạch và hiệu quả suy luận được cải thiện. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng HiAR để tạo video tương tác và mô hình thế giới phức tạp hơn, tối ưu hóa kiến trúc để xử lý video độ phân giải cao và thời lượng cực dài, cũng như nghiên cứu các phương pháp điều hòa mới để cải thiện sự đa dạng chuyển động và tránh các "lối tắt chuyển động thấp" trong các cảnh quay phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HiAR cho tạo video tương tác và mô hình thế giới: Nghiên cứu cách tích hợp HiAR vào các hệ thống tạo video tương tác hoặc mô hình thế giới phức tạp hơn, nơi video cần được tạo ra theo thời gian thực và phản ứng với đầu vào của người dùng hoặc môi trường. Điều này có thể bao gồm việc khám phá cách HiAR có thể hỗ trợ kiểm soát tốt hơn đối với các yếu tố như đối tượng, hành động và phong cách trong video dài.
Tối ưu hóa và mở rộng quy mô HiAR cho các độ phân giải cao và thời lượng cực dài: Điều tra các phương pháp tối ưu hóa kiến trúc và quy trình denoising của HiAR để xử lý video ở độ phân giải cao hơn và thời lượng dài hơn đáng kể (ví dụ: vài phút đến hàng giờ). Điều này có thể liên quan đến việc khám phá các kỹ thuật nén tiềm ẩn tiên tiến, phân vùng không gian-thời gian hiệu quả hơn, hoặc các chiến lược phân phối tính toán mới để duy trì hiệu quả và chất lượng.
Nghiên cứu các phương pháp điều hòa mới để cải thiện sự đa dạng chuyển động và tránh "lối tắt chuyển động thấp": Phát triển và thử nghiệm các kỹ thuật điều hòa thay thế hoặc bổ sung cho bộ điều hòa Forward-KL hiện tại, nhằm giải quyết triệt để hơn vấn đề "lối tắt chuyển động thấp" và tăng cường sự đa dạng chuyển động trong video được tạo ra, đặc biệt là trong các cảnh động phức tạp. Điều này có thể bao gồm việc khám phá các hàm mục tiêu mới, kỹ thuật lấy mẫu hoặc kiến trúc mạng chuyên biệt.

2. Patent:

Ứng dụng tạo video tự động dài trên điện thoại di động: Một công nghệ cho phép người dùng điện thoại di động tạo ra các video dài (ví dụ: vlog, video kể chuyện) từ một vài bức ảnh hoặc đoạn video ngắn, với khả năng duy trì chất lượng hình ảnh và sự liền mạch chuyển động ổn định theo thời gian. Hệ thống sẽ tự động thêm chuyển tiếp mượt mà và đảm bảo các yếu tố như màu sắc, độ sắc nét không bị suy giảm dần, giúp người dùng dễ dàng tạo nội dung chuyên nghiệp mà không cần chỉnh sửa phức tạp.
Tính năng "kéo dài video" thông minh cho camera điện thoại: Một tính năng trong ứng dụng camera của điện thoại di động cho phép người dùng quay một đoạn video ngắn và sau đó "kéo dài" nó một cách tự động để tạo ra một video dài hơn nhiều, trong khi vẫn giữ nguyên chủ đề, phong cách và sự liên tục về thời gian. Ví dụ, người dùng quay 5 giây cảnh hoàng hôn, điện thoại có thể tạo ra 20 giây cảnh hoàng hôn mượt mà, thêm các chi tiết chuyển động nhẹ nhàng mà không làm thay đổi bản chất của cảnh quay gốc.
Chức năng "tạo video tóm tắt sự kiện" theo thời gian thực: Một hệ thống trên điện thoại di động có thể ghi lại các sự kiện dài (ví dụ: buổi hòa nhạc, hội nghị) và tự động tạo ra một video tóm tắt dài, có độ dài tùy chỉnh, ngay lập tức hoặc gần như theo thời gian thực. Công nghệ này sẽ đảm bảo video tóm tắt duy trì chất lượng hình ảnh, sự liền mạch và đa dạng chuyển động mà không bị suy giảm theo thời gian ghi hình, cho phép người dùng chia sẻ những khoảnh khắc quan trọng một cách nhanh chóng và chất lượng cao.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08703
ArXiv Abstract	https://arxiv.org/abs/2603.08703
PDF Download	https://arxiv.org/pdf/2603.08703.pdf
Github Repository	https://github.com/Jacky-hate/HiAR

9. $OneMillion-Bench: How Far are Language Agents from Human Experts? (26 votes)

Tác giả: Qianyu Yang, Yang Liu, Jiaqi Li, Jun Bai, Hao Chen, Kaiyuan Chen, Tiliang Duan, Jiayun Dong, Xiaobo Hu, Zixia Jia, Yang Liu, Tao Peng, Yixin Ren, Ran Tian, Zaiyuan Wang, Yanglihong Xiao, Gang Yao, Lingyue Yin, Ge Zhang, Chun Zhang, Jianpeng Jiao, Zilong Zheng, Yuan Gong

Xuất bản lúc: 2026-03-09

Tag: LLMs, Language Agents, Benchmarking, Evaluation, Multi-step Reasoning, Tool Use, Domain Adaptation

I. Main Problem:

Các benchmark hiện có chủ yếu giới hạn trong các nhiệm vụ có cấu trúc hoặc kiểu bài kiểm tra, không đáp ứng được yêu cầu chuyên môn thực tế của thế giới. Còn một khoảng cách lớn giữa khả năng của các mô hình ngôn ngữ (LMs) và nhu cầu khắt khe của các công việc chuyên môn, đòi hỏi kiến thức chuyên biệt và suy luận đa bước bền vững dưới các ràng buộc nghề nghiệp nghiêm ngặt. Do đó, không rõ liệu các tác nhân ngôn ngữ hiện nay có thể tạo ra giá trị đáng tin cậy trong các môi trường chuyên nghiệp có giá trị kinh tế hay không, khi các benchmark truyền thống đã đạt đến độ bão hòa.

II. Main Idea:

Để giải quyết vấn đề này, nhóm nghiên cứu giới thiệu $OneMillion-Bench ( $1M-Bench), một bộ benchmark toàn diện bao gồm 400 nhiệm vụ do chuyên gia biên soạn, trải dài 5 lĩnh vực chuyên môn có tác động cao: Tài chính, Luật, Y tế, Khoa học Tự nhiên và Công nghiệp. Benchmark này được thiết kế để đánh giá các tác nhân ngôn ngữ không chỉ về độ chính xác mà còn về khả năng tạo ra giá trị kinh tế thực tế. Các nhiệm vụ yêu cầu truy xuất các nguồn có thẩm quyền, giải quyết bằng chứng mâu thuẫn, áp dụng các quy tắc chuyên biệt theo miền và đưa ra các quyết định ràng buộc, trong đó tính đúng đắn phụ thuộc vào quy trình suy luận cũng như câu trả lời cuối cùng. `$ 1M-Bencháp dụng giao thức đánh giá dựa trên tiêu chí (rubric-based evaluation) để chấm điểm độ chính xác về thực tế, tính mạch lạc logic, tính khả thi thực tế và tuân thủ chuyên môn, tập trung vào các vấn đề cấp chuyên gia để đảm bảo sự khác biệt có ý nghĩa giữa các tác nhân. Các tính năng chính của$1M-Bench` bao gồm: đánh giá dựa trên giá trị kinh tế (định lượng khả năng của tác nhân thông qua chi phí lao động hữu hình), phạm vi miền toàn diện, phân loại theo kỹ năng (tìm kiếm, suy luận, diễn đạt và tuân thủ hướng dẫn) và cơ chế đánh giá dựa trên tiêu chí (bao gồm cả điểm phạt tiêu cực). Quy trình tạo dữ liệu nghiêm ngặt qua ba giai đoạn với sự tham gia của nhiều chuyên gia: Tạo nhiệm vụ, Đánh giá đồng cấp, và Giải quyết & Sửa đổi. Benchmark cũng tích hợp song ngữ với văn hóa địa phương, bao gồm 200 nhiệm vụ tiếng Anh và 200 nhiệm vụ tiếng Trung được xây dựng riêng theo bối cảnh địa phương.

III. Main Results:

CLAUDE-OPUS-4.6 nổi bật là người dẫn đầu: Đạt hiệu suất tốt nhất trong số các mô hình vanilla và vẫn là mô hình hàng đầu khi được trang bị khả năng tìm kiếm, đặc biệt là khả năng tìm kiếm giúp tăng cường lợi thế đáng kể.
Tìm kiếm web không phải lúc nào cũng có lợi: Một số hệ thống cho thấy sự suy giảm hiệu suất khi sử dụng tìm kiếm, cho thấy việc truy xuất có thể đưa vào bằng chứng nhiễu hoặc mâu thuẫn, gây hại cho việc đáp ứng các tiêu chí nếu tác nhân không đủ mạnh trong việc xác định bằng chứng.
Các tác nhân nghiên cứu chuyên sâu không vượt trội hơn các tác nhân tổng quát có khả năng tìm kiếm mạnh: Các tác nhân nghiên cứu chuyên sâu đạt điểm Expert Score cạnh tranh nhưng thường tụt lại phía sau các mô hình tổng quát hàng đầu được trang bị tìm kiếm, cho thấy yếu tố quyết định có thể là độ phủ và tuân thủ tiêu chí mạnh mẽ hơn là các quy trình nghiên cứu dài và phức tạp.
"Suýt đạt" (Near-miss) xuất hiện giữa Pass Rate và Expert Score: Nhiều mô hình đạt Expert Score vừa phải (khoảng 45-50%) nhưng Pass Rate vẫn thấp (thường dưới 25%), cho thấy hiệu suất thường phân bổ ở dạng "đáp ứng một phần nhiều tiêu chí" hơn là "đáp ứng hoàn toàn ngưỡng năng lực" trên một phần đáng kể các câu hỏi.
Độ khó của miền không đồng đều và ổn định giữa các ngôn ngữ: Hiệu suất thay đổi đáng kể theo miền (Tài chính thường khó, Y tế/Luật thường cao hơn), và cấu trúc độ khó này ổn định giữa các bộ dữ liệu Global và CN, cho thấy độ khó của benchmark không chỉ do yếu tố ngôn ngữ mà còn do tính nghiêm ngặt của tiêu chí và yêu cầu kiến thức chuyên biệt theo miền.
Hiệu ứng ngôn ngữ phụ thuộc vào mô hình: Một số họ mô hình duy trì Expert Score tương tự giữa Global và CN, trong khi những mô hình khác cho thấy sự thay đổi lớn hơn, ngụ ý khả năng khái quát hóa đa ngôn ngữ không đồng nhất.
Hiệu suất theo loại tiêu chí không đồng đều: Các mô hình thường đạt điểm cao nhất về "Cấu trúc và Định dạng" (Structure and Formatting) và "Tuân thủ Hướng dẫn" (Instruction Following), trong khi "Thông tin Thực tế" (Factual Information) và "Suy luận Phân tích" (Analytical Reasoning) vẫn khó khăn hơn.
Tìm kiếm web mang lại lợi ích cho các tiêu chí tập trung vào bằng chứng: Tìm kiếm mang lại lợi ích nhất quán nhất cho "Thông tin Thực tế" và "Suy luận Phân tích", đặc biệt đối với các hệ thống mạnh.
Tìm kiếm web hoạt động như một bộ khuếch đại hiệu quả: Các mô hình mạnh có xu hướng cải thiện trên nhiều tiêu chí khi có tìm kiếm, trong khi các mô hình yếu hơn thường suy giảm.
Tuân thủ hướng dẫn là khả năng dễ bị tổn thương nhất: Cho thấy sự phân cực rõ rệt, với một số mô hình mạnh tăng đáng kể khi có tìm kiếm, trong khi những mô hình khác lại giảm đáng kể.

IV. Conclusion & Future Works:

$OneMillion-Bench cung cấp một nền tảng thử nghiệm thống nhất để đánh giá độ tin cậy, chiều sâu chuyên môn và sự sẵn sàng thực tế của các tác nhân ngôn ngữ trong các kịch bản chuyên sâu về miền. Benchmark này là một bước tiến tới đánh giá khả năng của tác nhân ngôn ngữ một cách trung thực về giá trị, biến "khả năng" thành một đại lượng có thể diễn giải: lượng công việc đáng tin cậy mà một tác nhân có thể thực sự thực hiện và giá trị của công việc đó, từ đó thúc đẩy sự phát triển của các hệ thống AI không chỉ mạnh mẽ mà còn đáng tin cậy và có ý nghĩa kinh tế.

Hướng nghiên cứu tương lai:

Phát triển các phương pháp mạnh mẽ hơn cho việc lọc bằng chứng, giải quyết xung đột và tích hợp thông tin truy xuất từ web để đảm bảo các mô hình ngôn ngữ luôn đạt được lợi ích nhất quán từ công cụ tìm kiếm.
Nghiên cứu các chiến lược học tập và suy luận mới giúp các tác nhân ngôn ngữ chuyển từ việc "đáp ứng một phần nhiều tiêu chí" sang "đáp ứng hoàn toàn ngưỡng năng lực chuyên môn" trên một tỷ lệ lớn các nhiệm vụ phức tạp.
Khám phá các kỹ thuật thích ứng miền sâu sắc hơn và tích hợp kiến thức bản địa, văn hóa để xây dựng các tác nhân ngôn ngữ có thể hoạt động hiệu quả trong các bối cảnh chuyên nghiệp đa dạng về ngôn ngữ và quy định.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các kiến trúc tác nhân ngôn ngữ mới có khả năng tích hợp thông tin từ nhiều nguồn một cách mạnh mẽ, bao gồm khả năng lọc nhiễu, xác định bằng chứng đáng tin cậy và giải quyết mâu thuẫn thông tin để nâng cao hiệu suất trong các tác vụ chuyên môn phức tạp.
Phát triển các phương pháp đào tạo và đánh giá tác nhân ngôn ngữ tập trung vào việc đạt được "mức độ hoàn thành nhiệm vụ" thay vì chỉ "đáp ứng từng tiêu chí riêng lẻ", nhằm cải thiện khả năng của tác nhân trong việc vượt qua các ngưỡng năng lực chuyên môn cao.
Khám phá các mô hình ngôn ngữ đa ngôn ngữ và đa văn hóa có khả năng thích ứng sâu sắc với các quy định, tiêu chuẩn ngành và sắc thái văn hóa địa phương, đặc biệt trong các lĩnh vực pháp lý, tài chính và y tế.

2. Patent:

Trợ lý chuyên gia di động định giá kinh tế: Một ứng dụng trên điện thoại di động sử dụng tác nhân ngôn ngữ AI để hỗ trợ người dùng thực hiện các nhiệm vụ chuyên môn phức tạp (ví dụ: phân tích hợp đồng pháp lý, lập kế hoạch tài chính cá nhân, tư vấn y tế cơ bản). Ứng dụng này không chỉ cung cấp câu trả lời mà còn ước tính "giá trị kinh tế" được tạo ra hoặc tiết kiệm được nhờ sự hỗ trợ của AI, dựa trên thời gian ước tính và mức lương chuyên gia của người dùng.
Hệ thống truy xuất kiến thức chuyên sâu và giải quyết xung đột trên di động: Một công nghệ cho phép điện thoại di động tự động truy xuất thông tin từ các cơ sở dữ liệu chuyên ngành có thẩm quyền (ví dụ: luật pháp, y học) dựa trên truy vấn của người dùng. Hệ thống sẽ phân tích, xác định các thông tin mâu thuẫn và tổng hợp một câu trả lời đáng tin cậy, có căn cứ, ưu tiên độ chính xác thực tế và tuân thủ chuyên môn, hữu ích cho các chuyên gia khi đang di chuyển.
Ứng dụng học tập chuyên nghiệp di động với phản hồi dựa trên tiêu chí: Một ứng dụng giáo dục di động được hỗ trợ bởi AI, giúp người học (ví dụ: sinh viên luật, thực tập sinh y khoa) thực hành các nhiệm vụ chuyên môn phức tạp. Ứng dụng này sử dụng hệ thống đánh giá dựa trên tiêu chí (rubric-based evaluation) để cung cấp phản hồi chi tiết, đa chiều về câu trả lời của họ, bao gồm độ chính xác thực tế, tính mạch lạc logic và sự tuân thủ các tiêu chuẩn nghề nghiệp, giúp người dùng cải thiện kỹ năng một cách có mục tiêu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.07980
ArXiv Abstract	https://arxiv.org/abs/2603.07980
PDF Download	https://arxiv.org/pdf/2603.07980.pdf
Github Repository	https://github.com/humanlaya/OneMillion-Bench

10. NLE: Non-autoregressive LLM-based ASR by Transcript Editing (19 votes)

Tác giả: Avihu Dekel, Samuel Thomas, Takashi Fukada, George Saon

Xuất bản lúc: 2026-03-09

Tag: ASR, Non-autoregressive, LLM, Text Editing, Transformer, CTC, LoRA

I. Main Problem:

Các hệ thống nhận dạng giọng nói tự động (ASR) dựa trên LLM tự hồi quy (AR) hiện tại đạt độ chính xác cao nhưng bị hạn chế về khả năng song song hóa và gây ra độ trễ cao do giải mã tuần tự, đặc biệt trong các ứng dụng thời gian thực. Ngoài ra, chúng thường bỏ qua các bản nháp ban đầu do bộ mã hóa giọng nói tạo ra. Các mô hình CTC tuy hiệu quả nhưng thiếu khả năng mô hình hóa ngôn ngữ mạnh mẽ và gặp khó khăn với các lỗi cục bộ (thay thế, xóa từ) cũng như tính nhất quán ngôn ngữ tầm xa.

II. Main Idea:

NLE đề xuất một phương pháp không tự hồi quy (NAR) cho ASR dựa trên LLM, định hình nhận dạng giọng nói thành chỉnh sửa bản ghi có điều kiện, cho phép dự đoán hoàn toàn song song. NLE trích xuất embedding âm thanh và một giả thuyết ban đầu từ một bộ mã hóa giọng nói đã được huấn luyện trước (dựa trên CTC), sau đó tinh chỉnh giả thuyết này bằng một trình chỉnh sửa LLM hai chiều. Trình chỉnh sửa LLM này được huấn luyện với mục tiêu căn chỉnh tiềm ẩn theo kiểu CTC và được điều chỉnh bằng LoRA. Một chiến lược đệm xen kẽ với các khe chèn rõ ràng (interleaved padding) được sử dụng để tận dụng thiên hướng ánh xạ đồng nhất (identity mapping bias) của Transformer, cho phép mô hình tập trung vào việc sửa lỗi thay vì tái tạo hoàn toàn. Điều này giúp tăng tốc độ suy luận đáng kể.

III. Main Results:

Trên bảng xếp hạng Open ASR, NLE++ đạt WER trung bình 5.67% với RTFx là 1630. Cả hai biến thể NLE đều nằm trên đường biên Pareto, cho thấy sự cân bằng tốt giữa độ chính xác và tốc độ suy luận. Trong các kịch bản một câu nói, NLE đạt tốc độ nhanh hơn 27 lần so với đường cơ sở AR. So với đường cơ sở AR được kiểm soát, NLE đạt độ chính xác tương đương nhưng suy luận nhanh hơn 4 lần trong chế độ xử lý theo lô và 27 lần trong chế độ xử lý một câu nói. Nghiên cứu cắt bỏ (ablation study) xác nhận rằng tất cả các lựa chọn thiết kế chính (điều hòa sao chép, chú ý hai chiều, đệm xen kẽ, điều kiện hóa âm thanh, điều kiện hóa giả thuyết, thích ứng LoRA) đều đóng góp tích cực vào hiệu suất tổng thể.

IV. Conclusion & Future Works:

NLE là một hệ thống ASR dựa trên LLM không tự hồi quy, định hình nhận dạng giọng nói thành chỉnh sửa bản ghi có điều kiện. NLE tận dụng bộ mã hóa CTC được huấn luyện trước và trình chỉnh sửa LLM hai chiều để đạt độ chính xác tương đương với các hệ thống tự hồi quy nhưng suy luận nhanh hơn đáng kể. Kiến trúc này khai thác hiệu quả thiên hướng ánh xạ đồng nhất của Transformer. Các hướng nghiên cứu trong tương lai bao gồm: áp dụng các chiến lược tăng cường dữ liệu văn bản để cải thiện chỉnh sửa đa bước, kết hợp với các phương pháp mask-predict để tinh chỉnh lặp lại, tái cấu trúc kiến trúc LLM để xử lý âm thanh và văn bản trong các lớp riêng biệt với cross-attention cho âm thanh dài, điều tra việc sử dụng LLM làm mô hình ngôn ngữ cho giải mã CTC beam, tinh chỉnh đồng thời bộ mã hóa và trình chỉnh sửa, và mở rộng sang các kịch bản truyền trực tuyến.

V. Brainstorming Space:

1. Publish Papers:

Chiến lược tăng cường dữ liệu văn bản cho chỉnh sửa đa bước: Nghiên cứu các chiến lược tăng cường dữ liệu văn bản (như lỗi tổng hợp, diễn giải, hoặc sử dụng đầu ra của mô hình làm đầu vào huấn luyện) để giải quyết sự không khớp phân phối trong quá trình chỉnh sửa đa bước của NLE, nhằm cải thiện hiệu quả tinh chỉnh lặp lại.
Kết hợp chỉnh sửa không tự hồi quy với chiến lược Mask-Predict: Khám phá một phương pháp lai kết hợp hiệu quả của chỉnh sửa không tự hồi quy một lần với khả năng tinh chỉnh lặp lại của các chiến lược Mask-Predict, cho phép mô hình tinh chỉnh các vùng không chắc chắn trong khi vẫn duy trì suy luận song song.
Kiến trúc LLM tối ưu cho xử lý âm thanh dài: Phát triển kiến trúc LLM mới xử lý âm thanh và văn bản trong các lớp riêng biệt với cơ chế cross-attention giữa các phương thức, giảm độ phức tạp tính toán từ bậc hai xuống bậc tuyến tính đối với độ dài âm thanh, đặc biệt hữu ích cho xử lý âm thanh dạng dài.

2. Patent:

Hệ thống nhận dạng giọng nói tức thì trên điện thoại: Một hệ thống nhận dạng giọng nói trên điện thoại di động cho phép chuyển đổi giọng nói thành văn bản gần như ngay lập tức. Công nghệ này sử dụng một mô hình chỉnh sửa văn bản không tự hồi quy để nhanh chóng sửa đổi một bản nháp ban đầu do bộ mã hóa giọng nói tạo ra, thay vì tạo lại toàn bộ văn bản từ đầu, giúp giảm đáng kể độ trễ và tăng tốc độ phản hồi cho các ứng dụng như trợ lý giọng nói hoặc ghi chú cuộc họp.
Chức năng chỉnh sửa phụ đề trực tiếp thông minh: Một tính năng trên ứng dụng xem video hoặc gọi điện thoại cho phép người dùng xem phụ đề được tạo tự động và chỉnh sửa chúng nhanh chóng. Hệ thống sẽ tạo ra phụ đề ban đầu và sau đó sử dụng một công cụ chỉnh sửa AI để liên tục cải thiện độ chính xác của phụ đề trong thời gian thực, cho phép các sửa đổi song song thay vì chờ đợi từng từ được tạo ra tuần tự. Điều này cải thiện trải nghiệm xem và giao tiếp cho người dùng.
Cải thiện chất lượng bản ghi âm cuộc gọi/cuộc họp: Một ứng dụng di động hoặc tính năng tích hợp trong điện thoại giúp tự động cải thiện chất lượng bản ghi âm cuộc gọi hoặc cuộc họp. Sau khi ghi âm, hệ thống sẽ tạo ra một bản nháp văn bản và sau đó sử dụng AI để chỉnh sửa và tinh chỉnh các lỗi chính tả, ngữ pháp hoặc từ bị thiếu dựa trên ngữ cảnh âm thanh, cung cấp một bản ghi cuối cùng chính xác và dễ đọc hơn mà không cần người dùng phải nghe lại và chỉnh sửa thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08397
ArXiv Abstract	https://arxiv.org/abs/2603.08397
PDF Download	https://arxiv.org/pdf/2603.08397.pdf
Github Repository	N/A

11. Scale Space Diffusion (15 votes)

Tác giả: Soumik Mukhopadhyay, Prateksha Udhayanan, Abhinav Shrivastava

Xuất bản lúc: 2026-03-09

Tag: Diffusion Models, Scale-space theory, Generative Models, UNet, Image Generation, Deep Learning

I. Main Problem:

Các mô hình khuếch tán hiện tại xử lý các trạng thái nhiễu cao ở độ phân giải đầy đủ, mặc dù những trạng thái này chứa lượng thông tin tương đương với các hình ảnh nhỏ, đã được giảm kích thước, dẫn đến sự kém hiệu quả về mặt tính toán. Các nỗ lực trước đây nhằm tích hợp lý thuyết không gian tỷ lệ (scale-space theory) vào các mô hình khuếch tán hoặc chỉ hoạt động ở độ phân giải cao (không hiệu quả), hoặc dựa trên các giả định đơn giản không thực tế, hoặc chỉ là các xấp xỉ trong thời gian suy luận. Cần có một kiến trúc mạng thần kinh có khả năng đảo ngược quá trình giảm kích thước và xử lý các đầu vào/đầu ra đa độ phân giải một cách hiệu quả.

II. Main Idea:

Công trình này chính thức hóa mối liên hệ giữa hệ thống phân cấp thông tin trong các bước thời gian khuếch tán và lý thuyết không gian tỷ lệ (thông qua lọc thông thấp/giảm kích thước). Các tác giả đề xuất "Scale Space Diffusion" (SSD), một họ các mô hình khuếch tán với các suy biến tuyến tính tổng quát (sử dụng giảm kích thước làm toán tử suy biến). DDPM được coi là một trường hợp đặc biệt của SSD. Để hỗ trợ SSD, họ giới thiệu "Flexi-UNet", một biến thể của UNet chỉ sử dụng các phần cần thiết của mạng để thực hiện khử nhiễu bảo toàn độ phân giải và tăng độ phân giải. Công trình cũng phát triển nền tảng toán học cho các quá trình khuếch tán tuyến tính tổng quát, bao gồm việc xử lý các phân bố hậu nghiệm không đẳng hướng thông qua một quy trình lấy mẫu ngầm định.

III. Main Results:

Các mô hình Scale Space Diffusion (SSD) được chứng minh là nhanh hơn trong cả quá trình huấn luyện và suy luận, đồng thời đạt được điểm FID hợp lý. Cụ thể, SSD (6L) ở độ phân giải 256x256 trên tập dữ liệu CelebA yêu cầu ít hơn một nửa thời gian huấn luyện so với mô hình DDPM cơ sở. SSD cũng đạt được hiệu suất FID tương đương với các mô hình cơ sở trên tập dữ liệu ImageNet-64. Kiến trúc Flexi-UNet đề xuất cho thấy điểm FID tốt hơn một chút và thời gian suy luận nhanh hơn so với UNet đầy đủ ở cả cấu hình 2L và 4L. Các lịch trình độ phân giải ảnh hưởng đến tốc độ huấn luyện và FID; các lịch trình dành nhiều bước hơn cho độ phân giải cao hơn sẽ mang lại FID tốt hơn nhưng yêu cầu thời gian huấn luyện dài hơn.

IV. Conclusion & Future Works:

Công trình đã chứng minh rằng các mô hình khuếch tán và không gian tỷ lệ chia sẻ một hệ thống phân cấp thông tin và đã định lượng mối liên hệ này về mặt toán học. Từ việc quan sát rằng các trạng thái khuếch tán nhiễu cao chỉ chứa thông tin độ phân giải thấp, các tác giả đã giới thiệu một họ mô hình khuếch tán tổng quát nhúng cấu trúc không gian tỷ lệ vào quá trình khuếch tán tiến, tạo ra Scale Space Diffusion. Để thực hiện điều này trong thực tế, họ đã đề xuất kiến trúc Flexi-UNet và chứng minh hiệu quả của nó trong việc tạo ảnh không điều kiện.

Các hướng nghiên cứu trong tương lai bao gồm: điều chỉnh các bộ lấy mẫu khuếch tán mới hơn để cải thiện hiệu suất và tốc độ suy luận; áp dụng học tập theo chương trình (curriculum learning) lũy tiến cho các lớp hoặc độ phân giải khác nhau; và khám phá sự tích hợp tương tự của lý thuyết không gian tỷ lệ với các kiến trúc dựa trên transformer (như DiT, U-ViT) trong không gian pixel, đồng thời giải quyết các vấn đề về độ phức tạp tính toán.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu và tích hợp các bộ lấy mẫu khuếch tán tiên tiến (như DDIM, DPM-Solver) vào Scale Space Diffusion để cải thiện hiệu suất và tốc độ suy luận, đặc biệt trong các kịch bản thay đổi độ phân giải.
Phát triển các chiến lược học tập theo chương trình (curriculum learning) lũy tiến cho các lớp hoặc độ phân giải khác nhau trong Scale Space Diffusion, nhằm tối ưu hóa quá trình huấn luyện và nâng cao chất lượng tạo ảnh ở độ phân giải cao.
Mở rộng khung Scale Space Diffusion để kết hợp với các kiến trúc khuếch tán dựa trên Transformer (như DiT, U-ViT) trong không gian pixel, đồng thời giải quyết các thách thức về độ phức tạp tính toán của cơ chế attention ở độ phân giải cao.

2. Patent:

Hệ thống nâng cấp ảnh di động thông minh với hiệu suất cao: Một hệ thống trên điện thoại di động sử dụng nguyên lý của Scale Space Diffusion để nâng cấp ảnh có độ phân giải thấp thành độ phân giải cao một cách hiệu quả. Thay vì xử lý toàn bộ ảnh ở độ phân giải cao ngay lập tức, hệ thống sẽ phân tích mức độ chi tiết thông tin trong ảnh, sau đó chỉ tập trung tăng cường các vùng cần chi tiết hơn, giúp tiết kiệm pin và tài nguyên xử lý trên điện thoại.
Tính năng chỉnh sửa ảnh theo cấp độ chi tiết trên thiết bị di động: Một ứng dụng di động cho phép người dùng chỉnh sửa ảnh ở các cấp độ chi tiết khác nhau, từ cấu trúc tổng thể đến các chi tiết nhỏ. Dựa trên ý tưởng phân cấp thông tin của Scale Space Diffusion, người dùng có thể áp dụng các bộ lọc hoặc hiệu ứng chỉ ảnh hưởng đến các chi tiết thô mà không làm hỏng các chi tiết mịn, hoặc ngược lại, mang lại trải nghiệm chỉnh sửa linh hoạt và mạnh mẽ hơn.
Tạo hình đại diện (avatar) hoặc biểu tượng cảm xúc (emoji) động chất lượng cao trên điện thoại: Một công cụ trên điện thoại cho phép người dùng tạo ra các hình đại diện hoặc biểu tượng cảm xúc động từ ảnh chân dung của họ. Công nghệ Scale Space Diffusion có thể được sử dụng để tạo ra các biến thể đa độ phân giải của khuôn mặt, sau đó kết hợp với các chuyển động hoặc biểu cảm để tạo ra các avatar/emoji chất lượng cao, linh hoạt và tối ưu về mặt hiệu suất hiển thị trên các ứng dụng nhắn tin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08709
ArXiv Abstract	https://arxiv.org/abs/2603.08709
PDF Download	https://arxiv.org/pdf/2603.08709.pdf
Github Repository	https://github.com/prateksha/ScaleSpaceDiffusion

12. AutoResearch-RL: Perpetual Self-Evaluating Reinforcement Learning Agents for Autonomous Neural Architecture Discovery (15 votes)

Tác giả: Nilesh Jain, Rohit Yadav, Sagar Kotian, Claude AI

Xuất bản lúc: 2026-03-07

Tag: Reinforcement Learning, AutoML, Neural Architecture Search, LLMs, Code Generation, Meta-Learning, PPO, Self-Evaluation, Autonomous Agents

I. Main Problem:

Lịch sử của deep learning chủ yếu là quá trình thử và lỗi do con người điều khiển, chậm chạp, tốn kém và bị giới hạn bởi thời gian làm việc của con người. Các phương pháp AutoML truyền thống bị giới hạn bởi không gian tìm kiếm cố định và coi trình đánh giá là hộp đen, không phù hợp khi nghiên cứu đòi hỏi những thay đổi toàn diện về động lực huấn luyện, công thức hàm mất mát và thiết kế bộ tối ưu hóa. Một vấn đề khác là lãng phí tài nguyên tính toán khi các cấu hình không hứa hẹn vẫn chạy hết thời gian giới hạn.

II. Main Idea:

AutoResearch-RL là một framework nơi một tác nhân học tăng cường (RL) thực hiện nghiên cứu kiến trúc mạng thần kinh và siêu tham số một cách tự do, không cần giám sát của con người. Tác nhân đề xuất các sửa đổi mã nguồn cho script huấn luyện mục tiêu (train.py), thực thi chúng trong một ngân sách thời gian cố định, quan sát phần thưởng scalar từ val-bpb và cập nhật chính sách của nó thông qua PPO.

Các ý tưởng thiết kế chính bao gồm:

Tách biệt các mối quan tâm: Một môi trường đóng băng (frozen environment) đảm bảo so sánh công bằng giữa các thử nghiệm; một tệp mục tiêu có thể thay đổi (train.py) đại diện cho trạng thái có thể chỉnh sửa của tác nhân; và một meta-learner (chính tác nhân RL) tích lũy lịch sử kết quả thử nghiệm để đưa ra các đề xuất tiếp theo.
Mô hình hóa MDP: Quá trình được hình thức hóa thành một Markov Decision Process (MDP), với trạng thái bao gồm mã nguồn hiện tại, lịch sử thử nghiệm và chẩn đoán hệ thống. Hành động là một diff có cấu trúc áp dụng cho mã nguồn.
Chính sách dựa trên PPO: Tác nhân RL sử dụng chính sách dựa trên PPO, được tham số hóa bằng một mô hình ngôn ngữ dựa trên transformer, điều kiện hóa trên toàn bộ lịch sử thử nghiệm để học các chiến lược nghiên cứu.
Module tự đánh giá: Module này theo dõi đường cong hàm mất mát trong thời gian thực và đưa ra tín hiệu dừng sớm cho các thử nghiệm không hứa hẹn, giúp tiết kiệm tài nguyên tính toán.
Ngân sách thời gian cố định: Mỗi thử nghiệm được cấp một ngân sách thời gian thực cố định (Tmax) để đảm bảo các cấu hình có thể so sánh trực tiếp bằng val-bpb.

III. Main Results:

Trên benchmark nanochat tiền huấn luyện với một GPU duy nhất:

AutoResearch-RL đạt val-bpb 2.681 sau khoảng 101 thử nghiệm (~8 giờ GPU), vượt trội so với các baseline như Human Expert (2.847), Random Search (2.791) và Greedy LLM (2.734).
Hệ thống tiếp tục cải thiện khi được cung cấp thêm tài nguyên tính toán, đạt val-bpb 2.608 sau một tuần chạy (~2147 thử nghiệm).
Module tự đánh giá (Self-Evaluation) đã dừng sớm 54.3% các thử nghiệm (tiêu thụ trung bình 37.6% ngân sách), giúp tăng 1.35 lần số lượng thử nghiệm mỗi giờ và cải thiện hiệu quả lấy mẫu lên 2.4 lần trong suốt quá trình chạy qua đêm.
Tác nhân đã khám phá ra những thay đổi không tầm thường như tăng tốc độ học của bộ tối ưu hóa Muon, giảm trọng số suy giảm của AdamW, thêm chuẩn hóa QK-norm trên các head, giới thiệu lịch trình cắt gradient có khởi động, và tăng số lớp transformer từ 12 lên 14.

IV. Conclusion & Future Works:

AutoResearch-RL là một framework tiên phong trong việc hình thức hóa nghiên cứu tiền huấn luyện LLM tự động như một vấn đề học tăng cường. Bằng cách coi mỗi chỉnh sửa mã là một hành động, val-bpb là phần thưởng và lịch sử thử nghiệm là bộ nhớ làm việc, tác nhân thực hiện một vòng lặp nghiên cứu không giới hạn, liên tục và được chứng minh là hội tụ về bpb tối thiểu có thể đạt được trong không gian cấu hình khả thi. Module tự đánh giá giúp tăng hiệu quả lấy mẫu lên tới 2.4 lần bằng cách dừng sớm các thử nghiệm không hứa hẹn. AutoResearch-RL vượt trội so với cả chuyên gia con người và các baseline LLM tham lam trên benchmark nanochat và tiếp tục cải thiện với quy mô tính toán kéo dài hàng tuần.

Công trình này đại diện cho một phương thức tiến bộ khoa học mới trong học máy, nơi tốc độ khám phá thuật toán được giới hạn bởi tài nguyên tính toán sẵn có, chứ không phải bởi năng lực của nhà nghiên cứu. Các hạn chế hiện tại bao gồm việc giới hạn ở một GPU duy nhất và tập dữ liệu cố định. Công việc trong tương lai sẽ bao gồm mở rộng sang các thiết lập đa GPU, đa node và cho phép tác nhân sửa đổi cả bộ từ vựng BPE và quy trình xử lý dữ liệu.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng AutoResearch-RL từ môi trường GPU đơn lẻ sang cấu hình đa GPU và đa node, giải quyết các thách thức kỹ thuật trong việc điều phối khởi chạy và đánh giá thử nghiệm trên các node phân tán, đồng thời đảm bảo khả năng mở rộng hiệu quả.
Phát triển tác nhân AutoResearch-RL có khả năng tự động sửa đổi không chỉ kiến trúc mạng và siêu tham số mà còn cả bộ từ vựng BPE và quy trình xử lý dữ liệu (data pipeline), cho phép khám phá các chiến lược tiền xử lý dữ liệu và mã hóa token mới để tối ưu hóa hiệu suất mô hình một cách toàn diện hơn.
Nghiên cứu các phương pháp tự đánh giá nâng cao sử dụng học tăng cường để tối ưu hóa động các chiến lược dừng sớm, đồng thời tích hợp khả năng phân bổ tài nguyên tính toán (ví dụ: thời gian GPU) một cách thích ứng dựa trên tiềm năng cải thiện dự kiến của từng thử nghiệm, nhằm tối đa hóa hiệu quả sử dụng tài nguyên.

2. Patent:

Một hệ thống được cấp bằng sáng chế cho phép điện thoại di động tự động điều chỉnh các tham số hoặc cấu hình mã nguồn của các ứng dụng đang chạy (ví dụ: thuật toán nén ảnh cho camera, cài đặt bộ nhớ đệm cho trình duyệt web, hoặc logic tải dữ liệu cho ứng dụng mạng xã hội) để cải thiện hiệu suất (tốc độ phản hồi, tiêu thụ pin) dựa trên phản hồi thực tế từ người dùng hoặc dữ liệu sử dụng. Hệ thống này sẽ đề xuất các thay đổi nhỏ, chạy thử nghiệm trong nền và tự động áp dụng các cải tiến mà không cần cập nhật ứng dụng thủ công.
Một công cụ được cấp bằng sáng chế sử dụng một tác nhân học tăng cường để tự động thiết kế và tối ưu hóa giao diện người dùng (UI) cho các ứng dụng di động. Tác nhân này sẽ đề xuất các bố cục, màu sắc hoặc luồng tương tác khác nhau dựa trên ngữ cảnh sử dụng và hành vi người dùng, sau đó đánh giá hiệu quả của chúng dựa trên các chỉ số tương tác (ví dụ: tỷ lệ nhấp, thời gian trên màn hình) hoặc các mục tiêu đã định trước, liên tục học hỏi và cải tiến thiết kế UI để tối đa hóa trải nghiệm người dùng.
Một nền tảng được cấp bằng sáng chế cho phép các mô hình AI chạy trên thiết bị di động (ví dụ: nhận dạng giọng nói, xử lý ảnh) tự động điều chỉnh kiến trúc hoặc siêu tham số của chúng để cải thiện độ chính xác hoặc hiệu quả tính toán. Thay vì cập nhật thủ công, tác nhân sẽ đề xuất các thay đổi nhỏ cho mô hình hoặc quy trình huấn luyện, chạy các thử nghiệm nhanh trên dữ liệu cục bộ hoặc mô phỏng, và cập nhật mô hình để tối ưu hóa liên tục trên các thiết bị có tài nguyên hạn chế, giúp mô hình thích ứng tốt hơn với môi trường và dữ liệu mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.07300
ArXiv Abstract	https://arxiv.org/abs/2603.07300
PDF Download	https://arxiv.org/pdf/2603.07300.pdf
Github Repository	N/A

13. Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces (15 votes)

Tác giả: Karan Gupta, Pranav Vajreshwari, Yash Pandya, Raghav Magazine, Akshay Nambi, Ahmed Awadallah

Xuất bản lúc: 2026-03-05

Tag: SLMs, Reinforcement Learning, Tool Use, Agentic AI, Context Management, Programmatic Execution

I. Main Problem:

Các hệ thống tác nhân (agentic systems) dựa trên các mô hình ngôn ngữ nhỏ (SLM) gặp khó khăn khi hoạt động trong môi trường công cụ lớn (large tool ecosystems). Cụ thể, việc tải toàn bộ công cụ làm bão hòa ngữ cảnh (context saturation), lỗi thực thi tích lũy theo thời gian, và phần thưởng thưa thớt (sparse rewards) giới hạn khả năng học tập. Hạn chế chính của SLM là thiếu cơ chế điều chỉnh rõ ràng sự phát triển của ngữ cảnh và cấu trúc thực thi, dẫn đến hiệu suất kém so với các mô hình tiên tiến (frontier models) khi đối mặt với lượng công cụ lớn, thực thi dài hạn và giám sát yếu.

II. Main Idea:

Nghiên cứu giới thiệu ATLAS, một framework tinh chỉnh tăng cường (reinforcement finetuning - RFT) cho phép SLM hoạt động hiệu quả trong môi trường công cụ quy mô lớn bằng cách học cách thu thập ngữ cảnh và cách thực thi hành động. ATLAS đóng góp hai điểm chính: 1) Coi kiểm soát ngữ cảnh và cấu trúc thực thi là các quyết định có thể học được, kết hợp tải công cụ lặp lại (iterative tool loading - ITL) với điều phối công cụ lập trình (programmatic tool orchestration - PTC) để giới hạn sự phát triển của ngữ cảnh và ổn định các quỹ đạo dài hạn. 2) Đề xuất tinh chỉnh tăng cường dựa trên tiêu chí (rubric-based reinforcement finetuning), phân tách thành công nhiệm vụ thành các tiêu chí có cấu trúc, phù hợp với nhiệm vụ, và cho phép đào tạo có thể mở rộng bằng cách sử dụng các mô hình đánh giá nhỏ (SLM judges).

III. Main Results:

ATLAS cho phép một SLM 4B đạt hiệu suất gần bằng tác nhân tiên tiến (frontier-agent) với ngân sách tham số và ngữ cảnh chặt chẽ hơn nhiều (4.15/10 TF so với 4.38/10 TF của Kimi-K2 Thinking). Các phần thưởng dựa trên tiêu chí cấp nhiệm vụ (task-level rubric rewards) mang lại quá trình tinh chỉnh tăng cường ổn định và hiệu quả hơn so với phần thưởng chung. Một mô hình đánh giá SLM mã nguồn mở (Qwen3-30B-Instruct) hoạt động tốt hơn mô hình đánh giá chung dựa trên GPT-4o và ngang bằng với các mô hình đánh giá tiên tiến mạnh hơn như o4-mini dưới sự đánh giá dựa trên tiêu chí. Khi kết hợp với điều phối lập trình, ATLAS vượt trội hơn hẳn các phương pháp gọi công cụ kiểu JSON về cả hoàn thành nhiệm vụ và hiệu quả. Tinh chỉnh tăng cường mang lại những cải thiện lớn nhất (+35–65%), với ITL+PTC cung cấp nền tảng thực thi mạnh mẽ nhất để học tập.

IV. Conclusion & Future Works:

ATLAS cung cấp một cách tiếp cận tích hợp bằng cách coi việc thu thập ngữ cảnh là một quyết định học được và cấu trúc thực thi là một mục tiêu tối ưu hóa hàng đầu cho các tác nhân bị hạn chế hiệu quả hoạt động trong không gian công cụ MCP lớn. Bằng cách kết hợp tải công cụ thích ứng, điều phối lập trình nhỏ gọn và tinh chỉnh tăng cường dựa trên tiêu chí cấp nhiệm vụ, ATLAS mang lại hiệu suất vượt trội cho các mô hình ngôn ngữ nhỏ, cho phép chúng đạt được khả năng tác nhân gần như ngang bằng với các mô hình tiên tiến với ngân sách tài nguyên chặt chẽ hơn đáng kể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ATLAS để xử lý việc tạo và sửa đổi công cụ động: Nghiên cứu cách các SLM có thể học cách không chỉ sử dụng các công cụ hiện có mà còn tạo ra hoặc thích nghi các công cụ mới dựa trên yêu cầu của người dùng hoặc môi trường thay đổi, vượt ra ngoài việc tải công cụ tĩnh.
Tích hợp lý luận đa phương thức vào ATLAS cho các nhiệm vụ tác nhân: Khám phá cách các SLM có thể tận dụng đầu vào thị giác, âm thanh hoặc các phương thức khác để thông báo việc lựa chọn và thực thi công cụ, cho phép các tác nhân ATLAS tương tác hiệu quả hơn trong các môi trường thế giới thực phức tạp.
Nghiên cứu tạo tiêu chí (rubric) ít mẫu (few-shot) hoặc không mẫu (zero-shot) cho các miền/nhiệm vụ mới: Phát triển các phương pháp để tự động tạo ra các tiêu chí đánh giá chất lượng cao với ít hoặc không cần ví dụ, giảm sự phụ thuộc vào các mô hình tiên tiến lớn để thiết lập giám sát và cho phép mở rộng quy mô sang các nhiệm vụ đa dạng hơn.

2. Patent:

Hệ thống trợ lý di động thông minh với quản lý ngữ cảnh công cụ thích ứng: Một ứng dụng trên điện thoại di động có khả năng tự động xác định ý định của người dùng và chỉ tải các chức năng hoặc API liên quan từ các ứng dụng khác hoặc dịch vụ đám mây. Thay vì tải toàn bộ các tính năng của ứng dụng, hệ thống sẽ chỉ kích hoạt những phần cần thiết nhất cho tác vụ hiện tại, giúp tiết kiệm pin, giảm sử dụng dữ liệu và tăng tốc độ phản hồi của trợ lý AI trên điện thoại.
Giao diện lập trình công cụ di động với cơ chế thực thi mã an toàn: Một tính năng của hệ điều hành di động cho phép các tác nhân AI thực hiện các tác vụ phức tạp bằng cách viết và thực thi các đoạn mã lập trình (ví dụ: Python) để điều phối giữa nhiều ứng dụng. Hệ thống này bao gồm một môi trường chạy mã (sandbox) an toàn để ngăn chặn mã độc và quản lý tài nguyên hiệu quả, đảm bảo các tác vụ đa ứng dụng diễn ra liền mạch và bảo mật trên điện thoại.
Phương pháp đánh giá hiệu suất trợ lý di động dựa trên tiêu chí có cấu trúc: Một hệ thống trên điện thoại di động hoặc dịch vụ đám mây riêng biệt để đánh giá hiệu suất của trợ lý AI bằng cách sử dụng các bộ tiêu chí chi tiết cho từng tác vụ cụ thể. Thay vì chỉ đưa ra đánh giá thành công/thất bại đơn giản, hệ thống sẽ chấm điểm theo nhiều khía cạnh như "độ chính xác của thông tin", "mức độ phù hợp của việc sử dụng công cụ" và "mức độ hoàn thành tác vụ". Phản hồi chi tiết này giúp AI học hỏi và tự cải thiện nhanh chóng, mang lại trải nghiệm người dùng tốt hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.06713
ArXiv Abstract	https://arxiv.org/abs/2603.06713
PDF Download	https://arxiv.org/pdf/2603.06713.pdf
Github Repository	N/A

14. PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents (14 votes)

Tác giả: Yuxiang Chai, Shunye Tang, Han Xiao, Rui Liu, Hongsheng Li

Xuất bản lúc: 2026-03-09

Tag: Proactive Agents, GUI agents, MLLMs, Benchmarking, Intent Recommendation, Multitasking, Memory, Hallucination Mitigation

I. Main Problem:

Các tác nhân Giao diện Người dùng (GUI) hiện tại hoạt động theo mô hình phản ứng, yêu cầu người dùng phải cung cấp hướng dẫn rõ ràng để thực hiện một tác vụ. Tuy nhiên, một trợ lý AI thông minh cần có khả năng chủ động, tức là có thể dự đoán ý định của người dùng trực tiếp từ các đầu vào hình ảnh liên tục (như ảnh chụp màn hình điện thoại hoặc máy tính để bàn) và đưa ra các đề xuất kịp thời mà không cần người dùng nhắc nhở rõ ràng. Việc chuyển đổi sang mô hình chủ động này gặp phải những thách thức đáng kể do hoạt động màn hình thực tế hiếm khi tuyến tính; nó bao gồm các quỹ đạo dài với nhiều hoạt động duyệt web nhiễu, các hành động vô nghĩa và chuyển đổi tác vụ đa luồng. Ngoài ra, cộng đồng nghiên cứu hiện đang thiếu một khuôn khổ đánh giá tiêu chuẩn dành riêng cho hỗ trợ chủ động, vì các bộ dữ liệu và môi trường hiện có chủ yếu tập trung vào khả năng phản ứng, tuân thủ hướng dẫn.

II. Main Idea:

Để giải quyết vấn đề trên, nghiên cứu này giới thiệu PIRA-Bench (Proactive Intent Recommendation Agent Benchmark), một bộ dữ liệu chuẩn mới để đánh giá các mô hình ngôn ngữ lớn đa phương thức (MLLMs) trên các đầu vào hình ảnh liên tục, được giám sát yếu. PIRA-Bench nổi bật với các quỹ đạo phức tạp bao gồm nhiều ý định xen kẽ và các phân đoạn nhiễu với các ngữ cảnh hồ sơ người dùng khác nhau, thách thức các tác nhân phát hiện các sự kiện có thể hành động trong khi phù hợp với sở thích của người dùng. Hơn nữa, nghiên cứu đề xuất PIRF (Proactive Intent Recommendation Framework) làm đường cơ sở, một khuôn khổ theo dõi trạng thái, nhận biết bộ nhớ, cho phép các MLLMs chung quản lý nhiều luồng tác vụ và xử lý các đầu vào hình ảnh gây hiểu lầm. PIRF bao gồm một mô-đun bộ nhớ động để ghi lại và theo dõi các trạng thái đa nhiệm đang diễn ra và ngữ cảnh hồ sơ người dùng cụ thể, cùng với cơ chế phản hồi để giảm thiểu ảo giác bằng cách liên tục đánh giá các tác vụ đã ghi nhớ và tự động xóa các ý định lỗi thời hoặc đã hoàn thành. Mục tiêu là chuyển đổi tác nhân GUI từ vai trò người thực thi theo hướng dẫn sang trợ lý chủ động, dự đoán nhu cầu của người dùng từ các luồng hình ảnh liên tục.

III. Main Results:

Nghiên cứu đã thành công trong việc thiết lập PIRA-Bench, bộ dữ liệu chuẩn đầu tiên dành riêng cho việc đánh giá các tác nhân đề xuất ý định chủ động. PIRA-Bench bao gồm 100 quỹ đạo GUI được chú thích cẩn thận, mỗi quỹ đạo có trung bình 32 ảnh chụp màn hình tuần tự và được ghép nối với 3 hồ sơ người dùng riêng biệt, tích hợp các kịch bản đa nhiệm xen kẽ, ngữ cảnh hồ sơ người dùng và nhiễu có chủ đích. Để đánh giá, PIRA-Bench sử dụng quy trình chú thích đồng thuận và mô hình LLM-as-a-Judge (Gemini-3-flash) để so sánh ngữ nghĩa các ý định dự đoán. Các chỉ số chính bao gồm F1avg (độ chính xác dự đoán ý định), FPSnorm (mức độ chống ảo giác) và Sfinal (điểm tổng hợp). Ngoài ra, PIRF được giới thiệu như một khung cơ sở mạnh mẽ, chứng minh cách các MLLM có thể được tăng cường với khả năng xử lý lặp lại, bộ nhớ động và cơ chế phản hồi để theo dõi các ý định phức tạp, đa nhiệm và giảm đáng kể ảo giác khi xử lý các quỹ đạo hình ảnh dài, nhiễu.

IV. Conclusion & Future Works:

Nghiên cứu này đã giới thiệu nhiệm vụ Đề xuất Ý định Chủ động (PIR) và PIRA-Bench, đánh dấu một bước chuyển đổi quan trọng từ các tác nhân GUI phản ứng sang các trợ lý cá nhân chủ động. PIRF được đề xuất như một đường cơ sở mạnh mẽ, chứng minh khả năng của các MLLM trong việc xử lý các quỹ đạo dài, nhiễu và đa nhiệm bằng cách tích hợp mô-đun bộ nhớ động và cơ chế phản hồi. Hướng nghiên cứu tương lai bao gồm việc khám phá các kiến trúc MLLM tiên tiến hơn để cải thiện khả năng suy luận đa nhiệm và phân tách ý định ẩn từ các luồng hình ảnh liên tục, nhiễu. Cải thiện khả năng hiểu ngữ cảnh phức tạp, xử lý đa nhiệm hiệu quả hơn, và giảm thiểu ảo giác trong các kịch bản thực tế cũng là những lĩnh vực cần tiếp tục phát triển. Ngoài ra, việc mở rộng PIRA-Bench với nhiều loại tương tác người dùng và hồ sơ đa dạng hơn sẽ giúp thúc đẩy sự phát triển của các trợ lý AI chủ động, mạnh mẽ hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các kiến trúc MLLM tiên tiến để cải thiện khả năng suy luận đa nhiệm và phân tách ý định ẩn từ các luồng hình ảnh liên tục, nhiễu trong môi trường GUI.
Phát triển các mô hình bộ nhớ động thế hệ tiếp theo cho tác nhân GUI chủ động, tập trung vào việc quản lý ngữ cảnh dài hạn, học hỏi từ phản hồi của người dùng và thích ứng với sự thay đổi của hồ sơ người dùng theo thời gian.
Khám phá các kỹ thuật chống ảo giác (hallucination mitigation) và tăng cường độ an toàn hoạt động (operational safety) cho các tác nhân AI chủ động, đặc biệt trong các kịch bản không có ý định hành động rõ ràng.

2. Patent:

Hệ thống trợ lý điện thoại thông minh dự đoán hành động dựa trên hình ảnh: Một ứng dụng trên điện thoại di động liên tục phân tích ảnh chụp màn hình mà người dùng đang xem để dự đoán các hành động tiếp theo có thể. Ví dụ, nếu người dùng đang nhắn tin về việc ăn tối, hệ thống sẽ tự động hiển thị gợi ý đặt bàn nhà hàng hoặc thêm sự kiện vào lịch mà không cần người dùng nhập lệnh.
Công nghệ cá nhân hóa gợi ý trên thiết bị di động dựa trên hồ sơ người dùng ẩn danh: Một tính năng trên điện thoại thu thập thông tin về sở thích, thói quen và thậm chí là tình hình tài chính (được mã hóa và ẩn danh) của người dùng để đưa ra các gợi ý phù hợp. Ví dụ, khi tìm kiếm nhà, hệ thống sẽ gợi ý căn hộ sang trọng cho người dùng có thu nhập cao và căn hộ cho thuê giá phải chăng cho sinh viên, tất cả dựa trên ngữ cảnh màn hình hiện tại.
Phương pháp lọc nhiễu và nhận diện ý định đa nhiệm cho giao diện người dùng: Một công nghệ tích hợp vào hệ điều hành di động giúp AI phân biệt giữa các hoạt động có ý nghĩa và các hành động "nhiễu" (như lướt web vô định, chuyển ứng dụng ngẫu nhiên). Đồng thời, nó có thể theo dõi nhiều tác vụ mà người dùng đang thực hiện xen kẽ (ví dụ: vừa học bài vừa nhắn tin hẹn bạn) và đưa ra các gợi ý phù hợp cho từng tác vụ một cách riêng biệt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08013
ArXiv Abstract	https://arxiv.org/abs/2603.08013
PDF Download	https://arxiv.org/pdf/2603.08013.pdf
Github Repository	N/A

15. Agentic Critical Training (13 votes)

Tác giả: Weize Liu, Minghui Liu, Sy-Tuyen Ho, Souradip Chakraborty, Xiyao Wang, Furong Huang

Xuất bản lúc: 2026-03-09

Tag: LLMs, Reinforcement Learning, Imitation Learning, Self-reflection, Autonomous Agents, Generalization, Reasoning

I. Main Problem:

Việc huấn luyện các mô hình ngôn ngữ lớn (LLM) làm tác nhân tự chủ thường bắt đầu bằng học bắt chước (Imitation Learning - IL), nhưng phương pháp này chỉ dạy tác nhân phải làm gì mà không hiểu tại sao. Điều này khiến tác nhân thiếu khả năng phân biệt giữa các hành động thành công và các lựa chọn kém tối ưu, dẫn đến thiếu nhận thức về chất lượng hành động. Các phương pháp hiện tại cố gắng giải quyết bằng cách đưa ra sự giám sát tự phản tư từ sự đối chiếu giữa hành động của chuyên gia và các hành động thay thế. Tuy nhiên, mô hình vẫn chỉ bắt chước văn bản phản tư được tạo sẵn thay vì học cách suy luận một cách tự chủ.

II. Main Idea:

Bài báo đề xuất Agentic Critical Training (ACT), một phương pháp học tăng cường (Reinforcement Learning - RL) huấn luyện các tác nhân để xác định hành động tốt hơn trong số các lựa chọn thay thế. Bằng cách thưởng cho việc đánh giá đúng của mô hình, ACT thúc đẩy mô hình tự chủ phát triển khả năng suy luận về chất lượng hành động, tạo ra sự tự phản tư thực sự chứ không phải bắt chước. ACT tạo ra các cặp đối chiếu từ hành động của chuyên gia và các hành động thay thế được tạo bởi mô hình. Sau đó, mô hình được huấn luyện bằng RL để chọn hành động tốt hơn, chỉ nhận phần thưởng khi lựa chọn đúng. Quá trình này khuyến khích mô hình tự phát triển chuỗi suy nghĩ (Chain-of-Thought) để đưa ra lựa chọn chính xác. ACT được thực hiện qua hai giai đoạn RL tuần tự: Huấn luyện Phê phán Tác nhân (Agentic Critical Training) và Huấn luyện Hành động RL (RL Action Training), cả hai đều tối ưu hóa bằng Group Relative Policy Optimization (GRPO).

III. Main Results:

ACT liên tục cải thiện hiệu suất của tác nhân khi kết hợp với các phương pháp hậu huấn luyện khác trên ba bộ tiêu chuẩn tác nhân đầy thách thức (ALFWorld, WebShop, ScienceWorld). ACT đạt mức cải thiện trung bình 5.07 điểm so với học bắt chước (IL) và 4.62 điểm so với học tăng cường (RL). So với các phương pháp tiêm khả năng phản tư thông qua chưng cất tri thức (như Early Experience), ACT vượt trội hơn với mức cải thiện trung bình 2.42 điểm. ACT còn thể hiện khả năng khái quát hóa mạnh mẽ trên các nhiệm vụ ngoài phân phối (out-of-distribution) và cải thiện hiệu suất trên các bộ tiêu chuẩn suy luận chung (MATH-500 và GPQA-Diamond) mà không cần bất kỳ dữ liệu huấn luyện cụ thể nào về suy luận. ACT cũng cho phép tác nhân phục hồi sau lỗi, tránh các vòng lặp vô hạn mà các mô hình IL thường gặp phải.

IV. Conclusion & Future Works:

ACT là một hướng đi đầy hứa hẹn để phát triển các tác nhân LLM có khả năng phản tư và năng lực cao hơn. Kết quả cho thấy việc huấn luyện tác nhân thông qua RL để phân biệt giữa các hành động của chuyên gia và các hành động kém tối ưu cung cấp một giai đoạn suy luận phê phán bổ sung, giúp cải thiện cả tác nhân được huấn luyện bằng IL và RL. Hơn nữa, môi trường RL tác nhân, khi kết hợp với mục tiêu của ACT, có thể là một con đường khả thi để nâng cao khả năng suy luận tổng quát.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng ACT sang các môi trường tác nhân đa phương thức phức tạp hơn, nơi tác nhân tương tác với thông tin thị giác, âm thanh hoặc xúc giác, thay vì chỉ dựa trên văn bản.
Điều tra sâu hơn các cơ chế mà ACT cải thiện khả năng suy luận tổng quát, bao gồm phân tích các biểu diễn nội bộ của mô hình và hành vi tự xác minh để hiểu tại sao việc học phê phán hành động lại dẫn đến khả năng suy luận rộng hơn.
Phát triển các chiến lược tạo hành động thay thế thích ứng và động cho ACT, nhằm tạo ra các hành động đối chiếu 'thử thách' hoặc 'mang tính hướng dẫn' một cách thông minh hơn, tối đa hóa tín hiệu học trong quá trình huấn luyện phê phán.

2. Patent:

Trợ lý AI Tự Sửa Lỗi cho Điện Thoại Di Động: Một hệ thống trợ lý AI trên điện thoại di động có khả năng tự động đánh giá các lựa chọn hành động tiềm năng khi thực hiện các tác vụ phức tạp (ví dụ: đặt lịch hẹn đa bước, quản lý tài chính). Nếu một hành động ban đầu thất bại hoặc dẫn đến kết quả không mong muốn, hệ thống sẽ sử dụng khả năng suy luận phê phán đã học để hiểu lý do thất bại và tự động đề xuất hoặc thực hiện một hành động thay thế phù hợp, giúp người dùng tránh lặp lại lỗi và hoàn thành tác vụ hiệu quả hơn.
Tự Động Hóa Ứng Dụng Di Động với Xử Lý Lỗi Chủ Động: Một tính năng trên điện thoại di động cho phép người dùng tự động hóa chuỗi hành động giữa các ứng dụng khác nhau. Thay vì chỉ thực hiện theo kịch bản cố định, hệ thống này sẽ tích hợp huấn luyện phê phán để dự đoán các lỗi hoặc tình huống kém tối ưu có thể xảy ra (ví dụ: ứng dụng không phản hồi, không đủ thông tin để hoàn thành bước tiếp theo) và chủ động đưa ra cảnh báo, giải thích vấn đề, hoặc gợi ý các hành động khắc phục, giúp quá trình tự động hóa trở nên đáng tin cậy và ít gây khó chịu hơn cho người dùng.
Hệ Thống Huấn Luyện Kỹ Năng Di Động Dựa Trên Đánh Giá Phê Phán: Một ứng dụng học tập trên điện thoại di động giúp người dùng phát triển các kỹ năng mới (ví dụ: viết mã, học ngoại ngữ, chơi nhạc cụ). Ứng dụng sẽ trình bày các ví dụ thực hành (cả đúng và sai hoặc chưa tối ưu) và huấn luyện người dùng đánh giá phê phán tại sao một ví dụ lại tốt hơn ví dụ khác. Quá trình học tập này giúp người dùng không chỉ biết cách làm mà còn hiểu lý do các lựa chọn khác nhau, từ đó phát triển khả năng tự sửa lỗi và cải thiện kỹ năng một cách sâu sắc hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08706
ArXiv Abstract	https://arxiv.org/abs/2603.08706
PDF Download	https://arxiv.org/pdf/2603.08706.pdf
Github Repository	N/A

16. TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward (13 votes)

Tác giả: Yihong Luo, Tianyang Hu, Weijian Luo, Jing Tang

Xuất bản lúc: 2026-03-08

Tag: Diffusion Models, Reinforcement Learning, Few-step generative models, Text-to-Image, Generative AI, TDM, Non-differentiable rewards

I. Main Problem:

Các phương pháp học tăng cường (RL) hiện có cho các mô hình khuếch tán vài bước (few-step diffusion models) phụ thuộc nhiều vào các mô hình phần thưởng khả vi (differentiable reward models). Điều này loại trừ phần lớn các tín hiệu phần thưởng quan trọng trong thế giới thực vốn không khả vi, chẳng hạn như sự ưa thích nhị phân của con người, số lượng đối tượng, hoặc độ chính xác của việc hiển thị văn bản (text-rendering). Mặc dù các mô hình vài bước đã đạt được tốc độ tạo ảnh nhanh chóng, chúng vẫn gặp khó khăn với việc tuân thủ hướng dẫn chính xác, hiển thị văn bản phức tạp và định vị đối tượng phù hợp.

II. Main Idea:

TDM-R1 giới thiệu một mô hình học tăng cường mới được xây dựng trên mô hình tạo sinh vài bước hàng đầu, Trajectory Distribution Matching (TDM), để kết hợp các phần thưởng phi khả vi. Phương pháp này tách rời quá trình học thành hai giai đoạn chính: học phần thưởng thay thế (surrogate reward learning) và học trình tạo (generator learning). TDM-R1 khai thác các quỹ đạo xác định của TDM để ước tính phần thưởng chính xác cho các bước khử nhiễu trung gian. Nó cũng đề xuất một phần thưởng thay thế động được tham số hóa bằng khuếch tán, được huấn luyện bằng cách tối ưu hóa ưu tiên dựa trên nhóm, để cung cấp giám sát RL ổn định ở mỗi bước. Bằng cách này, TDM-R1 cho phép các mô hình vài bước đạt được hiệu suất vượt trội, thậm chí vượt qua các đối tác nhiều bước, bằng cách tạo ra một vòng lặp đối kháng (GAN-like adversarial framework) giữa trình tạo và phần thưởng thay thế thích ứng.

III. Main Results:

TDM-R1 đạt được hiệu suất học tăng cường vượt trội trên cả các chỉ số trong miền (in-domain) và ngoài miền (out-of-domain) cho các mô hình text-to-image vài bước. Cụ thể, nó đã nâng điểm GenEval của TDM vài bước từ 61% lên 92% chỉ với 4 NFE (Number of Function Evaluations), vượt trội so với mô hình cơ sở 80-NFE (63%) và GPT-4o (84%). TDM-R1 cũng mở rộng hiệu quả sang mô hình Z-Image mạnh mẽ, liên tục vượt trội so với các biến thể 100-NFE và vài bước của nó với chỉ 4 NFE. Kết quả cho thấy sự cải thiện đáng kể trong khả năng của các mô hình vài bước với các phần thưởng chung, đồng thời duy trì hoặc cải thiện các chỉ số chất lượng hình ảnh ngoài miền như Aesthetic Score, DeQA, PickScore và ImageReward.

IV. Conclusion & Future Works:

TDM-R1 cung cấp một mô hình học tăng cường mạnh mẽ, cho phép sử dụng phản hồi phần thưởng phi khả vi trực tuyến quy mô lớn để tinh chỉnh hiệu quả các trình tạo vài bước. Bằng cách tối ưu hóa xen kẽ trình tạo và phần thưởng thay thế thông qua tối ưu hóa ưu tiên nhóm và giảm thiểu độ phân kỳ KL ngược, TDM-R1 thiết lập một vòng lặp hiệp đồng giúp cải thiện đáng kể hiệu suất tạo sinh. Hướng nghiên cứu trong tương lai có thể tập trung vào việc áp dụng TDM-R1 cho các miền tạo sinh khác ngoài hình ảnh, khám phá các chiến lược phức tạp hơn để học phần thưởng thay thế, và tích hợp sâu hơn với các kiến trúc mô hình nền tảng lớn để đạt được khả năng tạo sinh đa phương thức tiên tiến hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng TDM-R1 cho tạo sinh video và nội dung đa phương tiện: Nghiên cứu cách TDM-R1 có thể được điều chỉnh và áp dụng để tăng cường các mô hình tạo video hoặc các dạng nội dung đa phương tiện khác, nơi phản hồi phi khả vi (ví dụ: sự đồng bộ âm thanh-hình ảnh, tính chân thực của chuyển động) là rất quan trọng để cải thiện chất lượng với số bước tạo tối thiểu.
Tối ưu hóa học phần Surrogate Reward với phần thưởng có độ nhiễu cao: Khám phá các phương pháp tiên tiến để huấn luyện mô hình phần thưởng thay thế khi tín hiệu phần thưởng phi khả vi rất thưa thớt, không nhất quán hoặc có độ nhiễu cao. Điều này có thể bao gồm việc kết hợp các kỹ thuật học tăng cường dựa trên mô hình hoặc học chuyển đổi để tạo ra các tín hiệu giám sát ổn định hơn.
Tích hợp TDM-R1 với các mô hình Vision-Language Action: Điều tra cách TDM-R1 có thể được sử dụng để tinh chỉnh các mô hình lớn hơn có khả năng hiểu và thực hiện các hành động dựa trên đầu vào thị giác và ngôn ngữ, nhằm cải thiện khả năng tuân thủ hướng dẫn phức tạp và tạo ra kết quả chất lượng cao trong các tác vụ tương tác, ví dụ như chỉnh sửa ảnh theo lệnh ngôn ngữ tự nhiên.
patent_ideas

2. Patent:

Hệ thống tạo hình đại diện và biểu tượng cảm xúc cá nhân hóa trên điện thoại di động: Một ứng dụng di động cho phép người dùng tạo nhanh các hình đại diện hoặc biểu tượng cảm xúc độc đáo dựa trên mô tả văn bản hoặc hình ảnh tham chiếu. Người dùng có thể cung cấp phản hồi 'thích' hoặc 'không thích' nhị phân để tinh chỉnh kết quả. Công nghệ này sẽ sử dụng một mô hình tạo sinh nhanh được tăng cường bằng các tín hiệu phản hồi phi khả vi để tạo ra các hình ảnh chất lượng cao, phù hợp với sở thích cá nhân chỉ trong vài giây.
Công cụ chỉnh sửa ảnh thông minh dựa trên mô tả ngôn ngữ tự nhiên: Một tính năng tích hợp trong ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng cải thiện hoặc chỉnh sửa ảnh bằng cách nhập các lệnh ngôn ngữ tự nhiên phức tạp (ví dụ: 'thêm một con chó đang ngồi lên thuyền trắng', 'làm cho văn bản trên biển hiệu rõ ràng hơn'). Hệ thống sử dụng một mô hình tạo ảnh nhanh được huấn luyện bằng phản hồi phi khả vi (như đánh giá chất lượng hình ảnh hoặc độ chính xác của đối tượng/văn bản) để thực hiện các chỉnh sửa này một cách hiệu quả và tự động.
Trình tạo nội dung quảng cáo động cho doanh nghiệp nhỏ trên di động: Một ứng dụng di động cho phép các chủ doanh nghiệp nhỏ nhanh chóng tạo ra các hình ảnh hoặc video quảng cáo ngắn cho sản phẩm của họ. Người dùng cung cấp mô tả sản phẩm và nhận được phản hồi từ các tiêu chí phi khả vi như 'mức độ thu hút trực quan' hoặc 'tính hiệu quả của thông điệp'. Công nghệ này sẽ tinh chỉnh các mô hình tạo sinh để sản xuất các biến thể quảng cáo tối ưu, giúp người dùng tạo nội dung tiếp thị chất lượng cao mà không cần kỹ năng thiết kế chuyên nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.07700
ArXiv Abstract	https://arxiv.org/abs/2603.07700
PDF Download	https://arxiv.org/pdf/2603.07700.pdf
Github Repository	https://github.com/Luo-Yihong/TDM-R1

17. Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training (13 votes)

Tác giả: Chuxue Cao, Honglin Lin, Zhanping Zhong, Xin Gao, Mengzhang Cai, Conghui He, Sirui Han, Lijun Wu

Xuất bản lúc: 2026-03-07

Tag: LLMs, Data-centric AI, Financial AI, Distillation, Reinforcement Learning, Supervised Fine-Tuning, Chain-of-Thought

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn (LLMs) gặp thách thức trong việc triển khai vào lĩnh vực tài chính do đặc thù thuật ngữ chuyên ngành dày đặc, yêu cầu suy luận số học nghiêm ngặt và dung sai thấp đối với lỗi thực tế. Các mô hình hiện tại còn hạn chế về chất lượng dữ liệu huấn luyện, giám sát suy luận và khả năng điều chỉnh theo miền chuyên biệt. Nghiên cứu này nhằm giải quyết sự thiếu hiểu biết có hệ thống về yếu tố cấu thành "dữ liệu chất lượng cao" trong bối cảnh tài chính.

II. Main Idea:

Nghiên cứu này áp dụng phương pháp tiếp cận "Tập trung vào dữ liệu" (Data-Centric AI) thay vì "Tập trung vào mô hình". Các tác giả đề xuất rằng hiệu suất trong các miền dọc chuyên biệt được quyết định phần lớn bởi chất lượng và hồ sơ độ khó/khả năng xác minh của dữ liệu sau huấn luyện. Họ giới thiệu một hệ thống phân cấp dữ liệu hai giai đoạn:

Giai đoạn Supervised Fine-Tuning (SFT): Dữ liệu tinh khiết và dấu vết suy luận Chain-of-Thought (CoT) chất lượng cao thiết lập nền tảng vững chắc. Họ xây dựng ODA-Fin-SFT-318k thông qua quy trình chưng cất và xác minh đa giai đoạn để tạo ra dữ liệu giám sát CoT chất lượng cao.
Giai đoạn Reinforcement Learning (RL): Lấy mẫu các nhiệm vụ khó nhưng có thể xác minh được (hard-but-verifiable) để cải thiện khả năng khái quát hóa. Họ tạo ra ODA-Fin-RL-12k được tuyển chọn cho các nhiệm vụ này, cân bằng độ chính xác phần thưởng và sự đa dạng nhiệm vụ. Quy trình xây dựng dữ liệu bao gồm: khử trùng lặp ngữ nghĩa, tổng hợp CoT bằng các LLM lớn (ví dụ: Qwen3-235B-A22B-Thinking), xác minh thích ứng theo độ dài (sử dụng CompassVerifier-7B cho câu trả lời ngắn và Qwen3-235B-A22B-Instruct cho câu trả lời dài) và lọc độ dài token. Đối với RL, các mẫu có tỷ lệ lỗi > 50% từ mô hình SFT được giữ lại và các câu trả lời ngắn (<16 token) được ưu tiên để xác minh trực tuyến hiệu quả. Một cơ chế phần thưởng lai được sử dụng trong RL, kết hợp phần thưởng định dạng và phần thưởng chính xác.

III. Main Results:

Mô hình ODA-Fin-RL-8B của chúng tôi liên tục vượt trội so với các LLM tài chính SOTA mã nguồn mở có kích thước tương đương, đạt hiệu suất trung bình 74.6% trên chín bộ dữ liệu đánh giá. Đáng chú ý, nó gần như sánh ngang với hiệu suất của Qwen3-32B (74.7%), một mô hình lớn hơn gấp bốn lần, chứng minh hiệu quả của kỹ thuật dữ liệu chuyên biệt so với việc mở rộng quy mô mô hình một cách đơn giản. ODA-Fin-RL-8B cải thiện đáng kể 3.1 điểm trung bình so với mô hình nền Qwen3-8B. Cải thiện đáng kể nhất đến từ các bộ dữ liệu Suy luận Số học (FinQA: 73.3%, TaTQA: 89.3%, ConvFinQA: 80.4%), vượt trội so với các đối thủ và thậm chí cả Qwen3-32B trên TaTQA. Giai đoạn RL đóng vai trò quan trọng, mang lại những cải tiến nhất quán trên hầu hết các chỉ số, nâng điểm trung bình từ 72.1% lên 74.6%. Nghiên cứu loại bỏ (ablation study) cho thấy dữ liệu thô gây hại nhiều hơn khi khả năng mô hình tăng lên, trong khi việc huấn luyện độc quyền trên bộ dữ liệu CoT được chưng cất hoàn chỉnh (ODA-Fin-SFT-318k) mang lại hiệu suất tốt nhất quán.

IV. Conclusion & Future Works:

Nghiên cứu này chứng minh rằng trong các miền dọc chuyên biệt như tài chính, hiệu suất của LLM được quyết định đáng kể bởi chất lượng và hồ sơ độ khó/khả năng xác minh của dữ liệu sau huấn luyện. Việc chưng cất CoT chất lượng cao tạo nền tảng vững chắc trong SFT, và lấy mẫu nhận biết độ khó/khả năng xác minh cải thiện khả năng khái quát hóa của RL. Các tác giả đã phát hành bộ dữ liệu ODA-Fin-SFT-318k và ODA-Fin-RL-12k cùng với các mô hình đã huấn luyện (ODA-Fin-SFT-8B và ODA-Fin-RL-8B) để thúc đẩy nghiên cứu AI tài chính tập trung vào dữ liệu. Trong tương lai, cần có thêm nỗ lực từ góc độ tập trung vào dữ liệu để cân bằng tốt hơn các hỗn hợp dữ liệu dành riêng cho từng nhiệm vụ, đặc biệt là trong phân tích cảm xúc.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cân bằng dữ liệu đa nhiệm trong tài chính: Phát triển các phương pháp tự động/bán tự động để tạo bộ dữ liệu huấn luyện cân bằng hơn cho các nhiệm vụ tài chính chuyên biệt (ví dụ: trích xuất thông tin, dự báo, giao dịch định lượng), giải quyết sự thiếu hụt hiện tại trong các bộ dữ liệu mở.
Mở rộng phương pháp chưng cất và huấn luyện nhận biết độ khó cho các miền dọc khác: Áp dụng khung chưng cất Chain-of-Thought chất lượng cao và huấn luyện tăng cường nhận biết độ khó cho các miền chuyên biệt ngoài tài chính (ví dụ: y tế, luật pháp), nghiên cứu cách các đặc điểm miền cụ thể ảnh hưởng đến thiết kế bộ xác minh và chiến lược lấy mẫu dữ liệu khó.
Phát triển bộ xác minh (verifier) trực tuyến hiệu quả cho câu trả lời dạng dài: Thiết kế các verifier nhẹ và hiệu quả có khả năng đánh giá chính xác các câu trả lời dạng dài và phức tạp trong thời gian thực, giảm sự phụ thuộc vào các mô hình lớn, tốn kém tài nguyên cho quá trình chưng cất ngoại tuyến.

2. Patent:

Một ứng dụng di động cung cấp trợ lý tài chính cá nhân thông minh, có khả năng phân tích báo cáo tài chính, giải thích các thuật ngữ chuyên ngành phức tạp và thực hiện các phép tính tài chính phức tạp dựa trên dữ liệu được tinh chỉnh chất lượng cao. Người dùng có thể đặt câu hỏi bằng ngôn ngữ tự nhiên và nhận được các giải thích chi tiết, có lập luận rõ ràng trực tiếp trên điện thoại.
Một hệ thống tích hợp trên điện thoại di động để kiểm tra tính đúng đắn của thông tin tài chính theo thời gian thực. Khi người dùng đọc các bài báo hoặc báo cáo tài chính trên điện thoại, hệ thống sẽ tự động quét và xác minh các tuyên bố số liệu hoặc sự kiện quan trọng. Nếu phát hiện thông tin không chính xác hoặc không nhất quán, nó sẽ cảnh báo người dùng, giúp ngăn chặn sự lan truyền của tin tức giả mạo trong lĩnh vực tài chính.
Một công cụ tạo báo cáo tài chính thông minh trên thiết bị di động cho phép người dùng nhập dữ liệu tài chính cá nhân hoặc doanh nghiệp nhỏ. Ứng dụng sẽ tự động tạo ra các báo cáo tài chính cơ bản như báo cáo thu nhập hoặc bảng cân đối kế toán, đồng thời cung cấp các phân tích và giải thích đơn giản cho từng mục, giúp người dùng không chuyên về tài chính dễ dàng hiểu được tình hình tài chính của mình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.07223
ArXiv Abstract	https://arxiv.org/abs/2603.07223
PDF Download	https://arxiv.org/pdf/2603.07223.pdf
Github Repository	N/A

18. Training-free Latent Inter-Frame Pruning with Attention Recovery (13 votes)

Tác giả: Dennis Menn, Yuedong Yang, Bokun Wang, Xiwen Wei, Mustafa Munir, Feng Liang, Radu Marculescu, Chenfeng Xu, Diana Marculescu

Xuất bản lúc: 2026-03-06

Tag: Video generation, Efficiency, Token pruning, Diffusion Models, Latent Diffusion Model, Attention mechanism, Real-time processing

I. Main Problem:

Các mô hình tạo video hiện tại, đặc biệt là Diffusion Transformers, phải đối mặt với độ trễ tính toán cao, khiến các ứng dụng thời gian thực trở nên quá tốn kém. Chi phí tính toán lớn cản trở tương tác người-máy thời gian thực (ví dụ: 30 khung hình/giây) trên một GPU. Các khung LDM phân bổ tài nguyên tính toán cố định cho mọi token, bất kể sự dư thừa nội dung, do hiểu biết hạn chế về ngữ nghĩa trong không gian tiềm ẩn và khó khăn trong việc xác định sự dư thừa trước quá trình tạo. Các phương pháp cắt tỉa token trước đây có chi phí tính toán lớn, bị giới hạn ở một số lớp nhất định và gây ra các tạo tác hình ảnh do sự khác biệt giữa quá trình huấn luyện và suy luận. Việc áp dụng các phương pháp cắt tỉa một cách ngây thơ cũng dẫn đến các tạo tác hình ảnh.

II. Main Idea:

Để giải quyết các hạn chế về hiệu suất tính toán trong các mô hình tạo video, bài báo đề xuất khung Latent Inter-frame Pruning with Attention Recovery (LIPAR), một phương pháp cắt tỉa không cần huấn luyện. LIPAR phát hiện và bỏ qua việc tính toán lại các bản vá tiềm ẩn trùng lặp bằng cách khai thác sự dư thừa theo thời gian trong các bản vá tiềm ẩn của video. Phương pháp này bao gồm hai cơ chế chính: Latent Inter-frame Pruning (LIF Pruning) để xác định các bản vá dư thừa trong không gian tiềm ẩn bằng cách so sánh với các khung hình trước đó (có tính đến sự khác biệt ngắn hạn và dài hạn, cũng như phát hiện chuyển động). Thứ hai, cơ chế Attention Recovery mới lạ ước tính các giá trị chú ý của các token bị cắt tỉa, loại bỏ các tạo tác hình ảnh phát sinh từ việc áp dụng phương pháp cắt tỉa một cách ngây thơ. Attention Recovery bao gồm M-Degree Approximation để phục hồi các giá trị chú ý bằng cách sao chép các khóa (K) và giá trị (V) từ các đối tác tạm thời trong KV-cache sạch, và Noise-Aware Duplication để chỉ sao chép thành phần 'sạch' của token nhằm ngăn chặn mối tương quan nhiễu nhân tạo. LIPAR có thể tích hợp liền mạch với mô hình mà không cần huấn luyện bổ sung.

III. Main Results:

Phương pháp LIPAR tăng thông lượng chỉnh sửa video lên trung bình 1.45×, đạt 12.2 FPS trên NVIDIA A6000 so với mức cơ bản 8.4 FPS. Nó giảm mức sử dụng bộ nhớ GPU 29% (chỉ yêu cầu 18.6GB). Về chất lượng hình ảnh, phương pháp này duy trì chất lượng hình ảnh cao, được chứng minh bằng tỷ lệ thắng-hòa 86.4% trong các bài kiểm tra đánh giá của 14 người tham gia so với kết quả gốc (chưa cắt tỉa). LIPAR cho thấy sự cải thiện rõ ràng so với các phương pháp cắt tỉa không cần huấn luyện hiện có và có thể tổng quát hóa từ causal attention sang bidirectional attention. Nghiên cứu cũng chỉ ra mối tương quan mạnh mẽ (0.69 cho WAN 2.1 VAE và 0.77 cho WAN 2.2 VAE) giữa các thay đổi trong không gian pixel và không gian tiềm ẩn theo trục thời gian, củng cố cơ sở cho phương pháp này.

IV. Conclusion & Future Works:

LIPAR là một khung cắt tỉa không cần huấn luyện hiệu quả, giải quyết vấn đề độ trễ tính toán cao trong các mô hình tạo video bằng cách khai thác sự dư thừa theo thời gian trong không gian tiềm ẩn. Với cơ chế Attention Recovery, LIPAR duy trì chất lượng hình ảnh cao trong khi tăng tốc độ suy luận và giảm mức sử dụng bộ nhớ. Phương pháp này có khả năng tổng quát hóa cao và có thể tích hợp liền mạch vào các pipeline tạo video hiện đại, mở ra tiềm năng cho các ứng dụng thời gian thực hiệu quả hơn.

V. Brainstorming Space:

1. Publish Papers:

- Mở rộng LIPAR cho các kiến trúc tạo sinh khác: Nghiên cứu cách khung LIPAR (cắt tỉa tiềm ẩn và phục hồi chú ý) có thể được điều chỉnh và tối ưu hóa cho các loại mô hình tạo sinh khác ngoài Diffusion Transformers, chẳng hạn như VAE hoặc GAN, cho việc tạo video hoặc thậm chí tạo tài sản 3D, phân tích các thách thức và lợi ích riêng trong từng lĩnh vực.
- Ngưỡng cắt tỉa thích ứng và phát hiện chuyển động nâng cao: Phát triển các ngưỡng động hoặc thích ứng (τ) cho việc cắt tỉa giữa các khung hình tiềm ẩn, có thể dựa trên độ phức tạp của nội dung, chất lượng mong muốn hoặc ngân sách tính toán thời gian thực. Điều này có thể bao gồm việc sử dụng học máy để dự đoán các chiến lược cắt tỉa tối ưu, tích hợp các kỹ thuật ước tính chuyển động tiên tiến hơn hoặc thậm chí là hiểu biết ngữ nghĩa để hướng dẫn cắt tỉa, thay vì các ngưỡng cố định.
- Chỉnh sửa video tương tác thời gian thực với LIPAR trên thiết bị biên: Khám phá việc tích hợp LIPAR vào các công cụ chỉnh sửa video tương tác, tập trung vào việc đạt được độ trễ cực thấp (ví dụ: 30+ khung hình/giây trên phần cứng tiêu dùng). Nghiên cứu này có thể bao gồm việc tối ưu hóa khung cho các thiết bị biên, khám phá các kỹ thuật tăng tốc phần cứng mới lạ và nghiên cứu người dùng về chất lượng cảm nhận và khả năng phản hồi trong các quy trình làm việc sáng tạo thời gian thực.

2. Patent:

- Hệ thống tăng tốc chỉnh sửa video trên điện thoại di động: Một công nghệ cho phép điện thoại di động chỉnh sửa hoặc tạo video nhanh hơn bằng cách chỉ xử lý những phần hình ảnh thay đổi giữa các khung hình. Thay vì tính toán lại toàn bộ hình ảnh, hệ thống sẽ nhận diện và tái sử dụng các phần không đổi từ khung hình trước, đồng thời có cơ chế phục hồi thông minh để đảm bảo chất lượng hình ảnh không bị giảm sút. Điều này giúp tiết kiệm pin và tăng tốc độ xử lý video đáng kể trên thiết bị di động, mang lại trải nghiệm chỉnh sửa mượt mà hơn.
- Công nghệ nén video thông minh cho camera điện thoại: Một phương pháp nén video được tích hợp vào ứng dụng camera của điện thoại, giúp giảm kích thước tệp video ghi được mà không làm giảm chất lượng rõ rệt. Công nghệ này hoạt động bằng cách xác định và loại bỏ thông tin dư thừa trong không gian biểu diễn ẩn của video, đặc biệt là các phần tĩnh hoặc ít thay đổi. Khi xem lại hoặc chia sẻ, video được giải nén nhanh chóng và hiển thị đầy đủ, giúp người dùng lưu trữ nhiều video hơn và tải lên nhanh hơn trên thiết bị di động.
- Giao diện người dùng tạo hiệu ứng video thời gian thực: Một ứng dụng trên điện thoại cho phép người dùng áp dụng các hiệu ứng hoặc bộ lọc video phức tạp một cách mượt mà và tức thì. Công nghệ này sử dụng cơ chế phát hiện và bỏ qua các phần không cần xử lý lại của video, chỉ tập trung vào các vùng có tương tác hoặc thay đổi hiệu ứng. Điều này cho phép điện thoại xử lý các hiệu ứng nặng mà vẫn duy trì tốc độ khung hình cao, mang lại trải nghiệm chỉnh sửa và sáng tạo video chuyên nghiệp ngay trên thiết bị cầm tay, giảm thiểu độ trễ và tăng cường khả năng sáng tạo của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.05811
ArXiv Abstract	https://arxiv.org/abs/2603.05811
PDF Download	https://arxiv.org/pdf/2603.05811.pdf
Github Repository	https://github.com/DennisMenn/lipar

19. Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness (11 votes)

Tác giả: Yehonatan Elisha, Oren Barkan, Noam Koenigstein

Xuất bản lúc: 2026-03-09

Tag: ViTs, Robustness, Explainable AI, Fine-tuning, OOD, LLMs, VLMs, Saliency Maps, Concept Learning

I. Main Problem:

Các Vision Transformer (ViTs) thường suy giảm hiệu suất dưới các thay đổi phân phối dữ liệu (distribution shifts) vì chúng dựa vào các mối tương quan giả tạo (spurious correlations) như các tín hiệu nền (background cues) thay vì các đặc trưng có ý nghĩa ngữ nghĩa. Các phương pháp điều chuẩn hiện có thường chỉ dựa vào mặt nạ tiền cảnh-hậu cảnh đơn giản, không thể nắm bắt các khái niệm ngữ nghĩa chi tiết (ví dụ: “mỏ dài” và “cánh” cho “chim”). Điều này dẫn đến khả năng chống chịu hạn chế đối với các thay đổi phân phối. Ngoài ra, các phương pháp hiện tại đòi hỏi việc đào tạo lại tốn kém hoặc mặt nạ phân đoạn được chú thích thủ công, gây khó khăn cho khả năng mở rộng và ứng dụng thực tế, đặc biệt đối với các mô hình lớn đã được huấn luyện trước. Hơn nữa, việc tách tiền cảnh-hậu cảnh nhị phân thường quá thô sơ, bỏ qua cấu trúc ngữ nghĩa bên trong của đối tượng.

II. Main Idea:

Giới thiệu Concept-Guided Fine-Tuning (CFT), một khuôn khổ tinh chỉnh mới nhằm định hướng lý luận của mô hình ViT theo ngữ nghĩa cấp độ khái niệm. Phương pháp này tối ưu hóa bản đồ liên quan nội bộ của mô hình để phù hợp với các mặt nạ khái niệm được định vị không gian. Các mặt nạ này được tạo tự động mà không cần chú thích thủ công:

Các khái niệm ngữ nghĩa liên quan đến lớp được đề xuất bằng phương pháp không nhãn dựa trên LLM.
Mô hình ngôn ngữ-thị giác (VLM) như Grounded-SAM phân đoạn các khái niệm này trong mỗi ảnh huấn luyện, tạo ra mặt nạ hướng dẫn thích ứng.
Mô hình được tối ưu hóa bằng cách căn chỉnh bản đồ liên quan của nó (tính toán bằng AttnLRP) với mặt nạ dựa trên khái niệm, khuyến khích sự tập trung cao vào các vùng khái niệm đồng thời loại bỏ sự tập trung vào các vùng nền giả tạo. Quá trình tinh chỉnh này chỉ yêu cầu một tập hợp ảnh tối thiểu (ví dụ: 3 ảnh cho mỗi lớp trên một nửa số lớp của ImageNet-1K) và một mục tiêu nhất quán phân loại để duy trì độ chính xác.

III. Main Results:

CFT cải thiện đáng kể khả năng chống chịu (robustness) trên năm bộ dữ liệu OOD (Out-of-Distribution) và các mô hình dựa trên ViT khác nhau, đồng thời duy trì hoặc thậm chí cải thiện độ chính xác trên dữ liệu in-distribution.
Các bản đồ liên quan (relevance maps) được tạo ra sau khi tinh chỉnh CFT cho thấy sự căn chỉnh mạnh mẽ hơn đáng kể với các phần ngữ nghĩa của đối tượng so với mặt nạ đối tượng tiêu chuẩn.
Lợi ích về khả năng chống chịu của CFT được tổng quát hóa cho các lớp không được nhìn thấy trong quá trình tinh chỉnh, cho thấy mô hình học được cách lý luận mạnh mẽ hơn thay vì chỉ ghi nhớ các tín hiệu cụ thể của lớp.
CFT đặc biệt hiệu quả trên các bộ dữ liệu thực tế có tín hiệu nền gây nhiễu (ví dụ: ImageNet-A, ObjectNet) và trên các bộ dữ liệu tổng hợp với biến đổi hình học (SI-Score), cải thiện khả năng bất biến với các biến đổi này.
Nghiên cứu cắt bỏ (ablation study) xác nhận rằng các mặt nạ được hướng dẫn theo khái niệm (concept-guided masks) cung cấp tín hiệu giám sát hiệu quả hơn cho khả năng chống chịu của mô hình so với các mặt nạ phân đoạn tiền cảnh-hậu cảnh thông thường.
Phương pháp AttnLRP vượt trội so với các phương pháp liên quan khác trong việc tạo ra bản đồ liên quan cho CFT.

IV. Conclusion & Future Works:

CFT là một khuôn khổ tự động hoàn toàn nhằm giải quyết vấn đề các mô hình thị giác hiện đại dựa vào các mối tương quan giả tạo. Bằng cách định hướng lý luận nội bộ của mô hình khỏi các tín hiệu sai lệch và hướng tới các khái niệm có ý nghĩa ngữ nghĩa, CFT cải thiện đáng kể khả năng chống chịu OOD. Những cải thiện về khả năng chống chịu này có thể tổng quát hóa cho các lớp không được quan sát trong quá trình tinh chỉnh, cho thấy CFT thúc đẩy một quá trình lý luận mạnh mẽ hơn. Các nghiên cứu cắt bỏ cũng khẳng định rằng các khái niệm ngữ nghĩa chi tiết cung cấp tín hiệu giám sát mạnh mẽ hơn đáng kể so với mặt nạ phân đoạn tiền cảnh-hậu cảnh thông thường. Nhìn chung, CFT mở ra một con đường có thể mở rộng và dễ giải thích hướng tới các mô hình thị giác đáng tin cậy hơn. Các hạn chế và công việc trong tương lai sẽ được thảo luận thêm trong phần Phụ lục.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp tạo và xác thực khái niệm động: Mở rộng CFT bằng cách phát triển các cơ chế tự động lựa chọn, điều chỉnh hoặc gán trọng số cho các khái niệm ngữ nghĩa dựa trên ngữ cảnh hình ảnh hoặc sự không chắc chắn của mô hình, thay vì sử dụng tập hợp khái niệm cố định. Điều này có thể dẫn đến khả năng chống chịu linh hoạt và hiệu quả hơn trong các tình huống phức tạp.
Ứng dụng CFT cho các tác vụ và kiến trúc mô hình khác: Khám phá việc áp dụng khung CFT cho các kiến trúc mô hình thị giác khác ngoài ViT (ví dụ: mô hình đa phương thức, mô hình tạo sinh) hoặc các tác vụ như phát hiện đối tượng, phân đoạn ngữ nghĩa, hoặc hiểu video, nơi các mối tương quan giả tạo cũng có thể gây ra vấn đề.
Tích hợp CFT với các phương pháp học tăng cường hoặc học liên tục: Điều tra cách kết hợp CFT với các kỹ thuật học tăng cường (reinforcement learning) để mô hình tự học cách tập trung vào các khái niệm quan trọng, hoặc với học liên tục (continual learning) để duy trì khả năng chống chịu khi đối mặt với dữ liệu mới theo thời gian mà không làm mất đi kiến thức trước đó.

2. Patent:

Hệ thống nhận diện đối tượng camera điện thoại thông minh tăng cường độ tin cậy: Một ứng dụng camera trên điện thoại di động có khả năng nhận diện đối tượng chính xác hơn trong nhiều điều kiện khác nhau (ánh sáng yếu, góc chụp lạ, nền phức tạp). Thay vì bị đánh lừa bởi các yếu tố nền không liên quan, hệ thống sẽ tập trung vào các đặc điểm cốt lõi của đối tượng như "màu sắc đặc trưng," "hình dạng độc đáo" hoặc "các bộ phận chính," giúp người dùng có được thông tin chính xác về vật thể đang được chụp.
Tìm kiếm hình ảnh sản phẩm mạnh mẽ cho ứng dụng mua sắm: Một tính năng trong ứng dụng mua sắm trực tuyến cho phép người dùng chụp ảnh sản phẩm và tìm kiếm các mặt hàng tương tự. Công nghệ này sẽ phân tích các "khái niệm" chi tiết về sản phẩm (ví dụ: "kiểu cổ áo" của một chiếc áo sơ mi, "kiểu dáng đế giày" của một đôi giày) thay vì chỉ nhận diện tổng thể, giúp kết quả tìm kiếm chính xác hơn ngay cả khi sản phẩm được chụp trong môi trường không chuẩn hoặc có nhiều chi tiết gây nhiễu.
Lớp phủ thực tế tăng cường (AR) thông minh và chính xác trên thiết bị di động: Một ứng dụng AR cho phép đặt các lớp phủ hoặc thông tin lên thế giới thực. Công nghệ sẽ sử dụng "nhận diện đặc điểm ngữ nghĩa" để xác định chính xác các thành phần của đối tượng (ví dụ: "hình dạng lá" của cây, "loại kiến trúc" của tòa nhà) và áp dụng các hiệu ứng hoặc thông tin AR phù hợp, ngay cả khi đối tượng bị che khuất một phần hoặc nằm trong môi trường có nhiều vật cản, mang lại trải nghiệm AR chân thực và hữu ích hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08309
ArXiv Abstract	https://arxiv.org/abs/2603.08309
PDF Download	https://arxiv.org/pdf/2603.08309.pdf
Github Repository	https://github.com/yonisGit/cft

20. From Narrow to Panoramic Vision: Attention-Guided Cold-Start Reshapes Multimodal Reasoning (10 votes)

Tác giả: Ruilin Luo, Chufan Shi, Yizhen Zhang, Cheng Yang, Songtao Jiang, Tongkun Guan, Ruizhe Chen, Ruihang Chu, Peng Wang, Mingkun Yang, Yujiu Yang, Junyang Lin, Zhibo Yang

Xuất bản lúc: 2026-03-04

Tag: MLRMs, Attention Mechanism, Cold-Start, Multimodal Reasoning, Reinforcement Learning, Visual Grounding, Data Synthesis

I. Main Problem:

Giai đoạn khởi tạo "cold-start" trong việc huấn luyện Mô hình Suy luận Đa phương thức Lớn (MLRMs) đóng vai trò then chốt nhưng chưa được hiểu rõ. Một hiện tượng nghịch lý đã được quan sát là: khởi tạo "cold-start" chỉ bằng dữ liệu văn bản mang lại cải thiện đáng kể cho MLRMs, trong khi khởi tạo "cold-start" đa phương thức chỉ mang lại lợi ích nhỏ. Điều này cho thấy MLRMs không tận dụng hiệu quả tín hiệu đa phương thức trong giai đoạn "cold-start", dẫn đến hiệu suất suy luận đa phương thức kém và thiếu một lời giải thích định lượng rõ ràng cho hiện tượng này.

II. Main Idea:

Nghiên cứu này giới thiệu Visual Attention Score (VAS), một chỉ số dựa trên cơ chế chú ý để định lượng mức độ tập trung của mô hình vào các token hình ảnh. Phân tích cho thấy hiệu suất suy luận tương quan mạnh mẽ với VAS (r=0.9616). Đồng thời, nghiên cứu phát hiện ra hiện tượng "Lazy Attention Localization": khởi tạo "cold-start" đa phương thức không làm tăng VAS, trong khi khởi tạo "cold-start" chỉ bằng văn bản lại làm tăng rõ rệt VAS. Từ đó, nghiên cứu đề xuất Attention-Guided Visual Anchoring and Reflection (AVAR), một khung khởi tạo "cold-start" toàn diện để định hình lại sự phân bổ chú ý, bao gồm ba thành phần bổ trợ:

Tổng hợp dữ liệu phản hồi neo-trực quan (Visual-Anchored Reflection Data Synthesis): Tạo dữ liệu huấn luyện nhúng các "neo" trực quan trực tiếp vào quá trình suy luận thông qua ba giai đoạn: tạo mô tả hình ảnh độ trung thực cao, tạo suy luận tăng cường phản hồi, và tích hợp "neo" trực quan rõ ràng.
Mục tiêu huấn luyện hướng chú ý (Attention-Guided Training Objectives): Sử dụng các hàm mất mát dựa trên cơ chế chú ý để tăng cường sự chú ý đến các token hình ảnh và giảm sự phụ thuộc vào các token hệ thống.
Định hình phần thưởng neo-trực quan (Visual-Anchored Reward Shaping): Trong giai đoạn học tăng cường (RL), giới thiệu một phần thưởng khuyến khích duy trì sự chú ý mạnh mẽ đến hình ảnh, bên cạnh phần thưởng cho độ chính xác của câu trả lời.

III. Main Results:

Tương quan mạnh mẽ giữa VAS và hiệu suất suy luận: Hiệu suất suy luận đa phương thức tương quan mạnh mẽ với Visual Attention Score (VAS) với hệ số Pearson r = 0.9616. Các mô hình có VAS cao hơn đạt được suy luận đa phương thức mạnh hơn đáng kể.
Can thiệp không cần huấn luyện: Các thí nghiệm can thiệp trực tiếp vào phân bổ chú ý tại thời điểm suy luận (mà không cần huấn luyện lại) đã mang lại cải thiện hiệu suất nhất quán từ 1-2% trên các mô hình khác nhau, cung cấp bằng chứng nhân quả về vai trò của phân bổ chú ý.
Hiệu quả của khung AVAR: Áp dụng AVAR lên Qwen2.5-VL-7B đạt được mức tăng trung bình 7.0% trên 7 bộ điểm chuẩn suy luận đa phương thức. Cải thiện mạnh nhất trên MathVision (+12.2%) cho suy luận hình học đa bước và HallusionBench (+8.8%) cho khả năng chống ảo giác hình ảnh.
Nghiên cứu cắt bỏ (Ablation studies): Mỗi thành phần của AVAR đều đóng góp từng bước vào hiệu suất tổng thể: tổng hợp dữ liệu neo-trực quan (VARD) đơn lẻ mang lại +1.7% trung bình, kết hợp với các mục tiêu huấn luyện hướng chú ý (AGTO) tăng thêm +1.6% tích lũy, và khi thêm định hình phần thưởng neo-trực quan (VARS) trong RL, hiệu suất tăng +6.8% tích lũy.
Sự tiến hóa của VAS: VAS tăng dần qua các giai đoạn huấn luyện AVAR, từ 7.5 (mô hình cơ sở Qwen2.5-VL-7B) lên 18.9 (mô hình AVAR-Thinker đầy đủ), cho thấy sự tăng cường liên tục về khả năng neo-trực quan.

IV. Conclusion & Future Works:

Nghiên cứu này đã điều tra vai trò quan trọng của giai đoạn khởi tạo "cold-start" trong huấn luyện MLRMs. Bằng cách giới thiệu Visual Attention Score (VAS) và khám phá hiện tượng "Lazy Attention Localization", nghiên cứu đã làm sáng tỏ lý do tại sao "cold-start" đa phương thức kém hiệu quả hơn "cold-start" chỉ bằng văn bản. Khung AVAR được đề xuất, tích hợp tổng hợp dữ liệu neo-trực quan, mục tiêu huấn luyện hướng chú ý và định hình phần thưởng neo-trực quan, đã chứng minh khả năng định hình lại hiệu quả sự phân bổ chú ý và tăng cường đáng kể khả năng suy luận đa phương thức của mô hình. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá sâu hơn các cơ chế của "Lazy Attention Localization" trong các kiến trúc và miền dữ liệu khác nhau, cũng như phát triển các phương pháp tổng hợp dữ liệu và điều chỉnh chú ý hiệu quả hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về hiện tượng "Lazy Attention Localization" trong các kiến trúc và miền dữ liệu đa phương thức khác: Khám phá nguyên nhân sâu xa của hiện tượng này không chỉ trong các mô hình dựa trên Transformer mà còn trong các kiến trúc mới nổi (ví dụ: mô hình trạng thái không gian), đồng thời phân tích cách các loại dữ liệu đa phương thức khác (ví dụ: video, âm thanh) ảnh hưởng đến sự phân bổ chú ý trong giai đoạn "cold-start".
Phát triển các phương pháp tổng hợp dữ liệu đa phương thức tự động và hiệu quả hơn cho "cold-start": Thay vì sử dụng các mô hình lớn khác để tổng hợp dữ liệu, nghiên cứu các kỹ thuật tự động tạo ra dữ liệu "neo-trực quan" chất lượng cao với chi phí thấp hơn, có thể thích ứng với các miền tác vụ khác nhau mà không cần tinh chỉnh thủ công, giảm sự phụ thuộc vào các mô hình "giáo viên" đắt tiền.
Khám phá các cơ chế điều chỉnh chú ý "training-free" động và thích ứng trong thời gian chạy: Phát triển các chiến lược điều chỉnh sự phân bổ chú ý theo ngữ cảnh hoặc theo từng bước suy luận, cho phép mô hình tự động xác định và tối ưu hóa mức độ chú ý đến các token hình ảnh và hệ thống mà không cần huấn luyện lại, tối ưu hóa cho các tác vụ suy luận phức tạp và kéo dài.

2. Patent:

Hệ thống điều chỉnh chú ý hình ảnh thông minh trên điện thoại di động: Một ứng dụng điện thoại thông minh tích hợp công nghệ tương tự như điều chỉnh chú ý không cần huấn luyện để tăng cường khả năng hiểu hình ảnh của trợ lý ảo. Khi người dùng chụp ảnh và đặt một câu hỏi phức tạp liên quan đến hình ảnh (ví dụ: "Giải thích cách mạch điện này hoạt động"), hệ thống sẽ tự động điều chỉnh sự tập trung của AI vào các chi tiết hình ảnh quan trọng và giảm bớt sự chú ý vào các thông tin văn bản không cần thiết trong câu hỏi, giúp đưa ra câu trả lời chính xác và nhanh chóng hơn, đặc biệt hữu ích cho việc học tập hoặc giải quyết vấn đề thực tế.
Công cụ tạo mô tả hình ảnh và suy luận có hướng dẫn cho người dùng di động: Phát triển một tính năng trong ứng dụng camera hoặc ghi chú trên điện thoại cho phép người dùng chụp ảnh và sau đó yêu cầu AI tạo ra một mô tả hình ảnh chi tiết kèm theo các bước suy luận liên quan đến hình ảnh đó. Ví dụ, người dùng chụp ảnh một biểu đồ toán học và AI không chỉ mô tả các thành phần mà còn gợi ý các bước giải, tích hợp các "lời nhắc" trực quan như "hãy nhìn lại biểu đồ để xác nhận" trong quá trình suy luận, hỗ trợ người dùng trong việc học tập hoặc phân tích dữ liệu trực quan.
Chế độ "chú ý tập trung" cho các ứng dụng xem ảnh và tài liệu trên di động: Một tính năng trong các ứng dụng xem ảnh hoặc đọc tài liệu (ví dụ: PDF chứa hình ảnh và biểu đồ) trên điện thoại, cho phép người dùng kích hoạt "chế độ chú ý tập trung". Khi được kích hoạt, AI sẽ phân tích nội dung hình ảnh và văn bản, sau đó tự động làm nổi bật các phần quan trọng của hình ảnh khi người dùng đọc các đoạn văn bản liên quan, hoặc làm mờ các thông tin không liên quan để tăng cường sự tập trung của người dùng vào các chi tiết hình ảnh quan trọng cho việc hiểu văn bản, đặc biệt hữu ích cho việc đọc các tài liệu kỹ thuật, khoa học hoặc sách giáo khoa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.03825
ArXiv Abstract	https://arxiv.org/abs/2603.03825
PDF Download	https://arxiv.org/pdf/2603.03825.pdf
Github Repository	https://github.com/lrlbbzl/Qwen-AVAR

📰 Summary of Papers​

1. Lost in Stories: Consistency Bugs in Long Story Generation by LLMs (83 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence (79 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory (54 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. How Far Can Unsupervised RLVR Scale LLM Training? (49 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Believe Your Model: Distribution-Guided Confidence Calibration (38 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. CARE-Edit: Condition-Aware Routing of Experts for Contextual Image Editing (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation (33 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising (29 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. $OneMillion-Bench: How Far are Language Agents from Human Experts? (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Lost in Stories: Consistency Bugs in Long Story Generation by LLMs (83 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence (79 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory (54 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. How Far Can Unsupervised RLVR Scale LLM Training? (49 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Believe Your Model: Distribution-Guided Confidence Calibration (38 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. CARE-Edit: Condition-Aware Routing of Experts for Contextual Image Editing (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation (33 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising (29 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. $OneMillion-Bench: How Far are Language Agents from Human Experts? (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: