Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-27

Báo cáo được tạo tự động vào lúc 2026-07-28 10:21:18 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. DataPrep-Bench: Benchmarking LLMs as Training Data Preparators (43 votes)​

Tác giả: Hao Liang, Qifeng Cai, Yibo Lin, Jianzhuo Du, Qifeng Xia, et al.

Xuất bản lúc: 2026-05-19

Tag: LLM Training Data, Data Construction, Data Quality Evaluation, Benchmark, Supervised Fine-Tuning, Maximum Mean Discrepancy, Agentic Data Preparation

I. Main Problem:​

Chất lượng dữ liệu huấn luyện quyết định năng lực LLM, nhưng thiếu một benchmark thống nhất để đo lường LLM, agent và workflow chuẩn bị dữ liệu huấn luyện từ đầu đến cuối. Các nghiên cứu hiện tại dùng nguồn dữ liệu, mô hình nền và benchmark hạ nguồn khác nhau, nên khó so sánh công bằng giữa các phương pháp xây dựng dữ liệu và đánh giá chất lượng dữ liệu.

II. Main Idea:​

DataPrep-Bench là benchmark thống nhất, đo hai năng lực bổ sung của LLM trong chuẩn bị dữ liệu huấn luyện dựa trên hiệu suất hạ nguồn thực tế:

  • Data Construction Track: từ nguồn tài liệu thô (sách, tài liệu kỹ thuật), phương pháp tạo ra tập SFT; sau đó fine-tune mô hình nền chung trên tập đó kết hợp Dolly-15k và đánh giá trên benchmark từng miền. Baseline Data-Construction-Skill là agent có lớp "skill" tái sử dụng (schema đầu ra, quy tắc lọc, ràng buộc độ phủ, công cụ kiểm tra) thay vì gói gọn mọi thứ trong một prompt.
  • Data Quality Evaluation Track: từ hồ các tập ứng viên, hàm chấm điểm cần dự đoán trước chất lượng huấn luyện; độ tin cậy đo bằng tương quan Pearson với hiệu suất hạ nguồn thực nghiệm. Baseline Distributional Alignment Score (DAS) đo Maximum Mean Discrepancy (MMD) giữa phân phối của tập ứng viên và proxy miền.

Ví dụ đời thường: giống như một đầu bếp không chỉ nấu thử nhiều món (xây dựng dữ liệu) mà còn phải nếm nguyên liệu trước khi nấu (đánh giá chất lượng) để biết món nào thực sự ngon, bằng cách so sánh nguyên liệu với "mẫu vàng" của món ăn đó.

III. Main Results:​

  • Thêm dữ liệu tổng hợp miền lên Dolly-15k thường làm giảm hiệu suất hạ nguồi, cho thấy các phương pháp xây dựng dữ liệu hiện tại còn yếu.
  • Không có một họ phương pháp xây dựng dữ liệu nào thống trị mọi miền: DataFlow-Skill tốt nhất trên Finance và Law; agent-based tốt nhất trên Math và Medical; Data-Construction-Skill tăng gần 20 điểm tuyệt đối trên Llama-3.1-8B Finance và cạnh tranh với các phương pháp mạnh nhất trong miền cần trích xuất kiến thức dày đặc.
  • DAS là metric đáng tin cậy nhất trong đánh giá chất lượng dữ liệu: đạt tương quan mạnh nhất trung bình miền ở 4/6 miền, và là metric duy nhất vượt ngưỡng r > 0.70 đồng thời trên Math, Science và Medical, vượt các phương pháp dựa trên chất lượng từng mẫu, đa dạng và heuristic.

IV. Conclusion & Future Works:​

DataPrep-Bench cung cấp khung đo lường thống nhất, neo vào hiệu suất hạ nguồn, cho cả hai năng lực của LLM trong chuẩn bị dữ liệu huấn luyện. Các phương pháp xây dựng dữ liệu hiện tại vẫn chưa đủ tốt; DAS cho thấy tiềm năng của đánh giá cấp phân phối. Hướng tương lai: mở rộng hồ ứng viên cho các miền chuyên sâu (Finance, Law, Medical), phát triển phương pháp xây dựng dữ liệu tốt hơn trên Science và Law, và tích hợp đánh giá chất lượng vào vòng lặp xây dựng dữ liệu agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp Data-Construction-Skill với DAS trong một vòng lặp agent tự cải thiện: agent tổng hợp dữ liệu, DAS đánh giá nhanh, agent tinh chỉnh lại để tối đa hóa hàm mục tiêu hạ nguồn mà không cần huấn luyện lại nhiều lần.
  2. Mở rộng DataPrep-Bench sang dữ liệu đa ngôn ngữ và dữ liệu pre-training, đo khả năng chuẩn bị dữ liệu không chỉ cho SFT mà còn cho continual pre-training và alignment.
  3. Phát triển lý thuyết về khoảng cách phân phối (MMD và các biến thể) làm proxy cho chất lượng dữ liệu huấn luyện LLM, bao gồm điều kiện để tương quan cao và cách chọn proxy miền tối ưu.

2. Patent:​

  1. Hệ thống tự động tạo dữ liệu huấn luyện cho chatbot chuyên ngành từ tài liệu PDF: ứng dụng di động upload tài liệu, agent trích xuất và sinh câu hỏi-trả lời, module DAS đánh giá độ phù hợp với miền trước khi đưa vào fine-tune mô hình trên điện thoại hoặc đám mây.
  2. Nền tảng đánh giá chất lượng dataset trước khi mua/huấn luyện: doanh nghiệp upload candidate dataset, hệ thống tính DAS so với proxy miền và dự đoán điểm hạ nguồi, giúp chọn dữ liệu đáng đầu tư GPU mà không cần chạy SFT thử nghiệm.
  3. Plugin cho dịch vụ đám mây AI (như AWS SageMaker, Google Vertex AI) tự động lọc và nâng cao chất lượng corpus SFT: tích hợp Data-Construction-Skill để chuyển sách kỹ thuật thành dữ liệu QA và DAS để loại bỏ các tập dữ liệu làm giảm hiệu suất model trước khi huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20465
ArXiv Abstracthttps://arxiv.org/abs/2607.20465
PDF Downloadhttps://arxiv.org/pdf/2607.20465.pdf
Github Repositoryhttps://github.com/OpenDCAI/Data-Preparation-Bench

2. Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills (30 votes)​

Tác giả: Siyuan Huang, Pengyu Cheng, Haotian Liu, Tao Chen, Yihao Liu, et al.

Xuất bản lúc: 2026-07-24

Tag: LLM Self-Evolution, Self-Play, Reinforcement Learning, Skill Learning, Agent Training, Curriculum Learning, Tool Calling, Logical Reasoning

I. Main Problem:​

Các phương pháp tự tiến hóa (self-evolution) của LLM đang mắc kẹt giữa hai cực:

  • Environment-bound self-play: phản hồi chính xác nhưng giới hạn trong miền tác vụ hẹp (code executor, game simulator, retrieval engine).
  • Unguided generation: bao phủ rộng nhưng chỉ dựa vào lọc hậu kiểm (post-hoc filtering) bị động, tạo ra nhiễu, lỗi cấu trúc, và khiến dữ liệu tổng hợp bị sụp đổ (synthetic data collapse) qua các vòng lặp.

Hệ quả: thiếu một cơ chế tự chủ để vừa sinh tác vụ đa dạng, vừa xác minh đáng tin cậy trong cùng một vòng lặp huấn luyện.

II. Main Idea:​

Skill Self-Play (Skill-SP) dùng thư viện kỹ năng (skill library) đồng tiến hóa như một lớp trung gian giữa tạo sinh tự do và kiểm chứng môi trường. Ba thành phần cốt lõi:

  • Proposer: sinh tác vụ có điều kiện theo skill được lấy mẫu động.
  • Solver: học giải các tác vụ đó và nhận reward từ verifier.
  • Skill Controller: cập nhật, tinh chỉnh, loại bỏ và sinh mới các skill từ phản hồi thực thi.

Thư viện skill mỗi skill là một gói gồm rules, examples, validators, curriculum metadata, vừa cung cấp cấu trúc trước khi sinh (skill stream), vừa là công cụ kiểm chứng thực thi sau phản hồi. Luồng kép (skill stream + exploration stream) giữ cân bằng giữa kiểm soát chất lượng và đa dạng khám phá.

Ví dụ đời thường: giống như một huấn luyện viên thể thao vừa có bài tập chuẩn hóa (skill) để kiểm soát kỹ thuật, vừa liên tục điều chỉnh độ khó và bổ sung bài mới dựa trên khả năng thực tế của học viên, thay vì để học viên tự nghĩ bài rồi tự chấm điểm.

III. Main Results:​

  • Tool calling (API-Bank + BFCL): Skill-SP cải thiện mọi backbone (Qwen3-4B/8B, Ministral-3-8B/14B, Granite-4.1-3B). Điển hình là Ministral-3-8B tăng +42.9 điểm tuyệt đối, Qwen3-4B tăng +6.5; trong khi Unguided SP thường chững lại hoặc giảm điểm ở một số mục.
  • Logical reasoning (ZebraLogic): Skill-SP cũng cải thiện đều; Ministral-3-14B tăng +12.0 điểm tổng thể và +35.3 ở mức Small; Qwen3-8B tăng +8.8 tổng thể.
  • Ablations: bỏ skill orchestration (-2.6), chỉ dùng skill stream (-1.2 đến -4.1), đóng băng proposer (-2.1), đóng băng feedback solver (-3.0), đóng băng cả hai (-3.2) đều khiến hiệu suất giảm, chứng minh cần đồng tiến hóa cả proposer, solver và thư viện skill.
  • Diagnostics: skill stream giữ tỷ lệ thành công solver gần 0.57 (mức độ khó tối ưu), trong khi Unguided SP bị trôi về 0.70–0.75; thư viện mở rộng liên tục ~20 skill mới mỗi vòng, 86 skill active và 46 skill effective sau 5 vòng.

IV. Conclusion & Future Works:​

Skill-SP cho thấy skill là scaffold huấn luyện mạnh mẽ để giải quyết mâu thuẫn giữa đa dạng và xác minh, mở đường tự tiến hóa bền vững cho LLM. Hướng tương lai:

  • Mở rộng Skill-SP sang các miền agent phức tạp hơn (web navigation, embodied AI, multi-turn dialogue).
  • Kết hợp khám phá mở với kiến thức bên ngoài (retrieval) để cảm hứng sinh skill mới thay vì chỉ dựa trên exploration stream nội bộ.
  • Điều tra cơ chế cân bằng giữa khai thác (exploitation) kỹ năng hiệu quả và khám phá (exploration) để tránh mode collapse ở quy mô lớn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Skill-SP cho multi-agent self-play, trong đó nhiều agent chia sẻ hoặc cạnh tranh các skill chuyên biệt trong các miền khác nhau để đẩy nhanh quá trình đồng tiến hóa.
  2. Kết hợp skill induction với external knowledge retrieval (web, API docs, code repositories) để tự động tạo skill chính xác cho các công cụ và domain mới mà không cần verifier được xây sẵn.
  3. Áp dụng framework đồng tiến hóa skill cho embodied AI / robot, trong đó mỗi skill là một chính sách cảm biến-hành động có thể kiểm chứng và mở rộng theo tương tác vật lý.

2. Patent:​

  1. Trợ lý ảo trên điện thoại tự huấn luyện kỹ năng gọi API: thiết bị sinh các tình huống dùng công cụ (lịch, bản đồ, email) với validator tự động, rồi điều chỉnh độ khó và thêm kỹ năng mới dựa trên tỷ lệ thành công của người dùng.

  2. Ứng dụng lập trình trên di động cá nhân hóa: tự động tạo bài tập code theo kỹ năng đang học, chạy unit test làm verifier, và đồng tiến hóa thư viện bài tập + gợi ý để giữ học viên luôn ở vùng học tập vừa sức.

  3. Game logic puzzle trên điện thoại với Zebra-style grid: hệ thống tự sinh câu đố logic đa dạng, kiểm chứng duy nhất nghiệm đúng, và điều chỉnh kích thước/search space để phù hợp trình độ người chơi, đồng thời liên tục thêm dạng câu đố mới từ luồng khám phá.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.22529
ArXiv Abstracthttps://arxiv.org/abs/2607.22529
PDF Downloadhttps://arxiv.org/pdf/2607.22529.pdf
Github Repositoryhttps://github.com/Qwen-Applications/skill-self-play

3. Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning (24 votes)​

Tác giả: Jian Hu, Huiying Li, Hao Zhang, Binfeng Xu, Yifan Zhang, et al.

Xuất bản lúc: 2026-07-22

Tag: Agentic Reinforcement Learning, PyTorch, FSDP2, vLLM, Mixture-of-Experts, Ray, Distributed Training, Multimodal RL, Token-Exact Training

I. Main Problem:​

Nghiên cứu agentic RL đòi hỏi thay đổi liên tục về thuật toán, estimator, rollout và reward. Các framework hiện tại được xây cho hyperscale production, nên mỗi thay đổi phải đi xuyên qua nhiều lớp: trainer, distributed backend, rollout-engine glue, registry và config. Điều này làm codebase quá lớn để một nhà nghiên cứu đọc hoặc sửa nhanh, đồng thời tạo ra các lỗi thầm lặng — sai khác tokenization, sampling transform, render đa phương thức, phiên bản trọng số, hoặc routing MoE giữa generation và training — mà triệu chứng chỉ là gradient bị chệch. Các harness agent có sẵn lại sở hữu context/tool/control flow riêng, trong khi trainer thường yêu cầu môi trường framework-specific, kéo giãn khoảng cách từ ý tưởng đến thí nghiệm đáng tin.

II. Main Idea:​

Molt là framework PyTorch-native gọn nhẹ, xây bằng cách kết hợp Ray, vLLM và NeMo AutoModel quanh một vòng lặp bất đồng bộ duy nhất. Ưu tiên hàng đầu là readability cho người và khả năng điều hướng cho AI coding assistant; codebase nhỏ đến mức có thể đọc toàn bộ. Hệ thống được tổ chức quanh bốn khái niệm ánh xạ trực tiếp sang thuật toán RL:

  • Agent: Python thuần túy, có thể là môi trường do framework điều khiển hoặc agent có sẵn dùng SDK OpenAI/Anthropic.
  • Generator: capture token-exact từ engine, không retokenize.
  • Trainer: một vòng lặp training duy nhất trên policy actor FSDP2.
  • Estimators/Losses: hàm thuần của reward và group, chọn bằng flag.

Ba bất biến đảm bảo độ chính xác:

  • Token identity: chỉ train trên đúng token id do engine sinh ra.
  • Policy-version semantics: giữ log-probability của policy đã sinh token và hiệu chỉnh khi có skew phiên bản do async.
  • Forward consistency: rollout và actor thống nhất về semantics mô hình, kể cả multimodal và MoE routing, nhờ rollout routing replay.

Agent dạng SDK chạy nguyên bản qua một loopback chat server ghi lại token-in/token-out; context compaction tự động phân đoạn trajectory. Quy mô chỉ là config: cùng một vòng lặp train từ mô hình dense 4B lên MoE 700B.

Ví dụ đời thường: giống như một nhà hàng vừa phục vụ khách vừa nấu: khi thay menu mới, bếp chỉ dừng tiếp khách một chút, đổi nguyên liệu rồi chạy tiếp; mỗi món đều ghi rõ dùng công thức cũ hay mới, và giá chỉ tính đúng theo công thức đã nấu — không để lẫn nguyên liệu cũ/mới trong cùng một phần ăn.

III. Main Results:​

  • Codebase nhỏ: toàn bộ RL path ~8.6K dòng Python, so với ~62K của verl và ~25K của slime; thí nghiệm mới chỉ cần 3 bước — viết agent Python, chạy một lệnh CLI, theo dõi metric từng step.
  • Tối ưu engine dùng như flag: prefix caching cho re-prefill ~0.05 s khi cache hit; speculative decoding với MTP head giảm thời gian generation từ 329 s xuống 64 s (~5×); optimizer CPU offload giảm peak GPU memory actor từ 64.7 GB xuống 46.4 GB với chi phí +18% thời gian policy_train.
  • Tương đương throughput với stack Megatron: trên workload multimodal MoE 35B (2 node, 8 GPU train + 8 GPU rollout, context 16K, response cap 8K), Molt đạt 119.4 ± 2.3 s mỗi optimizer step, trong khi slime (Megatron-Core + SGLang) đạt 109.5 ± 10.3 s, chênh lệch trung bình ~9% nằm trong biến động cross-run (461 vs 502 tok/GPU/s).
  • Scale là config: cùng vòng lặp bất đồng bộ chạy end-to-end trên MoE 700B với expert parallelism 256, không đổi thiết kế so với mô hình dense 4B.

IV. Conclusion & Future Works:​

Molt chứng minh infrastructure agentic RL khả năng mở rộng không nhất thiết phải kế thừa độ phức tạp của hyperscale. Bằng cách compose các thành phần đã được kiểm chứng ở frontier scale (Ray, vLLM, FSDP2/AutoModel) và bắt buộc token-exact correctness, nó cung cấp codebase đủ nhỏ để đọc và sửa, đồng thời đạt throughput ngang bằng Megatron trong so sánh matched. Rào cản còn lại là một upstream distributed-MoE forward mismatch khiến một số checkpoint chỉ đo được throughput, chưa thể validate convergence; khi lỗi này được sửa, cổng kiểm tra sequence-level sẽ so sánh cả hội tụ. Hướng tiếp theo gồm mở rộng packing/dynamic batching, đẩy context parallelism cho trajectory agent dài hơn, và bổ sung thư viện estimator/agent mà không thêm lớp backend.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Extending token-in/token-out capture to commercial black-box language APIs for online distillation and alignment, with runtime policy-version bookkeeping and correction.
  2. A runtime correctness-auditing suite for agentic RL that automatically detects tokenization drift, MoE routing divergence, and multimodal rendering mismatches between rollout engines and training actors.
  3. Scheduling and backpressure policies for streaming prompt-group pools under heavy-tailed agentic response lengths, balancing GPU utilization with on-policy constraints.

2. Patent:​

  1. A mobile SDK for personalizing on-device assistants: a phone app issues standard OpenAI/Anthropic chat-completion calls through a local loopback server; the SDK transparently captures token-level trajectories and ships them to a remote FSDP2 trainer, with weight updates synchronized back to the phone’s local engine.
  2. An AR/VR glasses training service: user commands and camera frames are treated as an ordinary Python agent; the glasses’ SDK calls are captured by a loopback chat server that records exact token ids and log-probabilities, so a cloud trainer fine-tunes a vision-language policy without changing the glasses app.
  3. A no-code agent refinement cloud for customer-service chatbots: businesses connect their existing OpenAI-compatible bot via a proxy URL; the proxy captures every token and reward signal, then runs online RL to update the hosted policy, preserving exact token semantics between the deployed engine and the trainer.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21653
ArXiv Abstracthttps://arxiv.org/abs/2607.21653
PDF Downloadhttps://arxiv.org/pdf/2607.21653.pdf
Github Repositoryhttps://github.com/NVIDIA-NeMo/labs-molt

4. Scaling Native Multimodal Pre-Training From Scratch (18 votes)​

Tác giả: Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, et al.

Xuất bản lúc: 2026-07-24

Tag: Multimodal Pre-Training, Scaling Laws, Vision-Language Models, Compute-Optimal Allocation, Native Multimodal, MoE, In-Context Learning

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) hiện tại chỉ được huấn luyện trên văn bản, nên khó hiểu được thế giới vật lý đa phương thức. Phương pháp native multimodal pre-training (huấn luyện từ đầu trên dữ liệu đa phương thức) giúp tích hợp sâu giữa thị giác và ngôn ngữ, nhưng chưa ai đặc tả rõ quy luật mở rộng (scaling laws) dưới ngân sách tính toán cố định. Vấn đề cốt lõi: với ngân sách FLOPs cho trước, nên phân bổ bao nhiêu vào kích thước mô hình N và số token huấn luyện D, và tỷ lệ dữ liệu đa phương thức r ảnh hưởng thế nào đến sự phân bổ tối ưu đó.

II. Main Idea:​

Bài báo xây dựng compute-optimal scaling laws cho native multimodal pre-training bằng cách tách riêng mục tiêu ngôn ngữ (L_text) và mục tiêu đa phương thức (L_mm), sau đó ước lượng bằng hai phương pháp độc lập: IsoFLOP profiles và training-curve envelopes. Phát hiện chính:

  • Language objective gần như không đổi theo tỷ lệ dữ liệu đa phương thức r: phân bổ tối ưu ~ N ∝ C^0.67, D ∝ C^0.33.
  • Multimodal objective thì nhạy cảm mạnh với r: khi r tăng, tỷ lệ phân bổ chuyển dần từ mô hình sang dữ liệu (N giảm xuống ~ C^0.66, D tăng lên ~ C^0.34).
  • Từ đó vẽ ra Pareto frontier ngôn ngữ–đa phương thức, cho biết với mỗi ngân sách tính toán và từng tỷ lệ r, nên chọn kích thước mô hình, số token văn bản và số token đa phương thức bao nhiêu.

Ví dụ đời thường: giống như nấu ăn với hai nồi trên cùng một bếp ga cố định — nồi canh (ngôn ngữ) chỉ cần lửa vừa là sôi, dù bên cạnh có nồng chiên gì; còn nồi chiên (đa phương thức) thì càng nhiều dầu (dữ liệu ảnh) càng phải giảm lửa mạnh và khuấy nhiều hơn, nên phải điều chỉnh lửa và thời gian liên tục để cả hai nồi chín đều.

III. Main Results:​

  • Hai ước lượng IsoFLOP và training-curve envelope thống nhất, chứng minh kết quả là tính chất của dữ liệu chứ không phải artifact của hàm fit.
  • Language objective composition-invariant: đường cong IsoFLOP và exponent a/b gần như phẳng khi r thay đổi từ 0 đến 0.3.
  • Multimodal objective composition-variant: exponent a giảm đều (từ ~0.71 xuống ~0.63) và b tăng khi r tăng, cho thấy đa phương thức đói dữ liệu hơn là đói tham số.
  • Joint Pareto frontier: với C_total cố định, tăng r từ 0.1 lên 0.3 làm giảm tỷ lệ tăng kích thước mô hình (N ∝ C^0.69 → C^0.66) và buộc phải tăng số token (D ∝ C^0.31 → C^0.34).
  • Khả năng văn bản được bảo toàn: 16 benchmark văn bản không sụt khi thêm dữ liệu đa phương thức; sai lệch trung bình < 1 điểm phần trăm.
  • Cross-modal transfer tích cực: native multimodal pre-training cải thiện đáng kể spatial reasoning trên văn bản thuần túy (SpatialEval), khoảng cách với baseline văn-bản-mở rộng lên khi mô hình lớn hơn.
  • Multimodal in-context learning xuất hiện theo quy mô: lợi ích few-shot tăng từ ~0 ở 71M lên +2.43 điểm ở 3B, tập trung mạnh nhất vào spatial reasoning và tăng dần theo số token huấn luyện.

IV. Conclusion & Future Works:​

Native multimodal pre-training tuân theo các scaling laws có thể dự đoán, nhưng không thể dùng một quy luật chung cho cả ngôn ngữ và đa phương thức vì chúng phản ứng khác nhau trước tỷ lệ dữ liệu. Việc mô hình hóa sự khác biệt này cho phép xây dựng efficiency frontier để chọn (N, D_text, D_mm) tối ưu. Bên cạnh đó, huấn luyện đa phương thức từ đầu không làm suy giảm văn bản, ngược lại còn tăng spatial reasoning và kích thích in-context learning. Hướng tương lai: kiểm chứng ở quy mô lớn hơn (vượt 3B active parameters), thêm các phương thức khác (audio, video), và đa dạng hóa thành phần dữ liệu để làm rõ giới hạn của các quy luật hiện tại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng scaling laws cho native multimodal pre-training với ba phương thức trở lên (văn bản, hình ảnh, âm thanh, video) để kiểm tra tính tổng quát của frontier đa phương thức.
  2. Nghiên cứu cơ chế cross-modal transfer: tại sao huấn luyện trên ảnh lại cải thiện spatial reasoning trên văn bản thuần, thông qua phân tích representational geometry và probing tasks.
  3. Phát triển chiến lược dynamic data mixture: điều chỉnh tỷ lệ r trong quá trình huấn luyện dựa trên tiến độ của L_text và L_mm để tối ưu Pareto frontier theo thời gian.
  4. Áp dụng compute-optimal allocation law cho các kiến trúc khác (dense Transformer, diffusion multimodal models) để so sánh tính phổ quát của exponents.

2. Patent:​

  1. Hệ thống tư vấn phân bổ tài nguyên huấn luyện mô hình đa phương thức trên điện thoại: ứng dụng nhận ngân sách FLOPs và tỷ lệ dữ liệu ảnh–văn bản, rồi đề xuất kích thước mô hình, số token văn bản và số token đa phương thức tối ưu để huấn luyện mô hình nhẹ chạy local trên thiết bị di động.
  2. Module tự động điều chỉnh tỷ lệ dữ liệu trong quá trình pre-training trên cloud: theo dõi hai loss L_text và L_mm, khi thấy L_mm giảm chậm thì tự động tăng token đa phương thức hoặc giảm tốc độ tăng kích thước mô hình để tiết kiệm FLOPs mà vẫn đạt Pareto tối ưu.
  3. Trợ lý ảnh thông minh trên điện thoại sử dụng mô hình native multimodal nhỏ: mô hình được huấn luyện theo scaling law tối ưu, hỗ trợ người dùng mô tả không gian, đếm đồ vật và trả lời câu hỏi về bố cục qua camera mà không cần fine-tune riêng cho từng thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.22043
ArXiv Abstracthttps://arxiv.org/abs/2607.22043
PDF Downloadhttps://arxiv.org/pdf/2607.22043.pdf
Github RepositoryN/A

5. Agentic Context Management: Solving Agent Memory and Cost by Treating Them as Lifecycle and Architecture Problems (17 votes)​

Tác giả: Gaurav Dadhich

Xuất bản lúc: 2026-07-23

Tag: Agentic Context Management, LLM Memory, Context Lifecycle, Context Compaction, Retrieval Systems, Multi-tenant Architecture, Agent Cost Optimization

I. Main Problem:​

Các tác nhân AI trong môi trường sản xuất thất bại phần lớn không phải vì lý do suy luận kém, mà vì không quản lý được nội dung trong cửa sổ context: lịch sử hội thoại, prompt lớn, định nghĩa công cụ, và kết quả công cụ ngày càng phình to. Hậu quả:

  • tác nhân chìm trong lịch sử tích lũy, quên chi tiết trong cùng một cuộc trò chuyện hoặc qua các phiên
  • chi phí token tăng theo mỗi lượt, và với cách gửi toàn bộ lịch sử thì chi phí tăng theo bậc hai số lượt
  • cách tiếp cận hiện tại định khung vấn đề là “bộ nhớ” (memory) — chỉ tối ưu hai thời điểm ghi/đọc — mà bỏ qua toàn bộ vòng đời của context.

II. Main Idea:​

Bài báo đề xuất Agentic Context Management (ACM) — định khung quản lý context như một vòng đời (lifecycle) thay vì chỉ là kho lưu trữ. ACM bao gồm năm primitive:

  • Architecting: thiết kế hình dạng bộ nhớ cho từng tác nhân — loại thông tin nào quan trọng, cách trích xuất, lưu, truy xuất, nén.
  • Ingesting: biến tín hiệu thô (tin nhắn, tài liệu, kết quả công cụ) thành ký ức có cấu trúc, có thực thể, quan hệ, thời hạn.
  • Scoping: quyết định phần nhỏ nào trong toàn bộ ký ức là phù hợp cho lượt hiện tại, theo thứ tự hẹp nhất trước: user → customer → client, với cách ly nghiêm ngặt.
  • Anticipating: đưa context cần thiết vào sẵn trước khi tác nhân yêu cầu — tương tự prefetching, giúp truy xuất không nằm trên đường tới hạn.
  • Compacting & Consolidation: nén context để vừa ngân sách token, nhưng có kiểm chứng (validated) để không mất mát thông tin quan trọng.

Năm primitive này liên kết chặt chẽ: kiến trúc sinh ra quyết định cho bốn primitive còn lại, và mỗi primitive hoạt động ở mọi cấp độ phạm vi. Vì vậy cần một nền tảng quản lý context, không chỉ năm công cụ độc lập.

Ví dụ đời thường: giống như trợ lý cá nhân giỏi không chỉ nhét giấy tờ vào ngăn kéo, mà chủ động chọn giữ lại gì, ghi nhãn theo dự án, đoán trước cuộc họp mai cần tài liệu gì, và tóm tắt một chuỗi email dài thành bản ghi quyết định ngắn gọn mà không đánh mất chi tiết then chốt.

III. Main Results:​

  • Chi phí tăng bậc hai: gửi toàn bộ lịch sử mỗi lượt có chi phí tích lũy O(n²); giữ context trong ngân sách cố định mỗi lượt giảm xuống O(n). Với mỗi lượt thêm 500 token và ngân sách 4.000 token, cách gửi đầy đủ đắt hơn 6× ở 100 lượt và 13× ở 200 lượt.
  • Nén thô gây mất chính xác: nén 18.282 token xuống 122 token trong một bước làm độ chính xác giảm từ 66.7% xuống 57.1%, thậm chí thấp hơn cả không dùng context. Nền tảng mục tiêu là nén có kiểm chứng, đạt chi phí tuyến tính mà vẫn giữ độ trung thực.
  • Truy xuất phụ thuộc miền: nghiên cứu so sánh keyword vs vector trên năm bộ dữ liệu (CodeXGLUE, MS MARCO, SQuAD, HotpotQA, SciQ) cho thấy vector vượt trội ở khoảng cách ngữ nghĩa rộng (ví dụ NL→code: 0.91 vs 0.29), còn keyword thắng ở các thực thể cụ thể (SciQ: 0.81 vs 0.61). Tạo chỉ mục vector chậm hơn 60–100× so với keyword.
  • Khoảng cách sufficiency của suy luận: hầu hết benchmark chỉ đo “tài liệu vàng có xuất hiện không”, không đo liệu mọi tài liệu cần thiết để suy luận đều có mặt — đây là khoảng trống lớn cho tác nhân.
  • Thực thi Maximem Synap: hệ thống multi-tenant với SDK async, kiến trúc sinh tự động cho mỗi tác nhân, lưu trữ đa dạng (vector, graph, relational, object, time-series), đạt 92% trên LongMemEval và 93.2% trên LoCoMo trong cấu hình chi tiết của bài báo.

IV. Conclusion & Future Works:​

Quản lý context không chỉ là lưu trữ mà là một vòng đời có kiến trúc, có phạm vi, có dự đoán và có nén kiểm chứng. Để tiến xa hơn, cần các benchmark đo latency, token efficiency, và context-rot resistance thay vì chỉ đoán truy xuất đơn giản. Biên giới mở nằm ở decision-level context (kế hoạch, trạng thái suy luận giữa chừng) và organization-level context (quản lý context xuyên suốt nhiều người dùng, nhiều tác nhân trong một tổ chức). Hướng tương lai: phát triển tiêu chí sufficiency, cải tiến chính sách prefetch dự đoán, và mở rộng cách ly phạm vi cho môi trường multi-agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng hệ thống quản lý context đa tác nhân trong doanh nghiệp, trong đó mỗi tác nhân con và tác nhân chính chia sẻ context theo phạm vi mà vẫn giữ nguồn gốc (provenance) và cách ly chặt chẽ.
  2. Phát triển benchmark đo reasoning sufficiency cho tác nhân dài hạn: không chỉ kiểm tra tài liệu liên quan có mặt, mà kiểm tra toàn bộ chuỗi tài liệu cần thiết để suy luận đa bước đều xuất hiện và không có thông tin nhiễu.
  3. Nghiên cứu chính sách anticipatory retrieval học được: mô hình dự đoán context cần thiết cho lượt tiếp theo dựa trên lịch sử hành vi của tác nhân và người dùng, tối ưu hóa giữa độ trễ và độ chính xác.

2. Patent:​

  1. Trợ lý trên điện thoại thông minh tự quản lý context suốt ngày: ứng dụng nghe, ghi chú, chat, và email được tổng hợp thành ký ức có cấu trúc, với phạm vi riêng tư cho từng ứng dụng; trước mỗi tương tác, hệ thống đưa ra thông tin liên quan và tóm tắt đã kiểm chứng để vừa ngân sách token trên thiết bị.
  2. Nền tảng hỗ trợ khách hàng doanh nghiệp với bộ nhớ tác nhân riêng cho từng khách hàng: hệ thống tự động tạo kiến trúc bộ nhớ từ mô tả công việc của tác nhân, tách biệt dữ liệu theo người dùng → tổ chức → nền tảng, và tự động chuẩn bị ticket/câu trả lời liên quan trước khi nhân viên hỗ trợ mở cuộc trò chuyện.
  3. Thiết bị đeo thông minh ghi nhận ngữ cảnh cuộc sống: thu tín hiệu thoại, văn bản, và lịch trình theo thời gian thực, trích xuất sự kiện, sở thích, và mối quan hệ; trước khi người dùng hỏi, thiết bị đã nạp sẵn thông tin liên quan và nén lịch sử dài thành bản tóm tắt ngắn gọn, đảm bảo không bỏ sót chi tiết quan trọng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21503
ArXiv Abstracthttps://arxiv.org/abs/2607.21503
PDF Downloadhttps://arxiv.org/pdf/2607.21503.pdf
Github Repositoryhttps://github.com/maximem-ai/maximem_synap_sdk

6. Interactive Training 2: Auditable Control Plane for Live Model Training (15 votes)​

Tác giả: Wentao Zhang, Xuanhe Pan, Han Zhou, Yang Lu, Yuntian Deng

Xuất bản lúc: 2026-07-17

Tag: Training Control Plane, Experiment Tracking, LLM Agents, Hyperparameter Optimization, Reinforcement Learning, Auditable ML

I. Main Problem:​

Các công cụ theo dõi thí nghiệm (Aim, Weights & Biases) chỉ cho thấy huấn luyện đang diễn ra ra sao, nhưng để can thiệp vào một run đang chạy—ví dụ đổi learning rate, cân lại dữ liệu, lưu checkpoint, hay dừng run lỗi—người nghiên cứu vẫn phải viết callback hoặc logic riêng cho từng trainer và từng thí nghiệm. Hệ quả:

  • cơ chế điều khiển huấn luyện bị phân mảnh giữa các framework
  • khó tái sử dụng can thiệp của người hay tác nhân tự động trên nhiều workflow khác nhau
  • thiếu bản ghi liên tục nối quyết định → yêu cầu → kết quả để kiểm tra lại sau này.

II. Main Idea:​

Interactive Training 2 (IT2) tách lớp điều khiển ra khỏi code huấn luyện bằng một giao thức chung. Luồng làm việc:

  • ứng dụng huấn luyện tự khai báo các thiết lập có kiểu (knobs: learning rate, momentum, trọng số nguồn dữ liệu...) và các hành động (evaluate, save_checkpoint, pause, stop...)
  • người dùng, script heuristic, hoặc LLM agent gửi yêu cầu qua cùng một giao thức HTTP/WebSocket
  • vòng huấn luyện vẫn giữ quyền điều khiển: nó chọn điểm an toàn (control point), kiểm tra tính hợp lệ, áp dụng thay đổi, và ghi lại kết quả trước khi bước tiếp theo
  • một journal có thứ tự liên kết plan, request, result, metric, checkpoint, reflection theo từng round

Giao diện tùy chỉnh trên Aim hiển thị metric trực tiếp, bảng điều khiển, và dòng sự kiện, giúp kiểm toán được ai yêu cầu, nội dung gì, thành công hay thất bại, và diễn ra khi nào.

Ví dụ đời thường: giống như một xe buýt tuyến dài có điểm dừng định kỳ; hành khách (người/agent) gửi yêu cầu đổi nhiệt độ điều hòa hay dừng khẩn cấp, nhưng chỉ tài xế (vòng huấn luyện) được quyết định khi nào an toàn để xử lý, và máy ghi hành trình lưu lại toàn bộ lời yêu cầu và kết quả.

III. Main Results:​

  • Cùng một giao thức điều khiển áp dụng được cho năm workflow gồm NLP fine-tuning (BERT/IMDB sentiment, sentiment mixing, Layerwise GPT, Muon–AdamW GPT) và reinforcement learning (RLVR Countdown).
  • Các thiết lập điều khiển đa dạng: từ learning rate AdamW, trọng số nguồn dữ liệu, 27 learning rate theo từng lớp của GPT, tới policy KL/temperature/curriculum trong RL.
  • Hiệu quả can thiệp trong các round có LLM agent: BERT validation loss giảm 0.354 → 0.220; sentiment mixing macro-F1 tăng 0.568 → 0.656; Muon–AdamW GPT validation loss giảm 4.797 → 4.429; RLVR Countdown hardest accuracy tăng 0.032 → 0.232.
  • Reflection từ round thất bại được round sau sử dụng: ví dụ sau khi Sentiment R8 regress, R9–R10 áp dụng class weights bất đối xứng; sau R5 của RLVR Countdown bị tắc, R6–R7 mở rộng clipping và tăng khám phá sớm.
  • Bản ghi audit đầy đủ: 47 round có LLM agent tạo ra 1.207 hành động thành công, 3.23M/0.68M input/output tokens, tổng chi phí $36.54 với GPT-5.5; mỗi request đều có identifier, source, timestamp và action_result.

IV. Conclusion & Future Works:​

IT2 biến can thiệp huấn luyện trực tiếp từ logic từng thí nghiệm thành một giao diện tái sử dụng giữa code huấn luyện và các bộ điều khiển. Việc ứng dụng tự khai báo knobs/actions, vòng huấn luyện chọn điểm áp dụng an toàn, và journal ghi lại đầy đủ quyết định–kết quả giúp huấn luyện dễ điều hướng, dễ tái sử dụng, và dễ kiểm toán trên nhiều framework. Hướng tương lai: loại bỏ độ trễ khi chờ LLM agent phản hồi, xử lý các response đến sau khi vòng huấn luyện đã chạy tiếp, và thêm cổng phê duyệt, ngân sách, rollback cho các ứng dụng rủi ro cao.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế giao thức điều khiển huấn luyện phân tán: nhiều node huấn luyện đồng thời đăng ký knobs/actions vào cùng một control plane, với các quy tắc xung đột và thứ tự áp dụng xuyên suốt cluster.
  2. Tích hợp tối ưu siêu tham số (Optuna, population-based training) như một controller trong IT2: so sánh chất lượng tìm kiếm khi search policy có audit trail và control points rõ ràng so với can thiệp ad-hoc.
  3. Nghiên cứu an toàn và độ tin cậy của LLM agent điều khiển huấn luyện: phát triển approval gate, sandbox ngân sách, và rollback tự động để giảm rủi ro khi agent yêu cầu hành động nguy hiểm.

2. Patent:​

  1. Nền tảng điều khiển huấn luyện mô hình trên điện thoại: ứng dụng di động kết nối tới run đang huấn luyện trên cloud, hiển thị metric trực tiếp, cho phép người dùng kéo thanh learning rate hoặc nhấn 'dừng khẩn cấp', với mọi thao tác ghi vào journal có thể kiểm toán.
  2. Hệ thống agent tự động tinh chỉnh quảng cáo/recommendation: một LLM agent theo dõi loss và metric A/B của mô hình đang huấn luyện, tự động điều chỉnh trọng số nguồn dữ liệu và learning rate qua IT2, ghi lại plan/act/reflect để tuân thủ kiểm toán doanh nghiệp.
  3. Thiết bị edge học tăng cường cho robot/ô tô: module IT2 nhúng trên xe/robot cho phép kỹ sư từ xa gửi lệnh đổi curriculum, clipping, hoặc nhiệt độ mẫu trong khi mô hình RL đang chạy; journal lưu cục bộ để phân tích nguyên nhân sự cố sau này.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.18314
ArXiv Abstracthttps://arxiv.org/abs/2607.18314
PDF Downloadhttps://arxiv.org/pdf/2607.18314.pdf
Github RepositoryN/A