Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-09-24

Báo cáo được tạo tự động vào lúc 2026-09-25 10:11:20 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue (79 votes)​

Tác giả: Haobo Zheng, Tan Tang, Yan Chen, Weijie Wang, Yingcai Wu

Xuất bản lúc: 2026-09-22

Tag: Conversational Memory, Multi-party Dialogue, RAG, Reinforcement Learning, GRPO, Long-term Memory, LLMs

I. Main Problem:​

Các hệ thống memory cho LLM hiện tại (Mem0, A-MEM, HippoRAG...) được thiết kế cho hội thoại một người hoặc hai người, nên suy giảm nghiêm trọng trong nhóm chat đa người. Vấn đề cốt lõi gồm hai nút thắt:

  • Message attribution: xác định ai nói gì, nội dung đó thuộc về ai, thông tin là cá nhân hay chung nhóm — các tóm tắt/gộp fact thường làm mất quan hệ người nói–người được nhắc đến.
  • State reconstruction: phục hồi trạng thái hiện tại/quá khứ từ các manh mối rải rác giữa các thành viên, nhóm và thời gian (ví dụ Ben đổi ý từ ủng hộ đường ridge sang đồng ý đường dễ sau ba phiên thảo luận).

Truy xuất theo relevance toàn cục không đảm bảo thành viên ít nói hoặc nhánh hội thoại đúng lọt vào tập ứng viên hạn chế.

II. Main Idea:​

SPEAKERMEM-R1 dùng bộ nhớ kép (dual-track) để vừa giữ bằng chứng gốc vừa tổ chức trạng thái có cấu trúc:

  • System 1 (verbatim): lưu nguyên văn từng tin nhắn kèm speaker, thời gian, kênh — append-only, không qua LLM, luôn truy ngược được nguồn.
  • System 2 (derived): bốn lớp có cấu trúc gồm PERSON-scoped (Core: danh tính, quan điểm, hành vi; Profile: quan sát về người khác) và GROUP-scoped (Interaction: sự kiện/quyết định giữa các người nói; Insight: chuẩn mực, đồng thuận của nhóm). Mỗi bản ghi có source (ai cung cấp) tách riêng owner (ai được nhắc đến), scope PERSON/GROUP, và liên kết from_ids về tin nhắn gốc. UPDATE không ghi đè mà nối chuỗi phiên bản (superseded_by), giữ được lịch sử trạng thái.
  • Query time: quy trình Anchor – Separate – Resolve – Compose biên dịch câu hỏi thành ràng buộc (rows, issue, mode head/full, scope source–owner), rồi kết hợp bằng chứng từ cả hai track theo entity, sự kiện, thời gian; answerer được đóng băng.
  • Writer-R1: huấn luyện Qwen2.5-3B cục bộ bằng SpeakerLevenshtein (khớp bản ghi theo từng owner, phạt thiếu/thừa, tránh người nói nhiều lấn át người ít nói) kết hợp speaker-conditioned LoGo-GRPO — thưởng tức thì từ cấu trúc cục bộ + thưởng hoãn từ độ lợi QA cuối hội thoại.

Ví dụ đời thường: giống thư ký nhóm chat chuyên nghiệp — vừa giữ sổ ghi nguyên văn ai nói câu gì (không bao giờ sửa), vừa cập nhật hồ sơ từng người và biên bản chung của nhóm có ghi rõ phiên bản; khi được hỏi, thư ký lật cả hai sổ theo đúng người và đúng thời điểm rồi tổng hợp trả lời.

III. Main Results:​

  • Trên ba benchmark đa người: GroupMemBench 47.9%, SocialMemBench 69.2%, EverMemBench 61.9% (binary accuracy), cao hơn baseline mạnh nhất lần lượt +3.3, +12.4, +9.4 điểm phần trăm (baseline tốt nhất chỉ là BM25/A-MEM).
  • Leaderboard EverMemBench công khai của EverMind-AI: 62.33% — kết quả tốt nhất báo cáo, vượt EverOS (~60.08%) và RippleMem (~54.75%).
  • Trên SocialMemBench đạt gần mức Full context (69.2% vs 69.4%) dù lịch sử không nhét vừa context window.
  • RL Writer hiệu quả: Qwen2.5-3B Writer-R1 đạt 68.20% trên 305 câu kiểm soát, tăng +10.82 điểm so với SFT (57.38%), chỉ kém writer LLM lớn (DeepSeek-V4-Flash, 71.48%) 3.28 điểm — đạt 95.4% hiệu suất writer LLM.
  • LoCoMo (hội thoại dài hai người, 1,986 câu): 70.85%, cho thấy không bị giới hạn riêng đa người.
  • Ablation: bỏ track verbatim (S1), bỏ track cấu trúc (S2), hoặc bỏ view person/group đều làm giảm độ chính xác trên cả ba benchmark → hai track và hai cấp view bổ sung lẫn nhau.

IV. Conclusion & Future Works:​

Dual-track memory đơn giản, hiệu quả và truy ngược được đã khắc phục các lỗi attribution và reconstruction mà hệ thống memory đa năng gặp phải trong hội thoại nhóm dài hạn — không cần thêm cơ chế phức tạp. RL cho phép Writer nhỏ chạy cục bộ tiệm cận Writer LLM lớn trong khi pipeline query/answer giữ nguyên.

Hạn chế & hướng tương lai: hệ thống giả định danh sách thành viên (roster), gán source/owner và nhận diện thời gian đáng tin; bí danh, thay đổi thành viên, khán giả ngầm, sự kiện song song vẫn khó. Còn mở: giảm chi phí ghi/retrieval, lập luận cross-evidence, QA mở miền, khái quát hóa xuyên miền/ngôn ngữ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng dual-track memory cho nhóm chat có thành viên thay đổi động: tự động phát hiện alias, gia nhập/rời nhóm và khán giả ngầm để duy trì attribution chính xác theo thời gian.
  2. Kết hợp SpeakerLevenshtein với phần thưởng cross-evidence trong RL để cải thiện các câu hỏi đòi hỏi suy luận đa bước trên manh mối rải rác nhiều thành viên (điểm yếu Multi/Skill/Role hiện tại).
  3. Áp dụng speaker-conditioned GRPO cho bài toán memory đa ngôn ngữ, đánh giá khả năng khái quát hóa của Writer-R1 sang miền và ngôn ngữ ngoài tập huấn luyện.

2. Patent:​

  1. Trợ lý nhóm chat trên điện thoại với bộ nhớ đa người: ứng dụng lưu nguyên văn tin nhắn ai nói cùng hồ sơ từng thành viên và biên bản chung của nhóm; khi người dùng hỏi 'cuối cùng nhóm quyết định gì?' hay 'Anna nghĩ gì về Bob?', hệ thống truy xuất đúng người, đúng thời điểm và trả lời kèm trích dẫn tin nhắn gốc.
  2. Hệ thống ghi nhớ khách hàng cho tổng đài đa nhân viên: mỗi cuộc trò chuyện được phân tách theo người nói và người được đề cập, cập nhật sở thích/trạng thái theo chuỗi phiên bản không ghi đè, giúp nhân viên mới nắm được ai đã hứa gì với khách hàng.
  3. Tổng hợp quyết định nhóm tự động cho ứng dụng cộng tác (như chat công ty): theo dõi luồng thảo luận, tách quan điểm từng thành viên và đồng thuận chung theo thời gian, tự tạo biên bản 'ai đổi ý khi nào, kết luận cuối là gì' kèm nguồn truy vết.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.26780
ArXiv Abstracthttps://arxiv.org/abs/2609.26780
PDF Downloadhttps://arxiv.org/pdf/2609.26780.pdf
Github Repositoryhttps://github.com/2022hpsk/SpeakerMemR1

2. Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World (42 votes)​

Tác giả: Kaixiang Yao, Xu Wang, Miao Pan, Hu Xiyue, Weishi Wang, et al.

Xuất bản lúc: 2026-09-19

Tag: Vision-Language Models, Spatial Reasoning, State Transition, Supervised Fine-Tuning, On-Policy Distillation, Curriculum Learning

I. Main Problem:​

Các Vision-Language Models (VLMs) hiện tại kém cỏi trong lập luận không gian động (môi trường vật lý 3D thay đổi theo thời gian) vì thiếu hai năng lực cốt lõi:

  • Không mô hình hóa được state transition cục bộ: thí nghiệm xáo trộn khung hình cho thấy Qwen2.5-VL chỉ giảm ~0.9 điểm khi thứ tự 32 frame bị đảo — chứng tỏ mô hình phụ thuộc vào manh mối thị giác tĩnh, không nhạy với trình tự thời gian.
  • Không tích hợp được transition dài hạn: từ tác vụ cục bộ sang tác vụ dài hạn (camera displacement), điểm số rơi từ 54.7 xuống 8.6 (Qwen2.5-VL-7B), từ 88.7 xuống 23.9 (GPT-5.5).

Nguyên nhân: huấn luyện không gian truyền thống chỉ là static QA về thuộc tính/vị trí vật thể, gần như không có giám sát trực tiếp cho việc trạng thái thay đổi thế nào.

II. Main Idea:​

Spatial-Interactor: dạy VLM hiểu thế giới vật lý qua tương tác, lấy cảm hứng từ cách trẻ em học bằng cách quan sát và tác động lên môi trường. Mỗi tương tác là bộ ba (quan sát trước, hành động, quan sát sau) O_t → O_{t+1}, cung cấp giám sát trực tiếp cho một transition cục bộ; cả chuỗi tương tác cho phép học tích hợp dài hạn.

  • Curriculum 3 cấp trên bộ dữ liệu LSI-108K (108K cặp QA kiểm chứng được, từ mô phỏng ProcTHOR/AI2-THOR/HSSD/Replica + dữ liệu thật ScanNet++, RoomTour3D, robot BridgeData):
    • L1: quan sát thụ động — vật thể di chuyển, đổi trạng thái, bị thao tác
    • L2: tương tác chủ động — hiểu chuyển động camera (ego-motion) biến đổi hình ảnh ra sao
    • L3: tích hợp chuỗi transition dài hạn — độ dài đường đi, hình dạng quỹ đạo, điểm quay đầu
  • Hai giai đoạn huấn luyện:
    • SFT cho L1+L2: mô hình học suy luận nguyên nhân hay hậu quả của thay đổi không gian
    • On-Policy Distillation (OPD) trong GRPO cho L3: một annotator VLM đông cứng tạo privileged trace (mô tả transition từng đoạn video), chỉ teacher được xem trace này; teacher (snapshot stop-gradient của chính policy) chấm cùng reasoning prefix do student sinh ra, ép student học cách tích hợp từng bước. Kết hợp reward trả lời đúng + distillation quá trình (trọng số giảm dần).

Ví dụ đời thường: giống như học đường đi trong nhà — trước tiên đứng yên nhìn đồ vật bị dời chỗ (L1), rồi tự bước đi và cảm nhận phối cảnh đổi (L2), cuối cùng đi cả một vòng dài rồi kể lại được lộ trình vì đã nối từng chặn đường một (L3).

III. Main Results:​

  • Cải thiện Overall 16.4–25.0 điểm so với Base trên 4 backbone (Qwen2.5-VL-3B/7B, Qwen3-VL-4B/8B); bản 8B đạt Overall 65.9, tốt nhất trên VSI-Bench, MindCube, VSTI-Bench; vượt cả GPT-5.5 và Gemini-2.5-Pro.
  • Camera Displacement tăng 5.1–28.0 điểm; Route Planning +2.6–7.7; Relative Distance +8.3–19.2.
  • Khái quát hóa chéo (benchmark không nằm trong dữ liệu huấn luyện: MMSI, ViewSpatial, SAT-Real, SAT-Syn): +4.3–10.6 điểm; OPD đóng góp thêm 1.0–1.4 điểm trên mọi backbone.
  • Ablation: thêm L1+L2 vào SFT nâng Overall từ 56.0 → 58.4; OPD vượt GRPO thuần (60.1 vs 59.2), riêng Route Planning +5.1 và Camera Displacement +3.1. Curriculum L1→L2 tuần tự là cấu hình duy nhất cải thiện mọi benchmark.
  • Trong quá trình OPD, reward tăng 6.8–8.9 điểm, độ lệch phân phối reasoning giữa student và teacher giảm 27–56%; thêm trace mô tả transition cục bộ giúp GPT-5.5 tăng từ 23.9 → 35.5.

IV. Conclusion & Future Works:​

Spatial-Interactor chứng minh rằng dữ liệu tương tác (quan sát–hành động–quan sát) là giám sát trực tiếp và hiệu quả hơn static QA cho lập luận không gian động: SFT xử lý transition cục bộ, OPD với privileged trace xử lý tích hợp dài hạn. Kết hợp cả hai cho lợi ích nhất quán trên mọi học mô hình và benchmark, đồng thời tổng quát hóa sang dữ liệu ngoài phân phối.

Hướng tương lai (suy luận từ hướng nghiên cứu):

  • Mở rộng dữ liệu tương tác sang môi trường vật lý động liên tục và tác vụ có hành động thật (embodied agents)
  • Thay trace từ annotator đông cứng bằng teacher tự cải thiện theo vòng lặp
  • Áp dụng OPD/privileged process supervision cho các dạng lập luận dài hạn khác ngoài không gian (thời gian, nhân quả)

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng curriculum tương tác ba cấp cho robot embodied: tác nhân tự thực hiện hành động trong môi trường thật, dùng chính chuỗi (quan sát, hành động, quan sát) để học đồng thời nhận diện không gian và điều khiển.
  2. Privileged process distillation không cần annotator bên ngoài: teacher tự sinh trace transition từ chính rollout của student và tự tinh chỉnh theo reward có thể kiểm chứng.
  3. Tương tác có chủ đích (active interaction curriculum): thay vì dữ liệu tương tác ngẫu nhiên, thiết kế chính sách chọn hành động thăm dò sao cho mang lại thông tin transition nhiều nhất cho việc học.

2. Patent:​

  1. Ứng dụng điện thoại dẫn đường trong nhà: người dùng quay video khi di chuyển; ứng dụng phân tích chuyển động camera qua từng đoạn để tính lộ trình đã đi, độ dài đường và vẽ lại sơ đồ tuyến đường, hỗ trợ tìm đường ngược về điểm xuất phát mà không cần GPS.
  2. Trợ lý ảo cho người khiếm thị: mô hình trên điện thoại theo dõi luồng camera, suy luận vật thể nào đã bị dịch chuyển hoặc thay đổi trong nhà (cửa mở, đồ vật bị xê dịch) và thông báo bằng giọng nói.
  3. Robot hút bụi / robot phục vụ gia đình: sau khi va chạm hoặc bị người dùng dời đồ, robot quay một vòng ngắn, so sánh ảnh trước–sau để cập nhật bản đồ nội thất (vị trí đồ vật mới, lối đi bị chặn) mà không cần quét lại toàn bộ căn nhà.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.23038
ArXiv Abstracthttps://arxiv.org/abs/2609.23038
PDF Downloadhttps://arxiv.org/pdf/2609.23038.pdf
Github Repositoryhttps://github.com/ZJU-OmniAI/Spatial-Interactor

3. HappyWorld-Bench (39 votes)​

Tác giả: Zhiqi Bai, Junai Cai, Yixin Chen, Jingrun Du, Tao Feng, et al.

Xuất bản lúc: 2026-09-21

Tag: World Models, Benchmark, Video Generation, Spatial World Models, Embodied AI, Evaluation, Human Preference, Elo Rating

I. Main Problem:​

Đánh giá world model hiện bị phân mảnh: video, không gian 3D và embodied AI dùng các benchmark riêng, khiến khó biết một mô hình có thật sự tin cậy dưới tương tác hay chỉ tạo hình ảnh đẹp. Các vấn đề cốt lõi:

  • Video world model có thể mất nhất quán hình học, trạng thái vật thể khi rollout dài hoặc quay lại cảnh cũ.
  • Spatial world model có thể trông hoàn chỉnh nhưng không điều hướng được, đặt vật không đúng vật lý, hoặc hỏng khi chỉnh sửa/mở rộng cảnh.
  • Embodied world model có thể sinh video theo hành động nhưng không giữ trạng thái qua nhiều bước, không phản hồi đúng khi đổi điều kiện hành động hoặc quy tắc vật lý.

II. Main Idea:​

HappyWorld-Bench đề xuất một khung năng lực phân cấp W1–W6 để đo mức độ “thế giới sinh ra có đáng tin cậy không”, rồi áp khung chung này lên ba track độc lập: Video World Model, Spatial World Model và Embodied World Model.

  • W1 Perceptual World: xây dựng thế giới mạch lạc về ngữ nghĩa, không gian và liên tục thời gian ngắn.
  • W2 Interactive World: dự đoán chuyển tiếp trạng thái khi có hành động.
  • W3 Persistent World: giữ cấu trúc không gian, danh tính vật thể và trạng thái qua rollout dài, che khuất và revisit.
  • W4 Programmable World: can thiệp bằng ngôn ngữ hoặc quy tắc, thay đổi đúng mục tiêu mà không phá nội dung liên quan.
  • W5 Scalable World: mở rộng thế giới cho nhiều tác nhân, hỗ trợ giao tiếp và đồng bộ.
  • W6 Universal World: tích hợp sinh, mô phỏng, trạng thái, tương tác và lập kế hoạch.

Bộ benchmark gồm 1,138 video prompts, 300 spatial scenes và 254 embodied test cases. Điểm mới là kết hợp HappyWorld-Arena để người chấm so sánh A/B và xếp hạng Elo, đồng thời dùng automated metrics đo tính đúng về hành vi như trajectory accuracy, action execution, state consistency, physical causality, interaction validity và state fidelity.

Ví dụ đời thường: giống như thử một ngôi nhà mô hình không chỉ bằng mắt nhìn từng góc đẹp, mà phải đi lại nhiều lần, đẩy cửa, đặt đồ lên bàn, đổi luật như tắt trọng lực, rồi xem tường có bị biến dạng, đồ có còn đúng chỗ và cửa có mở đúng cách không.

III. Main Results:​

  • Video track: 14 mô hình được đánh giá. HappyOyster đạt Arena Elo cao nhất 1263, tiếp theo là Genie 3 với 1206. Ở cấp năng lực, Genie 3 tốt nhất W1 với 82.8, còn HappyOyster dẫn W2 78.0 và W3 76.8. Ở W4, HappyOyster đạt 66.7, Lingbot-World-v2 đạt 59.3.
  • Kết quả cho thấy chất lượng hình ảnh mạnh không đồng nghĩa world model ổn định: nhiều mô hình có perceptual score tốt nhưng vẫn yếu về geometric consistency, state consistency hoặc subject consistency.
  • Spatial track: 9 hệ thống được đánh giá trên 300 scenes. Các mô hình còn yếu rõ về physical plausibility, editability và scene expansion; placement accuracy tốt nhất chỉ 70.14%, edit execution tốt nhất 73.33%.
  • Embodied track: 8 candidate được kiểm tra với atomic actions, multi-stage sequences và action pairs. Các mô hình khó bảo toàn trạng thái qua nhiều bước và phản hồi chính xác khi điều kiện hành động hoặc quy tắc vật lý bị thay đổi.
  • Nhìn chung, các world model hiện tại vẫn có khoảng trống lớn ở interactive simulation, state persistence và programmable dynamics.

IV. Conclusion & Future Works:​

HappyWorld-Bench lập luận rằng world model hữu ích không chỉ vì tạo ảnh/video đẹp, mà vì dự đoán của nó vẫn đúng khi bị khám phá, tương tác và can thiệp. Khung W1–W6 cung cấp ngôn ngữ chung cho video generation, spatial reconstruction và embodied control; Arena Elo phản ánh sở thích tổng thể của con người, còn automated metrics phơi bày lỗi cụ thể ở từng năng lực.

Hướng tương lai:

  • Cải thiện long-horizon memory và revisitation để giữ layout, danh tính vật thể và trạng thái tích lũy.
  • Phát triển khả năng rule editing bền vững, không chỉ đổi khung hình hiện tại mà còn thay đổi đúng động lực sau đó.
  • Tăng physical usability cho spatial worlds: điều hướng, va chạm, placement, chỉnh sửa và mở rộng cảnh.
  • Mở rộng embodied evaluation sang downstream utility và policy evaluation, đồng thời hoàn thiện các mức W5–W6 về multi-agent và unified world modeling.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Benchmark chuyên biệt cho long-horizon revisitation trong video world models, tập trung vào sai lệch hình học, biến đổi vật liệu, thay đổi trạng thái và mất danh tính vật thể khi quay lại vùng đã quan sát.
  2. Thang đo mới cho programmable world dynamics: kiểm tra một can thiệp bằng ngôn ngữ có trở thành quy tắc vận hành lâu dài hay chỉ là thay đổi trực quan nhất thời.
  3. Giao thức đánh giá spatial world model dựa trên exported geometry, bao gồm khả năng đặt vật, điều hướng, va chạm, chỉnh sửa cục bộ và mở rộng cảnh mà không làm hỏng vùng cũ.
  4. Nghiên cứu embodied world model theo cặp matched-pair intervention từ cùng trạng thái đầu, để tách lỗi do hành động sai khỏi lỗi do mô hình không giữ trạng thái hoặc không nắm quy tắc vật lý.

2. Patent:​

  1. Ứng dụng điện thoại tạo không gian 3D tương tác từ ảnh chụp: người dùng chụp một góc phòng, hệ thống sinh không gian liền mạch, cho phép bước đi, quay lại góc cũ và đặt đồ nội thất ảo với kiểm tra va chạm cơ bản.
  2. Trợ lý thiết kế nội thất trên điện thoại: người dùng nói “đổi ghế sang màu vàng” hoặc “kéo rèm lại”; hệ thống chỉnh sửa đúng vật, giữ nguyên tường, sàn và các đồ khác, đồng thời cập nhật ánh sáng theo thay đổi.
  3. Module kiểm thử tự động cho game/môi trường ảo sinh bằng AI: bot thực hiện chuỗi di chuyển, tương tác và đổi luật vật lý; hệ thống đo mức độ lưu giữ bản đồ, trạng thái vật thể và tính đúng của hậu quả hành động.
  4. Hệ thống huấn luyện robot bằng world model dạng video từ góc nhìn robot: trước khi thực hiện tác vụ, robot mô phỏng nhiều hành động để phát hiện lỗi mất trạng thái hoặc phản hồi sai trước khi vận hành thật.
  5. Công cụ chấm điểm Elo trên nền tảng web cho các mô hình tạo thế giới: người dùng xem hai kết quả cùng một yêu cầu, chọn kết quả đáng tin hơn, hệ thống tổng hợp bảng xếp hạng theo từng mức năng lực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.24308
ArXiv Abstracthttps://arxiv.org/abs/2609.24308
PDF Downloadhttps://arxiv.org/pdf/2609.24308.pdf
Github RepositoryN/A

4. The Past Frames the Future: Memory for Autoregressive Video Generation (36 votes)​

Tác giả: Harold Haodong Chen, Rongjin Guo, Disen Lan, Wen-Jie Shu, Hongfei Zhang, et al.

Xuất bản lúc: 2026-09-23

Tag: Autoregressive Video Generation, Memory, Long-Horizon Generation, World Models, Diffusion Transformers, KV Cache, Retrieval, Evaluation

I. Main Problem:​

Tạo video tự hồi quy tạo ra video bằng cách nối tiếp từng token, frame hoặc chunk theo nhân quả, rất hợp cho video dài, tương tác và mô hình thế giới. Nhưng thực tế bị chặn bởi cửa sổ ngữ cảnh hữu hạn, bộ nhớ thiết bị và chi phí tính toán. Khi chuỗi sinh dài ra, các thông tin quan trọng từ quá khứ — danh tính vật thể, bố cục không gian, trạng thái chuyển động, sự kiện ngữ nghĩa, hệ quả do tương tác gây ra — thường rời khỏi ngữ cảnh trước khi còn cần dùng. Hậu quả là mô hình dần quên, biến dạng nhân vật, mất layout, sai motion, hoặc không giữ được hậu quả của hành động tương tác. Khó khăn thứ hai là thiếu taxonomy riêng cho memory trong autoregressive rollout: các bài survey video diffusion/world model rộng hơn không lấy memory làm trung tâm, còn các bài mới dùng chữ “memory” rất khác nhau hoặc gọi là context, cache, history, state.

II. Main Idea:​

Bài survey định nghĩa memory một cách vận hành: đó là biểu diễn lưu giữ lâu dài của quá khứ, được duy trì qua các bước sinh bên ngoài và vẫn ảnh hưởng tới output sau khi bằng chứng gốc không còn trong ngữ cảnh cục bộ. Trên nền đó, tác giả phân tích theo 5 câu hỏi bổ sung:

  • Forms: dạng mang thông tin gồm visual memory, implicit state memory như attention-cache/recurrent/encoded history, explicit state memory như entity-centric/spatial-geometric states, và adaptive parametric memory.
  • Functions: memory phải bảo toàn identity, spatial layout, dynamics, semantics, causal changes, và các cặp chức năng liên kết.
  • Operations: vòng đời gồm writing, reading, updating, managing, integrating; ví dụ FIFO latent frames, refresh KV states, update recurrent states, retrieval stores, revise structured scene states.
  • Learning: tối ưu qua output-level supervision, memory state supervision, memory dynamics supervision; phân phối trạng thái qua teacher forcing, history augmentation, self-rollout; và memory-aware learning như retain, compress, retrieve, adapt.
  • Evaluation: cần tách memory-revealing protocols khỏi metrics chất lượng video/temporal consistency chung, có validity controls và attribution.

Insight cốt lõi: memory không chỉ là dung lượng; trạng thái giữ lại phải chính xác, truy xuất được, và có ảnh hưởng nhân quả tới các bước sinh sau. Ví dụ đời thường: giống một trợ lý đoàn phim không mang theo toàn bộ footage cũ, mà liên tục cập nhật sổ tay nhân vật, bối cảnh và hậu quả cảnh trước; trước mỗi cảnh mới, trợ lý tra sổ tay để đoàn quay không tự nhiên “đổi kịch bản”.

III. Main Results:​

Đây là survey, không đưa metric thực nghiệm mới. Kết quả chính là khung tổng hợp và các đóng góp:

  • Đưa ra formulation thống nhất cho memory-conditioned autoregressive video generation: tại mỗi bước sinh, mô hình dùng bounded local context cộng persistent memory state để gần đúng full-history conditioning.
  • Xây taxonomy 5 chiều: Forms, Functions, Operations, Learning, Evaluation; mỗi chiều gom các cơ chế trước đây rời rạc thành không gian so sánh chung.
  • Chỉ ra tiêu chí memory thật sự: persistent across outer AR steps, managed access, và removal/modification có thể làm đổi output tương lai sau khi evidence gốc không còn local.
  • Tổng hợp trade-off chung: giữ nguyên pixel/latent dễ truy xuất nhưng tốn bộ nhớ; state ẩn gọn nhưng khó kiểm soát và khó học; explicit state dễ kiểm chứng hơn nhưng phụ thuộc priors/structured representation; parametric memory linh hoạt nhưng dễ ghi đè hoặc khó định vị trách nhiệm.
  • Kết luận các hướng mở: unified composable memory, resource-aware memory, trustworthy state updating, self-rollout learning, interactive/causal memory, và evaluation protocol chuẩn hóa.

IV. Conclusion & Future Works:​

Survey kết luận rằng bước tiếp theo không phải chỉ “nhét thêm lịch sử vào context”, mà thiết kế memory có thể cấu thành, kiểm soát tài nguyên, cập nhật đáng tin, học được từ rollout tự sinh, và đo lường đúng. Hướng tương lai:

  • Kiến trúc memory composable để kết hợp visual cache, retrieval bank, recurrent state và structured scene state theo nhu cầu tác vụ.
  • Memory resource-aware: chọn giữ/cũ hóa/nén dựa trên ngân sách latency, VRAM và độ dài video.
  • Trustworthy updating: ghi nhận thay đổi thế giới khi có bằng chứng mới, đồng thời chống ghi đè sai do chính output tự sinh.
  • Self-rollout learning: huấn luyện đúng với phân phối khi mô hình tự tạo lịch sử thay vì chỉ teacher forcing.
  • Evaluation chuẩn: benchmark phải thật sự “reveal memory”, có đối chứng validity và attribution chứ không chỉ đo độ mượt frame kề nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Một framework memory module hóa cho video generation dài: các carrier như latent queue, retrieval store, recurrent state và scene graph được gọi qua cùng một interface write/read/update/manage, cho phép cắm rời và so sánh công bằng.
  2. Thuật toán nén-có-chọn-lọc dưới ngân sách bộ nhớ cứng: tự quyết định thông tin nào đáng giữ theo expected future usefulness thay vì theo độ mới của frame.
  3. Phương pháp học self-rollout chống drift: cho mô hình tự tạo chuỗi dài, phát hiện điểm memory bị ghi sai rồi học cách sửa trạng thái trước khi lỗi lan sang các chunk sau.
  4. Bộ benchmark memory-revealing cho interactive video: các canary test kiểm tra hậu quả hành động đã rời context, thay đổi vật thể, và xung đột mới giữa trạng thái cũ-mới.
  5. Cơ chế attribution cho memory update: khi output sai, xác định entry/state nào trong memory gây lỗi để có thể tinh chỉnh có trách nhiệm thay vì fine-tune toàn mô hình.

2. Patent:​

  1. Ứng dụng quay video dài trên điện thoại có “hồ sơ phim”: khi người dùng quay nhiều đoạn cùng một câu chuyện, ứng dụng tự lưu sổ tay nhân vật, địa điểm, trang phục và vật đã xuất hiện; mỗi đoạn mới sinh tiếp sẽ tra hồ sơ để giữ đúng người và cảnh dù camera đã rời đi rất lâu.
  2. Tính năng chỉnh video bằng lệnh thoại trên điện thoại: người dùng nói “đổi màu xe thành đỏ từ giờ trở đi”; hệ thống cập nhật trạng thái thế giới ẩn và bắt buộc các cảnh sau tuân theo thay đổi đó, thay vì chỉ đổi một frame rồi quên.
  3. Trình tạo video quảng cáo theo nhân vật cố định: doanh nghiệp upload vài ảnh sản phẩm và mascot; hệ thống duy trì “bảng nhận diện” để xuất nhiều video dài khác nhau mà logo, màu sản phẩm và tỷ lệ mascot không bị méo theo thời gian.
  4. Game/AR trên điện thoại ghi nhớ hậu quả tương tác: khi người chơi mở cửa, phá hộp hoặc dịch chuyển vật thể, trạng thái thay đổi được lưu vào bộ nhớ thế giới; sau khi camera quay đi nơi khác và quay lại, vật vẫn ở trạng thái đã thay đổi.
  5. Trình biên tập phim tự động có cụm “sổ tay liên tục”: phân tích footage đã quay, rút nhân vật, cảnh, đạo cụ và lỗi liên tục; khi tạo cảnh bổ sung hoặc kết nối hai đoạn xa nhau, hệ thống dùng sổ tay để tránh mâu thuẫn kịch bản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.28466
ArXiv Abstracthttps://arxiv.org/abs/2609.28466
PDF Downloadhttps://arxiv.org/pdf/2609.28466.pdf
Github Repositoryhttps://github.com/HaroldChen19/Awesome-AR-Video-Memory

5. Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents (33 votes)​

Tác giả: Yefan Zhou, Yang Li, Zeyu Leo Liu, Semih Yavuz, Shafiq Joty

Xuất bản lúc: 2026-09-23

Tag: LLM Agents, Agentic Memory, Reinforcement Learning, GRPO, In-Context Learning, Task-Adaptive Retrieval

I. Main Problem:​

Các hệ thống bộ nhớ (memory) cho tác tử LLM hiện nay chủ yếu trích lọc kinh nghiệm ngay lúc ghi (write-time curation): sau khi hoàn thành một tác vụ, quỹ đạo hành động được cô đọng thành một artifact cố định (reflection, workflow, skill, chiến lược suy luận) rồi lấy ra bằng tìm kiếm tương đồng. Cách này có hai hệ quả nghiêm trọng:

  • Mất mát thông tin quá sớm và không thể phục hồi: chi tiết bị vứt bỏ trước khi biết tác vụ tương lai cần gì.
  • Một artifact cố định phải phục vụ mọi truy vấn: cùng một quỹ đạo có thể dạy bài học khác nhau tùy tác vụ downstream, nhưng bản tóm tắt không phụ thuộc truy vấn thì chỉ chọn được một cách diễn giải.
  • Ngoài ra, việc học curator lúc ghi rất khó: giá trị của quyết định lưu trữ chỉ lộ ra khi có truy vấn liên quan, có thể nhiều tác vụ sau đó — bài toán gán credit dài hạn, buộc các phương pháp như SkillOS phải nhân tạo nhóm các tác vụ liên quan để tạo tín hiệu học.

II. Main Idea:​

Just-in-Time Memory (JITMEM) đảo ngược thời điểm curation: lưu nguyên quỹ đạo thô (raw trajectory) không tóm tắt, và chỉ trích lọc kinh nghiệm ngay lúc đọc (read-time) khi tác vụ hiện tại đã biết. Pipeline gồm 4 bước:

  • Retrieve: BM25 lấy top-k quỹ đạo thô gần nhất từ memory bank.
  • Curate: một memory curator đọc cả tác vụ hiện tại lẫn quỹ đạo, tổng hợp thành task-adaptive payload nhỏ gọn (briefing + hướng dẫn cụ thể cho đúng tác vụ đó) — cùng một quỹ đạo lưu trữ sinh ra payload khác nhau cho từng tác vụ.
  • Execute: executor LLM đóng băng giải tác vụ với payload trong context.
  • Update: chỉ lưu quỹ đạo thành công (qua LLM-as-judge) vào bank.

Vì payload được tiêu thụ ngay trên cùng tác vụ nó được tạo ra, curator được huấn luyện bằng GRPO trực tiếp trên reward thành công tức thì — gán credit chỉ còn một bước, bỏ được máy móc nhóm tác vụ. Curator tách rời executor nên huấn luyện một lần, chuyển sang executor mạnh hơn không cần train lại.

Ví dụ đời thường: giống đầu bếp giữ nguyên nguyên liệu tươi trong tủ thay vì nấu sẵn một nồi ăn cả tuần — đến khi biết khách gọi món gì mới chế biến riêng cho đúng món đó; một túi khoai cũng có thể thành món hầm hay món chiên tùy yêu cầu.

III. Main Results:​

  • Vượt mọi baseline ở cả ba benchmark: +16.2 điểm SR trên ALFWorld (77.4 vs 61.2 của SkillOS), +16.3 trên WebShop (32.8 vs 16.5), +3.9 macro-avg trên τ2-bench (75.6 vs 71.7).
  • Cả curator chưa train (JITMEM-base) đã thắng hoặc ngang các phương pháp write-time: ví dụ WebShop 61.0 (JITMEM-gemini) vs 41.0 (SkillOS, cùng Gemini-2.5-Pro) — cho thấy bản thân read-time task-adaptive curation đã là nguồn lợi chính; RL train càng tăng thêm.
  • Curator yếu hơn vẫn thắng baseline dùng model mạnh hơn (JITMEM-base/Qwen3-8B đạt 79.3 trên ALFWorld, vượt ReasoningBank và SkillOS cùng GPT-5.4) — lợi ích đến từ cơ chế, không phải sức mạnh model.
  • Transfer xuyên executor: curator train với Qwen3-8B chỉ kém 1.4 điểm so với curator train trực tiếp trên GPT-5.4.
  • Hiệu quả hơn: giảm 50.3%–56.3% input token và 28.4%–31.4% số bước executor so với phương pháp write-time, nhờ payload nhỏ gọn hơn.
  • Ablation xác nhận ba yếu tố độc lập: điều kiện hóa theo tác vụ (bỏ đi sụt tới 11.4 điểm sau RL), lọc chỉ lưu quỹ đạo thành công, và lưu trajectory thô thay vì distill lúc ghi (bỏ sụt tới 8.2 trên WebShop). Cấm retriever trả kết quả làm mất toàn bộ lợi ích của RL — chứng tỏ curator thật sự học cách distill kinh nghiệm.

IV. Conclusion & Future Works:​

JITMEM chứng minh rằng hiệu quả của bộ nhớ tác tử không chỉ phụ thuộc vào lưu gì, mà quan trọng hơn là khi nào và cho tác vụ nào trích lọc kinh nghiệm. Việc tách lưu trữ khỏi curation và huấn luyện curator bằng reward tức thì biến bài toán gán credit dài hạn thành mục tiêu một bước đơn giản.

Hạn chế: retriever BM25 đơn giản có thể thành nút thắt khi bank lớn; curator tốn thêm một lời gọi LLM mỗi tác vụ; định dạng payload cố định, thiết kế tay theo từng benchmark.

Hướng tương lai: tối ưu định dạng payload, retriever mạnh hơn, và mở rộng curation từ một lần mỗi tác vụ xuống cấp turn/step khi có quan sát mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Curator cấp bước (step-level): mở rộng JITMEM để tái trích lọc payload mỗi khi tác tử nhận quan sát mới trong tác vụ dài hạn, thay vì chỉ một lần lúc bắt đầu tác vụ.
  2. Curator đa người thực hiện (multi-executor) chung: huấn luyện một curator phục vụ đồng thời nhiều mô hình executor khác nhau để rút gọn chi phí triển khai trong hệ thống agent quy mô lớn.
  3. Retriever có khả năng học cho bộ nhớ tác tử: thay BM25 bằng retriever dense được tối ưu cùng curator, đánh giá khi memory bank phát triển liên tục và đa dạng.

2. Patent:​

  1. Trợ lý cá nhân trên điện thoại ghi nhớ theo ngữ cảnh: thay vì lưu sẵn bài học cố định sau mỗi tương tác, ứng dụng giữ nguyên lịch sử thô; khi người dùng đưa yêu cầu mới, hệ thống tổng hợp 'bản hướng dẫn riêng' từ các trải nghiệm quá khứ phù hợp đúng với tình huống hiện tại (đặt vé, sửa lỗi thiết bị, mua sắm).
  2. Hệ thống hỗ trợ nhân viên chăm sóc khách hàng: lưu toàn bộ hội thoại xử lý thành công; khi cuộc gọi mới tới, hệ thống tự trích ra quy trình gợi ý tùy theo kịch bản khách đang gặp (đổi vé, hoàn hàng, khiếu nại), thay vì một bộ câu trả lời mẫu chung chung.
  3. Trợ lý lập trình có bộ nhớ dự án: lưu nguyên các phiên debug và sửa lỗi thành công; khi lỗi mới xuất hiện, hệ thống tổng hợp gợi ý sửa riêng cho lỗi đó dựa trên kinh nghiệm quá khứ, giảm số vòng thử-sai của lập trình viên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.27334
ArXiv Abstracthttps://arxiv.org/abs/2609.27334
PDF Downloadhttps://arxiv.org/pdf/2609.27334.pdf
Github RepositoryN/A

6. RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling (20 votes)​

Tác giả: Zhenchen Tang, Yang Li, Songlin Yang, Bo Peng, Xiaotong Zhao, et al.

Xuất bản lúc: 2026-09-19

Tag: Video Generation, Reward Modeling, Reinforcement Learning, GRPO, MLLM, RLHF, Evaluation

I. Main Problem:​

Các video reward model (RM) hiện tại — dù discriminative hay generative — đều chấm điểm video trực tiếp thành một scalar mà không có tiêu chí đánh giá rõ ràng. Điều này gây ra scalar drift, gồm hai triệu chứng:

  • Score-range collapse: điểm dồn vào một dải hẹp ở mức cao, làm mất khoảng cách giữa video tốt và xấu → gradient gần bằng 0 khi dùng cho RL.
  • High variance under context shift: thang điểm trôi khi paraphrase prompt hoặc đổi thứ tự đầu vào, cho kết quả không nhất quán với cùng một nội dung.

Do đó reward không ổn định, khó dùng làm tín hiệu RL để tối ưu mô hình sinh video.

II. Main Idea:​

RewardVerse đưa dynamic rubric vào làm biểu diễn trung gian giữa query và scorer, tách đánh giá thành hai bước:

  • Rubric Generator: từ query (dimension + prompt), sinh rubric gồm các theme, trọng số wk, và scoring tips — quan trọng là generator không xem video, nên tiêu chí không bị thiên lệch theo video cụ thể.
  • Scorer: chấm từng theme rồi tổng hợp theo trọng số, dùng soft-logits (kỳ vọng trên logits 5 token điểm 1–5) thay vì sinh text để tránh độ lệch ngôn ngữ.

Để huấn luyện hiệu quả với rất ít dữ liệu, tác giả đề xuất RGPO (hai giai đoạn, dựa trên GRPO):

  • Stage 1 — Warm-up scorer: dùng seed rubric tự tiến hóa (do MLLM mạnh propose/verify/revise trên 30 preference pairs mỗi chiều), tối ưu bằng preference reward + calibration loss khớp khoảng cách điểm với người.
  • Stage 2 — Joint optimization: generator học sinh rubric thích ứng từng query (reward gồm khả năng tách video tốt/xấu + độ tương đồng với seed themes + format), còn scorer chỉ cập nhật qua calibration loss để tránh thổi phồng khoảng cách điểm giả.

Ví dụ đời thường: giống giám khảo chấm thi không chấm bừa theo cảm tính, mà trước tiên viết rõ bảng tiêu chí (nội dung, diễn đạt, trình bày mỗi mục bao nhiêu điểm) rồi mới chấm từng mục theo đúng bảng đó — nên kết quả ổn định, ai chấm cũng giống nhau.

III. Main Results:​

  • EvalVerse (16 chiều, pointwise): RewardVerse đạt PLCC cao nhất ở 14/16 chiều; macro-avg PLCC 0.554 (model ngoài tốt nhất chỉ ~0.467). Đặc biệt mạnh ở tác vụ khó về nhận thức/thời gian: Logic PLCC 0.750 (model tiếp theo 0.593), Action 0.566 (tiếp theo 0.390).
  • VGRB (pairwise, 26.5K cặp): tốt nhất trong các baseline không-oracle ở cả hai split — Visual Quality (seen) 0.545/0.660 (Acc w/ và w/o tie), vượt VisionReward +7 điểm; Text Alignment (unseen) 0.471/0.623 — tổng quát zero-shot tốt dù chỉ train 30 pairs/chiều (480 pairs).
  • Ablation: thiếu Stage 1 → PLCC giảm 0.099; thiếu Stage 2 → giảm 0.074; bỏ rubric (cùng ngân sách 480 pairs) → PLCC chỉ ~0.44 so với 0.53.
  • Downstream RL: dùng làm reward GRPO cho Wan-2.2-A14B → Imaging Quality tăng 0.640→0.653, VBench-Text tăng 0.428→0.446, trong khi VideoReward làm VBench-Text giảm — RewardVerse ổn định hơn và ít bị reward hacking.

IV. Conclusion & Future Works:​

Chèn rubric động vào làm nút cổ chai ngữ nghĩa giúp giảm scalar drift, và RGPO (warm-up bằng seed rubric rồi tối ưu đồng thời generator + scorer) giải quyết phần drift còn lại, đạt hiệu quả dữ liệu rất cao (30 pairs/chiều) và reward dễ diễn giải. Kết quả khẳng định ổn định thang điểm là điều kiện tiên quyết để video RM dùng được cho RL. Tương lai có thể mở rộng rubric-as-reward sang các tác vụ đánh giá đa phương thức khác và tăng khả năng tự kiểm chứng của rubric.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng paradrigm rubric-as-reward sang đánh giá video đa chiều theo thời gian thực: rubric tự cập nhật giữa khi video đang phát, dùng cho kiểm duyệt nội dung video ngắn trên nền tảng mạng xã hội.
  2. Kết hợp rubric động với cơ chế tự kiểm chứng (verifier) để phát hiện và loại bỏ các tiêu chí rubric mơ hồ hoặc bị reward hacking khi huấn luyện mô hình sinh video.
  3. Áp dụng RGPO cho reward model liên ngành (ảnh, âm thanh, 3D) với một generator rubric thống nhất, khai thác tính chất candidate-independent để chia sẻ tiêu chí giữa các phương thức.

2. Patent:​

  1. Hệ thống chấm điểm video quảng cáo tự động trên điện thoại: ứng dụng sinh bảng tiêu chí đánh giá (màu sắc, nhịp cắt, độ khớp thông điệp) từ mô tả chiến dịch, chấm từng tiêu chí rồi gộp điểm — kết quả ổn định dù người dùng viết mô tả theo cách khác nhau.
  2. Trợ lý AI chấm bài thuyết trình quay video: người dùng tải video lên điện thoại, ứng dụng tạo rubric từ yêu cầu đề bài (nội dung, ngôn ngữ cơ thể, cấu trúc), chấm từng hạng mục có kèm góp ý cụ thể và biểu đồ phân bố điểm.
  3. Công cụ kiểm duyệt video ngắn cho nền tảng mạng xã hội: rubric an toàn nội dung được sinh tự động theo từng danh mục video, chấm độc lập từng khía cạnh bằng cơ chế đọc xác suất token để tránh thiên lệch chấm quá cao hoặc quá thấp, đồng thời giải thích được lý do từng điểm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.22947
ArXiv Abstracthttps://arxiv.org/abs/2609.22947
PDF Downloadhttps://arxiv.org/pdf/2609.22947.pdf
Github Repositoryhttps://github.com/2kxx/RewardVerse

7. Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It? (15 votes)​

Tác giả: Silin Chen, Yufei Yang, Xiaodong Gu, Yuling Shi, Chengcheng Wan, et al.

Xuất bản lúc: 2026-08-21

Tag: LLMs, SWE-bench, Coding Agents, Benchmark Contamination, Data Leakage, Software Engineering, Evaluation

I. Main Problem:​

Các benchmark mức repository như SWE-bench Verified đang là chuẩn đánh giá coding agent, nhưng chúng dựng trên các repo open-source phổ biến đã bị rò rỉ dữ liệu vào dữ liệu huấn luyện:

  • Thí nghiệm motivation cho thấy >65% instances có bằng chứng data leakage, >18% bị nhớ lại tới mức patch/test (LLM nhớ cả nội dung bản vá và test mà không cần đọc repo).
  • Vì repo được trình bày dưới một dạng canonical tĩnh, không thể phân biệt điểm cao đến từ suy luận thật hay chỉ ghi nhớ dấu hiệu bề mặt (tên hàm, cấu trúc file, pattern triển khai).
  • Các benchmark mới (SWE-bench Live, SWE-rebench) chỉ giảm contamination tạm thời, mất độ đa dạng về loại issue.

II. Main Idea:​

SchrodingerRepo coi repository như một biến tiềm ẩn: thay vì dùng repo canonical cố định, framework tạo ra tại thời điểm đánh giá một phiên bản tương đương ngữ nghĩa, giữ nguyên hành vi thực thi, nhưng làm mòn mọi dấu hiệu quen thuộc — biến đổi có kiểm soát qua 4 mức:

  • Level 1 — Reconstruct problem statement: LLM viết lại mô tả issue theo cách diễn đạt khác, verifier kiểm tra tính tương đương.
  • Level 2 — Namespace Mapping: ánh xạ có seed, khả nghịch toàn bộ tên class/function/path nội bộ sang namespace ảo (giữ nguyên API bên ngoài); quan sát dịch sang tên mới, hành động dịch ngược về repo gốc.
  • Level 3 — Intra-file Reordering: xáo trộn thứ tự định nghĩa trong file/class theo topological sort ngẫu nhiên trên đồ thị phụ thuộc, giữ nguyên semantics.
  • Level 4 — Functionality-Preserving Rewrite: viết lại code gần vị trí fix thành dạng khác nhưng hành vi giữ nguyên (kiểm chứng bằng test suite Pass-to-Pass / Fail-to-Pass).

Mapping khả nghịch nên thực thi vẫn dựa trên SWE-bench gốc, patch cuối dịch ngược để chấm điểm chuẩn.

Ví dụ đời thường: giống thi một bài toán quen nhưng đề bị viết lại, tên biến đổi hết, thứ tự đoạn văn xáo trộn — người thật sự hiểu bài vẫn làm được, còn người chỉ thuộc lòng đáp án sẽ lúng túng phải đọc kỹ lại từ đầu.

III. Main Results:​

  • SWE-bench Verified, cả 4 level cùng bật: Pass@1 giảm 6.0–14.4 điểm phần trăm (GPT-5.4-mini: 46.8%→35.6%; GPT 5.1: 44.6%→36.2%; DeepSeek-v4-Flash: 72.8%→66.8%; Gemini-3.1-Flash-Lite: 56.7%→42.3%), đồng thời input token tăng tới 2.5×, số action tăng 61–116%, đều có ý nghĩa thống kê (p<0.05).
  • Level 2 (Namespace Mapping) gây sụt mạnh nhất: -6 đến -7.4 điểm, token tăng tới +218%; Level 1 gần như không ảnh hưởng; Level 3, 4 ảnh hưởng nhẹ → độ nhạy với repo nằm rải rác ở nhiều tầng, không chỉ tên gọi.
  • Hành vi agent (RQ2): 81.6–83.6% action tăng thêm dùng cho khám phá (navigate/search/read/probe), không phải sửa code hay test. DeepSeek-v4-Flash thích probe (chạy thử), GPT-5.4-mini thích đọc/tìm tĩnh → mô hình thăm dò nhiều giữ được Pass@1 tốt hơn nhưng tốn token hơn.
  • Tổng quát sang SWE-QA (RQ3): điểm trả lời giảm tới 4.64 điểm (GPT-5.4-mini), action tăng 18–43% → hiệu ứng không giới hạn ở issue resolution.
  • SWE-rebench tạm thời (RQ4): Pass@1 không đổi (17.27%) nhưng action +8.15%, token +22% → SchrodingerRepo không làm bài khó hơn, chỉ loại bỏ lợi thế ghi nhớ; mức tăng chi phí rõ nhất ở repo cũ, phổ biến (dễ bị dính pretraining).
  • Case study django: cùng một issue, trajectory tăng từ 37 lên 217 action khi namespace bị đổi.

IV. Conclusion & Future Works:​

Kết luận: điểm SWE-bench cao của các agent hiện tại một phần phản ánh ghi nhớ dấu hiệu bề mặt repo (đặc biệt namespace), chứ không hoàn toàn là suy luận repository-level robust. SchrodingerRepo cho phép đánh giá agent dưới nhiều biểu diễn repo tương đương mà không hy sinh độ phủ của benchmark.

Hướng tương lai / hạn chế:

  • Mở rộng ngoài Python sang ngôn ngữ và hệ sinh thái repo khác.
  • Hỗ trợ agent có công cụ giàu hơn (IDE API, language server, AST navigation) thay vì chỉ command-line.
  • Áp dụng tư tưởng biến đổi repo tại evaluation-time cho các dạng benchmark agent khác ngoài SWE-bench.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế ghi nhớ repository-side cues theo từng giai đoạn huấn luyện của LLM: đo lường mức độ contamination thay đổi thế nào giữa pretraining, SFT và RL đối với các repo phổ biến trong SWE-bench.
  2. Phát triển phương pháp training-time augmentation bằng repo biến đổi (đổi namespace, xáo thứ tự định nghĩa, viết lại implementation) để xây dựng coding agent robust hơn với biểu diễn repo chưa từng thấy.
  3. Benchmark động thế hệ mới: kết hợp biến đổi repo tại evaluation-time (SchrodingerRepo) với cập nhật instance theo thời gian (SWE-rebench) để có benchmark vừa sạch contamination vừa đa dạng.
  4. Nghiên cứu chính sách thăm dò (exploration policy) tối ưu: khi nào nên probe bằng thực thi, khi nào nên đọc/tìm tĩnh để cân bằng giữa chi phí token và độ robust khi thiếu dấu hiệu repo quen thuộc.

2. Patent:​

  1. Hệ thống đánh giá kỹ năng lập trình AI chống gian lận bằng ghi nhớ: máy chủ biến đổi ngẫu nhiên tên biến, tên hàm, đường dẫn file và thứ tự đoạn code của bài kiểm tra mỗi lần thí sinh (AI hoặc người) vào phòng thi, giữ nguyên kết quả chạy, rồi chấm điểm trên bản gốc — đảm bảo chỉ người thật sự hiểu code mới qua được.
  2. Nền tảng tuyển dụng lập trình viên trên điện thoại: ứng dụng sinh ra phiên bản repo 'ảo hóa' khác nhau cho từng ứng viên (đổi tên class, xáo trộn file), ứng viên sửa bug trực tiếp trên điện thoại, hệ thống tự dịch ngược bản vá về repo chuẩn để chấm tự động.
  3. Module chấm điểm agent tự động trong doanh nghiệp: trước khi triển khai coding agent vào codebase nội bộ, hệ thống tạo nhiều biến thể đổi tên/đổi cấu trúc của repo để kiểm thử xem agent có phụ thuộc vào tên gọi quen thuộc hay thật sự hiểu logic nghiệp vụ.
  4. Công cụ huấn luyện mô hình code trên điện thoại đám mây: dữ liệu huấn luyện được làm giàu bằng cách sinh các biểu diễn tương đương ngữ nghĩa của cùng một repo (đổi namespace, viết lại implementation), giúp mô hình học suy luận thay vì thuộc tên hàm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.27891
ArXiv Abstracthttps://arxiv.org/abs/2609.27891
PDF Downloadhttps://arxiv.org/pdf/2609.27891.pdf
Github Repositoryhttps://github.com/cslsolow/Schrodinger-Repo

8. PACT: From Credit Assignment to Critic Alignment (14 votes)​

Tác giả: Jiayan Fu, Hang Xu, Yong Zhang, Zhaokai Luo, Yao Hu, et al.

Xuất bản lúc: 2026-09-22

Tag: Reinforcement Learning, LLM Post-Training, Actor-Critic, Credit Assignment, Policy Gradient, GRPO, PPO

I. Main Problem:​

Trong RL hậu huấn luyện LLM, phần thưởng chỉ là một giá trị vô hướng ở cuối câu trả lời, nhưng cập nhật trọng số lại xảy ra ở từng token. Làm sao phân bổ kết quả cuối cùng cho từng token (credit assignment) chưa có định nghĩa toán học được chấp nhận chung:

  • Mỗi thuật toán (PPO, GRPO, RLOO, distillation) "đoán" credit theo cách riêng, không thống nhất.
  • Với phản hồi chỉ ở cuối trajectory dài, việc ước lượng credit mịn (GAE) rất nhạy với lỗi của critic, khiến actor-critic kém hiệu quả trong bài toán long-horizon.

II. Main Idea:​

Bài báo đưa ra ba điều kiện chuẩn tắc và chứng minh chúng xác định duy nhất credit ở cấp token:

  • Completeness: tổng credit phải giải thích hết độ lệch giữa reward thực tế và dự đoán ban đầu.
  • Prefix Consistency: credit của một tiền tố chỉ phụ thuộc thông tin đã có, không bị các token tương lai sửa lại.
  • Neutrality: credit kỳ vọng của token tiếp theo bằng 0 (không thiên lệch).

Kết quả duy nhất: Ci = E[R|F_i] − E[R|F_i−1] — credit là hiệu của chuỗi martingale các dự đoán reward điều kiện. Định lý này lý giải thống nhất nhiều hiện tượng: teacher trong On-Policy Distillation thực chất là một critic ngầm; tín hiệu response-level của RLOO dù thô hơn vẫn cho cùng gradient kỳ vọng với credit token-level; và credit gần như thưa (sparse) khi reward bị chặn — lỗi critic trung gian trong GAE có thể áp đảo tín hiệu credit thật khi λ < 1, nên dùng λ = 1.

Từ đó đề xuất PACT (Policy Aligned Critic Training): cập nhật Actor trước, Critic sau, kèm hiệu chỉnh importance sampling để critic bám theo policy mới thay vì bị lệch một bước như PPO, và dùng Binary Cross Entropy thay MSE để ước lượng giá trị tốt hơn.

Ví dụ đời thường: giống việc chấm điểm cho từng công đoạn của một dây chuyền — thay vì cứ chấm theo sản lượng cuối cùng của ca cũ (critic bị "lạc hậu" so với cách làm mới), PACT cập nhật cách chấm điểm ngay sau khi đổi quy trình, bằng cách cân lại từng đóng góp theo tỷ lệ thay đổi thực tế.

III. Main Results:​

  • Toán suy luận (Qwen3.5-4B, Avg@16 trên AIME 2025/2026, BeyondAIME, HMMT): PACT đạt 72.87% trung bình, vượt GRPO +8.80 và PPO (λ=1) +13.16 điểm phần trăm; vượt SAO +21.73.
  • SWE-bench Verified (Qwen3.6-35B-A3B, pass@1): PACT đạt 67.4%, vượt PPO +2.4, GRPO +2.0, SAO +3.8 điểm phần trăm.
  • PPO với λ = 1.0 (59.71%) vượt rõ λ = 0.95 (26.31%, bị sụp policy) — khớp với phân tích lý thuyết về lỗi critic trung gian trong GAE.
  • Ablation importance sampling: bỏ IS giảm từ 72.87% xuống 67.74% (−5.13 điểm), và training kém ổn định hơn.
  • Ablation mục tiêu critic: critic BCE hội tụ nhanh hơn và tách biệt giá trị tốt/xấu (∆±) rõ hơn MSE ở cả hai quy mô mô hình.

IV. Conclusion & Future Works:​

Đặt nền tảng toán học cho credit assignment bằng định lý biểu diễn duy nhất, đồng thời chỉ ra giá trị của critic chính xác và đồng bộ với policy là yếu tố then chốt trong RL cho LLM. PACT thực hiện nguyên tắc này qua cập nhật Actor-then-Critic kèm hiệu chỉnh importance sampling và mục tiêu BCE, vượt trội GRPO/PPO/SAO trên cả toán và code. Bài báo không nêu hướng nghiên cứu tương lai cụ thể; hướng tự nhiên là mở rộng phân tích cho môi trường tương tác nhiều vòng và giảm phương sai của importance ratios trong trajectory dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng khuôn khổ credit duy nhất để thiết kế tín hiệu dense cho các bài toán RL dạng multi-turn, nơi reward trung gian hiếm và lỗi critic tích lũy qua nhiều vòng hội thoại với công cụ.
  2. Nghiên cứu phương pháp giảm phương sai cho importance ratios dài hạn trong PACT (ví dụ ratio theo đoạn, clipping thích ứng) để đồng bộ critic-policy ổn định hơn ở context window rất lớn.
  3. Mở rộng định lý tương đương teacher-critic sang distillation có chọn lọc: học cách xây dựng 'ideal teacher' xấp xỉ thực tế từ chính policy đang huấn luyện với ngân sách tính toán thấp.

2. Patent:​

  1. Hệ thống huấn luyện trợ lý AI trên điện thoại: cập nhật mô hình theo kiểu 'sửa trả lời trước, chấm điểm lại sau' kèm trọng số hiệu chỉnh, giúp điện thoại tinh chỉnh hành vi trả lời từ phản hồi đúng/sai của người dùng mà không cần huấn luyện lại toàn bộ trên máy chủ.
  2. Trợ lý lập trình tự cải thiện: sau mỗi lần sửa mã, hệ thống tự chấm lại chất lượng từng bước suy luận bằng kết quả kiểm thử tự động và dùng điểm này hiệu chỉnh chính sách tạo mã ở lượt tiếp theo.
  3. Bộ công cụ đánh giá chất lượng từng câu trong phản hồi dài của chatbot: tách điểm tổng thể của cuộc hội thoại thành đóng góp từng câu theo nguyên tắc 'điểm tích lũy chỉ phụ thuộc phần đã nói', phục vụ phân tích lỗi và tinh chỉnh có mục tiêu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.26355
ArXiv Abstracthttps://arxiv.org/abs/2609.26355
PDF Downloadhttps://arxiv.org/pdf/2609.26355.pdf
Github RepositoryN/A

9. GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression (11 votes)​

Tác giả: Baher Mohammad, Ammar Ali, Stamatios Lefkimmiatis

Xuất bản lúc: 2026-09-22

Tag: Model Compression, Transformer, Dictionary Learning, Matrix Factorization, Sparse Coding, Training-Free, LLMs

I. Main Problem:​

Nén mô hình Transformer sau huấn luyện (post-training compression) hiện nay bỏ phí sự trùng lặp giữa các tầng (cross-layer redundancy):

  • Các phương pháp factorization truyền thống tối ưu từng tầng riêng lẻ, không khai thác cấu trúc chung giữa các tầng.
  • Các cách chia nhóm tầng hiện có (như Basis Sharing) dùng heuristic cố định — ghép tầng liền kề, gộp trung bình ma trận hiệp phương sai (covariance) toàn cục — dẫn đến:
    • làm méo hình học kích hoạt (activation geometry) riêng của từng tầng, suy giảm độ chính xác
    • bỏ qua các cặp tầng không liền kề nhưng tương thích về cấu trúc, để lỡ tiềm năng nén.

II. Main Idea:​

GeoPair là khung nén không cần huấn luyện lại gồm 3 giai đoạn tối ưu hóa lần lượt:

  • Đo khoảng cách cấu trúc trong không gian đã tẩy trắng (whitened space): mỗi tầng có transform Cholesky riêng từ dữ liệu calibration; khoảng cách Frobenius giữa hai ma trận trọng số được tính trong không gian này, tôn trọng hình học kích hoạt riêng của từng tầng thay vì gộp chung.
  • Ghép cặp tầng tối ưu toàn cục: bài toán ghép cặp được đưa về maximum-weight matching trên đồ thị và giải chính xác bằng thuật toán Blossom của Edmonds — không còn quy tắc "tầng liền kề" cứng nhắc, có thể ghép cả attention với feed-forward nếu cùng chiều đầu vào.
  • Học từ điển chung (shared dictionary): hai tầng trong cặp chia một ma trận từ điển D với hệ số riêng C1, C2, được tối ưu bằng alternating minimization — bước cập nhật từ điển có nghiệm đóng dạng phương trình Sylvester tổng quát (qua đồng thời hóa đường chéo), bước hệ số dùng Hard Thresholding Pursuit (HTP) với conjugate gradient để tạo hệ số thưa (sparse), tăng tỉ lệ nén mà vẫn có bảo đảm hội tụ.

Ví dụ đời thường: giống việc xếp hai người cùng chung một bộ từ điển dịch thuật thay vì mỗi người mang một cuốn — nhưng thay vì ghép bừa hai người ngồi cạnh nhau (liền kề), ta chấm điểm xem ai hợp nhau nhất rồi ghép theo cặp tối ưu toàn bộ văn phòng, và từ điển chung được điều chỉnh sao cho mỗi người vẫn tra cứu theo thói quen (hình học calibration) riêng của mình.

III. Main Results:​

  • Vượt Basis Sharing rõ rệt: trên Llama-3.2 1B tại tỉ lệ nén 0.2, GeoPair đầy đủ đạt avg accuracy 54.09 so với 33.11 của Basis Sharing, hồi phục >90% độ chính xác baseline (57.61); Llama-3 8B: 68.17 so với 53.47 (baseline 70.36).
  • Từng thành phần đều có đóng góp: chỉ riêng bộ giải Sylvester đã nâng 33.11 → 41.26; thêm optimal grouping → 43.03; thêm HTP → 54.09. Bỏ optimal grouping khỏi pipeline sparsified làm giảm hiệu năng.
  • SOTA so với nhiều hướng khác: vượt SVDLLM, CoSpaDI, ROCKET, COMPOT ở các tỉ lệ nén 0.2–0.4; so với các phương pháp pruning (WANDA, ShortGPT, LoRAShear...) trên Llama-2 7B, GeoPair đạt avg accuracy cao nhất (63.58) mà hoàn toàn không cần fine-tuning sau nén.
  • Khái quát tốt qua kiến trúc và quy mô: Qwen-3 8B/32B, Gemma-3 12B, Phi-4 14B đều cải thiện hoặc cạnh tranh so với Basis Sharing ở CR 0.2–0.4.
  • Vượt ra ngoài ngôn ngữ: nén mô hình video Wan2.2 5B ở 20% chỉ giảm CLIP score 0.0001; ở 40% chỉ giảm 2.5% — chất lượng video gần như nguyên vẹn, không cần hồi phục nào.
  • Ablation: metric khoảng cách Frobenius trong không gian whitened tốt nhất; tỉ lệ KS = 2.5 là mặc định tối ưu.

IV. Conclusion & Future Works:​

GeoPair thay thế các chiến lược heuristic trong nén Transformer bằng một pipeline tối ưu hóa có cơ sở lý thuyết và hội tụ: ghép cặp tầng bằng matching toàn cục, cập nhật từ điển chung bằng nghiệm đóng Sylvester, và ép thưa hệ số bằng HTP — tất cả bảo toàn hình học calibration riêng từng tầng mà vẫn tận dụng triệt để redundancy liên tầng, đạt SOTA đa kiến trúc/scale/modal mà không fine-tune.

Hạn chế chính: giới hạn ở ghép cặm đôi (m = 2) — bộ giải Sylvester dạng đóng dựa trên đồng thời hóa đường chéo của hai cặp ma trận, không tổng quát hóa trực tiếp cho nhóm m > 2 tầng. Mở rộng đa nhóm cần xấp xỉ số học lặp hoặc factorization tensor bậc cao, tiềm ẩn chi phí tính toán và bất ổn số — đây là hướng nghiên cứu chính tiếp theo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng chia sẻ từ điển cho nhóm m > 2 tầng bằng xấp xỉ số lặp hoặc tensor factorization bậc cao, với phân tích hội tụ và ổn định số.
  2. Áp dụng GeoPair cho các mô hình đa phương thức lớn (vision-language-audio) với chiến lược calibration dùng chung xuyên suốt các modality.
  3. Kết hợp grouping bằng matching với phân bổ ngân sách nén thích ứng toàn mô hình (global budget allocation) thay vì ngân sách cố định mỗi cặp.

2. Patent:​

  1. Module nén mô hình AI ngay trên điện thoại: ứng dụng tự phân tích các tầng mạng đã tải về, tự ghép cặp tầng giống nhau và thay bằng một từ điển trọng số chung, giúp mô hình chạy nhanh hơn và chiếm ít bộ nhớ mà không cần gửi dữ liệu lên máy chủ huấn luyện lại.
  2. Dịch vụ đám mây nén mô hình theo yêu cầu: doanh nghiệp gửi mô hình, hệ thống tự đo độ tương đồng cấu trúc giữa các tầng và rút gọn trọng số, trả về bản mô hình nhẹ hơn 2-5 lần với độ chính xác gần nguyên bản.
  3. Bộ nén trọng số cho mô hình tạo video/âm thanh trên thiết bị biên: tự động tìm các cặp phép chiếu tương thích trong mạng sinh, gộp thành từ điển chung có hệ số thưa để mô hình tạo video chạy mượt trên thiết bị cấu hình thấp mà hình ảnh đầu ra gần như không đổi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.25963
ArXiv Abstracthttps://arxiv.org/abs/2609.25963
PDF Downloadhttps://arxiv.org/pdf/2609.25963.pdf
Github RepositoryN/A

10. PackLab: A Comprehensive Framework for Developing, Training, and Evaluating MLLMs in Robotic Bin Packing (10 votes)​

Tác giả: Donghao Zhou, Jia-Hui Pan, Fan Zhang, Xingyuan Bu, Shilong Li, et al.

Xuất bản lúc: 2026-09-20

Tag: Robotic Bin Packing, MLLM, VLM, Sequential Decision-Making, Reinforcement Learning, Simulation, Benchmark

I. Main Problem:​

Packing hộp bằng robot là bài toán ra quyết định dài hạn: mỗi lần đặt một vật sẽ thay đổi không gian còn lại cho các vật sau. Các phương pháp hiện có có hạn chế rõ rệt:

  • Heuristic hình học thủ công (DBLF, MTA, HM, SDF-Pack): chỉ tối ưu mục tiêu cục bộ từng bước, không lường trước hệ quả cho các lần đặt sau.
  • Reinforcement Learning (TAP-Net, IR-BPP): cần lượng lớn trial-and-error trên phân phối vật thể/thùng chứa cố định, kém khái quát hóa sang cấu hình mới.
  • MLLM hiện tại: chỉ dùng để suy luận thuộc tính vật thể/ràng buộc ngữ nghĩa, còn hành động đặt vật vẫn giao cho planner truyền thống; thiếu khung tích hợp cho mô phỏng vật lý, sinh dữ liệu huấn luyện và đánh giá chuẩn hóa.

II. Main Idea:​

Đề xuất PackLab, một framework đầy đồ cho việc phát triển, huấn luyện và đánh giá MLLM trong packing hộp khép kín, gồm ba thành phần:

  • PackLab-Suite: nền tảng mô phỏng vật lý (trọng lực, va chạm vật rắn, phản hồi ổn định) kèm engine sinh dữ liệu kiểu layout-first — chia không gian thùng thành các lớp và vùng, đặt vật vào trước rồi đảo ngược thứ tự tháo dỡ để tái tạo quỹ đạo packing; qua replay kiểm chứng, thu được dataset PackData-20K.
  • PackLab-VLM: MLLM chuyên biệt (backbone Qwen3.5-9B), fine-tune trên PackData-20K. Ở mỗi bước, mô hình nhận heightmap thùng chứa, thuộc tính vật ứng viên, và lịch sử quan sát–hành động đa phương thức, rồi tự sinh (tự hồi quy) hành động cấu trúc: chọn vật + hướng xoay + tọa độ đặt. Trạng thái cập nhật được đưa lại làm đầu vào bước kế → closed-loop.
  • PackLab-Bench: 60 test case chia 3 mức độ khó (easy/medium/hard), đánh giá bằng Success Ratio, Compactness và Overall Score (tích hai đại lượng).

Ví dụ đời thường: giống người xếp vali nhìn vào tình trạng vali sau mỗi lần xếp rồi quyết định đặt món tiếp theo ở đâu — thay vì tuân theo quy tắc cố định kiểu "luôn nhét xuống góc sâu nhất".

III. Main Results:​

  • PackLab-VLM đạt Overall Score trung bình 0.660, vượt heuristic mạnh nhất (SDF-Pack: 0.602) và RL checkpoint tốt nhất (TAP-Net: 0.474); Success Ratio 0.882 và Compactness 0.718 đều cao nhất.
  • Mạnh nhất ở mức easy (Overall 0.922) và medium (0.665); mức hard (0.394) vẫn còn khó do không gian chật — một số heuristic hình học còn lợi thế ở vài case dày đặc.
  • Training effect: Overall Score tăng từ 0.209 (base model zero-shot) lên 0.660 sau fine-tuning → năng lực packing đến từ huấn luyện chuyên biệt, không phải khả năng sẵn có của backbone.
  • Ablation input: thay heightmap bằng distractor → 0.494; chỉ dùng quan sát hiện tại → 0.533; bỏ action history → 0.589 → cả tín hiệu hình ảnh lẫn lịch sử chuỗi đều cần thiết.
  • Ablation dữ liệu: 25%→50%→100% data cho 0.578→0.630→0.660; công thức mixed difficulty (0.660) vượt easy-only (0.587) và easy+medium (0.604).
  • Model size: 2B→0.617, 4B→0.645, 9B→0.660 → mô hình lớn hơn xếp gọn hơn (Compactness tăng).
  • Thực nghiệm vật lý: nền tảng gồm cánh tay robot AUBO, camera RealSense + Photoneo, phát hiện vật bằng SAM3; PackLab-VLM xếp đủ 8 vật gọn hơn rõ so với baseline (chỉ xếp được 3).

IV. Conclusion & Future Works:​

PackLab chứng minh MLLM có thể tự trực tiếp thực hiện closed-loop object selection và placement — không cần planner truyền thống — và vượt cả heuristic lẫn RL trong packing dài hạn trên cấu hình đa dạng. Hiệu quả đến từ kết hợp mô phỏng vật lý, dữ liệu huấn luyện quy mô lớn, và fine-tune chuyên biệt. Hướng tương lai: mở rộng sang hình học vật thể và điều kiện vật lý rộng hơn; cho phép hành vi packing linh hoạt hơn thông qua mục tiêu và ràng buộc do người dùng định nghĩa; thử nghiệm MLLM lớn hơn 9B.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PackLab cho packing vật thể không hộp, hình dạng tự do (non-convex, deformable) bằng cách thay heightmap bằng biểu diễn SDF hoặc point cloud trong ngữ cảnh đa phương thức của MLLM.
  2. Kết hợp đối tượng mục tiêu do người dùng định nghĩa (ví dụ "xếp vật nặng dưới đáy", "vật dễ vỡ giữa ổn định") vào system prompt để MLLM packing theo ràng buộc ngữ nghĩa, không chỉ tối đa hóa không gian.
  3. Nghiên cứu chiến lược thăm dò chủ động cho MLLM packing: khi nhiều khả năng đặt đều khả thi, mô hình tự đặt câu hỏi kiểm chứng bằng mô phỏng trước khi chốt hành động.
  4. Chuyển layout-first data generation sang dữ liệu từ thế giới thật: dùng quan sát robot để tái cấu trúc quỹ đạo packing ngoại tuyến, giảm phụ thuộc vào mô phỏng.

2. Patent:​

  1. Hệ thống xếp hàng hóa vào thùng kho thông minh trên điện thoại/kho tự động: camera quét các kiện hàng, mô hình ngôn ngữ–hình ảnh gợi ý thứ tự và vị trí xếp theo thời gian thực, cập nhật lại mỗi lần đặt để dùng tối đa thể tích container, giảm số chuyến xe giao hàng.
  2. Ứng dụng hỗ trợ xếp vali du lịch trên điện thoại: người dùng chụp ảnh các món đồ và vali; ứng dụng hướng dẫn từng bước chọn món nào xếp trước, xoay sao, đặt ở đâu, điều chỉnh liên tục khi vali dần đầy.
  3. Robot xếp hàng trong kho với cơ chế tự sửa kế hoạch: sau mỗi lần robot thả vật, camera quét lại thùng; nếu vật lệch so với dự kiến, hệ thống tự tạo lại bản đồ độ cao và tính toán lại vị trí cho các vật tiếp theo mà không cần can thiệp người vận hành.
  4. Module đóng gói theo ràng buộc tùy chọn cho dây chuyền logistics: nhân viên nhập yêu cầu bằng giọng nói (ví dụ "đồ lạnh phải nằm trên cùng"), hệ thống chuyển yêu cầu thành gợi ý xếp hợp lệ cho robot trong khi vẫn tối ưu độ gọn của kiện hàng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.23784
ArXiv Abstracthttps://arxiv.org/abs/2609.23784
PDF Downloadhttps://arxiv.org/pdf/2609.23784.pdf
Github Repositoryhttps://github.com/Correr-Zhou/PackLab