5 月 13 日消息,昆侖萬維剛剛宣布 Matrix-Game 大模型(17B+)正式開源,即 Matrix-Zero 世界模型中的可交互視頻生成大模型。
昆侖萬維表示,Matrix-Game 是 Matrix 系列在交互式世界生成方向的正式落地,也是工業界首個開源的 10B+ 空間智能大模型,它是一個面向游戲世界建模的交互式世界基礎模型,專為開放式環境中的高質量生成與精確控制而設計。
據介紹,Matrix-Game 包括三大核心:
Matrix-Game-MC 數據集:自主構建的大規模交互世界數據集,包含兩類數據:一是大規模無標簽的 Minecraft 游戲視頻,二是帶有鍵盤與鼠標控制信號的 Minecraft 與 Unreal 可控視頻數據,具備精細的動作注釋。該數據集支持對復雜環境動態與交互模式的高效建模與學習。
Matrix-Game 主模型:基于先進擴散模型技術開發的圖像到世界生成框架,能夠根據用戶輸入(鍵盤指令、鼠標移動等)生成連貫、可控的互動視頻,兼顧視覺質量、時序一致性與物理合理性。
GameWorld Score 評測體系:提出統一的游戲交互世界評估標準,從視頻的視覺質量、時序質量、動作可控性與物理規則理解四個維度,全面量化模型性能,填補了該領域缺乏系統性評測基準的空白。
Matrix-Game 能夠在不同 Minecraft 場景下(如森林、沙灘、沙漠、冰川、河流、平原等)實現可控生成,包括基礎運動、復合運動、視角運動等。例如,在一個沙漠場景中,Matrix-Game 能夠根據用戶輸入的任意控制指令(注:如鍵盤的 W / A / S / D 方向鍵、Space 鍵用于跳躍、Attack 鍵用于攻擊,以及鼠標用于視角移動),生成對應的游戲世界視頻,支持角色的前后左右移動、跳躍、攻擊以及視角變換等動態行為。
在此基礎上,Matrix-Game 支持自回歸式的長視頻生成,不僅能實現動作與視角之間的絲滑銜接,還在時間一致性與環境適應性方面表現出色,為開發沉浸式長時體驗、創意內容生成及游戲設計等應用奠定了堅實的模型基礎。
參考資料
項目主頁:https://matrix-game-homepage.github.io
技術報告:https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf
GitHub 開源地址:https://github.com/SkyworkAI/Matrix-Game
HuggingFace 開源地址:https://huggingface.co/Skywork/Matrix-Game
本文鏈接:http://www.tebozhan.com/showinfo-45-12850-0.html昆侖萬維宣布開源 Matrix-Game 大模型:工業界首個開源的 10B+ 空間智能大模型,支持《我的世界》
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com