在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架近日由智元機器人公司隆重推出。該框架專為機器人操作技能的研究與應用量身打造,旨在通過靈活的仿真數據生成方案、大規模預訓練數據及統一的模型評測標準,為機器人操作技能的進步提供強有力的支持。
AgiBot Digital World集成了海量的三維資產,這些資產不僅種類繁多,而且細節精致,能夠滿足各種復雜機器人操作任務的仿真需求。從逼真的物體模型到多樣化的場景設置,再到精細的機器人模型,這些資產共同構建了一個高度真實的仿真世界。該框架還提供了多樣化的專家軌跡生成機制和全面的模型評估工具,進一步提升了仿真效果。
AgiBot Digital World在視覺渲染和物理模擬方面均達到了高度逼真的水平。基于NVIDIA Isaac-Sim仿真平臺,它能夠呈現出光影自然、細節真實的仿真情景,使得仿真與真實世界之間的域差異大大減小。同時,該框架還能模擬出真實世界的物理效應,如物體間的碰撞、晃動等,進一步增強了仿真的真實感。
除了逼真的仿真效果外,AgiBot Digital World還引入了多模態大模型,支持基于資產庫自動生成操作任務和場景布局。這一功能使得用戶可以根據實際訓練需求,靈活創建多樣化、復雜度可調的仿真任務與仿真環境,從而實現了數據的閉環。例如,在書房場景中,如果機器人需要從桌面任務轉向書架上的立面操作,系統可以一鍵生成取書任務,并自動捕捉到環境中的書架。
在數據生成方面,AgiBot Digital World提供了多元化專家軌跡生成策略。這些策略包括真機操作數字孿生、具身智能體自動生成以及仿真遙操作等。通過這些策略,該框架能夠生成具有多樣性和魯棒性的專家軌跡數據,從而增強模型在真實環境中的泛化能力。同時,數據生成引擎還支持多模態數據的生成,包括多視角RGB-D圖像、觸覺信息、機器人狀態信息等,為策略學習提供了豐富的數據支持。
此次,智元機器人還開源了海量規模的仿真數據集AgiBot Digital World Dataset。該數據集涵蓋了家居、商超、辦公、餐飲和工業等五大場景,包含了超過180種具體物品和9種主要材質。數據集還囊括了12種核心技能,如抓、放、插、倒等,能夠靈活應對各種任務。這些高質量的仿真數據為機器人操作技能的訓練提供了堅實的基礎,并有望降低行業研發門檻,加速具身智能的開發和應用。
本文鏈接:http://www.tebozhan.com/showinfo-45-11186-0.html智元機器人開源仿真框架AgiBot,光影震顫,海量數據集助力機器人技能提升
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com