1 月 9 日消息,Meta 日前公布了一項名為audio2photoreal 的 AI 框架,該框架能夠生成一系列逼真的 NPC 人物模型,并借助現有配音文件自動為人物模型“對口型”“擺動作”。
從官方研究報告中得知,Audio2photoreal 框架在接收到配音文件后,首先生成一系列 NPC模型,之后利用量化技術及擴散算法生成模型用動作,其中量化技術為框架提供動作樣本參考、擴散算法用于改善框架生成的人物動作效果。
研究人員提到,該框架可以生成 30 FPS的“高質量動作樣本”,還能模擬人類在對話中“手指點物”、“轉手腕”或“聳肩”等不由自主的“習慣性動作”。
研究人員援引自家實驗結果,在對照實驗中有43%的評估者對框架生成的人物對話場景感到“強烈滿意”,因此研究人員認為 Audio2photoreal 框架相對于業界競品能夠生成“更具動態和表現力”的動作。
據悉,研究團隊目前已經在GitHub公開了相關代碼和數據集,感興趣的小伙伴可以點此訪問。
本文鏈接:http://www.tebozhan.com/showinfo-45-3193-0.html輸入配音文件即可生成人物對話場景,Meta 公布 audio2photoreal AI 框架
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com