4 月 19 日消息，微軟亞洲研究院（Microsoft Research Asia）近日發(fā)表論文，介紹了全新的 VASA-1 模型，用戶只需要提供一張靜態(tài)肖像圖片和一段語音音頻片段，該模型就能自動讓圖片中的人物自動說話。Gd128資訊網(wǎng)——每日最新資訊28at.com

Gd128資訊網(wǎng)——每日最新資訊28at.com

Gd128資訊網(wǎng)——每日最新資訊28at.com

VASA-1 特別有趣的地方在于，它能夠模擬自然的面部表情、各種情緒和唇部同步，最重要的是幾乎沒有人工痕跡，如果不細看很難發(fā)現(xiàn)。Gd128資訊網(wǎng)——每日最新資訊28at.com

Gd128資訊網(wǎng)——每日最新資訊28at.com

研究人員承認，與所有其他模型一樣，該模型目前還無法妥善處理頭發(fā)等非剛性元素，但整體效果要比其它同類模型要更為優(yōu)秀。Gd128資訊網(wǎng)——每日最新資訊28at.com

Gd128資訊網(wǎng)——每日最新資訊28at.com

研究人員還表示 VASA-1 支持離線 batch 處理模式下，以 45fps 生成分辨率為 512*512 的動態(tài)短視頻，在線直播模式下可以達到 40 fps，且延遲僅為 170ms。而且整個生成操作只需要一臺配備英偉達 RTX 4090 顯卡的電腦上就能處理。Gd128資訊網(wǎng)——每日最新資訊28at.com

附上參考地址Gd128資訊網(wǎng)——每日最新資訊28at.com

New VASA-1 model by Microsoft Research AsiaGd128資訊網(wǎng)——每日最新資訊28at.com

VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real TimeGd128資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-4111-0.html讓蒙娜麗莎唱饒舌，微軟發(fā)布 VASA-1 模型：圖 + 音頻可生成短視頻

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 五糧液濃香酒：勞動節(jié)送禮的精致藝術(shù)

下一篇： 谷歌整合 Research 和 DeepMind 資源，全力發(fā)展 AI