12 月 29 日消息,在虛擬現(xiàn)實和 3D 建模過程中,如何利用有限的數(shù)據(jù)源(例如單視角的多段視頻),構(gòu)建動態(tài)、高保真數(shù)字人體模型存在諸多挑戰(zhàn)。
傳統(tǒng)方法主要依賴大量訓(xùn)練數(shù)據(jù)和復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu),需要平衡詳細(xì)且準(zhǔn)確的數(shù)字模型和實時應(yīng)用程序所需的計算效率,因此在渲染速度和模型保真度方面會有所犧牲。
浙江大學(xué) ReLER 實驗室攜手CCAI,為了應(yīng)對這些調(diào)整,開發(fā)突破性框架--Human101,可以顯著提高虛擬現(xiàn)實應(yīng)用程序中的訓(xùn)練和渲染速度。
這種創(chuàng)新方法在確保生成模型的高保真度情況下,快速高效地重建 3D 數(shù)字人體模型。
Human101 的核心在于集成了 3D 高斯散射和先進(jìn)的動畫技術(shù),有助于高效處理單視角視頻數(shù)據(jù),生成動態(tài)的 3D 人體模型。
Human101 利用了一種新穎的、以人類為中心的前向高斯動畫方法,避免了對目標(biāo)姿勢點的相應(yīng)規(guī)范點的窮舉搜索,直接將規(guī)范點變形到觀察空間,簡化了變形過程并提高了渲染速度。
此外 Human101 還采用規(guī)范人類初始化方法,更有效地初始化原始高斯分布,極大地加快了模型的收斂速度。
從測試結(jié)果來看,訓(xùn)練 3D 高斯體可以在 100 秒內(nèi)完成,相比較現(xiàn)有方法,大幅縮短了時間。
此外,渲染速度超過 100 FPS,這一重大改進(jìn)為實時交互式應(yīng)用程序和沉浸式虛擬現(xiàn)實體驗開辟了新的可能性,這種效率并未以質(zhì)量為代價;該框架設(shè)法保持甚至在許多情況下超過了當(dāng)前方法的視覺保真度。
附上論文參考地址:https://arxiv.org/abs/2312.15258
本文鏈接:http://www.tebozhan.com/showinfo-45-3123-0.html渲染速度超 100 FPS,浙大研發(fā)突破性框架 Human101:利用單視角視頻構(gòu)建數(shù)字人體模型
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com