2023年Q2用戶偏好榜：12+256G版本成新主流
3月份的性能榜、性價(jià)比榜和好評(píng)榜之后，就要輪到2023年的第二季度偏好榜了，上半年的新機(jī)潮已經(jīng)過去，最明顯的肯定就是大內(nèi)存和存儲(chǔ)的機(jī)型了，另外部分中端機(jī)也取消了屏幕塑料支架
2020 年是立體神經(jīng)渲染（Volumetric neural rendering）爆發(fā)的一年，比如 NeRF 可以生成高質(zhì)量的視圖合成結(jié)果，但這種方法需要對(duì)每個(gè)場(chǎng)景進(jìn)行優(yōu)化，導(dǎo)致重建時(shí)間過長(zhǎng)。另一方面，深度多視圖立體（multi-view stereo）方法可以通過網(wǎng)絡(luò)推理快速重建場(chǎng)景幾何。
來自南加州大學(xué)、Adobe Research 的研究者們提出了 Point-NeRF，該方法使用神經(jīng) 3D 點(diǎn)云及其相關(guān)神經(jīng)特征，將立體神經(jīng)渲染以及深度多視圖立體方法兩者的優(yōu)點(diǎn)進(jìn)行結(jié)合，來建模輻射場(chǎng)。
在本文中，從 1000 個(gè)點(diǎn)發(fā)展出完整的點(diǎn)云：
通過逐步優(yōu)化最初的 COLMAP 點(diǎn)的渲染結(jié)果：
在基于光線行進(jìn)的渲染 pipeline 中，通過聚合場(chǎng)景表面附近的神經(jīng)點(diǎn)特征，Point-NeRF 可以被有效渲染。此外，Point-NeRF 可通過對(duì)預(yù)訓(xùn)練深度網(wǎng)絡(luò)的直接推理進(jìn)行初始化，產(chǎn)生神經(jīng)點(diǎn)云；該點(diǎn)云可以被微調(diào)，比 NeRF 訓(xùn)練時(shí)間快 30 倍，且重建視覺質(zhì)量超過 NeRF。Point-NeRF 可以與其他 3D 重建方法相結(jié)合，并通過一種新的剪枝和增長(zhǎng)機(jī)制處理這些方法中的錯(cuò)誤和異常值。在 DTU、NeRF Synthetics、ScanNet 和 Tanks and Temples 數(shù)據(jù)集上的實(shí)驗(yàn)表明，Point-NeRF 可以超越現(xiàn)有方法，取得 SOTA 結(jié)果。
論文地址：https://arxiv.org/pdf/2201.08845.pdf論文主頁(yè)：https://xharlie.github.io/projects/project_sites/pointnerf/Point-NeRF
Point-NeRF 是基于點(diǎn)的神經(jīng)輻射場(chǎng)，這是一種高質(zhì)量神經(jīng)場(chǎng)景重建和渲染的新方法，圖 2 (b)為架構(gòu)圖：
體渲染和輻射場(chǎng)：基于物理的體渲染可以通過可微射線推進(jìn)（differentiable ray marching）進(jìn)行數(shù)值計(jì)算。具體而言，一個(gè)像素的輻射可以通過一束光線穿過該像素來計(jì)算，在 {x_j | j = 1, ..., M} 中沿射線采樣 M 個(gè)著色點(diǎn)，并使用體積密度累積輻射，如：
這里τ表示體積透光率，σ_j 和 r_j 是 x_j 處每個(gè)著色點(diǎn) j 的體積密度和輻射度，Δ_t 是相鄰著色樣本之間的距離。NeRF 建議使用多層感知器（MLP）來回歸這樣的輻射場(chǎng)。本研究提出的 Point-NeRF 利用神經(jīng)點(diǎn)云來計(jì)算體積屬性，從而實(shí)現(xiàn)更快和更高質(zhì)量的渲染。
基于點(diǎn)的輻射場(chǎng)：該研究用 P = {(p_i, f_i，γ_i)|i = 1，…N}表示神經(jīng)點(diǎn)云，P_I 處的每個(gè)點(diǎn)為 i，與編碼局部場(chǎng)景內(nèi)容的神經(jīng)特征向量 f_i 相關(guān)聯(lián)。該研究還為每個(gè)點(diǎn)分配了一個(gè)置信值γ_i∈[0,1]，表示該點(diǎn)位于實(shí)際場(chǎng)景表面附近的可能性。該研究從這個(gè)點(diǎn)云反演輻射場(chǎng)。
給定任意 3D 位置 x，在半徑為 R 的范圍內(nèi)查詢 K 個(gè)相鄰神經(jīng)點(diǎn)。基于點(diǎn)的輻射場(chǎng)可以抽象為一個(gè)神經(jīng)模塊，它從鄰近的神經(jīng)點(diǎn)對(duì)任何陰影位置 x 上的視覺依賴亮度 r(沿任何視覺方向 d)和體積密度σ進(jìn)行回歸，如下所示：
該研究使用具有多個(gè)子 MLP 的類似 PointNet 的神經(jīng)網(wǎng)絡(luò)來進(jìn)行回歸。總體而言，該研究首先對(duì)每個(gè)神經(jīng)點(diǎn)進(jìn)行神經(jīng)處理，然后聚合多點(diǎn)信息以獲得最終估計(jì)。
Point-NeRF 重建
Point-NeRF 重建 pipeline 可用于有效地重建基于點(diǎn)的輻射場(chǎng)。首先利用跨場(chǎng)景訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，通過直接網(wǎng)絡(luò)推理生成基于點(diǎn)的初始場(chǎng)。這個(gè)初始場(chǎng)通過點(diǎn)增長(zhǎng)和剪枝技術(shù)進(jìn)一步優(yōu)化每個(gè)場(chǎng)景，從而實(shí)現(xiàn)最終的高質(zhì)量輻射場(chǎng)重建。圖 3 顯示了這個(gè)工作流程，其中包含用于初始預(yù)測(cè)和場(chǎng)景優(yōu)化的相應(yīng)梯度更新。
給定一組已知圖像 I_1、...、I_Q 和點(diǎn)云，Point-NeRF 表示可以通過優(yōu)化隨機(jī)初始化的每一個(gè)點(diǎn)的神經(jīng)特征和具有渲染損失的 MLP（類似于 NeRF）來重建。然而，這種純粹的逐場(chǎng)景優(yōu)化依賴于現(xiàn)有的點(diǎn)云，并且可能非常緩慢。
因此，該研究提出了一個(gè)神經(jīng)生成模塊，通過前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)所有神經(jīng)點(diǎn)屬性，包括點(diǎn)位置 p_i 、神經(jīng)特征 f_i 和點(diǎn)置信度 γ_i ，以實(shí)現(xiàn)高效重建。在很短的時(shí)間內(nèi)，渲染質(zhì)量更好或與 NeRF 相當(dāng)，而后者需要更長(zhǎng)的時(shí)間來優(yōu)化（參見表 1 和表 2）。
端到端重建：該研究結(jié)合多視圖點(diǎn)云，得到最終的神經(jīng)點(diǎn)云。該研究用渲染損失從頭到尾訓(xùn)練點(diǎn)生成網(wǎng)絡(luò)和表示網(wǎng)絡(luò)（見圖 3），這允許生成模塊產(chǎn)生合理的初始輻射場(chǎng)。該研究還使用合理的權(quán)重在 Point-NeRF 表示中初始化 MLP，從而顯著節(jié)省了每個(gè)場(chǎng)景的擬合時(shí)間。
此外，除了使用完整的生成模塊外，該研究的 pipeline 還支持使用從其他方法（如 COLMAP [44]）進(jìn)行點(diǎn)云重建，其中模型（不包括 MVS 網(wǎng)絡(luò)）仍然可以為每個(gè)點(diǎn)提供有意義的初始神經(jīng)特征。
實(shí)驗(yàn)
該研究首先在 DTU 測(cè)試集上對(duì)模型進(jìn)行評(píng)估，比較內(nèi)容包括 PixelNeRF 、IBRNet 、MVSNeRF 和 NeRF ，并用 10k 迭代微調(diào)所有方法以進(jìn)行比較。此外，該研究?jī)H用 1k 迭代以展示 Point-NeRF 優(yōu)化效率。具體結(jié)果如下：
表 1 為不同方法定量比較，比較內(nèi)容包括 PSNR, SSIM, LPIPS，圖 6 為渲染結(jié)果。由結(jié)果可得，在 10k 次迭代之后，SSIM 和 LPIPS 達(dá)到最佳，分別為 0.957 和 0.117，優(yōu)于 MVSNeRF 和 NeRF 結(jié)果。IBRNet 生成的 PSNR 結(jié)果稍好一些為 31.35，但 Point-NeRF 可以恢復(fù)更精確的紋理細(xì)節(jié)和高光，如圖 6 所示。
另一方面，IBRNet 的微調(diào)成本也更高，相同的迭代次數(shù)，比 Point-NeRF 微調(diào)多花 1 小時(shí)，也就是 5 倍的時(shí)間。這是因?yàn)?IBRNet 依賴大型的全局 CNN，而 Point-NeRF 利用局部點(diǎn)特征以及 MLP 更容易優(yōu)化。更重要的是，基于點(diǎn)的表示位于實(shí)際場(chǎng)景表面附近，從而避免了在空?qǐng)鼍爸胁蓸由渚€點(diǎn)（ray points），從而實(shí)現(xiàn)高效的逐場(chǎng)景優(yōu)化。
雖然 IBRNet 中更復(fù)雜的特征提取器可以提高質(zhì)量，但它會(huì)增加內(nèi)存使用，影響訓(xùn)練效率。更重要的是，Point-NeRF 生成網(wǎng)絡(luò)已經(jīng)提供了高質(zhì)量的初始輻射場(chǎng)，以支持高效優(yōu)化。該研究發(fā)現(xiàn)，即使經(jīng)過 2 min / 1K 的微調(diào)迭代，Point-NeRF 也能獲得非常高的視覺質(zhì)量，可與 MVSNeRF 最終的 10k 次迭代結(jié)果相媲美，這也證明了 Point-NeRF 方法重建效率的高效性。
雖然 Point-NeRF 是在 DTU 數(shù)據(jù)集上訓(xùn)練而來，但其可以很好地泛化到新的數(shù)據(jù)集。該研究展示了在 NeRF synthetic 數(shù)據(jù)集中，Point-NeRF 與其他 SOTA 方法比較結(jié)果，定性結(jié)果如圖 7 ，定量結(jié)果如表 2。
實(shí)驗(yàn)結(jié)果表明，Point-NeRF_20K 明顯優(yōu)于 IBRNet 結(jié)果，具有更好的 PSNR、SSIM 和 LIPIPS；該研究還通過更好的幾何和紋理細(xì)節(jié)實(shí)現(xiàn)了高質(zhì)量渲染，如圖 7 所示。
與不同場(chǎng)景的比較：Point-NeRF 在 20K 迭代后，非常接近 NeRF 在 200K 迭代訓(xùn)練后的結(jié)果。從視覺上來講，Point-NeRF 在 20K 迭代后在某些情況下已經(jīng)有了更好的渲染效果，例如圖 7 中的 Ficus 場(chǎng)景(第四行)。Point-NeRF_20K 只用了 40 分鐘進(jìn)行優(yōu)化，而 NeRF 需要 20 + 小時(shí)，兩者相比，Point-NeRF 快了近 30 倍，但 NSVF 的優(yōu)化效果只比 Point-NeRF 的 40 分鐘效果略好。如圖 7 所示，Point-NeRF 200K 結(jié)果包含最多的幾何和紋理細(xì)節(jié)，而且，該方法是唯一可以完全恢復(fù)的方法。
本文鏈接：http://www.tebozhan.com/showinfo-119-2187-0.html神經(jīng)輻射場(chǎng)基于點(diǎn)，訓(xùn)練速度提升30倍，渲染質(zhì)量超過NeRF
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)