6月iOS設(shè)備好評(píng)榜：第一蟬聯(lián)榜首近一年
作為安兔兔各種榜單里變化最小的那個(gè)，2023年6月的iOS好評(píng)榜和上個(gè)月相比沒(méi)有任何排名上的變化，僅僅是部分設(shè)備好評(píng)率的下降，長(zhǎng)年累月的用戶評(píng)價(jià)和逐漸退出市場(chǎng)的老款機(jī)器讓這
如今自動(dòng)駕駛汽車和機(jī)器人能夠通過(guò)激光雷達(dá)、攝像頭等各種傳感捕獲信息。作為一種傳感器，LiDAR 使用光脈沖測(cè)量場(chǎng)景中目標(biāo)的 3D 坐標(biāo)，但是其存在稀疏、范圍有限等缺點(diǎn)——離傳感器越遠(yuǎn)，返回的點(diǎn)就越少。這意味著遠(yuǎn)處的目標(biāo)可能只得到少數(shù)幾個(gè)點(diǎn)，或者根本沒(méi)有，而且可能無(wú)法單獨(dú)被 LiDAR 采集到。同時(shí)，來(lái)自車載攝像頭的圖像輸入非常密集，這有利于檢測(cè)、目標(biāo)分割等語(yǔ)義理解任務(wù)。憑借高分辨率，攝像頭可以非常有效地檢測(cè)遠(yuǎn)處目標(biāo)，但在測(cè)量距離方面不太準(zhǔn)確。
自動(dòng)駕駛汽車從 LiDAR 和車載攝像頭傳感器收集數(shù)據(jù)。每個(gè)傳感器測(cè)量值都會(huì)被定期記錄，提供 4D 世界的準(zhǔn)確表示。然而，很少有研究算法將這兩者結(jié)合使用。當(dāng)同時(shí)使用兩種傳感模式時(shí)會(huì)面臨兩個(gè)挑戰(zhàn)，1) 難以保持計(jì)算效率，2) 將一個(gè)傳感器的信息與另一個(gè)傳感器配對(duì)會(huì)進(jìn)一步增加系統(tǒng)復(fù)雜性，因?yàn)?LiDAR 點(diǎn)和車載攝像頭 RGB 圖像輸入之間并不總是直接對(duì)應(yīng)。
在發(fā)表于 ICCV 2021 的論文《 4D-Net for Learned Multi-Modal Alignment 》中，來(lái)自谷歌、Waymo 的研究者提出了一個(gè)可以處理 4D 數(shù)據(jù)（3D 點(diǎn)云和車載攝像頭圖像數(shù)據(jù)）的神經(jīng)網(wǎng)絡(luò)：4D-Net。這是首次將 3D LiDAR 點(diǎn)云和車載攝像頭 RGB 圖像進(jìn)行結(jié)合的研究。此外，谷歌還介紹了一種動(dòng)態(tài)連接學(xué)習(xí)方法。最后，谷歌證明 4D-Net 可以更好地使用運(yùn)動(dòng)線索（motion cues）和密集圖像信息來(lái)檢測(cè)遠(yuǎn)處目標(biāo)，同時(shí)保持計(jì)算效率。
論文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Piergiovanni_4D-Net_for_Learned_Multi-Modal_Alignment_ICCV_2021_paper.pdf
4D-Net
谷歌使用 4D 輸入進(jìn)行目標(biāo) 3D 邊框檢測(cè)。4D-Net 有效地將 3D LiDAR 點(diǎn)云與 RGB 圖像及時(shí)結(jié)合，學(xué)習(xí)不同傳感器之間的連接及其特征表示。
谷歌使用輕量級(jí)神經(jīng)架構(gòu)搜索來(lái)學(xué)習(xí)兩種類型的傳感器輸入及其特征表示之間的聯(lián)系，以獲得最準(zhǔn)確的 3D 框檢測(cè)。在自動(dòng)駕駛領(lǐng)域，可靠地檢測(cè)高度可變距離的目標(biāo)尤為重要?，F(xiàn)代 LiDAR 傳感器的檢測(cè)范圍可達(dá)數(shù)百米，這意味著更遠(yuǎn)的目標(biāo)在圖像中會(huì)顯得更小，并且它們最有價(jià)值的特征將在網(wǎng)絡(luò)的早期層中，與后面的層表示的近距離目標(biāo)相比，它們可以更好地捕捉精細(xì)尺度的特征?；谶@一觀察，谷歌將連接修改為動(dòng)態(tài)的，并使用自注意力機(jī)制在所有層的特征中進(jìn)行選擇。谷歌應(yīng)用了一個(gè)可學(xué)習(xí)的線性層，它能夠?qū)⒆⒁饬訖?quán)應(yīng)用于所有其他層的權(quán)重，并學(xué)習(xí)當(dāng)前任務(wù)的最佳組合。
連接學(xué)習(xí)方法示意圖。
結(jié)果
谷歌在 Waymo Open Dataset 基準(zhǔn)中進(jìn)行了測(cè)試，之前的模型只使用了 3D 點(diǎn)云，或單個(gè)點(diǎn)云和相機(jī)圖像數(shù)據(jù)的組合。4D-Net 有效地使用了兩種傳感器輸入，在 164 毫秒內(nèi)處理 32 個(gè)點(diǎn)云和 16 個(gè) RGB 幀，與其他方法相比性能良好。相比之下，性能次優(yōu)的方法效率和準(zhǔn)確性較低，因?yàn)樗纳窠?jīng)網(wǎng)絡(luò)計(jì)算需要 300 毫秒，而且比 4D-Net 使用更少的傳感器輸入。
3D 場(chǎng)景的結(jié)果。上圖：與檢測(cè)到的車輛相對(duì)應(yīng)的 3D 框以不同顏色顯示；虛線框代表丟失的目標(biāo)。底部：出于可視化目的，這些框顯示在相應(yīng)的攝像機(jī)圖像中。
檢測(cè)遠(yuǎn)處的目標(biāo)
4D-Net 的另一個(gè)優(yōu)點(diǎn)是，它既利用了 RGB 提供的高分辨率，可以準(zhǔn)確地檢測(cè)到圖像上的目標(biāo)，又利用了點(diǎn)云數(shù)據(jù)提供的精確深度。因此，點(diǎn)云方法無(wú)法探測(cè)到的遠(yuǎn)距離目標(biāo)可以被 4D-Net 探測(cè)到。這是由于相機(jī)數(shù)據(jù)的融合，能夠探測(cè)到遙遠(yuǎn)的目標(biāo)，并有效地將這一信息傳播到網(wǎng)絡(luò)的 3D 部分，以產(chǎn)生準(zhǔn)確的探測(cè)。
為了了解 4D-Net 帶來(lái)的優(yōu)勢(shì)，谷歌進(jìn)行了一系列消融研究。實(shí)驗(yàn)發(fā)現(xiàn)，如果至少有一個(gè)傳感器輸入是及時(shí)流的，則可以顯著提高檢測(cè)準(zhǔn)確率。及時(shí)考慮兩個(gè)傳感器輸入可以最大程度地提高性能。
使用點(diǎn)云 (PC)、時(shí)間點(diǎn)云 (PC + T)、RGB 圖像輸入 (RGB) 和時(shí)間 RGB 圖像 (RGB + T) 時(shí)，以平均精度 (AP) 測(cè)量 3D 目標(biāo)檢測(cè)的 4D-Net 性能。
多流 4D-Net
由于 4D-Net 動(dòng)態(tài)連接學(xué)習(xí)機(jī)制是通用的，因此谷歌并沒(méi)有局限于僅將點(diǎn)云流與 RGB 視頻流結(jié)合起來(lái)。實(shí)際上，谷歌發(fā)現(xiàn)提供一個(gè)高分辨率單圖像流以及一個(gè)與 3D 點(diǎn)云流輸入結(jié)合的低分辨率視頻流非常劃算。因此，谷歌在下圖中展示了四流（four-stream）架構(gòu)的示例，該架構(gòu)比具有實(shí)時(shí)點(diǎn)云和圖像的兩流架構(gòu)性能更好。
動(dòng)態(tài)連接學(xué)習(xí)選擇特定的特征輸入以連接在一起。依托多個(gè)輸入流，4D-Net 必須學(xué)習(xí)多個(gè)目標(biāo)特征表示之間的連接，這一點(diǎn)很好理解，因?yàn)樗惴](méi)有改變并且只需要從輸入中選擇特定的特征。這是一個(gè)使用可微架構(gòu)搜索的輕量級(jí)過(guò)程，可以發(fā)現(xiàn)模型架構(gòu)內(nèi)部新的連接，并進(jìn)而高效地找到新的 4D-Net 模型
多流 4D-Net 架構(gòu)包含一個(gè)實(shí)時(shí) 3D 點(diǎn)云流以及多個(gè)圖像流（高分辨率單圖像流、中分辨率單圖像流和更低分辨率視頻流圖像）。
谷歌展示了 4D-Net 是一種高效的目標(biāo)檢測(cè)方法，尤其適合檢測(cè)遠(yuǎn)距離目標(biāo)。研究者希望這項(xiàng)工作為未來(lái)的 4D 數(shù)據(jù)研究提供珍貴的資源。
本文鏈接：http://www.tebozhan.com/showinfo-119-2190-0.html將點(diǎn)云與RGB圖像結(jié)合，谷歌&Waymo提出的4D-Net，檢測(cè)遠(yuǎn)距離目標(biāo)
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)