元宇宙火熱的當下，我們該如何“身臨其境”的體驗元宇宙？
元宇宙的余熱依然沒有過去，甚至大有星星之火開啟燎原之勢，元宇宙本身也從殿堂走向了民間，我們可以看到一些企業開始了元宇宙的探索，諸如中國電信全資控股子公司天
AI 衛星影像知識生成模型數據集稀缺的問題，又有新解了。
來自武漢大學、上海 AI 實驗室、西工大等 9 家機構共同推出了該領域的大型數據集，涵蓋了 21 萬個地理目標和 40 萬個目標-關系三元組。而且像機場、港口、立交橋等這樣復雜地理空間場景，也都包括在了數據集當中。
具體來說，該數據集名為 RSG，主要面向衛星影像中的目標檢測（OBD）和場景圖生成（SGG）任務。
SGG 有助于促進模型對地理空間場景從感知到認知的智能理解，但一直缺乏大幅面、超高分辨率的衛星影像數據。
而 RSG 的出現很好地填補了這一空白，一同提出的還有基于上下文感知的逐級認知（CAC）框架，以及配套的 SGG 工具包。
有關論文已經在 arXiv 公開發布，相應的數據集和工具包也已經開源。
大幅面超高分辨率衛星影像數據集在衛星影像（SAI）領域當中，場景圖生成（SGG）技術可以促進對地理空間場景從感知到認知的智能理解。
在 SAI 中，地理目標的尺度和縱橫比變化大，地理目標之間（甚至是空間不相交的地理目標之間）存在豐富的關聯，這使得 SGG 有必要在大幅面超高分辨率衛星影像中整體進行。
然而現實情況是，大幅面超高分辨率衛星影像的 SGG 數據集比較缺乏，這無疑限制了 SGG 在 SAI 中的進展。
又由于大幅面超高分辨率衛星影像的復雜性，挖掘目標-關系三元組 <目標 1, 關系，目標 2> 嚴重依賴于遠程上下文推理，傳統為小幅面自然圖像設計的 SGG 模型，不能直接適用于大幅面衛星影像。
注：下圖是大幅面超高分衛星影像中的 SGG 示意圖，其中第一行分別展示了大幅面超高分衛星影像的目標檢測和場景圖生成結果，第二行為對應的局部細節展示。在第二行末尾圖中，黑色箭頭表示僅依賴于孤立目標對可預測的關系，而紅色箭頭表示需要借助上下文推斷的復雜關系。
于是，為了解決數據集稀缺問題，研究團隊構建了首個面向大幅面超高分衛星影像的大規模場景圖生成數據集 RSG。
該數據集影像幅面跨越 512×768 到 27,860×31,096 像素，包含超過 21 萬個地理目標和超過 40 萬個目標-關系三元組。
內容上，RSG 收集了空間分辨率為 0.15-1m 范圍的衛星影像，涵蓋了全球范圍內與人類活動密切相關的 11 類復雜地理空間情景。
這些場景包括機場、港口、核電站、火電站、風力發電站、水壩和服務區、立交橋、水面橋、施工工地和體育運動場景等。
在遙感領域專家的指導下，研究團隊將所有地理目標劃分為 48 個細粒度類，并使用定向邊界框（OBB）進行精確標注，所有關系按照 8 個大類、58 個細粒度類進行標注。
為了進一步實現大幅面超高分衛星影像中的 SGG，研究團隊還提出了一個基于上下文感知的逐級認知（CAC）框架。
該框架從三個層面深入理解衛星影像 —— 目標檢測（OBD）、目標對剪枝和關系預測：
在目標檢測上，團隊提出了“能夠靈活集成多尺度上下文的整體多類目標檢測網絡（HOD-Net）”，可以檢測大幅面超高分辨率衛星影像中的目標；
在目標對剪枝方面，作者則設計了“基于對抗生成的候選對生成（PPG）網絡”，來篩選包含高價值關系的目標對；
在關系預測任務中，團隊又提出了“帶有上下文感知消息傳遞（RPCM）的關系預測網絡”來預測候選對的關系類型。
在 RSG 測試集上的結果表明，在目標檢測任務中，無論是基于水平框（HBB）還是有向框（OBB）的檢測器，團隊提出的 HOD-Net 框架都取得了總成績和多個單項的 SOTA。
注釋：
1.表格中，b_b 為 boarding_bridge, l_t 表示 lattice_tower, s_l 為 ship_lock, g_d 為 gravity_dam。
2.所有實驗都基于標準的“1x”(12epochs) 訓練設置。
3.?表示主干網絡為 Swin-L，其他的主干網絡都為 ResNet50。
4.下劃線表示下方的方法使用該模型作為基礎檢測器。
同時測試結果還表明，HOD-Net 方法也優于一些其他的訓練方式。
下面的圖更加直觀地展示了不同目標檢測策略的可視化結果。
剪枝任務上，團隊提出的 PPG 策略也在多個模型上運行的測試中超越了傳統方法。
生成情景當中，團隊設計的的 RPCM 網絡在基于 HBB 和 OBB 檢測器的所有指標上，同樣優于先前的主流 SGG 方法。
下圖是不同 SGG 模型在 RSG 數據集中情景生成結果的可視化展示。
此外，為了促進大幅面超高分辨率衛星影像中 SGG 的發展，研究團隊還發布了面向大面超高分辨率衛星影像的 SGG 工具包（其中包含約 30 種 OBD 方法和 10 種 SGG 方法），并基于 RSG 數據集進行了的全面基準測試。
數據集和相關工具包都已開源，可到項目主頁中了解詳情。
論文地址：
https://arxiv.org/abs/2406.09410
項目主頁：
https://linlin-dev.github.io/project/RSG
GitHub：
https://github.com/Zhuzi24/SGG-ToolKit
本文鏈接：http://www.tebozhan.com/showinfo-45-4750-0.html武大等開源大幅面高清衛星影像數據集：涵蓋 21 萬 + 地理目標，復雜地理空間場景知識精準生成
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號