MIX Fold3包裝盒泄露 新機本月登場
小米的全新折疊屏旗艦MIX Fold3將于本月發(fā)布，近日該機的真機包裝盒在網(wǎng)上泄露。從圖上來看，新的MIX Fold3包裝盒在外觀設(shè)計方面延續(xù)了之前的方案，變化不大，這也是目前小米旗艦
近年來，深度學(xué)習(xí)技術(shù)使得計算機視覺和機器人領(lǐng)域的許多進(jìn)展成為可能，但訓(xùn)練深度模型需要各種各樣的輸入，以泛化到新的場景。
此前，計算機視覺領(lǐng)域已經(jīng)利用網(wǎng)頁抓取技術(shù)收集了數(shù)百萬個主題的數(shù)據(jù)集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。然而，給這些數(shù)據(jù)集貼標(biāo)簽仍是一個勞動密集型工作，標(biāo)簽錯誤可能會影響到對技術(shù)進(jìn)步的感知，而且這種策略也很難推廣至 3D 或真實世界的機器人數(shù)據(jù)上。與圖像不同的是，目前網(wǎng)絡(luò)上并沒有大規(guī)模、高質(zhì)量的 3D 場景，而從真實世界收集這類數(shù)據(jù)又極具挑戰(zhàn)性。此外，人工標(biāo)注員也很難從圖像中提取 3D 幾何特性。
一般來說，使用 Gazebo、Bullet、MuJoCo、Unity 等工具對機器人和環(huán)境進(jìn)行仿真可以減輕上述限制。但是，仿真畢竟不完全是真實世界，即使一個場景是直接通過對真實環(huán)境的 3D 掃描建立起來的，掃描中的離散對象也會像固定的背景物一樣，不會像真實世界的對象那樣對輸入做出回應(yīng)。
因此，關(guān)鍵問題在于提供一個高質(zhì)量的 3D 對象模型庫，這些模型可以整合到物理和視覺建模中，為深度學(xué)習(xí)提供所需的多樣性。
為了解決這個問題，谷歌的研究者提出了 Google Scanned Objects (GSO) 數(shù)據(jù)集，這是一個由超過 1000 個 3D 掃描家用物品組成的精選集，可用于 Ignition Gazebo、Bullet 模擬器和其他可以讀取 SDF 模型格式的工具。
在一篇論文中，研究者介紹了該數(shù)據(jù)集的收集、管理、擴展等內(nèi)容。
論文鏈接：https://arxiv.org/pdf/2204.11918.pdf
據(jù)不完全統(tǒng)計，GSO 數(shù)據(jù)集已經(jīng)在計算機視覺、計算機圖形學(xué)、機器人操作、機器人導(dǎo)航和 3D 形狀處理等 10 個項目的 12 篇論文中得到應(yīng)用：
該研究貢獻(xiàn)主要有幾點：
提出 Google Scanned Objects 數(shù)據(jù)集；3D 掃描 pipeline 設(shè)計；3D 掃描管理和發(fā)布過程；該數(shù)據(jù)集在研究領(lǐng)域中的影響。數(shù)據(jù)集的創(chuàng)建
GSO 數(shù)據(jù)集起源于 2011 年谷歌的云機器人計劃，目的是讓機器人基于普通家用物品的高保真 3D 模型，能夠在自己的環(huán)境中識別和抓取物體。
然而，除了物體識別和機器人抓取之外，3D 模型還有很多用途，包括用于物理模擬的場景構(gòu)建和用于終端用戶應(yīng)用的 3D 物體可視化。因此，谷歌研究院發(fā)起了一個項目，將 3D 體驗大規(guī)模引入谷歌，以低于傳統(tǒng)商業(yè)級產(chǎn)品攝影的成本收集大量家用物品的 3D 掃描圖像。
這是一項端到端的工程，包括物體獲取、新穎的 3D 掃描硬件、高效的 3D 掃描軟件、快速 3D 渲染的質(zhì)量保障、網(wǎng)絡(luò)與移動瀏覽器，以及人機交互研究。
在收集數(shù)據(jù)之后，研究者構(gòu)建了一個 pipeline，讓這些數(shù)據(jù)能以各種格式使用。
3D 掃描 pipeline
即使限于家用物品的領(lǐng)域，3D 掃描也會帶來獨特的挑戰(zhàn)，包括高效的物理掃描設(shè)置、目標(biāo)照明、相機可靠性、掃描儀性能、配色、紋理渲染，以及處理光學(xué)上不一致的材料，比如近白色、有光澤或透明的表面。
專用的 3D 掃描硬件是勞動密集型的，性價比不高。為了進(jìn)行大規(guī)模掃描，還需要一些更具可用性和可靠性的工具。
因此，研究者設(shè)計了自己的專用掃描硬件和軟件（圖 2），能夠在 10 分鐘內(nèi)掃描物體并生成高分辨率模型。控制光線的物理外殼（圖 2b）使用兩臺機器視覺相機和一臺投影儀進(jìn)行結(jié)構(gòu)光掃描，捕捉 3D 幾何圖形，并使用單獨的單反高分辨率相機以產(chǎn)品友好的光線捕捉紋理。
項目第一年結(jié)束的時候能夠做到每周超過 400 次掃描，過程中，研究團(tuán)隊共獲得了 100K 份 360 度照片旋轉(zhuǎn)和 10k 份完全 3D 掃描的獨特對象。
圖 2。
圖 3：作為校準(zhǔn)過程的掃描。(a) 校正模式使 2D pipeline 能夠精確對齊相機。(b) 計算機控制的投影儀為 3D 掃描物體創(chuàng)造了類似的圖案。(c) 合適的模式能夠以亞像素精度探測位置。(d) 提取掃描物體的完整 3D 形狀。
圖 4：掃描的物品需要通過質(zhì)量檢查。(a) 許多物品被捕獲為高質(zhì)量的封閉流形 mesh。(b) 有的物體很少產(chǎn)生無效的 mesh，但有時會出現(xiàn)變形。
仿真模型轉(zhuǎn)換
這些原始的掃描模型使用協(xié)議緩沖元數(shù)據(jù)、非常高分辨率的可視化、不適合模擬的格式。對象的一些物理屬性，比如質(zhì)量，會被捕獲，但諸如摩擦之類的表面屬性在元數(shù)據(jù)中則沒有表示。
為了讓這些掃描的模型能夠在仿真系統(tǒng)中使用，每個模型都通過一個 pipeline 進(jìn)行下列步驟：
過濾無效對象。分配對象名稱。驗證對象 mesh。計算物理屬性。構(gòu)造碰撞體積。減小模型尺寸。創(chuàng)建 SDF 模型。創(chuàng)建縮略圖。打包模型。數(shù)據(jù)集屬性組成
GSO 數(shù)據(jù)集包含 1030 個掃描對象和相關(guān)的元數(shù)據(jù)，總計 13GB，根據(jù) CCBY 4.0 License 授權(quán)。表 III.1 分解了數(shù)據(jù)集中的模型類別。
表 III.1
優(yōu)勢
自動化 pipeline 可以快速生成大量模型，而無需手工處理。因為這些模型是掃描的，而不是手工建模的，所以它們是真實的，而不是理想中的，這減少了將學(xué)習(xí)從模擬轉(zhuǎn)移到真實世界的困難。
掃描儀的玻璃平臺可以從各個方面掃描模型，包括底座，不像其他掃描儀有不透明的平臺。類似地，從環(huán)境中提取的模型通常缺少像底座這樣起到銜接作用的遮擋區(qū)域。
因為該掃描儀根據(jù)投影圖案而不是深度照相機數(shù)據(jù)重建表面形狀，所以得到的 mesh 具有高保真度。光滑的表面是平滑的，輪廓邊緣是準(zhǔn)確的 (圖 5)。相比之下，RGB-D 數(shù)據(jù)得到的 mesh，可能出現(xiàn)斑駁和不規(guī)則，特別是在輪廓上。
圖5
限制
同時，這個數(shù)據(jù)集也有一些限制：掃描儀的捕捉區(qū)域不能容納比面包箱 (約 50 厘米) 大的對象，因此該數(shù)據(jù)集不包括在其他數(shù)據(jù)集中較大的對象，如椅子、汽車或飛機。同樣，掃描分辨率是有限的，所以非常小的對象不能以合理的保真度建模。此外，生成的紋理是漫反射的：高度鏡面或透明的對象不能表征出來，生成結(jié)果也不夠理想。
更多細(xì)節(jié)可參考原論文。
本文鏈接：http://www.tebozhan.com/showinfo-119-2329-0.html谷歌公布13GB 3D掃描數(shù)據(jù)集：17大類、1030個家用物品
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 你的AI模型可能有后門！圖靈獎得主發(fā)53頁長文：小心惡意預(yù)測
下一篇： 云安全日報220517：IBM MQ消息中間件平臺發(fā)現(xiàn)執(zhí)行任意代碼漏洞,需要盡快升級
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號