5月7日消息,繼向ARCore添加深度API之后,谷歌繼續(xù)使用谷歌Pixel 4智能手機探索實時3D深度感測。
據(jù)悉,谷歌開發(fā)了實時紅外(IR)有源立體深度傳感器uDepth,旨在設計精確且具有度量的標準。這個想法是為了在Pixel 4手機的面部解鎖功能下在高速和黑暗中工作。此外,它可以幫助身份驗證系統(tǒng)識別用戶,同時還可以防止欺騙攻擊,它還能夠?qū)φ掌M行事后潤色、基于深度的場景分割、背景模糊、人像效果和3D照片。該系統(tǒng)既生成30Hz的深度流,又生成平滑的、經(jīng)過后期處理的深度圖,以用于攝影后捕獲效果,例如用于社交媒體的散景和3D照片。
為了實現(xiàn)這一目標,Google訓練了一種端到端的深度學習架構(gòu),該架構(gòu)增強了uDepth的原始數(shù)據(jù),使用RGB圖像、人物分割和原始深度的組合推斷出完整、密集的3D深度圖。此外,該公司還將Pixel 4手機與一個體積捕捉系統(tǒng)的燈光和攝像頭同步,該系統(tǒng)可以生成接近真實感的人體模型。該系統(tǒng)由一個測地線球體、331個定制彩色LED燈、一組高分辨率攝像機和一組定制高分辨率深度傳感器組成,它有助于生成結(jié)合真實圖像和從Pixel 4攝像機視角合成渲染的訓練數(shù)據(jù)。
uDepth軟件主管Michael Schoenberg和uDepth硬件/系統(tǒng)主管Adarsh Kowdle在一個描述該技術(shù)的博客上寫道:“當一部手機出現(xiàn)嚴重下降時,它可能導致立體攝像機的出廠校準偏離攝像機的實際位置。為了確保在實際使用中獲得高質(zhì)量的結(jié)果,uDepth系統(tǒng)是自校準的。計分程序評估每個深度圖像是否有誤校準的跡象,并建立對設備狀態(tài)的信心。如果檢測到校準錯誤,則從當前場景重新生成校準參數(shù),這是一條由特征檢測和對應、亞像素細化(利用點輪廓)和束調(diào)整組成的管道。”
雖然智能手機的面部解鎖功能可能還與商業(yè)和專業(yè)領(lǐng)域無關(guān),但這項技術(shù)的進步展示了深度傳感器在未來3D應用中的潛力。深度感測為開發(fā)人員和用戶提供了確定場景的3D信息的能力,在智能手機上使用深度傳感器不僅可以幫助攝影,還可以幫助增強現(xiàn)實、3D掃描應用程序等。與其隨身攜帶一臺大型3D手持掃描儀,不如將它放在口袋里。