5月7日消息，继向ARCore添加深度API之后，谷歌继续使用谷歌Pixel 4智能手机探索实时3D深度感测。
据悉，谷歌开发了实时红外（IR）有源立体深度传感器uDepth，旨在设计精确且具有度量的标准。这个想法是为了在Pixel 4手机的面部解锁功能下在高速和黑暗中工作。此外，它可以帮助身份验证系统识别用户，同时还可以防止欺骗攻击，它还能够对照片进行事后润色、基于深度的场景分割、背景模糊、人像效果和3D照片。该系统既生成30Hz的深度流，又生成平滑的、经过后期处理的深度图，以用于摄影后捕获效果，例如用于社交媒体的散景和3D照片。
为了实现这一目标，Google训练了一种端到端的深度学习架构，该架构增强了uDepth的原始数据，使用RGB图像、人物分割和原始深度的组合推断出完整、密集的3D深度图。此外，该公司还将Pixel 4手机与一个体积捕捉系统的灯光和摄像头同步，该系统可以生成接近真实感的人体模型。该系统由一个测地线球体、331个定制彩色LED灯、一组高分辨率摄像机和一组定制高分辨率深度传感器组成，它有助于生成结合真实图像和从Pixel 4摄像机视角合成渲染的训练数据。
uDepth软件主管Michael Schoenberg和uDepth硬件/系统主管Adarsh Kowdle在一个描述该技术的博客上写道：“当一部手机出现严重下降时，它可能导致立体摄像机的出厂校准偏离摄像机的实际位置。为了确保在实际使用中获得高质量的结果，uDepth系统是自校准的。计分程序评估每个深度图像是否有误校准的迹象，并建立对设备状态的信心。如果检测到校准错误，则从当前场景重新生成校准参数，这是一条由特征检测和对应、亚像素细化（利用点轮廓）和束调整组成的管道。”
虽然智能手机的面部解锁功能可能还与商业和专业领域无关，但这项技术的进步展示了深度传感器在未来3D应用中的潜力。深度感测为开发人员和用户提供了确定场景的3D信息的能力，在智能手机上使用深度传感器不仅可以帮助摄影，还可以帮助增强现实、3D扫描应用程序等。与其随身携带一台大型3D手持扫描仪，不如将它放在口袋里。
