谷歌又搞事了,基于灯光技术的三维捕捉黑科技!

导语: 谷歌最近公布了一项基于灯光的全新技术——Relightables。

  「灯光」在影视作品、游戏和虚拟环境中的作用至关重要,它是一种重要的造型手段,在影片中起着传达信息、表达情绪、烘托气氛、刻画人物性格和心理变化等作用。它影响着影片基调的形成和影片风格的展现,与影片基调形成对立统一的关系,与其它造型手段结合表现影片的节奏和旋律。

影视作品里许多特效场景都需要借助绿幕完成,在技术不过硬的时候,常会发生「五毛特效」的惨案。

  想要复制完美的光效更是个难题。随着计算机视觉技术的演进,计算机已经能够比较「自然」地还原人脸形状、皮肤纹路,但是在模拟灯光条件这一块还是缺乏写实感。

而谷歌最近公布了一项基于灯光的全新技术——Relightables。能够完美解决这一点。

Relightables 系统工作流程可分为三个部分:捕捉、重建和渲染。

该系统的核心依赖于一个包含多视角(主动)立体深度传感器的灯光球面装置,球面装置安装有 331 个可编程的灯以及 90 个高分辨率 12.4MP 重建相机。

  捕捉人体所用的相机包含 32 个红外(IR)相机和 58 个 RGB 相机。红外传感器提供准确、可信赖的 3D 数据,RGB 相机捕捉高质量几何法线贴图和纹理。这些相机以 60Hz 的频率记录原始视频,研究者基于球面梯度照明交替使用两种不同的照明条件。

  接下来,研究者将数据上传到公共存储库中,第一个阶段是生成每个「机位」的深度图、分割图和 3D 网格 [Kazhdan 和 Hoppe 2013]。

他们用一个对齐算法来处理重建网格的序列,如此一来,长的子序列就可以共享常见的三角定位(triangulation)。研究者提出了一种新的方法来解决关键帧的选择问题,将其转变为一个 MRF 推理问题来解决。每个独特的三角定位都被参数化为普通的 2D 纹理空间,该空间可以和所有共享该三角定位的帧共享。

最后每个网格都有两个可用的梯度球形照明图像,从中可以生成反照率、法线、光泽度和环境光遮挡图。这些图与标准渲染引擎兼容,可用在任何设定的光线条件下重新生成渲染图像。

  谷歌这个全新的系统可以完美还原人物周围的光影效果,使得合成的影像看起来更加逼真。可以无缝地将捕捉到的人体融合到现实世界中或电影、游戏等中的数字场景。它可能会彻底变革 3D 捕获技术领域。

 

来源:影像骑士  中国照明网 编辑:严志祥

博评网