Oculus基于英伟达光流SDK推出立体透视Passthrough+

Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路，并且定义所需的组件，从而帮助开发者和用户在VR中获得最为愉快，最为身临其境的体验。今天Oculus介绍了最近发布的技术：基于英伟达图灵Optical Flow SDK的Passthrough+。

1. Passthrough+

Passthrough +是Oculus Rift S中的一项全新功能，它能够以正确的立体透视模式在虚拟世界提供前置摄像头视图。传统的VR透视视图质量有限，这是因为摄像头往往不是位于玩家的眼前。这是技术方面的限制，而且将摄像头设置于用户眼前是不切实际的方案。但我们可以接近这一点。Passthrough +是投影摄像头视图的最先进方法，令画面看起来就像是摄像头成为了用户的双眼。这项功能可以减少深度差异并提高舒适度。尽管摄像头的帧速率较低，但画面感觉自然，而且帧率正常。这因为在比较从不同视角同时拍摄的两个帧时，Oculus的系统可以恢复视差信息。借助基于像素测量所获取的差异信息，再结合摄像头位置，Oculus可以从图像中推断出实际的距离值。通过利用异步空间扭曲技术，Passthrough +可以实时地进行差异估计。

2. 异步空间扭曲2.0

Oculus最近发布了异步空间扭曲2.0。自2016年发布1.0版本以来，它已然成为VR二次投影的行业标准。ASW能够降低用户设备的性能要求和开发者的优化要求。它可以通过光流来推断场景内的运动，并实现进一步的外推。

这意味着应用程序不再受限于VR显示屏的帧率，系统可以开始合成中间帧并予以补充。下面是《Lucky’s Tale》的示例，其中场景应用了运动矢量。

光流这种计算机视觉技术主要用于识别帧到帧的变化。这可以是电影，其中系统追踪运动以跟随对象或整个场景。这同时可以是通过不同摄像头拍摄的两张图像。在更基本的层面上，这种图块匹配和追踪是现代视频编码的核心组件。你可以将光流类比成视频编码中的基于图块匹配的运动估计，但两者的目标不尽相同。在视频编码中，图块匹配的目标不是在场景中寻找运动（尽管这是一个有趣的意外结果）。对于视频编码，其目标是定位类似的图案，并利用相关性进行压缩。换句话说，视频编码器将寻找能够为最精简的数据流产生最佳输出的最佳结果。尽管这通常是场景的流动，但没有任何任何保证，或者说原本就不是为了这个目标。光流涉及在场景中寻找对象的更自然运动。对于压缩，它将是非常次优的目标，只要对象本身能够整体移动，并且可以路径追踪它们的真实世界运动即可。

到目前为止，利用视频编码器一直是ASW的基础。将视频编码器用于ASW的主要优点是，它与GPU的图形渲染并行运行。这意味着当系统尝试生成合成帧时，渲染性能落后的应用程序不会受到负面影响。相反，应用程序可以拥有以前的所有资源，以及预测运动的能力。但主要缺点是合成帧中的预测不完全准确。

3. 光流

英伟达为估算场景中的光流开发了一种更快、更精确的SDK。这家公司于今年早些时候发布了他们的Optical Flow SDK，并用于取代NVENC视频编码器原来单纯的运动估算模式。英伟达的Optical Flow SDK可用于图灵显卡，能够将宏块分辨率提高四倍，优化运动矢量分辨率，并且通过强度变化实现对象跟随，同时强调光流而非压缩比。

结果是终点误差比传统的视频编码运动矢量平均少一半。定性结果同样令人印象深刻。通过ASW，系统可以更可靠地追踪近场对象。手电筒幻觉的出现频率更低，而增加的精度意味着可以更准确地追踪单个颗粒和对象的运动。

4. 基于差异的深度信息

对于Passthrough +，这意味着可以增加投影世界的立体分辨率，同时能够正确追踪和跟随对象。当面对低对比度或过度曝光的区域时，英伟达的Optical Flow仍然可以推断出有意义的视差值，在估计场景深度时防止视图漏洞或丢失数据。以下这个视频对比了视频编码器的运动矢量和英伟达的Optical Flow。插入的窗口是场景中的估计深度，较暗的区域是更后面的位置。你可以在深度缓冲区中看到Optical Flow的优势，其中深度近似值要更加精确。

5. 即将推出

尽管ASW和Passthrough +可以支持现有的最低规格和推荐规格硬件，但图灵硬件可以通过Optical Flow SDK提供最佳的运动估算。作为用户，你可以为Oculus运行时提供图灵硬件和最新的英伟达驱动程序之外。包含所述集成的Oculus运行时将于2019年6月的1.38版本中与大家见面。

6. 未来的工作

Oculus表示，这并非ASW和光流研究工作的结束。如上所述，光流不仅只可以追踪运动，同时能够说明场景的空间组成。我们可以利用光流获取大量的信息，而传统的视频编码器方法能够出色地做到所述的任何一点。Optical Flow SDK带来了大量的机遇和研究方向，而Oculus将继续进一步的探索挖掘。