教育部清华微软多媒体与网络重点实验室主任温江涛: RayShaper生产系统助力沉浸式内容创作

10月20日下午，2019世界VR产业大会“影视内容分论坛”召开。本次活动由中国广播电视设备工业协会承办。本次活动以“5G时代下的VR影视新潮流”为主题，对VR影视内容创作、新技术、新方案、新成果、新模式进行了深入的讨论。教育部清华微软多媒体与网络重点实验室主任温江涛发表演讲。

摩尔定律是指，当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍，揭示了信息技术进步的速度。而现在已经到了摩尔定律寿命周期的尾声。

RayShaper致力于为数字网络沉浸式内容创建生态系统，具备高性能、高可靠性、高可用性，在算法、架构、网络方面有深入研究，对艺术和质量非常重视。

在高性能方面，4K只是现实XR的开始，捕获和处理光场需要更多的资源，RayShaper是首个实现实时、低延迟、广播质量8k60编码器在一个单一的服务器的软件，首创通用软件实时、低延迟、基于广播质量光流的视频拼接处理系统。例如全球首款“5G+8K”超高清视频全业务直播车就搭载了8K60fps HEVC编码器，成功直播北京国际篮联篮球世界杯。

在高效率和高速度方面，利用现有的服务器的架构提高吞吐率，增加延时，能够在现有的设备上实现高效率的制作；在用户使用范围方面，90%的互联网视频是通过TCP/IP传输的，TCP吞吐量受到多跳和无线的严重影响，而沉浸式内容对带宽要求远远高于广泛可用的内容，RayShaper可以在同等的网络条件下，将吞吐率提高达7倍，包括视频直播平台以及云计算中心都使用了这个网络优化技术；在相机系统方面，随着工艺的改进，CMOS分辨率将不会继续增长，噪音也依然存在，因此需要新的架构和处理进程。RayShaper相机系统采用瑞士设计和瑞士制造，包括后期制作的拼接、增强、编码和流的多功能，为沉浸式内容制作提供RayShaper HIP - Heritage沉浸式平台。另外RayShaper也提供解决方案，例如智能音视频分析和人工智能使乐器分类和跟踪，自动将音频文件映射到VR视频中的位置，自动产生双声道音频格式和编码成缝线视频，支持直播等。