【小箘观VR】移动VR发展的五大挑战

在上一篇文章中，小编为您详细介绍了关于《森声 Lifelike全景声模式 “直播 旅游”的突围良策》相关知识。本篇中小编将再为您讲解标题【小箘观VR】移动VR发展的五大挑战。

目前，虚拟现实的发展可以说是不温不火，既没有像人们追逐的热点那样铺天盖地，也没有像年初人们担心的那样一蹶不振。无论国内外，VR硬件的热度已经降温，而软件和内容的发展情况则逐渐变好，第一代主流消费端VR产品以高端PC VR为主，这些产品已经上市一年，但目前还没有能使VR真正走向主流的杀手级应用。虚拟现实的商业化进程还在进行中，不过大家仍然有不少技术难点需要解决，尤其是在移动VR领域。 高质量的VR体验首先出现在PC端和主机端并不是偶然，VR对硬件性能要求较高，移动Soc的性能相对较弱，因此移动VR相比PC VR需要更多软件优化，做一款体验达到基本要求的PC VR并不算难事，很多厂商的重点也早已放到了应用生态和VR标准等方向上，而目前体验真正满足基本要求的移动VR主要还是GearVR，但其软件平台由Oculus提供，Oculus却深陷与ZeniMax的官司纠纷中，给GearVR的发展蒙上一层阴影。 即便是GearVR，仍然存在不少问题，下面我们就来列举一下移动VR产品很难克服的一些问题： 与体积庞大、直插电源的PC VR相比，移动VR面临的最大挑战就是处理器功率严重受限、散热能力不足。移动VR只能使用电池供电，为了节省电力增加续航，移动Soc图形运算能力有限。同时移动VR的运算单元和电池一般都包含在头显部分，基于重量和用户对热度的感受，其散热也严重受限。一般来说，移动产品的TDP都要低于4w，而PC上的中高端GPU至少达到150w。 摩尔定律已经走到尾声，我们的处理器制程工艺进步缓慢，这意味着有限功耗下的处理器性能很难有较大进步，典型例子是Intel Core M处理器，看似用4.5w的TDP实现了15w低压处理器的性能，实际上这种级别的性能是通过短时睿频到15w TDP实现的，其发热严重，无法长时间维持，无法应用到VR头显中。 当然，尽管移动VR在性能上永远无法匹敌PC产品，但这并不代表我们无法在移动平台体验到画质清晰、高帧率的沉浸式体验。对于特定的应用场景，例如高清晰的VR视频内容、部分游戏，我们仍然可以找到最适合移动VR的场景。 首先，我们可以针对使用频率很高的任务开发专用的加速处理单元，这一点现在人们已经广泛应用了，例如移动处理器的视频硬件解码能力都非常强；今后厂商很有可能针对VR应用开发专门的加速单元。同时，业界正在为VR开发专门的图像处理技术，例如多视图渲染，它可以简化立体图像渲染过程的任务量。这个技术并不仅仅适用于移动VR，它现在已经支持OpenGL 3.0和ES 3.0，由诸多知名公司联合开发，例如Oculus，高通，NVIDIA，，Epic，ARM和。多重视图可以用单个绘图指令完成立体图像渲染，这样可以减少CPU调用，并缩减GPU顶点渲染任务。据称，这一技术可以提高40%~50%的性能表现，目前ARM的Mali和高通Adreno系列GPU已经支持这个技术了。 有助于提高移动VR体验的另一项关键技术是焦点渲染技术（眼球追踪）。由于人眼只有在视网膜中央一小块区域能够分辨精细的图像，所以我们可以使用眼球追踪确定这一区域的位置，然后只在对应的区域采用高清晰度的渲染方式，周边则使用低分辨率渲染。这样，我们就能在几乎不影响实际的VR表现时大大降低GPU负载。 移动VR受限于处理器功耗的同时也会遇到其他VR平台同样需要面对的问题，包括超低延迟的要求，高分辨率等。VR对分辨率的要求相当高，即使采用了2K面板的VIVE头显，很多用户仍然会认为其画面清晰度完全不能满足要求。由于我们的眼睛距离屏幕非常近，所以其延迟和像素点很容易被看出来。 人们常常批评VR显示屏是“马赛克”、“大果粒”，由于VR经常采用AMOLED屏幕，其Pentile子像素排列使得这个问题变得更加突出，因为这种排列需要共用子像素，以低分辨率模拟高分辨率，同时OLED在提高像素密度上遇到了困难。如果换用LCD显示屏，我们就能实现4K分辨率的VR头显，但LCD容易产生余晖效应。即使我们实现了更高分辨率的OLED，由于VR要求帧率达到90FPS甚至120FPS，巨大的数据量加重系统负担。尤其是内存带宽，因为移动VR只能让CPU和GPU共享低功耗内存，其带宽实际上还是远远低于PC上的专用显存的。 节省显存带宽的基本策略包括使用图形或色彩压缩算法，例如ARM和AMD的自适应扩展纹理压缩标准（ASTC）或者爱立信的纹理压缩标准（ETC），目前它们已经成为OpenGL和GL ES的官方扩展的一部分。据了解，使用这些压缩技术在一部分情况下能够节省50%的带宽。 当然这里还有其他GPU技术，例如曲面细分，尽管会额外消耗一部分GPU资源，但它也能够大大提高画面细节。还有延迟渲染和Forward Pixel Kill可以避免重复渲染一些像素点，Binning/Tiling架构则将图像分成小格依次渲染，这样也能节省带宽（不过会增加延迟）。 另一方面，对于移动VR游戏开发者而言，牺牲部分画面细节保障流畅性也是常用的手段之一。例如把定义画面或色彩细节的数据从32位降低到16位，就可以大大减少数据量。同时，这些措施并不仅仅节省带宽，对于移动VR电池续航也有一些帮助。 前面也提到了，目前高端VR头显一般采用OLED显示屏，这是因为OLED像素切换速度更快，有助于缓解VR画面延迟的问题。不过从另一方面讲，高分辨率的LCD显示屏成本仍然低于低分辨率OLED，同时我们通过优化软件和屏幕本身也能在一定程度上缓解屏幕本身的缺陷，所以现在也有不少厂商重新改用LCD屏幕，例如很多国产VR厂商和VR头显的低端型号。 正常来说，VR的运动画面延迟应该限制在20ms以内，这包含了传感器检测头部运动、信号处理、画面渲染、屏幕显示整个过程。在整个延迟过程中，屏幕画面的刷新速度占据了相当重要的一部分，其表现直接影响VR体验，因为未经优化的LCD屏幕本身的延迟就可能超过20ms。理想情况下，屏幕延迟最好低于5ms，一般OLED屏幕可以做到这一点，而优化过的LCD则低于10ms，所以采用LCD的厂商还需要在其他地方进行优化，弥补这部分延迟。 从目前VR硬件的发展状况来看，由于OLED面板产能不足加上VR厂商迫切希望降低硬件成本，后续将会有更多VR厂商改为采用更具性价比的LCD面板。提供LCD高端面板的日本厂商通过技术改良优化了LCD的刷新率和像素切换时间，使得LCD更容易被应用到VR头显中。去年，日本显示器公司JDI就曾展示过一种高密度的高速液晶面板，而VR箘也从中国厂商的介绍中了解到夏普公司也开发了类似产品。 尽管我们对于VR体验的大部分讨论都集中在画质方面，但空间音频和高精度低延迟的传感器对于VR体验的沉浸感也十分重要。需要注意的是，在移动VR中，所有这些都需要考虑体积重量受限的机身和功耗。 前面也提到了延迟的重要性，而传感器延迟也是整个运动画面延迟的一部分。目前，高端PC VR支持头部追踪和位置追踪，而移动VR还只支持3自由度头部追踪，使用惯性测量单元进行头部旋转的追踪。当然，今后还有眼球追踪等新兴技术，所有这些传感器都需要持续收集数据并进行处理，这里就会产生微小的延迟。厂商需要考虑的当然是在保证追踪精度的同时尽可能减少延迟，并降低功耗。 对于音频方面，尽管游戏业很早就开始使用3D空间音效，但目前很少有厂商将它与头部运动相关联并通过卷积混响实时处理，实现位置相关的真实空间音效，这部分内容的处理也非常消耗处理器计算资源。对于PC，我们可以使用强大的cpu进行处理，而移动VR，最好的办法则是应用专门的DSP进行处理，可以极低功耗完成同样的任务。 从目前来看，最适合传感器和音频处理的移动Soc应该是来自高通的骁龙系列，它支持CPU、GPU和DSP的异构处理，可以平衡计算性能和功耗，提供最优秀的移动VR表现。 任何优秀的硬件最终都离不开大量开发者的支持，VR硬件需要配套专门的软件平台，支持主流游戏分开发引擎和SDK，方便开发者制作自己的应用。目前，VR平台厂商开始考虑联合制定相关的VR开发标准，这样可以减少开发者为平台移植应用的成本，防止“重复造轮子”，加速VR内容的积累。 SDK包含VR软件平台的关键技术，对VR体验影响很大，例如著名的异步时间扭曲（ATW）技术，可以减少GPU渲染开销，提高移动VR的流畅性。其他还有光学畸变校正和立体透视渲染等，减少VR画面的形变等问题。 目前，各大主流平台都能够提供支持广泛的SDK，开发者可以使用Unity或者虚幻引擎进行开发，而VR软件标准则尚在讨论中。此前，Khronos组织宣布成立OpenXR标准，提供VR标准化API，但这个标准至少要到2018年才能够正式发布。 移动VR和高端VR代表了虚拟现实的两种不同发展方向，目前，高端VR体验比较出色，而移动VR由于成本较低，更容易收获大量用户群。不过从目前的发展来看，高端VR更容易获得更多优秀的VR内容，能够收获一批早期的核心用户，其发展速度比移动VR更快，不过随着虚拟现实的逐渐成熟，相信移动VR在用户基数方面的优势将会逐渐展现。 在最近这几年里，知名游戏制作人、《合金装备》之父小岛秀夫在各种公开场合有意无意透露自己对虚拟现实内容的兴趣，他经常参加各种游戏展会并了解VR游戏体验和VR技术的发展状况，这一次在翠贝卡游戏展他又一次表...

编后语：关于《【小箘观VR】移动VR发展的五大挑战》关于知识就介绍到这里，希望本站内容能让您有所收获，如有疑问可跟帖留言，值班小编第一时间回复。 下一篇内容是有关《VR手术模拟Precision OS完成230万美元A轮融资》，感兴趣的同学可以点击进去看看。