【小箘学VR】预测追踪与VR系统延迟

在上一篇文章中，小编为您详细介绍了关于《减压还安眠！神器Kortex正在开发中》相关知识。本篇中小编将再为您讲解标题【小箘学VR】预测追踪与VR系统延迟。

作为Sensics公司CEO兼OSVR平台联合创始人，Yuval与他的团队设计了开源虚拟现实（OSVR）软件平台并构建了OSVR系统最关键的系统实现。另一方面，他经常会在自己的博客上分享自己对VR的观点和知识，这一次，我们了解到的就是关于VR预测追踪的内容。 在VR和AR系统中，预测追踪涉及对一个物体或用户身体的一部分的方向和位置变化的预测过程。举例来说，开发的异步空间扭曲（ASW）就涉及对用户头部位置变化的预测。 预测追踪最常见的VR应用之一就是用来降低VR头显的运动画面延迟，因为一般来说，如果头显传感器检测人的运动到最终显示屏显示出对应画面的时间间隔大于20ms，人们就会感觉到画面的滞后，从而导致头晕。很明显，从传感器检测数据传输到计算机进行处理然后进行显示总需要一定时间，我们不可能完全消除这段时间差，但人的很多动作过程存在连续性，软件可以预测运动轨迹，提前生成对应的画面，这样我们就能够减少明显可被感知的延迟了。 据VR箘的了解，现在有很多应用已经应用了预测追踪技术，不过实际上它在增强现实领域也非常重要，因为有很多用户在快速移动中仍然会同时看到现实场景和虚拟画面叠加层并进行对比。想象一下，如果我们在AR头显中观看一个投影到显示物体表面的虚拟图像，这个图像即使在我们转头时仍然应该在视觉上与现实物体保持相对静止，这样才会让我们感到它的确是这个物体的一部分。 增强现实一般使用Inside-Out进行定位，头显上的摄像头需要对物体进行识别，不过摄像头拍摄图像，并使用处理器识别物体在图像中的位置，然后在对应位置渲染虚拟画面都需要时间。当我们应用预测追踪，就可以提前开始渲染，缓解处理器的压力。 先从理想化的条件开始说起，如果我们看到一辆匀速运动的汽车，想要预测它在1s后的位置，估计我们很容易就能得到相当正确的结果。我们知道汽车当前的位置，然后估计一个比较接近的速度，然后就能获得短时间之后汽车的位置。 当然，一般来说我们的预测值与汽车在1s后的真实位置不可能总是100%相同：毕竟真实情况中汽车可能会在那段时间改变方向或者速度。基本的规律是，你想要预测的时间越远，你的预测准确度就会急速下降：预测1s后汽车的位置变化很明显比预测1分钟后汽车的位置变化要准确很多。 另一点则在于采集的数据，你对汽车了解的越多，你的预测就越准确。例如，如果你不仅知道汽车的速度，还知道它的加速度，那么1s后的位置变化就更精准了。 因此，如果我们能够采集到追踪物体更多运动信息，预测追踪的准确度也更精确。在追踪用户头部运动时，如果我们知道人类头部正常和极限的旋转速度，就可以建立一个更精确的追踪数据模型。同样的，如果我们还要进行眼球追踪，我们可以使用眼球追踪数据增强头部追踪预测的可靠性。 前面已经说过，预测追踪的原因在于真实头部运动到与这个运动对应的画面显示在VR屏幕中存在时间差。这个时间差的来源有很多，例如： 传感器（最常见的就是陀螺仪）受限于带宽和本身数据采集的频率，并没有及时上传运动数据。而光学感应元件也因为画面刷新等问题没有在接收来自追踪物体的光的同时向处理器发送图像。 来自传感器的数据通常会使用一些传感器融合算法进行整合，当处理器接收这些数据之后，由于需要运行算法会产生一定延迟。 传感器的数据不可避免存在一些噪声信号，为了避免错误数据影响体验，我们需要使用软件端或硬件端低通算法对其进行处理。 这一点当然也很好理解，数据以电信号作为传输载体，而无论采取什么手段，电信号的传输肯定存在一些延迟。 渲染画面，尤其是复杂场景，GPU需要花费一段时间才能完成工作，它们需要在将画面帧传输到屏幕之前确定每个像素点的正确位置。 如果一个显示屏刷新率为100Hz，那么它显示第一帧到第二帧之间必定存在10ms延迟。问题是GPU传送的画面帧在时间上并没有与显示屏刷新进行同步，有时候即使画面帧已经传送到显示屏仍然需要等待一段时间才能显示。 这里面大部分延迟都非常小，然而它们叠加起来就不容忽视了。而预测追踪和其他技术，例如异步时间扭曲（ATW）能够有效减少那些比较明显的延迟。 关于这一点，VR箘只能表示看情况。由于VR系统存在多个追踪物体，我们需要将不同物体作为单独的预测起点，然后优化到理想的状态。 为了保证稳定性，也许我们需要一直预测物体多个时间点的运动状态，下面来解释为什么这是必要的： •现在系统中不同追踪物体的延迟并不相同。例如基于相机的手势追踪与头部追踪的延迟不同，但它们出现在同一个场景中，需要进行同步绘制，这时候就需要用到多个时间点的预测追踪结果。 •VR显示屏有两种形式，一种采用两块独立屏幕，另一种则使用单一屏幕。后者，例如手机VR中，单一屏幕需要同时显示两只眼睛的图像，然而屏幕是逐次显示图像，因此一只眼睛的图像总是比另一只眼睛慢半帧（大约为8ms）。这样的话，我们最好利用预测追踪给另一只眼显示8ms之后的图像。 下面是一些常见预测追踪算法的例子： 这是一个比较简单的算法，如果我们知道给定时间的位置和速度（或者角位置和角速度），假定最后测得的移动距离和方向没有误差，我们就可以推算出一定时间之后的位置。举例来说，方向固定，已知最后的位置是100单位而最后测得的速度是10单位每秒，那么10ms之后的位置就是100.1单位。这是一个非常简化的计算方法，因为它假设最后测得数据都是准确的，并且物体速度不变，而实际情况往往不是如此。 著名的卡尔曼滤波器一般用于去除传感器噪声，一般都有专门的数学模型，卡尔曼滤波的具体讲解在英文维基百科上能够找到。 ABG指的是阿尔法-贝塔-伽马，它与卡尔曼预测关系也十分紧密，但通用性相对较差，而涉及到的数学也比较简单。ABG通过连续不断地估计速度和加速度参数进行预测。由于估算值会参考实际数据，因此它们可以测量部分噪声点。配置参数（阿尔法-贝塔-伽马）更注重响应能力，而非降噪。 如果我们想要减少那些明显的延迟，预测追踪是一个有效并且挺常用的技术。其实现手段有简单的也有复杂的，需要进行一些数据分析，不过相信它对现在和的VR/AR系统延迟问题有很多帮助。 在全球28亿台智能手机中，只有1.91亿台（6.8%）能够兼容主要的VR头显：Gear VR和谷歌Daydream。...

编后语：关于《【小箘学VR】预测追踪与VR系统延迟》关于知识就介绍到这里，希望本站内容能让您有所收获，如有疑问可跟帖留言，值班小编第一时间回复。 下一篇内容是有关《【VR技术宅】模拟嗅觉为何如此困难？》，感兴趣的同学可以点击进去看看。