GPU计算走向AI和VR 英伟达BIRTV媒体沟通会重点拾记

在上一篇文章中，小编为您详细介绍了关于《VR教育已成“互联网＋教育”下的新模式》相关知识。本篇中小编将再为您讲解标题GPU计算走向AI和VR 英伟达BIRTV媒体沟通会重点拾记。

  8月23日，北京国际广播电影电视展览会（BIRTV2017）在中国国际展览中心（老馆）开幕。NVIDIA将参与本届展会，展示NVIDIA的GPU渲染和VR技术将如何应用于传媒、娱乐、数字内容创建、以及建筑设计、汽车研发与设计等相关工作流程。我们受邀参观了NVIDIA的展台，体验最新的图形图像技术，并听取相关工作人员的精彩演讲，了解到一些GPU技术最新的发展情况。8月23日，北京国际广播电影电视展览会（BIRTV2017）在中国国际展览中心（老馆）开幕。NVIDIA将参与本届展会，展示NVIDIA的GPU渲染和VR技术将如何应用于传媒、娱乐、数字内容创建、以及建筑设计、汽车研发与设计等相关工作流程。我们受邀参观了NVIDIA的展台，体验最新的图形图像技术，并听取相关工作人员的精彩演讲，了解到一些GPU技术最新的发展情况。本次媒体沟通会上的主要发言人包括：NVIDIA中国区业务拓展总监何犹卿，NVIDIA中国虚拟现实业务开发及销售经理张武和NVIDIA中国虚拟现实业务开发及销售经理周锡健。他们的发言内容分别包括：基于GPU的人工智能技术的发展和应用（本次重点讲述媒体领域的运用），GPU360度高清视频技术和NVIDIA开发的虚拟现实辅助设计工具——Holodeck（暂译为全息甲板）介绍。何老师在这里主要分享了NVIDIA不久之前在美国SIGGRAPH2017上发布的一些最新消息。首先是最近二三十年发生的主要技术革命，包括互联网的诞生、移动互联网的兴起和接下来可能出现的人工智能变革。前两次变革的成果我们已经看到，然后随着计算机运算力的提升我们可以实现大数据分析等大规模数据运算，然后以深度学习神经网络为代表的人工智能技术也逐渐开始运用，进入人们的日常生活，例如智能翻译、医疗健康、智慧城市等。根据一些数据分析，当前全球有三千多家公司正积极投入到人工智能的开发过程当中。到了2020年，机器人在客服服务领域的比例将达到85%。到时机器人将不再仅仅负责咨询，售后、亦或是导购都会通过机器人来完成。具体到传媒领域的应用，人工智能可以实现的场景主要聚焦到视觉和听觉两方面。  

  例如神经网络学习了古代或现代艺术家的画作之后，就可以模仿这种艺术风格，输入场景它能够生成对应风格的画作，例如把照相机拍摄的图片转化为梵高的名作。媒体广告也是合适的应用场景。它可以识别分析各类广告中商标的辨识度和具体时长，判别广告投放的价值和回报。实际上爱奇艺已经利用相关技术实现了视频内容的快速审核，包括视频画面、标题、标签等，实现2分钟就能上线的速度，人工是无法达到这样的效率的。以现在的AI识别速度，可以实现对30帧标清视频中各种物体、人物进行实时识别。还有动漫影视后期制作，这里需要大量数字内容，它可以根据现有素材去合成需要风格的场景。例如电影里需要一个80年代风格的场景，可以让计算机学习老照片，然后利用素材生成那种怀旧风格的场景。同样，电影中大量运用的CG画面，以前都要通过复杂设备捕捉演员的表情、动作，例如为了制作面部的动作，会在演员脸上贴上很多传感器来捕捉。但难点之一是捕捉不到眼神，因为眼睛上面没法贴传感器。对舌头的捕捉也很困难，因为舌头上无法贴传感器。为了达到传神的效果，眼睛舌头都需要专门制作动画效果，现在NVIDIA和Remedy公司合作，录制各种包含人面部表情变化的视频，通过视频文本训练神经网络，让CG角色完全可以根据每个人说话的表情，来复现舌头、面部肌肉和眼神，大大的减少了过去做动漫的工作量。还有影视爱好者喜欢的4K、蓝光电影，尽管获得4K电视比较容易，但目前4K的片源仍然是比较稀少的，京东方正在利用人工智能大力开发具有超高分辨力的解决方案，能够将标清或高清视频转化成为4K内容。这里就通过深度学习技术对视频中的细节进行补全，根据学习获得的各类素材猜测真实的细节，例如毛发的特效等。语音方面，主要是客服和语音助手。大多数企业目前均采用NVIDIAGPU对语音识别进行训练，帮助它提升文字、语音识别的准确度。  

  人工智能能够根据用户的精确画像做精确推荐，就消费领域来说，人工智能技术能够根据用户在社交平台上发送的文字和图片，帮助企业快速了解用户的喜好，得到用户的准确画像。张老师主要介绍了在VR领域提供的一些工具。这些工具可以帮一些内容开发者更快、更高效地利用GPU制作出更好的VR内容。VRWorksSDK能够从四个方面为VR带来真实感：360video、图像渲染、音效、物理特性和触感。这次的重点是视频捕捉部分。所谓物理特性和触感主要就是模拟真实世界的物体带给我们的感觉。例如一瓶水，颠倒时水面会因为重力而变化，掉到地上会发出声音等，这些重力、材质、声音以及触摸时的力反馈就是可以利用GPU和算法去模仿，让你感受到同样或类似的感受。然后音效，VRWorksAudio致力于模拟真实环境的声音，体现让用户能够从声音中感受到环境、声音的距离远近等。图像渲染。最新的渲染技术主要是可以提高开发速度，原本需要几个月完成的东西现在可能只要几个星期。重点的视频捕捉主要应用于VR视频直播或者说360度全景视频。NVIDIA是与全景相机厂商进行合作，厂商能够拍摄画面，采用NVIDIA的SDK进行视频剪辑。他们去年实现的是2D的全景视频，今年则是双眼立体全景视频，说明计算力有很大提升。VRWorks360VideoSDK（官网免费下载）的特性：（1）支持实时&离线视频拼接；（2）支持Mono和Stereo方案；（3）最高支持32路的4K视频输入。张老师举了个例子说明NVIDIAGPU的渲染能力：有一个火车模型，包含1.5亿个面，采用上一代GPU，两片M6000，只能渲染500万个面，相当于只能看到火车头前半部分。  

  现在用P6000，然后加了VRSLI、SinglePassStereo，整个效能提升了9倍，从之前可以在同一时间渲染500万个面，变成了4500万个面。相当于从之前的火车头，能够看到列车厢了。再往后走，我们又加了OcclusionCulling的功能，整个效能从最早的500万个面，直接跳到了1.5亿个面。这样的一次渲染能力对于CAD设计公司来说很有帮助，这个就体现了NVIDIAGPU的计算能力和专项的渲染加速能力。周老师介绍的就是VR辅助设计工具——。全息甲板最早出现在《星际迷航》电影里，后来的《钢铁侠》、《普罗米修斯》也有类似概念的设备，当然这个并不是电影里的那种科幻设备，而是借助虚拟现实实现类似视觉效果。实现全息甲板主要就是利用计算机模拟整个场景的物理效果，所以需要庞大的计算能力。就像几十年前游戏只能像素点画面，然后3D游戏，到现在VR游戏，越来越精细，越来越完整。全息甲板就是要提供逼真的反馈，摸到一个物体提供力反馈，看到场景，听到声音。也许还要用人工智能识别你说的话，提供实时生成的360度视频，在各种感官层面上呈现一个逼真的世界。NVIDIA的Holodeck就是按照这样的理念设计的。他们在展台提供了Vive可以体验这个应用，VR箘也去体验了一下，稍后说明具体效果。Holodeck里面导入了一辆超跑的工程文件（真正的跑车厂商的设计工程文件），它总共有5千万个多边形，足够精细，而Holodeck可以实时生成超跑的物理光照效果，你可以在四周移动查看每个细节，可以透视内部，展开零件，就好像视觉上真的有一辆超跑在你面前。Holodeck的视觉效果是基于真实物理模型的，它还提供相关的虚拟互动，两个身处异地的人可以在虚拟场景中进行互动、交流；或者用这个虚拟场景训练AI机器人，它在VR中训练获得一些操作能力，然后直接将数据导入真实的机器人，它就可以在同样的场景中立刻实现同样的操作。还有就是物理反馈，通过控制器去触碰虚拟物体，它会有对应的反应。  

  Holodeck的一个关键点就是注视点渲染，这个就是VR箘以前也在资讯里介绍过的焦点渲染技术。因为现在的VR场景任何区域都是清晰的，但实际上我们的眼镜有对焦过程，近处远处有模糊的地方，这也是视觉深度的一部分体现，而目前的VR没法表现。这需要眼球追踪技术，NVIDIA正在研究的注视点渲染，VR显示技术等多方面提升。我们首先问了：基于GPU的人工智能和其他类似产品相比有什么突出的特点？关于这一点，何老师的回答主要可以概括为两点内容：一是GPU在编程方面的优势，包括各种工具链、相关的库和生态链体系，因为最早研究人员就是利用GPU做这方面研究，这里积累了工具链方面的优势，并且GPU工具已经发展比较成熟，开发人员习惯于使用这些工具。二是神经网络发展速度，相关架构变化也很迅速，相对于其他同类产品，NVIDIAGPU适用范围广泛，能够通过对自身的调整适应架构变化，通用性更佳。然后是关于360度视频渲染SDK合作的问题，这一点NVIDIA基本是提供开放的工具，软件可以自行下载。接着是全景视频拼接方面的问题：全景相机有多个镜头，假设有一个人从一个镜头的边缘过度到另外一个镜头的边缘的时候，人在运动过程当中会变形或者突然消失到突然出现，NVIDIA如何解决这个问题？这里张老师表示涉及底层算法的部分暂时没办法提供确切的答案，主要是与摄像头时间同步有关，多个画面帧时间记录没有出错就不会出现这样的情况。关于Holodeck多人协作的问题，周老师表示异地协同需要网络条件允许，本地有一台强力的NVIDIA机器加速就可以。然后是Holodeck实际运用，他们表示Holodeck是一个运用到实际工程设计环境的VR工具，是一个通用的平台，将要服务于现在的制造业、设计领域。它主要是解决了在VR里面实时操作、多人协同的问题。现阶段的开发版本，是针对于汽车制造业。但是实际上是可以应用于更多有此类需求的领域的，例如建筑行业。简而言之，这个平台，不只是为了汽车制造业而打造的，而是旨在应用于更多类型的场景中，让更多行业领域能够受益其中。体验Holodeck的媒体同行问答结束以后，VR箘就进入Holodeck演示间，工作人员帮我佩戴好Vive头显，并在体验时给我提供辅助说明。需要说明的是Holodeck还提供了互动用的画笔工具，VR箘用它画了一个悬浮在空中的3D笼子，从多个角度观察效果，确实具有很好的立体感（并不是在平面上画一个立体感的图像，而是图像本身就是实体的），不过因为这是在虚拟空间画的，没办法拍照。  

  其他体验的功能包括瞬间移动，可以移动到跑车四周从多个角度进行观察（因为场地有限，不可能直接跑过去）；修改跑车配色；透视镜（查看内部构造，就是拿在手里的一个镜子，指哪透视哪）；跑车分解效果（跑车的所有零件分开，悬浮在空中）；场景切换（查看不同环境下跑车的视觉效果，车身光影变化很赞）。从体验来看，虽然Vive头显仍然能看出像素点，但整个场景非常逼真，很快就忘记像素点不够清晰的问题了；然后整体追踪非常流畅，并没有让人感到延迟的地方，虽然VR中长距离移动和操作和现实还有区别，但很快就能上手了；不过我也能感觉到VR场景视觉上的一些差异，就是之前讲到的注视点渲染的问题，因为场景没有清晰度的变化，所以虽然是双眼立体视觉，仍然感觉视觉纵深比较差，就是画笼子的时候以为画的两条线在同一个平面上，结果转过去看发现其实一前一后，正面看不出来。最后，这样的虚拟现实已经能够在视觉上以假乱真了，例如跑车零件散开时有个零件正好快速向我弹过来，下意识躲了一下，并且在体验了二十分钟以后脱下头显，也许是更适应虚拟现实了，觉得现实世界看起来有点不真实（当然这也说明模拟的世界其实在细节上与现实有点差别）。尽管VR仍然是局限于爱好者们的小众玩物，价格仍然是非常重要的因素！...。  

编后语：关于《GPU计算走向AI和VR 英伟达BIRTV媒体沟通会重点拾记》关于知识就介绍到这里，希望本站内容能让您有所收获，如有疑问可跟帖留言，值班小编第一时间回复。 下一篇内容是有关《不一样的SteamVR：LG VR头显动手玩》，感兴趣的同学可以点击进去看看。