纸糊的HoloKit对标微软MR黑科技 网易推AR版Cardboard

在上一篇文章中，小编为您详细介绍了关于《只能模拟手术？VR在医学上还有这些应用》相关知识。本篇中小编将再为您讲解标题纸糊的HoloKit对标微软MR黑科技 网易推AR版Cardboard。

  一个售价200来块的盒子，对标2万多的微软HoloLens。这事儿听上去靠谱吗？如果你知道AR（增强现实）眼镜是个啥，就应该了解在目前的市面上，体验最棒、技术最强的就是微软公司的HoloLens。错过了移动互联网大潮的微软，为了赶上混合现实（MixedReality）的下一波，不惜投入重金砸出来了这么一款黑科技满满的眼镜。“把一块虚拟图像自然地贴合到人的视野里，就像真实物体一样”，这么简单的一句话，基本就是所有增强现实/混合现实体验的基础了——实际上，AR眼镜的问题简单来说，就是一个“定位”和“显示”的问题，前者让虚拟物体能固定在原地不会乱飘，后者让虚拟物体看上去色泽饱满不会显得假。然而，说起来容易，要实现这一切太困难了。微软甚至为了处理所有从摄像机和传感器序列传来的数据，专门给HoloLens打造了一块HPU芯片。定位技术SLAM方面，搭载了四台摄像头加一台深度摄像头的HoloLens效果非常稳定，绝对吊打目前市面上的一切设备；遑论屌爆的光波导显示方案和3D音频系统……当然，它的价格也是非常感人，大陆官网上价格分别为商用版39188元和23488元。不过，就在推出ARKit前后的六月初，一个ID为“AmberHu”（真名胡伯涛）的家伙在知乎上贴出了自己的HoloKit方案，号称用30美元成本的纸盒子打造“比HoloLens效果还好的混合现实眼镜”，在业内引发了不小的轰动，不少AR圈公司的高管纷纷在朋友圈转发此文章，也有直接发给笔者本人的。自然而然，也引发了一些质疑。但是，紧接着苹果的ARKit很快热潮起来，国内媒体铺天盖地的报道、培训机构闻风而动的跟进，各种ARKit相关demo如雨后春笋一般诞生，HoloKit的声音也自然而然地被淹没下去了。没想到的是，7月15日网易又突然宣布，网易严选会代理HoloKit这款产品。网易相关人士表示，这款产品将于大约年底登陆网易严选，到时候产品的各方面都将得到升级。胡伯涛也表示，HoloKit这个项目目前已经和他基本上没什么关系了，“网易愿意商业化，就授权给他们了”。那么，HoloKit这玩意到底怎么样呢？一个售价200来块的盒子，对标2万多的微软HoloLens。这事儿听上去靠谱吗？按胡伯涛在知乎上放出的对比表来说，从FOV上，HoloKit号称和微软HoloLens相比具备较强优势、清晰度也比较高。当然MagicLeap除了某几个记者见过以外，“还是传说”，并且效果很可能还没HoloLens好，就不说它了。但不管PR上怎么说，首先，我们可以先把结论放在这里——“比HoloLens效果还好”肯定是无稽之谈，“效果”是个多元化的东西，是包括定位、显示、交互等多方面的综合产物。  

  像国内外某些公司那样某几个参数比HoloLens高就堂而皇之地出来吹了，在PPT上无敌于天下，是很不好的毛病。还是我之前那句话，微软倾世界最顶尖的人才，苦心经营了N多年，随随便便就被你创业公司超越了？就像一位业内说的，“那会是这个行业的耻辱”。从实际产品可以看出，这玩意和一体式设备HoloLens、要连电脑的Meta2都不太一样，是需要插手机的设备。因此可以理解成，这是一款AR手机盒子。如果你不知道这是何物，可以把他认为是类似之前出的纸盒子Cardboard和国内一大堆VR公司做的产品，如小米VR玩具版等。其实，AR盒子也不新鲜：国内还有一家名叫RealMax的公司在做类似产品、以及光场视觉的ARBOX，但这些在显示和定位效果方面都不能让人满意。Meta前员工出来做的DreamWorld显示倒是还行，不过定位方案还没发出来。国外还出来过一个众筹的Aryzon，虽然收了不少钱，但现在效果还不知道怎么样。一位业内人士表示，他看过国内两家AR公司的手机盒子方案，“效果都相当一般”，不过“也犹豫了很久，曾经想过自己做一款。毕竟便宜。”当时笔者最担心的是，这种较为廉价的AR体验，会不会让用户产生AR也“不过如此”的印象，从而伤害整个产业的长远发展呢？说白了，还是“显示”和“定位”两个核心问题解决的太糟糕。那么，这两个核心问题，HoloKit解决得如何呢？接下来让我们抛开成见，从技术方面来分析一下这款产品。实际上，如果能解决好定位和显示的问题，则手机上的AR并非不可行，关键在于软件算法。君不见苹果也在6月初发了一个ARKit？其实ARKit用的就是iPhone手机/iPad上的RGB摄像头，但“定位”这件事儿它做得相当出色——在苹果实际演示中，虚拟物体非常牢固地待在桌面上，不会像某些国产的ARSDK那样，飘来飘去。先说显示，HoloKit的光学方案实际上非常简单，把iPhone屏幕上的画面通过一个镜子，再通过一个半反半透镜反射到眼睛里，就是一个镜面反射，类似潜望镜一样，其实光学方案和Meta差不多。国内不少的AR眼镜也是这么玩的。从体验来看，HoloKit的清晰度和FOV都比较大——这的确比起HoloLens那34度的视场角要大，当然这也不能苛责HoloLens，他们光学方案天生就决定了FOV不能这么大，色差也的确会出现一定问题。  

  但半反半透这种光学方案的问题在于，真的太大、太原始、太笨重了，无论是90度FOV的Meta、100度的DreamWorld和各种手机盒子，都离我们想象中的“普通眼镜”形态的AR眼镜相去甚远。因此，未来的光学方案绝不会是这种形式的。再说定位方案，HoloKit的定位方案虽然还是有点略飘，但整体还算比较稳，效果可称不错。不过无论是苹果ARKit还是HoloKit，都并非真正的SLAM。从苹果放出的文档来看，其很大可能性是VIO（视觉惯性里程计Visual–InertialOdometry）。VIO是用单目或双目摄像头做识别匹配和深度估计等，用惯性测量单元去做初始水平面估计和6自由度，最后再用一套算法做拟合，当然，这套算法本身的难度是非常高的。VIO勉强可以理解成是一种模拟，而非真正地像HoloLens那样对周围环境进行识别和重建完成SLAM，在这方面HoloLens是无敌的，但拿手机和它比是不公平的——SLAM对于手机的资源来说是巨大的消耗，基本不太可能在手机端实现。因此也就可以理解，为何目前HoloKit是实现不了遮挡的（即把手伸到虚拟物体上是没法把它挡住的），臣妾实在是做不到啊。胡伯涛本人也很大方地承认了这并非SLAM而是VIO。他的算法实际上也并非自己的，而是参考香港科技大学内部的论文，HoloKit是基于后者开源的定位项目VINS开发。他本人则是负责把这套本身用于无人机的算法做到了手机上。整个算法延时大概100毫秒。不过，虽然定位和显示方案都受到一定限制，但AR手机盒子也并非那么不堪。在眼下AR眼镜还无法普及的情况下，手机无疑是让大众能够接触到AR最直观的设备。我们可以想象一下，AR手机盒子和手机上的AR相比，区别只是一个需要你举着手机看屏幕，另一个把手机放到头上，通过反射到你眼睛里看手机上的内容罢了。也就是说手机在这里代替了传统AR眼镜的微显示端。因此，如果产品不是太重、显示效果OK、虚拟物体定位得很稳，“AR手机盒子”完全可以作为真正的AR眼镜出现前的一种过渡方案。  

  笔者愿意相信胡伯涛所谓“希望更多的开发者接触到混合现实，启迪更多的人来创造混合现实未来”的初衷——这种廉价方案对于教育早期市场的确有积极意义。只要前提不是说“用30美元成本的纸盒子打造比HoloLens效果还好的混合现实眼镜”就完美了。那么，和苹果的ARKit相比，HoloKit的算法如何？这方面胡伯涛也比较坦诚，他称ARKit的帧率要比HoloKit要强“一倍”，因此开发者可以选择自己喜欢的方案。胡伯涛一开始就把HoloKit开源了，开发者可以选择自己喜欢的方案用于HoloKit。只是，HoloKit其最核心的技术实际上就是它的定位方案。如果离了这套算法，照我们上文的介绍，实际上本身硬件方面并无稀奇。目前HoloKit还是只支持iPhone7Plus和iPhone6sPlus，并不支持一般的安卓机型。在实际开发中，他发现苹果手机的一致性非常好，调好一台设备基本就差不多了。而安卓的设备多种多样、眼花缭乱，每台手机的IMU和相机的参数都不一样，非常难标定，甚至同一款手机的批次不同，参数也不同。现在虽然谷歌自己有一套基于TOF的AR平台Tango，但是由于必须具备TOF模组，支持的手机非常有限，目前只有两台。在苹果本身ARKit来势汹汹的情况下，如果能把HoloKit的算法移植到一般的安卓平台，让非Tango的安卓手机也能使用，显然能够产生更大的潜力和更多的想象空间。不过，这一要求对胡伯涛团队或许“要求过高”了。目前，胡伯涛团队只有他一个人算是全职，另有一名叫朱逢源的斯坦福同学算是兼职，“我们只有一个半人，实在没有精力适配所有机型了。就把东西开源，把后续的工作留给开发者吧”HoloKit在现场采用了一套国外较为有名的单目手势识别SDKManomotion，还有听说是从“淘宝上花10块钱”买来的手柄，展示了未来交互方式的可能。而国内进入AR领域较长时间的触景无限在网易发布会现场宣布，将会给HoloKit提供手势识别SDK，交互AR游戏体验等。也许随着更多开发者和公司的进入，在未来还会有更多的交互可能性供选择。网易人士透露：“Holokit是首个让行业、开发者、用户低成本、低门槛进入混合现实中的一个好工具。  

  开发者首次拥有低成本验证创意、快速试错的可能性；用户首次低成本便捷得购买及体验沉浸式感知。而且经过HoloKit积累的经验与产品，可以延展到将来更多更丰富的沉浸式体验去。”此前，网易的手游《阴阳师》就曾经推出过一种AR玩法，虽然只是较为简单的图像识别召唤游戏内的“式神”。而腾讯、支付宝等大公司也在积极布局AR方面的游戏，如阿里就曾经推出过AR躲猫猫，QQ也出过AR火炬之类的营销计划。因此有业内人士猜测，网易手握游戏IP，通过HoloKit可以布局其未来AR游戏的商业化。据说，网易内部对于VR/AR领域一直较为重视，战略是丁磊亲自定的，他也多次在公司内部会议强调其重要性。资本领域，网易走的是高端化路线，曾经投资过VR直播巨头NextVR和触感技术公司AxonVR，还投过一家叫UploadVR的媒体等。去年8月份，网易CEO“我们只有一个半人实在没有精力适配所有机型了。我们就把东西开源把后续的工作留给开发者吧”丁磊在参加某活动的时候，曾经公开表示，公司内部VR/AR的游戏都已经有了。网易在看到HoloKit的项目后就觉得挺感兴趣，希望能把这款产品引进国内来，而本来就开源的胡伯涛对此也乐见其成。网易称，这个项目的目的是帮助教育早期的AR市场，“其实没指着它挣钱”。至于胡伯涛，他现在已经把这款项目抛诸脑后了，下一个项目，他希望能基于HoloKit的技术搞一款博物馆的AR项目。“我们是新媒体艺术工作室，对自己的定位是艺术家，做作品的，不会停留在一个项目上。”其实，国内有人已经拿了HoloKit的方案出去融资，甚至号称融到了几百万元。不过，对此胡伯涛只是一笑了之：“也行吧，我其实对这个感觉还好吧，别人商业化要基于开源协议的，非要违反协议，可能网易可以管吧。”AT&T的“它可以等待（ItCanWait）”活动让游客在VR（虚拟现实）中体验驾驶时使用智能手机会引发的危险。...。  

编后语：关于《纸糊的HoloKit对标微软MR黑科技 网易推AR版Cardboard》关于知识就介绍到这里，希望本站内容能让您有所收获，如有疑问可跟帖留言，值班小编第一时间回复。 下一篇内容是有关《Oculus收购计算视觉初创公司，全力完善VR一体机》，感兴趣的同学可以点击进去看看。