Pokémon GO让AR和手游、街头甚而社交相联合，仅仅是这几个要害词就充足迷惑人，再加上Pokémon 这一世纪大IP，好像不火反而没道理。可是在电话上用长按→滑动的触屏操作模拟“抛出”精灵球，将宝可梦收入此中……会不会有些略显拘谨和中二？尽管国服还未开放，可是华夏玩家对Pokémon GO的思考和想象其实不少，Pokémon GO切实带给咱们好多惊喜，可是玩家最期待见到的非是技艺开始级的样子，却是将之与最符合的技艺体现方式相联合，从情节设置和操作形式来看，VR/MR+触感控制能带给咱们更爽的体会。

开脑洞简单，但实现呢？

微动和易瞳一同尝试了VR和MR版Pokémon GO，实拍视频：http://v.腾讯.com/vplus/ff5d3ca732a20c350f8cf579b9d6066f ，宝可梦从电话屏幕中解除禁止，你可行抓住想要抉择的精灵球，在面前调度方位瞄准后冲着宝可梦抛出。假如你碰到的是一只刚烈而又狡猾的宝可梦，为了幸免被带节拍，还可行打圈儿扔出最强旋转精灵球、投喂食物，大概无哪只宝可梦可行从阁下手中逃脱了吧。

对于开发教程

信任各位老驾驶员们对VR的理解曾经十分透彻，微动和易瞳携手做的这段demo除了想要帮大伙解锁抓宝可梦的新姿势，还想把MR+触感控制的技艺体现方式普遍给大伙，之下为开发教程，除此之外SDK也可行在微动Vidoo官网无偿下载，期待开发者在吃下这记良心安利后会有更多大作发生。

触感控制：

起首，经过微动的双目深度传感器获得深度图像。在深度图像中，咱们经过修改每个像素RGB的值用来标定该像素与传感器之中的距离。当咱们观看深度图像时，会发觉其成果与咱们熟悉的红外热成像图像相似，只只是咱们把温度替换成了距离。下图中，左侧为深度图像，右侧为原始图像。经过观看可行瞧出，距离越近的地域，颜色越红；距离越远的地域，颜色越蓝。

其次，咱们将深度图像中适合人体手部特征的部分切割出去，发展手部姿态、动作的辩别。这边须要指明的是手势辩别算法是鉴于深度图像而非是平凡图像的。这样可行方便咱们得到手部每个点的深度消息。从而还原出整手的骨骼构造。假如咱们想要与虚拟物体发展触碰式的交互，骨骼构造是不可缺失的技艺前提。

最终，咱们经过算法将传感器坐标系（包涵手部骨骼体积消息）、虚拟全球坐标系（包涵全部虚拟物体的体积消息）、现实坐标系（包涵环境消息和手部消息）这三个坐标系对齐。这样，咱们可行将检验到的手部骨骼与真正的双手对齐；将虚拟物体与现实环境对齐。当真正的手部触遇到虚拟的物体时，将来会发生相似鼠标敲击的事故，来驱动程序的执行，详细到Pokémon GO内部，便是投喂小精灵，扔出精灵球等操作。

至此，已达成了触感控制的根基部分，延续将进一步在Unity3D中改善事故的逻辑，达成Pokémon GO中将精灵球、食物抛向小精灵的功效。

MR显现

然后，咱们要做的便是在体积中间显现Pokémon GO中的游戏素材，而且让皮卡丘和精灵球显现在合乎道理的体积范畴之内。咱们采纳视频透视技艺，经过双目摄像头实时采集你见到的“现实”全球并将之数字化，接下来经过计算机算法实时渲染画面。这样做完既可行十足叠加虚拟图像，也可行见到的通过计算机渲染后新的“现实画面”。满足了咱们关于虚拟物体和现实环境同一时间存留的要求。

在解决了交互和显现焦点技艺以后，在Unity3D内部加入相应的SDK，调度下过程逻辑。MR版Pokémon GO便诞生啦！

“触感控制”非“手势辩别”

划要点：触感控制不等于手势辩别，触感控制包括手势辩别。

触感控制要满足之下三个根本点：

1、触感控制必定要有深度消息，传感器要晓得手离使用者有多远。

2、触感控制包括手势辩别。手势辩别经过图像算法革新获得手部姿态和手部动作指示，将手的深度消息和手势辩别消息相叠加，获得：手离咱有多远，手在做甚么的完整消息，才能称为触感控制。

3、在VR中，触感控制要给使用者提供真正的手部图像。经过算法把手部影像拉近到和使用者真正的前庭感官同步，能见到深度消息，给使用者最真正的控制的感受。假如使用者见到的是机械的手或许模拟的手，交互友好度会大折扣扣。

微动Vidoo（www.sharpnow.com）是全世界首款可行利用于搬动端的触感控制设施，可行达成手部影像坐标系与虚拟全球坐标系的重合，建立1：1的虚拟触感控制体积；交互进程中运用原始的手部图像，运用者就像是在用本人真正的双手与VR/AR/MR全球中的虚拟物体发展交互；没再运用头部瞄准作为抉择的用具，让显现交互与指示交互分离。微动的下一代产物，将双目模组作为传感基站，可同一时间发展触感控制、体积定位、光学手柄的检验，着力于塑造完整的虚拟现实交互解决方案。除此之外还将着力于为车载电子、全息投影、智能家居等前沿范畴提供触感控制的软/硬件解决方案。

微动Vidoo和易瞳及其它VR团队在硬件和软件层次已完成多个方式的深入合作，然后会为大伙带来更多触感控制及VR/AR/MR范畴有趣有料的合作效果。