标签： VICON

Technicolor打造Genesis虚拟制作平台 将VR用于电影制作

我最近有机会来到了位于加利福尼亚州卡尔弗城的Technicolor体验中心，参观了Genesis虚拟制作平台，这是Technicolor与其视觉特效子公司Moving Picture Company(MPC)多年合作的成果。Genesis有着很高的终极目标，但目前还是被用于通过虚拟现实使传统制作团队成员有能力动手参与动画的视觉化过程。这个不断发展的工具生态系统已经被用于制作视觉特效丰富的电影，包括迪士尼的真人版《奇幻森林》(The Jungle Book)。

Genesis的核心是其实时性能，是通过利用Unity 3D游戏引擎和NVIDIA GTX 1080和RTX 2080高性能GPU实现的。通过将实时图像与Vicon动作捕捉相机、用于摄像机的实时运动控制编码器以及HTC Vive虚拟现实头显相结合，Genesis可以让工作人员预览动画和图像，指导、制作设计和虚拟地演出场景。Genesis还可以跟踪每个摄像机的移动、道具/角色/灯光的位置、场景，并存储到安全的云数据库。该系统通过Technicolor自己的Technicolor Connectivity网络运行，允许不同位置的工作人员在同一场景中虚拟地并且同步地进行交互和协作。

根据MPC工作室负责人Kerry Shea的说法，“我们希望为导演、电影摄影师和他们的工作人员提供他们习以为常的传统制作工具，并让他们更具创造性和更直接地参与前期制作过程。Genesis将主要的创意决策更多地转移到制作过程中。“

Genesis演示的第一部分展示了预制作的流程，其中包含一个虚拟的技术监视工具。MPC的艺术家创建了一个内部序列，来演示Genesis在CG工作量大的项目中的使用过程。这个名为Speakeasy的项目包含了一个时髦的CG形象，这个形象在禁酒时代的酒吧里做了几次被拒绝的尝试。整个场景中含那个时期的道具和角色，并且可以使用Vive VR头显实时导航。

根据MPC的虚拟艺术部门主管Ryan Magid的说法，“我的团队有大约一个星期的时间来为场景和角色创建所有需要的3D资产，然后只需几个小时来拍摄场景本身。在那段时间里，我们能够通过导演、电影摄影师、动作捕捉演员和整个组的工作人员的全部投入来进行数十次拍摄。

Genesis不仅能捕获原始的动作捕捉数据和相机支持的编码器数据，还能捕获每个道具、灯光、虚拟角色和相机的逐帧位置。然后，在实时捕捉期间生成的CG镜头能在回放过程中持续调整。该过程赋予创意团队在预览过程中更高的自由度和互动性，这通常是CG动画师的权限范围。

随着预制作演示的完成，我们接下来转移到一个更大的动作捕捉舞台，环绕着Arri SkyPanel S30s LED灯; 配备了巨大的LED显示屏，一台索尼F55相机连接到Genesis系统，现场渲染在前面创建的Speakeasy项目。旁边一名演员穿着由Vicon动作捕捉传感器跟踪的动捕服。工作人员为我们提供了操作三脚架的机会，通过三脚架，可以在虚拟场景中移动摄像机，或者将摄像机连接到场景内轨道上的虚拟推车上。

当演员表演他的对话线并与酒吧中的其他虚拟顾客进行交互时，我们能够操作推车并移动摄像机。当我们操作摄像机时，我们可以看到我们的动作与现场的动作捕捉演员的动作结合的效果。不一会儿，我们就创造出了一个完整的场景，可以作为预演动画进行下一步制作。根据Shea的说法，“我们的员工可以同步且安全地与世界各地的场景互动。即使是高级管理人员也可以从他们的办公室虚拟地参与其中，他们所需要的只是Genesis机架单元(配备了功能强大的PC和GPU硬件来驱动VR头显。)“

作为舞台演示的一部分，我们还目睹了Genesis的一个正在开发中的用途。MPC的虚拟制作主管Joseph Henderson解释说：“我们经常遇到的一个挑战是如何让一个CG角色与真人演员进行令人信服的互动。”在这个场景中，一个演员被F55摄像机拍下来，身后的LED屏幕上有森林的动画图像。当相机操作员在移动相机时，LED屏幕上的图像也相应地移动了视角。

当团队在改变道具、天气和灯光时，动画可以实时编辑，全部都是动态的。 “现场的图像质量还不够真实，” Henderson补充说：“随着GPU变得越来越强大，这种鸿沟正在缩小。我们已经在和NVIDIA合作，利用他们的RTX 2080下一代实时光线跟踪图形卡，看看我们能在多大程度上进一步改进工作流程。“

随着实时动作捕捉的完成，我们被邀请回来观看Vive VR头显中已完成的拍摄内容。VR头显的图像具有非常高的分辨率，具备3D图像和声音，创造出了一种高水平的沉浸感。我能够重新体验之前在舞台上演出并拍摄的内容。使用Vive手持式控制器，我可以重置道具和灯光，并从任何摄像机角度检查它。你会觉得在创造性地探索场景方面任何事都是可能的，并且会知道在调配大群工作人员花费大量时间和成本之前如何最好地拍摄它。

“Genesis有很多潜在的用途，”Genesis的开发人员的Markus Ristich说道。“我们最近在伦敦证券交易所做了一个主要序列的展示。导演知道他不能长时间关闭交易所，甚至不能进行监视。因此，我们与市政府合作，用激光雷达扫描该区域，同时使用了该区域的蓝图以及许多参考照片。然后，我们在Unity中重新创建了整个交易所，并为在Genesis中进行VR预览做好了准备。导演能够舒适地制作他的镜头，并且高效地确定他需要哪些摄像机和物品才能在真实的地方进行拍摄。我们能够将一个非常具有挑战性的任务变成更具互动性的东西。“

随着虚拟现实，混合现实和增强现实等沉浸式技术的不断成熟，我们将看到将它们融入传统电影制作的新方法和新创意。Genesis证明了VR和实时游戏引擎是导演、摄影导演、制作设计师以及习惯于更加传统的电影制作工具的其他主要创作团队可以尝试的更强大的工具。而且在虚拟现实中体验电影场景也十分有趣。

最初发布于2019年3月11日

原文链接：https://ascmag.com/articles/technicolor-genesis-virtual-production-platform

专访青瞳视觉：打造通用型、标准化大空间定位方案

谈到大空间定位/动捕技术，大家可能首先会联想到好莱坞大片的拍摄。的确，动捕技术的大规模应用自从《阿凡达》等好莱坞电影名作风靡全球之后，逐渐进入了大众的视野。而在VR领域，最近两年间频繁出现的VR主题乐园，如美国的The VOID和澳大利亚的Zero Latency，也在利用大空间定位/动捕技术，为VR游戏增加更多新玩法，为玩家带来更多的新奇体验。

其实大空间定位/动捕技术由来已久，并且除了影视行业，在军事、工业等领域也有诸多应用。从事大空间定位/动捕技术和设备开发的公司，国外耳熟能详的有VICON、Motion Analysis魔神、OptiTrack、PhaseSpace等。国内有青瞳视觉、瑞立视、神秘谷等公司。这些公司在技术水平上各有不同，在开发方向上也存在差异。

近日，笔者对青瞳视觉联合创始人祖厚超进行了专访。相比“祖总”比较别扭(谐音“祖宗”)大家更习惯称呼他为“祖老师”。从与祖老师的对话中，我们不但了解到了大空间定位/动捕技术的一些发展历程，更对VR主题乐园这一新兴的线下VR体验形式有了更深的认识。

惯性动捕/光学动捕各自的优势和劣势分析

据笔者了解，当前主流的大空间定位/动捕技术主要分为惯性动捕和光学动捕，而光学动捕则又分为主动光学方案和被动光学方案两种。

惯性动捕通过在运动物体的重要节点佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，捕捉目标物体的运动数据，包括身体部位的姿态、六自由度，陀螺仪的角速度，加速度信息，再将这些数据通过数据传输设备传输到数据处理设备中，经过数据修正、处理后，最终建立起三维模型，并使得三维模型随着运动物体真正、自然地运动起来。

惯性动捕系统的优势在于便携，安装穿戴速度比较快，相对性价比比较高，不受阳光等环境干扰，不会遇到遮挡问题。研发惯性动捕的公司，国外以Xsens为代表，而国内的诺亦腾、神秘谷等公司也在研发惯性动捕技术。

但惯性动捕系统数据的累积误差，漂移是致命伤，在捕捉精度上要弱于光学动作捕捉系统。

与之相比，光学动捕系统虽然部署过程和使用方法更加复杂，但由于其在定位精度高，低延时等方面的优势，一些知名的虚拟现实主题乐园，比如The Void都选择了这种方式。

光学动捕基于计算机视觉原理，由多个高速相机从不同角度对目标特征点的监视和跟踪来进行动作捕捉。理论上对于空间中的任意一个点，只要它能同时为两部相机所见，就可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。这其中又分为主动光学方案和被动光学方案。

其中主动光学方案，以PhaseSpace为代表，OptiTrack也有主动光学方案。另外，PC VR头显行业巨头之一，Facebook旗下的Oculus，也在其Oculus Rift和Oculus Touch上使用了主动光学方案。

Oculus在其头显和控制器上布置主动发光的灯珠(即标记点)，在Oculus Rift外采用了透红外的材料，动捕Camera可以实时捕捉。获得红外图像后，通过算法获取玩家的坐标位置。

需要注意的是，由于动捕Camera捕捉距离和FOV不同，在光学动捕方案中，使用者的行动范围也相应变化。

VR主题乐园更适合用哪种大空间定位/动捕方案?

与主动光学方案相比，在大空间定位/动捕这一应用场景中，被动光学方案的使用要更为普遍。国外的VICON、Motion Analysis魔神、OptiTrack，国内的青瞳视觉、瑞立视、ZVR等公司均主要采用这种方案。上文所说的诺亦腾，其主推的ALICE定位方案同样使用了OptiTrack摄像头，即被动光学方案。

被动式红外光学定位方案的基本原理，简单的说就是利用多个红外发射摄像头，对室内定位空间进行覆盖，在被追踪物体上放置红外反光点(marker)。这些“小球”的表面涂了一层反光能力很强的物质，在摄像机的捕捉状态下，它会显得格外的明亮，使摄像机很容易捕捉到它的运动轨迹。通过捕捉这些反光点反射回摄像机的坐标位置，就能确定其在空间中的位置信息。

被动式红外光学定位系统定位精度，刷新率较高，每次获取的都是当前空间的绝对位置坐标，不存在累积误差。

当然光学动捕也会受到阳光等环境光干扰，主要使用场景以室内为主。从目前来看，人们更倾向于使用成熟稳定的被动光学方案。

目前，采用 被动光学动捕技术的大空间定位/动捕方案在目前的工业、影视、军事领域的大空间多人交互场景中被广泛使用，并且在近年出现的VR主题乐园，也经常出现这一定位方案的身影。比如上海首家电影主题VR乐园：米粒影业旗下的《星核》主题乐园，以及位于北京王府井，刚刚开业的SoReal主题乐园也使用了来自青瞳视觉的被动光学摄像头和定位方案。

喜忧参半的VR主题乐园 还有这些问题亟待解决

众所周知，目前的高端VR头显价格仍然偏贵。比如要体验HTC Vive的话，首先要有一台高端PC，价格至少要在7000+，还需要花费6888元购买头显，这样的高成本并不是所有人都能够承受的。这也是VR体验店和VR主题乐园这些线下体验形式在这两年火遍大江南北的原因之一。

我们可以看到，现在已经有一些VR主题乐园已经开始使用大空间定位技术。比如闻名全球的The VOID和Zero Latency。从目前来看，VR主题乐园主要分为两种。一种是对传统主题乐园的升级改造，作为其中各种体验形式的一个备选项。比如六旗的VR过山车就属于此类。对于像六旗这样传统的主题乐园来说，目前的体验形式比较单一，为了追求体验形式的多样性，通过VR技术，加入一些包含交互和多人体验的项目，能够丰富体验形式，吸引更多的游客。

第二种，是专门为某个IP打造的VR主题乐园，比如The VOID的首个体验项目，便是基于《捉鬼敢死队》这一知名IP。在国内，青瞳视觉使用自研的动捕/定位方案为米粒影业打造了《星核》主题乐园，位于北京王府井的SoReal主题乐园也使用了青瞳视觉的MC360相机定位方案。

虽然这些VR主题乐园越来越多地出现在我们身边，但在祖老师看来，目前的VR主题乐园还存在一些问题亟待解决。

首先，相比VR体验店，VR主题乐园的空间普遍比较大，但是仅仅依靠佩戴VR头显的传统体验项目，很难把大面积的场馆支撑起来，因此需要足够丰富的体验形式。这一方面，大家还都处在探索阶段。

其次，VR主题乐园面临的最主要的问题在于坪效相对较低，需要投入运营人员，比如要给玩家提供指导和帮助。

以SoReal主题乐园王府井旗舰店为例，由于地处北京的核心商圈之一，地租成本可想而知，但其中的体验内容，是否足以支撑高昂的地租呢?从目前媒体提供的资料来看，这一VR主题乐园中还加入了VR观影项目，通过引进版权的形式提供观影体验，虽然可以丰富体验形式，但引进版权又需要很大的一笔费用。这也是一个很实际的问题。在体验价格方面，198/398/498三档价格对于普通消费者来说也略高了些。

笔者认为，VR主题乐园的运营方可以在其中加入一些其他形式的体验内容，不一定要是“高大上”的VR。比如较为传统的线下娱乐项目，帮助收回成本的同时也能增加人气，多样化经营更具可行性。比如在北京国家体育场“鸟巢”地下的VR体验馆，地租成本自然相当感人，但其中除了VR之外，还有AR、全息、3D美术馆等形式的体验内容，想要进入VR主题乐园行业的创业者们，或许可以参考下这种思路。

产品快速迭代更新，结合优质内容，今后要做标准化方案

当谈及自家的产品时，祖老师满怀信心。他向笔者介绍，截至目前，青瞳视觉已经推出了三款产品，分别对应不同的使用场景。SoReal主题乐园采用的是较为小型的MC360，另外主推的产品还有MC300和MC1300摄像头。其中最新的MC1300相比OptiTrack的同级别产品，拥有更大的视场角以及与本地化服务的结合，可以进行空间级联，一根网线就可以完成供电和传输，部署难度大大降低，采用分布式计算，每个相机完成对采集数据的处理，理论上可以部署上千平的场地。

除了产品参数方面的优势之外，祖老师认为，青瞳视觉目前最大的优势在于可控的成本和价格。以目前使用较多的光学定位摄像头OptiTrack为例，如果要在国内购买的话，其在国内的代理商和集成商对于价格的把握和调整要受到OptiTrack的限制。并且如果要做深度开发的话，OptiTrack是不会轻易允许修改底层软件的，这也给国内的大空间定位技术集成商们造成了困扰。另外，OptiTrack的母公司NatualPoint已在去年年底被利亚德全资收购，今后的代理政策或许还会发生一些变化，目前还未可知。

至于今后的发展方向，祖老师向笔者透露，今后青瞳视觉将尝试把产品做成通用型方案，注重使用上的简单便捷，以及对优秀内容的整合。青瞳视觉将提供高精度、低延迟、大范围多人同时追踪的软硬件解决方案，可使VR游戏玩家获得更佳的沉浸感。另外，青瞳视觉还会提供软件开发包，与VR内容开发团队合作，针对通用型方案的场地面积，定制高质量、有粘性的内容，并且做到持续更新。在设备方面，设计一个参考方案，比如其中包含多少个相机，可以同时允许多少玩家在其中体验，再加上运营部分的指导，输出整体的方案。

笔者认为，在VR主题乐园这个行业中，真正去运营一个试点是非常重要的。无论是对传统主题乐园的升级改造，还是针对某个IP打造VR主题乐园，都需要在实际运营的过程中收集用户的反馈，对遇到的问题进行修正和处理，才能得到真正适合市场的运营模式。而在VR主题乐园的游戏内容方面，不应仅仅局限于射击游戏，解谜、密室逃脱等等需要配合、互动的体验内容，都很适合VR线下娱乐。借助VR和大空间定位/动捕这些手段，传统的娱乐形式将焕发新的生机。

最初发布于2017年4月27日