标签： NVIDIA

Technicolor打造Genesis虚拟制作平台 将VR用于电影制作

我最近有机会来到了位于加利福尼亚州卡尔弗城的Technicolor体验中心，参观了Genesis虚拟制作平台，这是Technicolor与其视觉特效子公司Moving Picture Company(MPC)多年合作的成果。Genesis有着很高的终极目标，但目前还是被用于通过虚拟现实使传统制作团队成员有能力动手参与动画的视觉化过程。这个不断发展的工具生态系统已经被用于制作视觉特效丰富的电影，包括迪士尼的真人版《奇幻森林》(The Jungle Book)。

Genesis的核心是其实时性能，是通过利用Unity 3D游戏引擎和NVIDIA GTX 1080和RTX 2080高性能GPU实现的。通过将实时图像与Vicon动作捕捉相机、用于摄像机的实时运动控制编码器以及HTC Vive虚拟现实头显相结合，Genesis可以让工作人员预览动画和图像，指导、制作设计和虚拟地演出场景。Genesis还可以跟踪每个摄像机的移动、道具/角色/灯光的位置、场景，并存储到安全的云数据库。该系统通过Technicolor自己的Technicolor Connectivity网络运行，允许不同位置的工作人员在同一场景中虚拟地并且同步地进行交互和协作。

根据MPC工作室负责人Kerry Shea的说法，“我们希望为导演、电影摄影师和他们的工作人员提供他们习以为常的传统制作工具，并让他们更具创造性和更直接地参与前期制作过程。Genesis将主要的创意决策更多地转移到制作过程中。“

Genesis演示的第一部分展示了预制作的流程，其中包含一个虚拟的技术监视工具。MPC的艺术家创建了一个内部序列，来演示Genesis在CG工作量大的项目中的使用过程。这个名为Speakeasy的项目包含了一个时髦的CG形象，这个形象在禁酒时代的酒吧里做了几次被拒绝的尝试。整个场景中含那个时期的道具和角色，并且可以使用Vive VR头显实时导航。

根据MPC的虚拟艺术部门主管Ryan Magid的说法，“我的团队有大约一个星期的时间来为场景和角色创建所有需要的3D资产，然后只需几个小时来拍摄场景本身。在那段时间里，我们能够通过导演、电影摄影师、动作捕捉演员和整个组的工作人员的全部投入来进行数十次拍摄。

Genesis不仅能捕获原始的动作捕捉数据和相机支持的编码器数据，还能捕获每个道具、灯光、虚拟角色和相机的逐帧位置。然后，在实时捕捉期间生成的CG镜头能在回放过程中持续调整。该过程赋予创意团队在预览过程中更高的自由度和互动性，这通常是CG动画师的权限范围。

随着预制作演示的完成，我们接下来转移到一个更大的动作捕捉舞台，环绕着Arri SkyPanel S30s LED灯; 配备了巨大的LED显示屏，一台索尼F55相机连接到Genesis系统，现场渲染在前面创建的Speakeasy项目。旁边一名演员穿着由Vicon动作捕捉传感器跟踪的动捕服。工作人员为我们提供了操作三脚架的机会，通过三脚架，可以在虚拟场景中移动摄像机，或者将摄像机连接到场景内轨道上的虚拟推车上。

当演员表演他的对话线并与酒吧中的其他虚拟顾客进行交互时，我们能够操作推车并移动摄像机。当我们操作摄像机时，我们可以看到我们的动作与现场的动作捕捉演员的动作结合的效果。不一会儿，我们就创造出了一个完整的场景，可以作为预演动画进行下一步制作。根据Shea的说法，“我们的员工可以同步且安全地与世界各地的场景互动。即使是高级管理人员也可以从他们的办公室虚拟地参与其中，他们所需要的只是Genesis机架单元(配备了功能强大的PC和GPU硬件来驱动VR头显。)“

作为舞台演示的一部分，我们还目睹了Genesis的一个正在开发中的用途。MPC的虚拟制作主管Joseph Henderson解释说：“我们经常遇到的一个挑战是如何让一个CG角色与真人演员进行令人信服的互动。”在这个场景中，一个演员被F55摄像机拍下来，身后的LED屏幕上有森林的动画图像。当相机操作员在移动相机时，LED屏幕上的图像也相应地移动了视角。

当团队在改变道具、天气和灯光时，动画可以实时编辑，全部都是动态的。 “现场的图像质量还不够真实，” Henderson补充说：“随着GPU变得越来越强大，这种鸿沟正在缩小。我们已经在和NVIDIA合作，利用他们的RTX 2080下一代实时光线跟踪图形卡，看看我们能在多大程度上进一步改进工作流程。“

随着实时动作捕捉的完成，我们被邀请回来观看Vive VR头显中已完成的拍摄内容。VR头显的图像具有非常高的分辨率，具备3D图像和声音，创造出了一种高水平的沉浸感。我能够重新体验之前在舞台上演出并拍摄的内容。使用Vive手持式控制器，我可以重置道具和灯光，并从任何摄像机角度检查它。你会觉得在创造性地探索场景方面任何事都是可能的，并且会知道在调配大群工作人员花费大量时间和成本之前如何最好地拍摄它。

“Genesis有很多潜在的用途，”Genesis的开发人员的Markus Ristich说道。“我们最近在伦敦证券交易所做了一个主要序列的展示。导演知道他不能长时间关闭交易所，甚至不能进行监视。因此，我们与市政府合作，用激光雷达扫描该区域，同时使用了该区域的蓝图以及许多参考照片。然后，我们在Unity中重新创建了整个交易所，并为在Genesis中进行VR预览做好了准备。导演能够舒适地制作他的镜头，并且高效地确定他需要哪些摄像机和物品才能在真实的地方进行拍摄。我们能够将一个非常具有挑战性的任务变成更具互动性的东西。“

随着虚拟现实，混合现实和增强现实等沉浸式技术的不断成熟，我们将看到将它们融入传统电影制作的新方法和新创意。Genesis证明了VR和实时游戏引擎是导演、摄影导演、制作设计师以及习惯于更加传统的电影制作工具的其他主要创作团队可以尝试的更强大的工具。而且在虚拟现实中体验电影场景也十分有趣。

最初发布于2019年3月11日

原文链接：https://ascmag.com/articles/technicolor-genesis-virtual-production-platform

曾经做VR样板间的51VR在拿到2.1亿融资之后，要做自动驾驶了?

12月5日下午，51VR在北京当代ΜΟΜΛ蔓兰酒店举办了一场名为“地球克隆计划”的发布会，在发布会之前，笔者从各种渠道获取的信息都预示着这家公司将会在AI和VR两个领域有一系列的新动作。

根据现有资料，51VR(曾用名：无忧我房)成立于2015年1月，最初从房地产垂直行业起步，之后业务领域拓展至汽车、教育和游戏等领域。其在房地产领域的成就无需多言，毕竟背靠当代置业。除了地产之外，由其游戏团队开发的机甲射击VR游戏《Code 51》还曾经获得了2016年VRCORE的最佳游戏奖，笔者也在今年年初体验了这款游戏，无论是画面、玩法、音效还是联机的流畅度，都堪称精品。

目前，51VR的团队已经超过了240人，公司已在北京、上海、成都、硅谷、伦敦和法兰克福设立研发中心，在VR/AR/AI等多个领域均有涉猎。

在这次发布会上，51VR并没有展示其在地产和游戏方面的新产品，而是宣布进入一个全新的也是目前最火热的领域：自动驾驶。

为了引出自动驾驶这一主题，51VR真可谓是煞费苦心，其CEO李熠首先上台，宣布了一个看似疯狂的想法：地球克隆计划。旨在打造一个无比接近真实的虚拟世界“51World”。

如何实现这一计划?李熠将其解读为五个阶段，静态世界→动态世界→半模拟世界→全模拟世界→虚拟现实世界。

据李熠介绍，51VR自成立以来，已使用VR/AR技术打造了超过5000个物理空间，拥有了构建完整城市的核心数据，涉及游戏、汽车、设计、教育等行业，于是就产生了这个更大胆、更极致、更疯狂的想法：地球克隆计划，要让整个世界平行存在于虚拟世界中。

至于前面四个阶段，51VR邀请了当代置业执行董事兼总裁张鹏、51VR子公司RealDrive CEO陈禄博士、商汤科技联合创始人徐冰、NVIDIA全球副总裁，中国区总经理张建中来分别解读，这些当然只是对第五个阶段：虚拟现实世界的铺垫，其中涵盖了传统地产行业、驾驶模拟、自动驾驶、人工智能、GPU计算等方面。这些都不是重点，笔者重点来说一下此次发布会期间关于自动驾驶的内容。

据51VR孵化的RealDrive公司CEO陈禄博士介绍，RealDrive专注汽车行业，并且在发布会现场展示了RealDrive六自由度全模拟VR虚拟驾驶体验，但这家公司的技术并不仅限于这种貌似“过时”的VR体验设备，其核心产品，是名为Cybertron的自动驾驶产品。

在陈禄看来，克隆地球的第二个阶段，也就是动态世界，需要满足三个要素：动态场景，可交互，运动体验，而动态世界的最佳应用场景一定是汽车行业。51VR认为虚拟驾驶是最有挑战性和最有价值的领域之一，也是其重点开发的领域，目前，51VR的技术已经达到行业领先水准。并且与宝马合作，已经应用在宝马集团的研发过程中。

陈禄认为，目前的自动驾驶普遍面临且必须解决的问题有三个：临界情况模拟、并行计算加速、强化学习训练平台。而Cybertron技术可以加快自动驾驶开发进程，提高安全性，降低开发成本。其中包含大量的场景数据，比如天气、汽车运动、碰撞等数据。整套系统采用灵活的架构，支持VR虚拟驾驶接入功能。这些技术使Cybertron成为了智能汽车的训练场，必将改变人们的出行和生活方式。

至于Cybertron的具体产品，也就是51VR当前阶段的核心产品，则由51VR CEO李熠正式发布，该产品线包含以下三个产品：

1、Cybertron-Zero VR强化训练场，Cybertron-Zero为自动驾驶企业提供可视化交通环境模拟、传感器数据仿真，用于训练自动驾驶系统，这大大降低自动驾驶的训练成本，提高效率，并使得训练、测试更加安全和全面。该产品将于今年12月开放测试。

2、Cybertron-Matrix VR体验测试场，消费者通过Cybertron-Matrix感受自动驾驶汽车沉浸式的驾乘体验，不仅帮助自动驾驶公司全面了解消费者驾乘反馈，迭代人车交互体验，同时让消费者更易触及自动驾驶，加速市场普及。另外Matrix可借助VR和高性能动态模拟器等外设，模拟自动驾驶汽车真实场景中的各种关键元素，包括乘客、训练对手、路人等，从而打造理想的自动驾驶实验室。例如测试人员可以通过模拟器在VR中驾驶道路上的一辆汽车，进行各种可能的驾驶操作，从而测试该道路上自动驾驶汽车的反应。该产品也将于今年12月开放测试。

3、Cybertron-Eyes AR增强测试场，即借助AR增强现实眼镜(但并没有说是与哪家合作)，让自动驾驶实路测试人员在关注道路状况的同时能够监督自动驾驶系统的运行状态，也就是让测试人员拥有一双机器视觉的眼睛，用于实时查看自动驾驶行驶过程中的感知和决策系统，以及时的发现及解决问题。该产品最晚将于明年2月开放测试。

李熠认为，要实现虚拟现实世界，我们或许还要10年时间，但限制梦想的并非技术本身，而是找到一条可行的路径。51VR接下来三年的目标是，对已有的技术进行迭代，投入80%以上的研发力量，接下来三年成为全球最大的AI强化学习中心，成为全世界AI行业的首选目标。

从头到尾看完整场发布会，才明白原来这五个阶段，其实只是一次比较高明的包装。但在包装打开之后亮相的产品，的确值得关注与期待。若Cybertron系列产品能够投入实际使用，相信能够给自动驾驶行业带来一场不小的轰动。

在笔者看来，51VR这家当代置业孵化的公司，可以说一直以来都在稳步发展，依托于当代置业这个平台，51VR在VR样板间这一核心产品上一直顺风顺水，融资也是一轮一轮地拿到手软，在这次发布会的最后，正如Star VC创始人任泉所说：我们51VR又有钱啦!虽然是句玩笑话，但与很多VR行业公司的命运相比，51VR的确要顺利太多，这与其较为完善的商业模式和众多的合作伙伴也是密不可分的。

此次发布会上，51VR正式宣布完成B轮2.1亿元融资，由当代、商汤科技联合领投，Star VC、光速安振、绿民投、松禾资本、浦发硅谷银行等超10家投资机构、战略伙伴及个人投资者参与。而此次发布会上的“地球克隆计划”全球战略合作伙伴则包含了NVIDIA、商汤科技、HTC、BMW、当代和浙江大学等公司和院校。

有这么多投资机构和业内巨头站台，希望51VR在自动驾驶领域的表现能够超出我们的预期。也希望51VR能够继续践行其CEO所说的“无边界、有核心”这一理念：地域无边界，人才有核心，技术无边界，开发有核心，业务无边界，行业有核心。

最初发布于2017年12月6日

七鑫易维副总裁徐筱：眼球追踪技术终将进入消费级市场

在VR行业，说到眼球追踪，没有人不知道七鑫易维。这家公司在2016年发布了全球首款VR眼球追踪配件aGlass，率先实现了注视点渲染、眼控交互和眼动数据分析三大“黑科技”，并且在最近HTC举办的VDC开发者峰会、抉择科技”怨灵”发布会中，我们也见到了七鑫易维的身影。

近日，笔者来到了七鑫易维，与其副总裁徐筱进行了深度交流。这家连续三年获得高通的风险投资的公司，不仅在VR领域驾轻就熟，在医疗、手机、汽车、商业调研等领域也有着诸多成功案例。经过这次专访才发现，”让世界读懂你的眼神”不仅仅是七鑫易维的口号，更是其坚持的信念。

产品体验：超乎想象

在专访开始之前，笔者先体验了七鑫易维的部分产品。据了解，七鑫易维目前主打的产品有aGlass眼球追踪配件、aSee Pro眼动分析设备和全能眼沟通辅具。

aGlass眼球追踪配件发布于去2016年年底，我们体验了使用aGlass配件的HTC Vive头显，体验的内容则是NVIDIA开发的《NVIDIA VR Funhouse》。

众所周知，《NVIDIA VR Funhouse》是一款比较“吃显卡”的VR内容，要达到高画质，需要使用2张GTX1080显卡。测试的电脑使用的GTX980显卡，在应用注视点渲染技术之后，中央凹视野内的画面能稳定在90帧，画面清晰流畅。而未开启注视点渲染时，仅能达到40帧左右，画面模糊且卡顿明显。由此可见，使用注视点渲染技术可以大幅降低VR内容对电脑硬件，尤其是显卡的需求。

而aSee Pro眼动分析设备则包含了桌面式眼动分析系统和VR眼动分析解决方案两种形式。桌面式眼动分析系统安装在普通的电脑显示器上，通过对用户眼球运动的追踪，可以快速、精确地获取用户的注视点路径、时长及热力图等数据。aSee Pro VR眼动分析解决方案类似aGlass，但主要面对专业的研究人员和科研机构，数据接口较为全面且帧率更高。

之后我们又体验了全能眼沟通辅具，这一系列产品已经帮助数万名渐冻人、丧失沟通能力的病患、残疾人等通过眼睛打字恢复了沟通能力。七鑫易维将其集成到了一台Windows平板电脑，在经过简单的校准之后，通过眼球的动作即可实现打字等基本操作，甚至还可以体验一些操作较为简单的游戏，比如《水果忍者》。

但七鑫易维的产品能做的不止于此，相比传统的手部交互，眼球的动作能够传递更加真实的信息，其应用场景也远远超出我们的想象。在接下来的交流中，徐筱向笔者介绍了眼球追踪技术的更多应用场景。

VR领域：解决三大行业痛点

作为HTC Vive X加速器第二批的成员团队之一，七鑫易维在2016年底发布了用于HTC Vive的aGlass DK I眼球追踪配件。之后，七鑫易维用了一年的时间，根据开发者和合作伙伴的反馈对产品进行完善，推出了aGlass DK II。

与上一代产品相比，aGlass DK II在软硬件方面都有所提升。比如支持双眼同时使用、自动检测主辅眼、提升使用舒适度、增加人工智能深度学习算法、优化校准流程、优化API接口等等。徐筱介绍，在为VR头显加入眼球追踪技术之后，可以为其增加多项基于眼球追踪技术开发的功能，包括注视点渲染、眼控交互、眼动数据分析，解决VR行业存在的硬件成本高、缺乏新的人机交互、无法真实高效收集分析数据的三大行业痛点。

在去年年底抉择科技的”怨灵”发布会上，抉择科技宣布与七鑫易维合作，在其产品中使用aGlass眼球追踪配件，并对内容进行了深度定制。比如在用户由于胆小而不看其中的恐怖场景时，剧情就无法继续，以此来进一步提升内容的恐怖感。

由此可见，除了上文提到的降低VR内容的硬件需求之外，眼球追踪技术在VR领域还有更多的应用空间。前段时间刚刚开启预售的HTC Vive Focus一体机，也会推出内置aGlass配件的高配版本。我们也期待着更多基于眼球追踪技术的优秀VR内容。

医疗领域：让特殊人群重获沟通能力

除了VR之外，医疗也是七鑫易维重点发展的领域之一。其打造的全能眼沟通辅具，主要适用于渐冻人、脑瘫、高位截瘫、中风失语等人群。单渐冻人群体 ，目前国内统计在内的有20多万，脑瘫患者有600多万，并以每年4-5万名的数量在增加。通过使用全能眼沟通辅具，这些病人可以通过眼球的动作来打字，重获沟通能力。

在2015年，国务院总理高度评价眼控沟通辅具并肯定了七鑫易维为残疾人做的贡献。并且，最近几年政府在沟通辅助器具领域的扶持力度越来越大，会有更多患者拥有沟通辅助设备。目前，七鑫易维已经与某专业残疾人辅具代理商签订代理协议，即将在医院等渠道进行产品的推广。

“七鑫易维也希望我们的全能眼沟通辅具可以帮助更多的人群，让他们重建与外界的联系，生活的越来越好。”徐筱说道。

商业调研：数据更加真实直观

兰亭数字COO庄继顺就曾提到，使用七鑫易维的眼球追踪技术进行的商业调研。通过收集用户的眼球追踪数据，可以判断用户对不同的产品外观的喜好。而最近七鑫易维与某服装行业巨头的合作，也是在使用这一技术。

“比如当我换了货架或者整个店面的布局，我会让分析师戴上AR眼镜，在里面走一圈看看，从分析师的眼动数据中可以看出新的店面布局有没有不合适的地方，或者判断消费者对哪些款式更感兴趣。”通过眼球追踪获取的眼球轨迹、停留时间和热力图，可以获取更加真实、直观的反馈。与之相比，常见的收集用户反馈的手段，比如问卷是很容易被商家或客户过滤掉的，且不如眼动数据直观。

总之，通过眼球追踪技术，可以实现对消费行为的分析，实时记录用户在消费过程中自然的视觉行为，通过眼动数据分析用户需求，开展精准营销、精确导购等应用场景。

汽车领域：交互更加自然高效

不久前，七鑫易维与极鱼科技合作，为奔驰S500EL车型推出了全新的车载娱乐系统，通过眼球追踪和手势识别技术，实现了更加自然高效的交互体验。除此之外，在汽车行业也可以使用眼球追踪技术来进行商业调研。

比如，一些汽车行业客户希望消费者在进入4S店之后，不需要太多销售去做无聊的介绍。这时可以使用加入了眼球追踪技术的AR眼镜，在消费者佩戴之后，走到车旁边可以看到所有的配置信息，同时在这一过程中，通过眼球追踪的数据，4S店也就知道了用户都关注了哪些地方，从而进一步改善产品，提升服务质量。

此外，七鑫易维的车载眼球追踪解决方案可以对驾驶员进行疲劳驾驶检测，降低交通事故的发生率。

智能手机：全新的解锁和交互方式

在指纹识别成为智能手机的标配之后，苹果、三星等手机厂商也已经开始探索新的解锁和交互方式。而面部识别、虹膜识别和眼球追踪则成了新的研究方向。徐筱介绍说，使用七鑫易维的技术，用户可以通过眼睛来控制手机实现快捷交互，比如进行眼神解锁、眼控对焦拍照、眼动浏览信息、眼控游戏等。

目前，七鑫易维正在与国内两家手机大厂合作，为其开发结合了眼球追踪和虹膜识别的解锁和交互方式。其解决方案即将在CES展会期间亮相。同时亮相的，还有其AR眼球追踪配件产品。

眼球追踪技术终将成为VR头显的标配

当笔者问及眼球追踪技术的前景时，徐筱信心满满地说道：“眼球追踪技术更加符合人类使用习惯，必然会成为未来重要的交互方式，从这一趋势来看，眼球追踪技术必定会成为VR头显的标配，也终将进入消费级市场。”

但同时他也提到，眼球追踪技术要进入消费级市场，还需要3个方面的配合：

首先，要提高眼球追踪技术的稳定性和适配性。目前，七鑫易维正在与NVIDIA开展深度合作，将人工智能和深度学习算法融入眼球追踪技术。

其次，要与VR头显厂商加强合作，先从B端开始，探索VR头显+眼球跟踪技术的应用场景，再将其推向更多的消费级VR头显。

此外，还需要内容厂商合作，接入更多应用眼球追踪技术的VR游戏、VR社交、VR旅游内容。

写在最后

当然了，全世界从事眼球追踪技术的公司不止有七鑫易维一家。苹果、谷歌、Facebook等行业巨头也在抓紧布局。徐筱表示，与SMI、Tobii、Eyefluence、The Eye Tribe等公司相比，七鑫易维具备“反应速度快，定制能力强，产品性价比高”等优势。

“七鑫易维团队里有70%以上都是研发人员，百分百自主专利中国就我们一家，我们也是全球最早成功应用人工智能和深度学习的眼球追踪技术公司”，并且其现有的千万级的眼动数据库可以为算法优化提供大数据的支撑，这也是其核心优势之一。

在产品方面，七鑫易维已经有量产的眼球追踪配件aGlass。徐筱表示，今后七鑫易维也会与更多的VR头显厂商和传统行业企业一起推动眼球追踪技术在VR领域的应用，推动眼球追踪技术的普及。

最初发布于2018年1月4日