Adobe Max大会见闻:增强现实将成为创作者的新机遇

Adobe的年度Max会议是一年一度的最大规模的创意专业人士聚会,这些人的艺术、摄影和图形设计技能可以改善我们每天看到的图像和阅读的材料。在本周的活动中,Adobe正在采取一系列的措施,将增强现实作为创作者的新机遇。尽管该技术只正在洛杉矶会议中心展览区的一个安静角落里,努力寻求人们的关注。

在活动开始之前,Adobe表示其最大的AR新闻将与Aero有关,这是一个iPad应用程序,旨在简化新手创作者开发AR体验的过程。活动中的展台引导游客使用该应用程序识别真实空间的表面,并以正确的尺寸和正确的位置放置3D模型,将其与环境无缝融合,以便可以在iPad上从多个角度查看它,就像它是真实的一样。

在Aero的主要演示中,用户看到了最基本的AR体验类型,多年来,我们已经以手持形式看到了AR体验,这在很大程度上要归功于Pokemon Go之类的游戏。尽管Adobe的目的是向创作者展示他们如何将自己开发的3D资产带到混合现实空间中,并用于营销目的。有人认为,Aero将帮助品牌创建更多应用程序,比如今年早些时候测试的Jack Daniel的AR Experience,它使用动画3D资产和画外音将这家公司的任何威士忌酒瓶变成了弹出式故事书。

幸运的是,Adobe并没有坚持完全枯燥的演示。尽管您必须在洛杉矶会议中心展览区的最深处寻找它,但该公司还利用Aero进行了一次名为Terminator Max Experience的演示,它利用了刚发行的电影Terminator:Dark Fate的资产。与会者将获得包含一系列提示的列表,然后跟随它们来体验AR场景,在这个场景中,虚拟终结者会从满是瓦砾的场景中的能量泡泡中出现。

作为驱动该体验的相机和3D合成引擎,安装了Aero的iPad将数字资产与场景中的实际人物和物体融合在一起,从而实现了这样的场景。尽管展位上没有任何内容说明最终用户将如何以这种方式使用Aero或Aero创建的应用程序,但这意味着创作者们可以为用户创建电影级的3D体验,然后将其部署到特定位置,或提供可下载的应用程序,以用于营销目的。

Adobe将一台计算机连接到运行Aero的iPad上,以录制Terminator Max Experience视频,并承诺将其通过电子邮件发送给与会者。

在展区中专门展示AR的区域实际上是3D和AR体验的共享空间,大多数演示都专注于各种早已亮相且普遍应用的3D内容,而优质的AR只是轻描淡写。例如,英伟达(Nvidia)展示了在笔记本电脑上运行的RTX Studio图形技术,说明现在即使是便携式计算机也可以在3D场景中光线追踪逼真的反射和阴影。

RTX-caliber光线追踪何时才会进入移动设备?由于渲染技术的高速处理要求,Nvidia表示,当前唯一可行的解决方案是使用GeForce Now将完全由服务器渲染的场景流式传输到移动设备的屏幕,或使用移动设备来渲染场景,同时服务器将渲染的反射流进行合成。但由于存在延迟,可能难以实时同步。

HP在展区里炫耀着Project Captis,该项目搭建于Z by HP阵列,是为创意专业人士设计的使用测光法将真实的纹理和对象转换成数字内容的预生产3D材料扫描工具。这套硬件和软件的组合目前尚未公布定价,通过将多个4K摄像机放置在一个大盒子中,可以从多个角度捕获物体的高精度细节。目前仍是创作者进行测试的试点。

Project Captis产生的扫描结果可用于将一种材料的纹理应用于另一种材料,例如制作一双具有皮革外观的3D打印太阳镜,或一双具有编织的复杂网眼纹理的运动鞋。像3D和AR展区中的许多其他演示一样,这种扫描技术具有明显的潜力,可以为未来的AR应用创建超级逼真的资产。

Max大会上发布的最有趣的产品之一(但不属于3D和AR领域)是Adobe Photoshop Camera,现已以Beta形式提供给少数用户。Adobe表示,该摄影应用程序将完全免费提供给iOS和Android用户,而无需Creative Cloud订阅或应用程序内购买。用户将能够从大量艺术家开发的Photoshop滤镜中进行选择,这些滤镜可实时应用于相机输入,并在拍摄时添加静态或动画图像。

Photoshop Camera令人印象深刻的是滤镜是如何工作的。Adobe使用基于云的Sensei AI实时扫描相机输入的某些类型的内容(例如天空,脸部或食物),然后选择性地将静止或动画滤镜应用于AI识别的对象。比如在上面的图像中,AI可以识别风景图像,将其从白天转换为夜晚(带有移动的月亮)或添加日式的朝阳覆盖层。另一个示例显示了该应用程序通过适当的调整色温和对比度,自动调整食物照片。

我并不认为我们需要另一个照片滤镜应用程序,或者Photoshop Camera将以某种方式取代Android或iOS设备内建的相机应用程序。但是,正如您看到的技术一样,使用人工智能和机器学习来实时增强摄影技术显然具有一定的吸引力。其中包含的识别技术是强大的,在正确的艺术家手中,结果可能是强大的。

Max大会明显缺少任何可穿戴的AR硬件,至少当我环顾四周时,我找不到它。尽管展厅中散布了一些VR头显,但几乎所有显示的东西都在计算机或平板电脑的屏幕上进行了展示,这表明Adobe和相关供应商仍在等待可用的AR头显。因此,3D和AR展区严格来说只是一个是2D展区。

Adobe Max是一个相当大型的展览,毫无疑问,AR既不是活动的主要的重点,也不是次要的焦点,Aero和相关内容在主题演讲和展区中只占很小的一部分。也就是说,很明显,创意人员已开始为不远的未来做准备,很快,混合现实将成为日常生活的重要组成部分,包括消费级应用程序和专业应用程序。这个阶段的挑战是要让AR从小型演示和营销过程中的小把戏变成消费者实际想要使用的实用的应用程序。我推测这将在2020年开始发生,这可能是由于价格合理的硬件和更多的开发者对其感兴趣共同推动的。

最初发布于2019年11月8日

原文链接:https://venturebeat.com/2019/11/05/at-adobe-max-augmented-reality-is-fighting-its-way-out-of-the-corner/

Technicolor打造Genesis虚拟制作平台 将VR用于电影制作

我最近有机会来到了位于加利福尼亚州卡尔弗城的Technicolor体验中心,参观了Genesis虚拟制作平台,这是Technicolor与其视觉特效子公司Moving Picture Company(MPC)多年合作的成果。Genesis有着很高的终极目标,但目前还是被用于通过虚拟现实使传统制作团队成员有能力动手参与动画的视觉化过程。这个不断发展的工具生态系统已经被用于制作视觉特效丰富的电影,包括迪士尼的真人版《奇幻森林》(The Jungle Book)。

Genesis的核心是其实时性能,是通过利用Unity 3D游戏引擎和NVIDIA GTX 1080和RTX 2080高性能GPU实现的。通过将实时图像与Vicon动作捕捉相机、用于摄像机的实时运动控制编码器以及HTC Vive虚拟现实头显相结合,Genesis可以让工作人员预览动画和图像,指导、制作设计和虚拟地演出场景。Genesis还可以跟踪每个摄像机的移动、道具/角色/灯光的位置、场景,并存储到安全的云数据库。该系统通过Technicolor自己的Technicolor Connectivity网络运行,允许不同位置的工作人员在同一场景中虚拟地并且同步地进行交互和协作。

根据MPC工作室负责人Kerry Shea的说法,“我们希望为导演、电影摄影师和他们的工作人员提供他们习以为常的传统制作工具,并让他们更具创造性和更直接地参与前期制作过程。Genesis将主要的创意决策更多地转移到制作过程中。“

Genesis演示的第一部分展示了预制作的流程,其中包含一个虚拟的技术监视工具。MPC的艺术家创建了一个内部序列,来演示Genesis在CG工作量大的项目中的使用过程。这个名为Speakeasy的项目包含了一个时髦的CG形象,这个形象在禁酒时代的酒吧里做了几次被拒绝的尝试。整个场景中含那个时期的道具和角色,并且可以使用Vive VR头显实时导航。

根据MPC的虚拟艺术部门主管Ryan Magid的说法,“我的团队有大约一个星期的时间来为场景和角色创建所有需要的3D资产,然后只需几个小时来拍摄场景本身。在那段时间里,我们能够通过导演、电影摄影师、动作捕捉演员和整个组的工作人员的全部投入来进行数十次拍摄。

Genesis不仅能捕获原始的动作捕捉数据和相机支持的编码器数据,还能捕获每个道具、灯光、虚拟角色和相机的逐帧位置。然后,在实时捕捉期间生成的CG镜头能在回放过程中持续调整。该过程赋予创意团队在预览过程中更高的自由度和互动性,这通常是CG动画师的权限范围。

随着预制作演示的完成,我们接下来转移到一个更大的动作捕捉舞台,环绕着Arri SkyPanel S30s LED灯; 配备了巨大的LED显示屏,一台索尼F55相机连接到Genesis系统,现场渲染在前面创建的Speakeasy项目。旁边一名演员穿着由Vicon动作捕捉传感器跟踪的动捕服。工作人员为我们提供了操作三脚架的机会,通过三脚架,可以在虚拟场景中移动摄像机,或者将摄像机连接到场景内轨道上的虚拟推车上。

当演员表演他的对话线并与酒吧中的其他虚拟顾客进行交互时,我们能够操作推车并移动摄像机。当我们操作摄像机时,我们可以看到我们的动作与现场的动作捕捉演员的动作结合的效果。不一会儿,我们就创造出了一个完整的场景,可以作为预演动画进行下一步制作。根据Shea的说法,“我们的员工可以同步且安全地与世界各地的场景互动。即使是高级管理人员也可以从他们的办公室虚拟地参与其中,他们所需要的只是Genesis机架单元(配备了功能强大的PC和GPU硬件来驱动VR头显。)“

作为舞台演示的一部分,我们还目睹了Genesis的一个正在开发中的用途。MPC的虚拟制作主管Joseph Henderson解释说:“我们经常遇到的一个挑战是如何让一个CG角色与真人演员进行令人信服的互动。”在这个场景中,一个演员被F55摄像机拍下来,身后的LED屏幕上有森林的动画图像。当相机操作员在移动相机时,LED屏幕上的图像也相应地移动了视角。

当团队在改变道具、天气和灯光时,动画可以实时编辑,全部都是动态的。 “现场的图像质量还不够真实,” Henderson补充说:“随着GPU变得越来越强大,这种鸿沟正在缩小。我们已经在和NVIDIA合作,利用他们的RTX 2080下一代实时光线跟踪图形卡,看看我们能在多大程度上进一步改进工作流程。“

随着实时动作捕捉的完成,我们被邀请回来观看Vive VR头显中已完成的拍摄内容。VR头显的图像具有非常高的分辨率,具备3D图像和声音,创造出了一种高水平的沉浸感。我能够重新体验之前在舞台上演出并拍摄的内容。使用Vive手持式控制器,我可以重置道具和灯光,并从任何摄像机角度检查它。你会觉得在创造性地探索场景方面任何事都是可能的,并且会知道在调配大群工作人员花费大量时间和成本之前如何最好地拍摄它。

“Genesis有很多潜在的用途,”Genesis的开发人员的Markus Ristich说道。“我们最近在伦敦证券交易所做了一个主要序列的展示。导演知道他不能长时间关闭交易所,甚至不能进行监视。因此,我们与市政府合作,用激光雷达扫描该区域,同时使用了该区域的蓝图以及许多参考照片。然后,我们在Unity中重新创建了整个交易所,并为在Genesis中进行VR预览做好了准备。导演能够舒适地制作他的镜头,并且高效地确定他需要哪些摄像机和物品才能在真实的地方进行拍摄。我们能够将一个非常具有挑战性的任务变成更具互动性的东西。“

随着虚拟现实,混合现实和增强现实等沉浸式技术的不断成熟,我们将看到将它们融入传统电影制作的新方法和新创意。Genesis证明了VR和实时游戏引擎是导演、摄影导演、制作设计师以及习惯于更加传统的电影制作工具的其他主要创作团队可以尝试的更强大的工具。而且在虚拟现实中体验电影场景也十分有趣。

最初发布于2019年3月11日

原文链接:https://ascmag.com/articles/technicolor-genesis-virtual-production-platform