专访Jaunt:打造全新XR平台 重新定位为B2B公司

Jaunt因其是一家360°视频和影视级VR体验开发商而闻名。但是最近,这家公司将其关注的焦点转向了为其他公司提供混合现实技术支持。近日,Jaunt展示了它在容积视频拍摄方面做出的一些很酷的研究成果,比如为增强现实应用创建360°的数字化身。

外媒记者在Jaunt位于加利福尼亚州圣马特奥市的总部尝试了一下,其速度很快并且质量也很高。Jaunt还展示了它能够如何通过六台英特尔RealSense深度摄像头捕捉一个人的360°图像。

Jaunt将这些来自各个摄像头的图像缝合成一个单独的3D化身,并且将这些内容插入到增强现实流中,能够实时发送到移动设备。记者看到了他们能够如何捕捉化身,并且即时,或者说立刻将数据转换成一个可分享的图像。

新的AR容积捕捉拍摄作品将会逐渐成为一个正在增长的XR平台的一部分,这是一个由Jaunt向其合作伙伴授权使用的B2B软件解决方案,而这些合作伙伴将会通过自己的应用或频道来分发增强现实、虚拟现实和混合现实(统称为XR)内容。Jaunt将会在今年第四季度向客户正式发布容积捕捉拍摄技术。

“我们的目标是让这样的体验流变得非常简单并且便携,”Jaunt的CTO,同时也是其创始人Arthur van Hoff在接受外媒采访时说。“我们在VR领域的360°视频和沉浸式内容方面有很强的的实力,并且我们目前正在探索我们能够为AR体验做出的贡献。”

Jaunt在圣塔莫尼卡还有一个大型的VR电影工作室,他们在这里用自己的专业能力在XR中讲述故事。

在过去,Jaunt已经发布了超过350部作品,其中包括许多的虚拟现实影视作品。而现在,这家公司只有在合作伙伴付费时才会启动一个VR影视项目。

“我们想要成为制作和分发沉浸式内容的全球合作伙伴,”Jaunt的CEO George Kliavkoff在外媒的采访中说道。“在过去,我们专注于服务消费者。我们想要成为VR界的Netflix,并且让人们来访问Jaunt所拥有和运营的网站。而现在,我们已经重新定位为一个B2B公司。”

有了360°化身拍摄技术,Jaunt为其合作伙伴提供容积式内容,将其作为另一种讲述故事和创造IP的媒介。容积捕捉拍摄技术(通过六台相机阵列进行拍摄)让以360°视角来拍摄内容变成可能。拍摄之后会输出一个化身,这个化身符合被拍摄者的样貌和动作,并且是以一个可分享的、符合实际比例的增强现实资产。

Jaunt并没有使用昂贵的绿幕工作室,而是使用了一个简单的拍摄台,其中包含一套外观呈流线型的设备,以及他们为传输高质量VR和AR体验而开发的串流技术。这个简单易用且易于发布的分发工具,对于那些想要为其媒体策略寻找高效的方式,来增加沉浸式内容的公司来说是非常理想的。并且这个拍摄台也很便于携带,你可以想象一下它能做什么。

“我们希望能够实时处理内容,而不是花费数周的时间,并且使其便携且易于分享,”Van Hoff说道。“我的父母从荷兰来旅行时,我录制了他们的一个3D拍摄作品,这是非常特别的,并且是我们永远不会忘记的。”

Jaunt在研发上的投入意味着这家公司正在专注于为创建和分享下一代沉浸式内容而开发可商用的解决方案。其他的还包括由机器学习驱动的沉浸式内容,以及为高端XR体验打基础的技术。

从2013年开始,Jaunt就在处在沉浸式内容的前沿,很快就成为了面向消费者的影视级VR内容的前沿开发商和发行商,他们为创建和分发VR体验创造出了端对端的方案。但是,自从第一台主流的VR头显发布以来,面向消费者的VR市场并没有像大家所希望的那样迅速发展。

“一些分析师说,到2021年,XR将会是一个1200亿美元的市场,”Kliavkoff说。“我们认可这个市场的规模,但是我们并不确定分析师们所说的时间节点是否正确。从长期来看,我们认为AR是更大的机会。”

所以在2016年,Jaunt聘用了Kliavkoff,他是Hearst集团的前CEO。他引导这家公司走出消费级VR领域,将其转变成一个专注于B2B业务的公司,帮助合作伙伴开发新形式的XR内容,并且生成增强现实、虚拟现实和混合现实体验。

“作为虚拟现实和增强现实领域早期的、主要的公司之一,我们已经掌握了面向消费者的技术和故事讲述能力,并且使其能够服务于我们的客户,”Van Hoff说道。“我们对B2B业务的专注引发了一些公司使用AR和VR的需求,并且我们认为,我们的XR平台的实时容积捕捉拍摄技术,是他们通过他们自己的频道来分享引人入胜的故事的一个新方式。这仅仅是Jaunt一直在持续努力地推动XR内容进步的方式之一。”

Jaunt新的XR平台首次亮相于去年12月,并且能够以多种不同的方式来使用,英国的天空广播公司在去年年底就已经成为了Jaunt的XR平台的首位客户。现在他们的客户中还包括Diageo和NTT Data。Jaunt的XR平台支持增强现实资产,虚拟现实内容和2D资产,并且能够跨设备传输,且能够与现有的媒体库共存。

在过去,所有的VR、AR和混合现实格式有着不同的技术链。Jaunt将它们统一起来,这样,他们就能够通过一个播放器来查看。

“该技术平台能够管理所有不同媒体类型,并且在一个系统内进行回放,而不是单独进行创建和管理,”负责公司发展和经营的副总裁David Moretti说。

在2017年,Jaunt通过与SMG和华人文化产业基金的合作,在上海开设了办公室,这使其能够向中国分发内容。

Jaunt的投资者包括华特迪士尼公司、Evolution Media Partners、华人文化、高地资本、Redpoint Ventures、SMG、Axel Springer、ProSiebenSat.1 SE、The Madison Square Garden Company、谷歌风投、Peter Gotcher和英国天空广播公司,目前有100余名雇员。

最初发布于2018年9月20日

原文链接:https://venturebeat.com/2018/08/30/jaunt-shows-off-new-augmented-reality-360-degree-full-body-selfies/

Jaunt VR电影拍摄指南中文版 第二章 相机(下)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章后半部分,主要讲述了拍摄时的物距、相机的运动问题、相机的安装和支架以及防水问题等等。

2.3、物距

对于任何类型的相机来说,无论是球状还是一组朝外的相机组合而成的,就像Jaunt ONE这样,有一个主要的限制因素就是相机与物体的距离。如果离得太近的话,拼接时就会很困难,甚至无法使用。你可以达到的最近的距离,取决于画面的重叠,也就是你的设备由多少台相机组成,以及它们之间的间距大小。

问题在于,你离相机越近,相机之间的间距也应该越近。否则,举个例子说,其中一个相机模块能够看到这个物体,而与之相邻的相机只能看到特写镜头的一部分。

当然,相机之间离得越近,想要覆盖完整的360°画面需要的相机数量也就更多,并且其尺寸也需要更小。相机模块越小,传感器尺寸也就越小,图像质量和暗光灵敏度也越低。这时,要设计一款合适的VR相机就变成了不断优化和权衡的过程。

Jaunt ONE相机一共有24个镜头–16个镜头围绕在周围,4个朝上4个朝下。考虑到这种结构,以及我们对光学的研究,我们所达成的最小物距是4英尺左右(约1.2米)。

如果你忽略这一距离限制的话,会遭遇大麻烦。你会花费成千上万美元在后期处理上,因为需要修正这些拍摄内容。毫不夸张的说,你需要重新创作出一台相机拍摄到但相邻相机没有拍摄到的内容。当然,很多拍摄内容是无法这样修复的。

也有很多场景会因为物距小于最小物距要求而获益。VR的特点之一就是观众可以获得震撼心灵的情感体验,只需要把演员或物体直接呈现在观众面前。但并不像2D拍摄那样,只需要给一个“大头”式的特写,而不是真正走近他们。在VR中,你可以带来真正的亲近感或焦虑情绪,比如让某人走近相机,这样在观众的视角来看,就会有真正走近的感觉。

想要避开这个最小物距限制的方法是,使用VR相机拍摄360° 3D的环境,然后使用一台传统的立体相机和绿幕,来拍摄同样环境和光照条件下的演员,之后在后期制作过程中将演员放在360°的背景中。很明显这需要额外的设备和更多的时间,但这些付出是值得的,尤其是你确实需要进行极近的拍摄时。

2.4、相机的运动

在所有与电影级VR内容拍摄相关的事情中,没有什么比移动相机更重要了,因为这种移动会让你观众感到不适。电影导演和制作人员们已经习惯了通过移动相机来创作充满动感的镜头,以及为场景增加额外的情感元素。在2D内容的拍摄中,这很少会产生问题,但是在VR中,相机的移动会引发晕眩、迷失方向、恶心甚至是呕吐。这当然不是你想要对观众做的事!电影拍摄者们必须特别用心来保证这些情况不会出现,同时还要保证拍摄的画面足够有趣。

2.4.1、VR中的不适感

VR中的晕动症通常被认为是由于视觉系统和耳道的分离造成的。通常情况下,在你移动的时候,你所看到的内容和传到耳道中的声音会有一个一致的响应。而在VR中,除非你真的随着所体验到的内容进行移动,否则就会产生分离现象。这种分离现象就像是中毒一样的生理反应,你的身体也会有同样的反应。

这种问题会发生在VR游戏或VR电影中,但是在VR电影中更为常见,这受限于当前的技术水平。如果你自己没有真正移动的话,那么只有在拍摄者移动相机时,你才会感受到其中的移动。在房间规模的VR游戏中,你会通过实际的运动来引导自己在虚拟世界中的移动,因为游戏游戏引擎能够实时生成周边事物,就不会产生真实世界和虚拟世界的分离。

但是如果把你放进一个由游戏引擎生成的太空飞船里时,产生晕动症的可能性又会出现,因为你会快速地穿行在太空中,却没有相应的物理移动。为了克服这一问题,一些新出现的VR体验会先制作出真正的基于运动的拍摄工具,并且能够模仿在虚拟空间中的运动。除此之外,提供一个更加惊险的VR体验,会让晕动症的感觉减少。

2.4.2、最小化VR中的不适感的指导原则

看完上面这些,你可以会有些惧怕移动相机。放心,相机是可以移动的。在经过大量的尝试和错误之后,我们总结了下如何在VR中正确地移动相机。

保持水平线的稳定

所有的尝试都要确保你的水平线足够稳定和平稳。如果你的水平线发生晃动的话,就像在不平稳的海面上的小船一样,很容易导致晕动症。

我们强烈推荐你在对相机进行移动时使用陀螺仪稳定系统,来避免相机的摆动。换句话说,我们不推荐在你的头上固定一台VR相机,因为你的身体运动会导致相机随着脚步而四处摆动。

如果你的相机上没有一台物理稳定装置的话,后期的稳定化可以移除部分的水平线摆动,但是存在一些限制,因为在头显中回放时,你必须要保持其立体3D效果。如果你的水平线摆动太严重,在纠正到原位之后,会对3D画面造成垂直方向的偏移,这对于观众来说会非常不适。唯一的解决办法就是在拼接之前做好稳定工作,这会让工作流变得更加复杂,因为你必须对拍摄设备中的每台相机做好稳定化处理。

目前有很多种不同的软件来进行后期稳定化处理,在下面的“后期处理”部分可以获得更多信息,同样可以在“安装&支架”部分了解更多在拍摄过程中的稳定化方法。

尽量减少颠簸现象

你还需要确保尽量减少在移动相机时的颠簸和碰撞现象。不然就会让人感觉你在一台山地车上,顺着崎岖不平的山路向下骑行。

这时,还是需要一台稳定化系统,来缓和这些拍摄过程中的颠簸现象,或者使用后期稳定化软件来尽量移除这些问题。但是,考虑到球形视频的特性,在后期进行处理的话会很受限,因为在球形空间中无法抵消任何的颠簸,你必须忍受在视频中出现的任何运动模糊现象。

不能转动

在拍摄过程中,不能在Z轴上转动相机。这会强迫观众转头,这在VR中是非常不好的体验。与此相反,你应该允许观众自然的转动头部,可以看到整个环境中他们选择去观看的内容。

如果你为了不让观众错过一个重要的动作画面,而需要观众观看某个特定的点,你应该使用光照、运动或者声音来引导观众的视线。根据你的回放手段和拍摄的内容,你也可以在其中加入一些互动元素,以使这些特定的片段只有在观众观看特定方向时才会被触发。

尽量减少加速

最后,你应该限制在相机运动过程中产生的加速现象。快速地加速和减速明显会引发晕动症。

在理想状况下,不应该存在任何加速现象,与之相反,你应该使用平缓、控制良好的相机运动来进行拍摄。如果做不到这一点,那么在加速或减速时应该非常缓慢才能勉强接受。你使用的任何拍摄设备都应该足够精密,避免任何不必要的橡皮筋类固定方法或者摆动。下文可以看到更多相关内容。

写在后面

当然了,规则就是要被打破的!在大多数情况下,上面所有这些内容都应当留心,但仍有一些拍摄情况中,你可能会想要一些晕动症效果–比如被从楼顶推下去,或者在坐过山车。在这些情况下,虚拟现实中的运动引发的副作用可能正符合你的口味。当然了,要分情况。

2.5、安装 & 支架

上面已经提到,用适当的支架可以帮助稳定相机。过多的运动会导致严重的晕动症,并且每种尝试都应该尽量消除或者至少要减少这些运动。并不是所有你不想要的运动都可以在后期处理中被去掉,所以我们强烈推荐在拍摄过程中寻找合适的解决方案。

关于这一点,主要的问题在于你所使用的任何支架最终都能被相机拍摄到。在2D视频的拍摄中,你可以避开这里,以使这些支架不被看到,但是在拍摄360°内容时就不一样了。场景中的每个角落都会被拍摄到。这就是为什么虽然有些支架比其他的支架效果好,但总有一些着地点被拍摄到,无论它们多么小。这些支架都需要用一个logo或图片来覆盖掉,或者在后期处理时移除。根据支架的不同,后期移除时的方法可能会非常困难,并且很费钱。

2.5.1、安装支架的类型

在许多项目中,我们测试了所有下面这些类型的支架,尝试着创作出流畅的、稳定的作品,并没有真正最好的解决方案,所有这些支架都需要在后期处理时移除。

三脚架

这是最简单且使用最广泛的VR拍摄支架解决方案。只需要把相机安装在支架上并且不去动它。这种情况下你不可能会遇到晕动症,并且这也是一个相对紧凑的方案。虽然三脚架仍然会被底部的相机拍摄到,但是通过调整支架,让支架的支撑范围尽量小,可以最小化留在地面上的支架部分。这时就需要Clean plates(补地)。可以用单反相机来帮助移除相机支架的影像。可以在下文的Clean Plates部分了解更多信息。

还可以在三脚架下面增加一个吊索,这是一个很好的安装附加设备的地方,比如声音采集设备或者电脑。我们的相机操作员为了防止在拍摄时被拍到,甚至把自己的身体扭曲并藏在三角架下面。

虽然这不是所有的解决方案中最有效的,但的确可以把观众中放在场景中,让观众可以在不被分散注意力的情况下进行探索,并且不会产生晕动症。你所拍摄的绝大多数内容都会是这种类型,因为移动的拍摄会引发额外的效应–并且在VR中,你会觉得这些场景能够带来一种重量感。

移动摄影车

在2D内容拍摄过程中,移动摄影车能够拍摄到非常流畅且出色的动作。要把任何一种VR相机安装在移动拍摄车上是非常简单的,但同样也是非常笨重的,拍摄车的大部分支架都会被拍到。而且由于其尺寸大,需要多名操作员来控制它,并且还有轨道,因而会有很大的一条画面被遮挡。想要不花费太多预算就把这些被遮挡的内容修复的话基本是不可能的,也就是说移动拍摄车不是一个很好的解决方案。

远程控制滑轨

滑轨是一段轨道,长度各不相同,使用的材质也各不相同,上面安装了支架,你可以以不同的速度让相机在滑轨上移动。通常可以使用电脑来创作出复杂的动作,使其自行重复。

不同的滑轨差异非常大,无论是在滑轨的尺寸上还是马达的速度上。你会需要一个强度足够的滑轨来支撑相机,并且选择合适的马达,能够以足够的速度来驱动相机完成运动,并且减少出错的几率。那些便宜的支架会在运动停止时和开始产生明显的反冲,这在VR拍摄中是非常不理想的运动问题。

滑轨比移动摄影车体积要小很多,但是通常都有一个相当长的轨道,也会很明显地呈现在拍摄的内容中。想要移除它没有简单的方法,除非用图像覆盖掉。可以在下面的Clean Plates部分了解更多。

运动控制平台(摇臂)

就如同上面的滑索一样,运动控制平台使用了一系列的轨道和马达驱动的结构来精确地重复动作。它们通常比滑索还要笨重,基本上就是一个滑索和移动拍摄车的结合体,但具有更高的自由度。此类设备有多种不同的类型,第一次大规模的运用是卢卡斯影业在拍摄星球大战时,为的是拍摄到最终合成所需要的大量场景。

这种设备可以配合大多数的相机,但是却非常笨重,并且360°场景中的很大一部分会被挡住,处理起来非常麻烦。不过,如果你需要合成许多不同层次的场景,比如在一个混合的CG/实景的VR场景中,可以把相机安装在运动控制平台上,对着绿幕拍摄不同层次的场景,这是一个很不错的选择,因为运动控制平台可以很容易地被移除。

相机索道

使用足够坚固的相机索道来支撑你的相机是一个很不错的拍摄360°内容的方法。相机被倒放安装在一个支架上,并且挂在一个固定在话说上的小的滑轮结构上。这种支架相当小巧,并且如果是在户外的话,你会很愿意用天空来替代这个支架,也就是说,要从画面中将其移除的话是很容易的。

如同上面所说的滑轨一样,你需要确保滑轮结构上的马达足够精确,防止在开始拍摄和结束拍摄时相机的摆动。否则,你会遇到非常可怕的视野晃动,导致晕动症。你可以使用相机来抵消这些摆动,同样还可以用陀螺仪稳定器来防止产生摆动。

在这种情况下,相机的重量是你要考虑的首要问题。所以,要确保你的索道能够支撑相机,或者使用一台较轻、较小的VR相机,比如GoPro组合的相机。

斯坦尼康相机稳定器

斯坦尼康相机稳定器是2D作品拍摄过程中用来承重的相机稳定方案。这是一种机械解决方案,将相机和操作员的运动分离。操作员身穿一件背心,在这件背心上固定着支架,通过多轴低摩擦平衡杆连接到斯坦尼康稳定器的电枢,在稳定器的一端固定着相机,另一端则是平衡装置。

这种设备可以允许操作员有不固定的动作,同时又不影响相机。而想对相机进行移动时,又会十分容易。这种设备可以拍摄出非常流畅且让人满意的VR内容。但不幸的是,这也意味着操作员会离相机极近,并且在所有的拍摄场景中都是如此。当观众在观看相机后面拍到的内容时,会离操作员的脸非常近。这会让观众感到非常惊恐!

在后期处理时想要把操作员从场景中移除,几乎是不可能的。我们做过这样的尝试,将一台GoPro相机安装在操作员的背部,尝试着在合成时把操作员背部的场景融合进去。但不幸的是,无论是取景、镜头还是不同的视角都无法做到匹配,并且在有些地方还出现了模糊现象。我们也曾尝试将操作员模糊处理,或者用黑色的晕影来替换他。所有这些尝试都无法做到理想的效果,并且操作员的影像会带着观众“出戏”。

如果你要使用一台斯坦尼康的话,最好的办法是用一张图来遮挡住操作员。举个栗子说,可以是一个静态的LOGO,或者是NFL比赛中的动态的积分牌。这时,如果观众转身,会看到图片,然后观众会决定以后是否还转身看。也就能保证观众还处在VR体验之中。

陀螺仪稳定器

随着对虚拟现实的需求日渐飞涨,以及对不会这当场景的稳定运动的需求上升,许多其他的方案也被应用于此领域。来自Motion Impossible的Mantis 360就是这些有趣的解决方案之一。它将一个带轮子制动结构的遥控移动摄影车和一个平衡稳定支架组合在一起,用于VR相机的使用场景。

这就允许用户来远程移动相机,同时可以做到流畅的、稳定的运动,在场景中不会出现操作员,并且遮挡的地面也比较小–甚至比一台三脚架的遮挡面积还要小–这样在替换地面的内容时会更简单,用LOGO替换的话,需要的面积也更小。你可以逐渐地在场景内策划出运动线路,并且重复这些运动轨迹,就像是使用运动控制摇臂一样。

2.5.2、无人机

无人机是一种非常特别的相机支架。由于无人机的运动会非常颠簸,不够稳定,最初人们认为把VR相机固定在无人机上是一个坏主意。但是后来被证明,如果能够适当的做好稳定化处理,并且按照预先划定的航线来飞行的话,无人机可以拍摄出非常惊人的效果–这会让你感觉你就在飞翔。

通常,相机都会通过某种稳定化系统被倒置着安装在无人机上,就像这张图片中这样。你会希望稳定化系统能够抵消场景中尽量小的运动。很明显,拍摄场景的顶部(就是相机的底部,如果相机倒置安装的话)会包含无人机,但是这在后期处理中会相当容易处理,因为顶部通常都是天空。

你可能需要重新配置无人机,以使其起落架不被拍到。如果你的无人机没有配备可伸缩的起落架,你可以把起落架拆掉,并且让无人机降落在像图片中这样的支架上。这会需要巧妙的降落方法,在风大的地方尤其要小心。

正如在上文介绍索道时那样,相机的重量是首要因素。相机越重,需要的无人机也就越大。更大的无人机还需要特殊的飞行员执照,以及来自FAA的额外的限制。这些会限制你的放飞地点和方式,并且提高拍摄的成本。像这样的拍摄场景,你可能需要使用一台较小的、较轻便的GoPro类相机。

最后,大多数无人机,尤其是那些较大的无人机,会把任何的声音都淹没。你可能需要用画外音或其他音轨来替换掉这些音频。

2.5.3、Clean Plates(简单的说就是补地)

上面所有的这些相机方案都会在某种程度上遮挡住VR相机的拍摄场景。通常地面的场景会被三脚架或滑轨或遥控摄影车遮挡,要抹除或者用logo对其进行覆盖将会是非常必要的。

距离来说,用logo来遮挡对于旅游VR内容或一些新的内容来说是可以使用的,但对于更加影视级或戏剧类的内容来说就不太理想了,在这种情况下,你需要把场景中出现的任何的相机支架都抹掉。根据支架的不同,处理起来可能非常简单,也可能会非常耗时且昂贵。

为了帮助移除任何一种相机支架,强烈推荐你在拍摄时补拍一张地面的照片,也就是被遮挡的部分。这样,你可以把这些照片补在场景中。这种情况下最常见的工具是固定的单反相机,加上广角镜头来拍摄由相机支架遮挡的区域,并且是从相机所在的高度来向下拍摄。

必要时,甚至可以使用iPhone。根据支架遮挡的面积,你需要用单反相机拍摄多张重叠的照片。并且你还需要保证你的脚和影子没有出现在照片中。一个简单的用来clean plates的相机固定支架包含用沙包辅助稳定的C形支架,这样可以避免拍摄到自己。

很明显,如果你需要进行移动拍摄,要进行clean plates工作就会变得更加复杂。根据移动的距离,你可能需要拍摄很多张重叠的照片,我们推荐你每次拍摄时的重叠部分控制在15%-20%,并且形成一个队列,这样在后期处理时拼接起来,就行形成一张移动轨迹图,可以用来抹掉拍摄过程中出现的所有的相机支架。

如果移动的距离实在太长,比如移动上面所提到的Mantis 360陀螺仪稳定器很长一段距离,不妨在支架背面固定一个GoPro或其他小型摄影设备,要么手动,要么按程序来拍摄地面上的内容,以用于后期的地面场景重建。

2.6、防水问题

在水中或水下进行拍摄的情况也经常出现。一些VR内容中最激动人心的场景便是在水下拍摄的–比如面对面观看大白鲨,或者探索大堡礁。不幸的是,许多VR相机设备的复杂性会让水下拍摄变得很难处理,甚至无法拍摄。

2.6.1、雨水

当在拍摄2D的固定画幅内容时,雨水基本不是问题,因为相机可以用防水的油布来遮挡,比如覆盖下镜头,或者使用其他此类方法。但是当拍摄360°内容时就不一样了–油布或其他覆盖物在拍摄到的场景中是可见的,会遮挡住很多的场景。

这会让雨中拍摄,甚至是小雨,变得非常困难。许多相机不仅没有内建的防水机制,甚至仅仅几滴落在镜头上的雨水都会让部分场景变模糊,并且会无法进行拼接。

许多的拍摄工作都因为过于潮湿的天气或者可能会下雨而被取消,即使不会对相机造成破坏。同样,根据你采用的相机支架,即使是雪天也会有很大的风险。以Jaunt One为例,小雪天可能还可以拍摄,但你同样要面临镜头沾水或损坏的风险。在几秒钟之内,雪就会损坏镜头,拍摄就会受到影响。

2.6.2、水下

很明显,对于任何的相机设备来说,在水下进行拍摄都是对相机的终极考验。对于常规的2D摄影设备(甚至是3D相机)来说,有很多的水下保护方案可以使用,并且允许完全浸入水中。但对于VR相机来说,要设计一种类似的保护壳并且不让场景变模糊,或者需要镜头做出妥协,则会更加复杂。通常此类保护壳都是用于GoPro类相机设备,此类设备的一个例子是Kolor Abyss。

不幸的是,大多数水下VR相机目前都只有单视场拍摄能力,不支持更大的360°立体3D设备,这会影响到拍摄内容的冲击力。与鲨鱼面对面就会不那么震撼,因为它不会离你越来越近。这一领域需要更多的选择,并且可用于更大范围的相机设备。

即使你有可以用于水下拍摄的相机,在水下进行拍摄本身也是一个挑战。海水是很难预测并且不可控的,并且海洋生物不会遵循你的相机所需要的拍摄物距要求,所以一些场景可能无法拼接。同时,要控制相机内所有的相机模块也是很困难的,并且你必须特别关注电池寿命和存储卡的空间,因为这些保护壳的拆卸通常都是很麻烦的,会占用你大量的拍摄时间。

Jaunt目前正在研究用于Jaunt ONE相机系统的水下保护方案,因为在水下进行全3D的360°拍摄包含着很大的机遇。水下相机保护领域的很多公司也在寻找用于VR的方案,并且正在为多种相机开发解决方案。

最初发布于2017年2月17日

Jaunt VR电影拍摄指南中文版 第二章 相机(上)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章前半部分,主要讲述了VR相机的类型和几种常见的拼接方法等等。

2、相机

在这部分中,我们来讨论你将会遇到的各种各样的VR相机,在VR电影拍摄过程中的一些陷阱是你必须要知道的,并且要了解如何避免这些陷阱。比如说安装和组合方法、clean plates的重要性,水下拍摄的问题和VR航拍的问题等等。

2.1、VR相机的类型

目前我们有很多类型的相机系统可以用来拍摄VR内容,并且这一领域也在逐渐扩张。每一款相机都有自己的优势和不足,下文中我们将介绍其中主要的几个种类。除这些之外还有其他很多种全景相机设备,但我们并没有提到它们,因为此类设备无法用于视频拍摄,比如栅缝扫描摄像机。如果可能的话,能够根据自己的需求去尝试每一种相机将会是极好的。

2.1.1、全景相机

这类相机系统通常是受到飞行昆虫的启发,其中包含多个单独的摄像头模块,并且被组装成一个球形、屋顶形或者其他形状。“Panoptic”这个单词来源于希腊神话中的百眼巨人阿耳戈斯,即“Panoptes”。他是一个有着一百只眼睛的巨人。Jaunt的相机系统,包括Jaunt ONE,就属于这一类。

这是到目前为止最流行的VR相机类型,许多公司都涌进这一领域,设计出轻量级的相机支架,来支持多个现成可用的相机模块–通常是GoPro。由于GoPro足够轻便,并且相对来说不是那么贵,已经被证明是行之有效的组装VR相机设备的相机模块。实际上,Jaunt的首个相机产品,即GP16,就包含16台GoPro,组合安装在一个定制的3D外壳里。

然而,使用基于GoPro的相机系统会出现很多问题,包括图像质量问题、散热问题、最重要的是,缺乏同步机制。在拍摄VR内容时,保证你所有的相机模块能够同步是极为重要的。只有这样,重叠部分的图像才能够精确匹配,并且在后期制作中可以很容易地进行拼接。虽然使用简单,但是GoPro相机并没有内建的同步能力,即使在后期处理过程中根据声音和视觉的线索做好了同步,也会随着时间的推移而出现偏差。

当然这并不是说要摒弃GoPro相机。仅仅是它能够组成很多不同类型的VR拍摄设备这一事实,就足以称之为一个壮举。但是它最初并不是为了为了这一任务而设计的,而且其缺陷也逐渐暴露了出来。

Jaunt接下来继续努力开发了内建26个定制相机模块的Jaunt ONE,可以提供四倍大的传感器尺寸,在弱光环境下的表现也更好,可调十一个档位的更高的动态对比度,更好的色彩还原,可以防止快速移动物体导致的画面撕裂的全局快门,当然还有最重要的可同步的相机模块。

现有的任何相机系统的多相机模式就是为了提供图像的重叠。你需要足够多的相机来提供图像间有效的重叠,重叠部分大概要占到15-20%,这是为了把临近的帧适当地拼接起来–如果你想要提供立体拼接的话,你还需要更多的相机。你的系统中有更多的相机,图像之间就会有更紧密的联系,这样在拼接过程中就能提供更小的物距,可以让物体更加接近。在下文的“拼接步骤”和“物距”部分可以获得更多信息。

2.1.2、Mirror Rigs

另一个比较常见的全景360°相机是mirror rig。这种设备基本上是多台相机放置在一个原型框架里,镜头向上拍摄那些以一定角度安放的朝向外侧的镜子中的影像。此类产品有一个很好的例子,便是Fraunhofer OmniCam。

这些设备可能是单视场的,也可能是立体的,由于其中包含了镜子,通常比其他种类的全景拍摄设备要更大更重。但是此类设备还有一个很大的优点,就是这些镜子可以让相机拍摄到镜子中的虚拟节点,这会造成最小限度的视差,甚至还可能没有视差。这会让拼接变得非常简单,而且基本上不会产生伪影。

由于这个原因,许多此类相机设备支持实时拼接和实时的360°图像传输。使用两个相机拍摄每个镜子中的影像,你可以进行无缝的立体拼接。此类设备主要的缺陷还是尺寸和重量的问题,并且在进行实时拼接时,必须要连接到相当强大的电脑上。

2.1.3、鱼眼

许多消费级的全景相机都是此种产品。因为他们相对来说很便宜,小巧,轻便,并且通常在相机内部就可以很容易地拼接。有的产品使用了一个镜头,比如柯达的360度运动相机。还有每个镜头可以拍摄180度的双镜头方案,比如理光的Theta,通过将两个镜头拍摄的内容拼接在一起,可以捕获完整的360度场景。

虽然它们使用起来很方便,并且很容易进行拼接,但是此类相机的拍摄质量相对要低。许多此类产品还可以串流到iPhone或者安卓设备上,使其很适合用作远程监控用途,如果你的VR相机不提供此功能的话,可以考虑使用此类设备。在下文的“在线预览”部分可以获得更多信息。

当然,还有针对专业消费者的此类相机,它们通常具有更大的镜头和传感器。不幸的是,所有此类设备只能生产出单视场图像,并不是立体3D图像,降低了用于VR时的沉浸感。

2.1.4、光场相机

光场相机是最近才来到全景拍摄市场上的新技术。虽然它代表着虚拟现实电影拍摄的未来,但其实际使用还是有些遥不可及。这类设备并不是通过镜头收集光线,并且投射在传感器上。而是包含了数百个极小的微型镜头,可以捕捉到每个可能的方向传来的光线。

这种设备可以在后期制作时做出一些非常惊艳的事情,包括在佩戴头显的时候通过摆动头部来切换视差,重新聚焦图像,生成景深数据和立体3D数据,以及在不使用绿幕的情况下进行抠像。

光场相机首次被消费市场熟知是由于Lytro Illum静态相机。最近,Lytro进入了专业视频领域,推出了用于VR的Lytro Cinema和Lytro Immerge两款产品,你可以在Lytro官网上查看更多信息。

大部分用于拍摄视频的光场相机并没有像静态光场相机那样使用微型镜头阵列,而是使用了非常多的相机模块,并且安装在网格或球形结构中。通过一些奇特的处理方法,这些多重视频串流信号可以被打包成一个经过压缩的光场格式,你可以在视频播放的时候在其中走动–虽然会有些受限。

你的运动范围会限制在与圆形场地直径相当的范围内,或者是布置这些相机的网格的宽度范围内,也就是取决于其拍摄场地的大小。虽然你不能在屋里随意走动,但是你可以移动头部,并且看到不断变化的视差,这可以帮助你最小化VR中会遇到的晕动症。

不幸的是,这些相机在实际拍摄中的使用是受限的,因为它们需要一个很大的计算机阵列与相机系统链接,来进行数据的捕捉和处理。另外,光场电影串流虽然是被压缩过的,但对于处理、下载来说还是太大了。以今天的带宽水平,串流将会是极为困难的。

虽然目前拍摄光场影像是很困难的,但是可以使用oToy的技术来以CG的形式对其进行渲染。你可以在oToy的官方网站上找到描述全息或光场视频渲染的演示视频。

2.1.5、摄影测量法

为了能够全面了解VR内容的拍摄,你需要彻底改变你的想法,从目前的“由内而外”的方法论转变为“由外而内”的视角。也就是说,并不是用一个所有相机都向外拍摄场景的阵列来进行拍摄,而是用一个全部向内的相机阵列来环绕整个场景。

微软曾经为其增强现实头显HoloLens开发了一种基于视频的摄影测量法,主要是为了创作全息视频。该技术名为“自由视点视频”。一组相机阵列环绕在绿幕舞台周围,从不同的角度捕捉视频,接下来使用先进的摄影测量法来创作出全3D的网格,其中还包含场景中所有物体的投影映射纹理信息。微软的这项技术使用了先进的网格镶嵌、平滑的网格还原以及压缩技术,来创作出你真正可以在其中走动的VR或AR场景。

更多关于该技术的信息可以在微软官网查询。

另一家探索该领域的公司是8i。他们使用了类似的相机阵列,来捕捉他们所说的容积视频,并存储为一个拥有专利技术的光场格式。这项技术并不会创作出完整的CG网格(当然这也是一个选项),但同样允许你在场景中随意走动,或者从任何角度进行观察。更多关于该技术的信息可以在8i官网查询。

无论采用了何种技术或方法,先进的实时摄影测量技术将会在不远的将来成为一项重要的视频捕捉技术,使用该技术,可以让你完全沉浸在任何场景中。随着技术的进步和成本的降低,消费者们可以以前所未有的方式连接全息视频和真实环境。

2.2、拼接方法

当你使用360°相机拍摄完场景之后,你需要将所有这些相机拍摄的单独的画面进行拼接,以创作出一个单独的、无缝的360°球形图像。要想创作出没有视觉可见的缝隙或伪影的图像是VR内容拍摄过程中最难的工作之一,并且也是最浪费时间的工作之一,特别是在创作3D图像时更是如此。

Jaunt的云服务JCS已经将这一过程简化成了近乎自动的过程,目前已经支持Jaunt ONE和诺基亚OZO相机。下面我们列举了多种拼接方法,Jaunt在此之前已经尝试过其中一些方法,但就目前而言,光流是能够提供最佳的无缝3D拼接效果,并且人工干预最少的方法。

2.2.1、几何方式

几何方式的拼接是目前大多数现成的拼接工具所使用的方法,比如Kolor Autopano,并且是在Jaunt的GP16相机上首次使用的拼接方法。使用这种方法,在拍摄时由镜头产生的每张图像中的桶形失真都会被修正,图像会根据其中的相似点来排列,然后被平滑地融合在一起。这种方法可以创作出完整的360°*180°展开状圆柱投影球形图像。

在立体3D中进行拼接要更加困难,并且需要在环境中先创作一对虚拟的立体相机,以此来使用图像中的每一个切片提供左眼和右眼的观看效果,才能进行拼接。

正如上文所提到的那样,这种拼接方法并不总是完美的,并且可能会导致可见的缝隙或3D伪影,因为部分场景的景深数据并不正确。考虑到这一点,Jaunt才转向了接下来要说的光流拼接法。

2.2.2、光流

Jaunt目前就在使用并优化光流算法,作为Jaunt云服务的在线拼接平台的基础,支持Jaunt ONE和诺基亚OZO相机。

光流是一项已经应用于电脑图形领域有一段时间的技术。它有很多的应用领域,包括运动的估算、跟踪、相机的创建、蒙版的创建,以及立体视差的生成。作为核心,光流算法会计算场景中每个像素的移动,并且通常是一帧一帧地对拍摄的内容作出基于时间的分析。

比如,在拼接一个立体全景图像时,流图会被用来跟踪那些相邻的相机所拍摄到的独特的像素,比如场景中出现的视觉元素。通过将此技术与现有的相机所拍摄的几何结构和镜头特征相结合,就会让判断相邻相机所拍摄的每个像素的距离变为可能。同时也能生成一个整个场景的差异(景深)分布图。

这个差异分布图可以用来在拍摄360°的立体3D内容时,插入分别针对左眼和右眼的虚拟相机。这种技术能够提供更好的景深感知,同时产生更少的伪影,并且缝隙可以忽略不计。然而,这种方法并不是完美的,一些错误也会出现在流图的生成过程中,或者可能会在一个或多个相机被物体挡住时,产生盲点。在这种情况下,需要对被挡住的部分进行估计,并且这些物体周围会产生名为“光晕”的伪影。

通常,物体离相机越近,相邻的相机就越难以看到相似点,这就会导致更加繁杂的估算和更大的光晕伪影。想要了解更多信息可查看下方的“避免伪影”和“物距”部分。

不幸的是,目前的算法想要完全估算出所有的错误基本上是不可能的,所以就需要后期制作来修正这些问题。想要了解更多信息可查看下方的“后期制作”部分。

2.2.3、实时拼接

实时拼接使用了类似上面的方法,但很明显的是,这些处理过程必须实时进行,这样才能实时传输360°图像。目前仅有极少数产品能够做到实时拼接,或者说能够做好实时拼接。大部分此类设备要么不是真正的360°,而是180°,要么是单视场而非立体3D画面。

目前可用的一个方案是VideoStitch,可以让你通过该公司的Vahana VR产品做到单视场实时拼接,并且他们的立体3D实时拼接技术也即将到来。作为一款软件解决方案,它可以支持很多类型的相机设备。在VideoStitch官网可以获得更多信息。

许多的实时拼接解决方案都是对应上述的mirror rig类相机,因为此类相机的设备可以允许更加简单快速的拼接。Fraunhofer OmniCam就是这样一款产品,目前已经有两个型号,一个型号支持单视场拍摄,另一款可以支持3D 360°串流的实时传输。可以在上面的mirror rigs部分了解更多信息。

2.2.4、避免伪影

上面介绍的这些相机方案和算法都有各自的特性,但在拼接时都会或多或少地产生伪影。几乎所有的算法都会产生不同种类的让人生厌的伪影。如果场景拍摄正确的话,这个问题出现的概率是可以降低的。所以,你的确值得在调查和测试上花费一些时间,来检测相机和算法的关联是否合适。

这里我们以Jaunt ONE相机及其使用的基于光流的拼接算法为例,我们有时会在移动的物体或离相机太近的物体周围看到恼人的光晕。这种问题通常由于进行拼接时,光流算法在寻找相邻相机拍摄的相似像素时比较费力所造成的。如果一个人站在室外非常明亮的物体面前,算法就很难分辨不同的像素,因为所有这些像素的值都与物体的像素基本相似,而且在这个场景中没有细节信息。

同样的,如果有很多看起来完全一样的点,你也会遇到这样的问题。如果一个人站在有着规则的纵向直线的报纸面前,光流算法就很难分辨出很多看起来完全一样的点该如何匹配。

解决办法是,将你要拍摄的物体与背景区分开,以保证没有像上文所说的报纸那样,出现相似的重复细节。或者调低相机的曝光来降低亮度,以获取更多的图像信息,利于算法识别图像。

如果要拍摄的物体离相机太近的话,也会出现这样的问题。如果物体离得太近,一台相机可能会看到场景中的细节,但这些细节或许在相邻的相机所拍摄的场景中被这一物体被挡住。这样一来,算法是没有办法“绕着观看”这个物体,来完成像素的比对。围绕着这个物体的周边区域就会出现光晕,而且由于一帧一帧地进行拼接,这个让人头大的问题又会不断出现。

解决这个问题的办法很简单,把要拍摄的物体往后移动。对于Jaunt ONE相机来说,要拍摄物体的最近的安全距离在4-6英尺(约1.2-1.8米)。

算法正在变得越来越智能,如果没有被淘汰的话,我们期待着伪影在不久的将来能够越来越少。就目前而言,虽然你可能无法彻底消除伪影,但你可以通过花时间思考算法的拼接过程,同时适当控制拍摄的曝光来大幅减少伪影问题。

2.2.5、分辨率

我们来谈谈分辨率问题。VR相机中所使用的大多独立的相机模块都是GoPro、计算机视觉相机或者像Jaunt ONE所采用的定制模块。通常其分辨率都是HD(1920*1080)或2K(2048*1556)级别的。当这些图像被拼接在一起之后,很明显,会组成一个分辨率更高的全景图。

以Jaunt ONE相机为例,它可以创作出高达12K分辨率的图像。使用今天的技术来处理这样尺寸的图像完全是不切实际的。就在几年前,整个行业还在忙于应对HDTV或2K级的图像。很快,这个行业迎来了立体3D,超高清UHD和4K、高动态对比度HDR、广色域、高帧率HFR等等图像技术,每种技术都有成倍提升数据量的潜力。

在以前,这些技术都曾遇到过瓶颈,现在我们又迎来了VR,而VR需要把上面这些技术都结合起来,并且我们现在就需要使用这些技术。但是使用现有的技术,要在后期制作中处理如此大的文件几乎是不可能的。即使是最强悍的CPU和GPU也无法做到。考虑到这一点,Jaunt目前将输出的分辨率限制在3840*3840,并且提供左/右格式的立体3D画面,帧率为60fps。

即使是这种体量的文件,在后期处理时也很费力,并且需要足够强悍的设备来进行如此高分辨率和帧率的画面合成、编辑、色彩较准和CGI工作。并且,虽然我们可以压缩下最终文件以分发给消费者,世界各地的带宽又各有差异,也是一个问题。

最后,最大的瓶颈在于最终播放设备。虽然你一直想对于这种全新的媒体保持前瞻性,但你必须要知道,目前所有的主流头显,比如Oculus Rift、HTC Vive和PSVR目前的分辨率仅有单眼1K。这种情况当然会逐步改进,但是,你需要平衡下人们对更高分辨率的渴求和实际情况。技术会随着时间逐步提升,我们也将可以提升图像的分辨率和保真度。

最初发布于2017年2月10日

Jaunt VR电影拍摄指南中文版 第一章

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。首先为大家带来的是该指南的第一章,主要讲述了虚拟现实的两大类型、VR电影的基础知识等等。

1、虚拟现实基础知识

据维基百科,虚拟现实是一种计算机技术,可以复制真实的或想象中的环境,并且可以模拟用户的临场感,用户可以与其环境互动。在电脑或者手机上,这通常意味着屏幕上呈现的视觉内容和扬声器或耳机呈现的听觉内容。可供触摸或可提供反馈的设备也正在涌现,提供嗅觉和味觉的设备还需要一段时间。

对于任何形式的虚拟现实来说,其关键都是临场感和沉浸感。正是这些使其区别于以前的其他媒体,并且能够把素材创作出一种强烈的情感联系。Chris Milk是早期的VR电影导演之一,他经常引用一个观点,称虚拟现实为“共情机器”。

1.1虚拟现实的种类

虚拟现实有两个基本的阵营-电影级虚拟现实和基于游戏引擎的虚拟现实。区别在于生产手段、回放方法、真实度以及互动内容的多少。

1.1.1 什么是基于游戏引擎的虚拟现实

很长时间以来,当人们想到虚拟现实时就会想到这一种。这是由3D CG游戏引擎实时生成的电脑图形,比如Unity或Unreal。这些内容被生成之后,可以使用特制的头戴显示器(头显)比如Oculus Rift或HTC Vive,这些头显包含运动跟踪功能,用户可以在虚拟现实中走动,感觉就像是真的一样。

这种虚拟现实同样适用于高互动性的内容,可以使用提供手部跟踪控制的Rift和Vive,可以让你拿起并移动物体,比如挥舞一把剑,开枪射击,或者和整个环境进行互动。感觉很像是自己进入了一场游戏。

并不能说第一批VR头显主要针对重度游戏玩家,就意味着这种技术仅仅是为了游戏而开发。游戏引擎也可以用来创作互动电影或音乐视频,就像是创作游戏那样。因为它们尤其擅长创作出完全不像现实生活的世界。

1.1.2 什么是电影级虚拟现实?

Jaunt专注于电影级虚拟现实。下面就是一段360度电影,使用一台全景摄像机系统,可以作为一个圆柱投影那样进行回放,并且允许观众随着剧情的展开而四处观看。圆柱投影是一个非常好地展示场景的方法。根据摄像系统和拼接步骤的不同,其中的场景可以是单视场的(扁平)或者立体的(3D)。

现在你已经了解到,在电影级虚拟现实中你可以看到非常真实的场景,而在由游戏引擎在电脑上生成的虚拟现实中则不会这样。同时,这些场景在拍摄过程中还会使用空间音频麦克风,来让声音听起来就像真的一样。如果你听到你的右边有条狗在叫,并且转头看左边,你会看到有一条狗就在声音传来的地方。感觉就像是进入了电影场景中一样。

但并不像基于游戏引擎的虚拟现实,在电影级虚拟现实中你无法自由地在场景中移动,除非在你移动的同时,摄像机也随着移动并进行拍摄。随着新的摄像系统的采用和新技术的逐步开发,今后你也将可以在拍摄的场景中进行四处走动。在下文中的“VR摄像机的种类”章节中可以了解更多信息。

虽然电影级虚拟现实并不像完全基于游戏引擎的虚拟现实环境那样充满互动性,你仍然可以为其添加互动元素。以《Choose Your Own Adventure》为例,其中就包含凝视检测、可互动的叠加和界面、声音或图片的触发、手势、甚至加入完整的CG内容也是可以的。

所有这些将会构成一种全新的媒体,这是一个我们刚刚开始意识到其潜力的空白的画布。VR领域的杀手级应用将会融合了电影、游戏和互动影院。现在,我们还在带妆彩排阶段,一切皆有可能。即使是区区五年之后,VR内容也会与今天的截然不同。

1.2、立体vs单视场VR

VR影片素材既可以是单视场3D,也可以是立体3D。单视场的素材是扁平的,并没有景深数据,在360°的可视范围内都是以同样的景深被投射的。当然,你同样可以转动头部,四处观看这个场景,但没有任何的东西会变得离你近一些,只会变得大一些而已。这就像是普通的2D电影中的特写镜头,和3D电影中那些东西会逼真地离你越来越近,并且从屏幕中跳出来所形成的对比一样。

而在360°立体3D影片中,你将获得完整的每个方向的3D观看体验,其中的物体也会真正地离观众越来越近。这会产生更加逼真地、更具沉浸感的感觉,就像是我们在现实生活中所经历的一样。想象一下在VR中拍摄一只水下的鲨鱼的情景。为了达到最大的视觉冲击效果,你会希望观众感受到鲨鱼正在离自己越来越近,并且每个观众都能有此感受。使用立体3D技术,你可以达到此种效果,而是用单视场的话,虽然鲨鱼仍然来势汹汹,但它不会离你越来越近,你将会丢失临场感和沉浸感–当然还有恐惧感。

无论在哪儿,你都应该尽力去尝试拍摄完整的360° 3D内容。但是,为什么并不是所有人都在这样做呢?你可能会想到,这种拍摄需要的设备更加昂贵,而且拼接过程更加复杂,如果没有大量的后期工作和资金投入的话,也不会获得好的回报。Jaunt推出的Jaunt ONE摄像机和Jaunt云服务(JCS)就是为了简化这些程序,最大限度地自动化整个过程。

你可以在Jaunt云服务文档中获取更多信息。

还需要说明的是,并不是每个场景或镜头都缺失需要在3D中拍摄,当然了,也不一定都能做到在3D中拍摄。目前,只有极少数几款360°拍摄设备可以用于水下拍摄。而且由于防水设备的限制,更难以把3D拍摄设备装在其中,所以通常会使用较小的单视场设备。在下文的“水下拍摄”部分可以获得更多信息。

同样,在汽车内进行拍摄时,会受到车内空间的限制,其中的物体会距离很近,这时通常使用一个较小的GoPro式的拍摄设备,并且采用单视场来拼接素材,会获得比较好的拍摄效果。大部分的相机都有最小物距的要求,你必须遵守,这样才能拼接出质量较高的作品,而且在3D拼接时,这一物距的要求会更大。如果你想要离拍摄的物体很近的话,尽量选择单视场的拍摄方法。在下文的“物距”部分可以获得更多信息。

类似的,如果使用无人机的话,重量也是一个问题。所以,在很多情况下,我们还是要使用一个更小的,更轻便的GoPro类设备,并且拼接单视场的素材。在很多情况下,拍摄地会离地面非常远,你也无法获得足够的立体视察,而且观众们也几乎察觉不到。

无论是哪个已经推出的作品,其中的大部分内容都是完整的360° 3D手法拍摄的,其中也有些许画面,比如上面这些情景是使用更小的、更轻便的GoPro设备进行拍摄,并且在单视场中拼接的。如果处理正确并且使用的时机很得当,你的观众们或许不会察觉。

1.3、360°视频

当我们谈论360°视频时,我们必须要澄清一件事。那就是它和VR有什么区别?为了让人们了解VR,并且充分利用现有的重度使用的平台,许多公司,尤其是Facebook和谷歌旗下的YouTube都已经在推广360°视频。这是你可以用浏览器在网页中观看的视频,并且 可以使用鼠标拖动画面,或者在手机APP中,通过把手机移动或旋转来达到同样的效果。

同样,我们的Jaunt手机端和web端应用也可以做到这一点,对于那些暂时无法使用或手上没有VR设备的用户来说,也可以在3D中体验到这些内容。像是Facebook这样的品牌和公司之所以喜欢360°视频,是因为这可以帮助他们撬动所有人都在使用的平台上巨大的用户群体。

然而,要称其为虚拟现实,我们必须要谨慎。如果太多的用户都认为这就是虚拟现实的话,他们或许会认为,他们已经真正地体验过了虚拟现实–并且包含3D中的临场感和沉浸感,以及空间音效–但却并没有多深的印象。我们必须要明确区分360°视频和真正的VR,并且使用前者来激活观众们,让他们体验后者。或者像是3D电视那样,让VR也经历快速的死亡。

而这,也就让我们来继续思考真正地虚拟现实内容的需求到底是什么。

1.4、VR的最低需求

你可以和100个人去谈论虚拟现实的必要条件,但会获得非常多的答案。既然我们在寻找最大限度的沉浸感和临场感–也就是真正身临其境的感觉–Jaunt提出四点最低需求:

360°圆柱投影图像–这是一个你可以上下左右360°观看的场景。有些摄像设备则是采用了180°的特制的相机来进行在线直播,这样可以减少带宽需求,降低拼接的复杂程度。但是,当你看向身体后方时,你会直接离开这个场景。通常为了减少这种身后只有黑色背景的情况,会插入一张图片,比如节目的宣传海报,比赛的比分情况等等。

立体3D–这是比较有争议的需求之一,因为今天很多人都在拍摄单视场的内容,毕竟这种内容在捕捉和拼接时都会更便宜且更简单。然而,想要真正获得临场感–身临其境–也就是VR真正特别的地方,你真的需要尽量拍摄立体3D内容。立体3D就是我们在现实生活中所看到的那样,并且在VR中也同样重要。

空间3D音效–声音是任何电影类产品中极为重要的一部分。它不仅能够提升沉浸感,同时也是像运动和光线那样的仅有几个线索之一,可以用来获得观众对重要事件的注意力,因为观众们可能在看任何地方。捕捉空间音频可以增强你的临场感。

在头显中观看–最后,如果你没有真正的观看方式的话,上面这些都是没用的。虽然经常会有给没有设备的观众创作的360°视频,并且允许你拖动画面。但这种视频并不能看到3D效果,也不能提供空间音效回放。为了达成完整的体验,你真的必须要用合适的头显设备。好消息是,你不一定要购买Oculus Rift或HTC Vive这样的昂贵的设备。市场上还有很多非常便宜甚至是免费的产品可供选择,这些产品会让你目不暇接。

1.5、头显的种类

市面上有很多不同类型的头显设备,它们在价格和性能上的差异也非常大。从非常简单的谷歌Cardboard,到三星Gear VR,再到Oculus Rift和HTC Vive。就像手机和那一套集成电路组件那样–其中包含陀螺仪、加速度计、小型高清屏幕–正是这些复活了曾经的虚拟现实,让Palmer Luckey创作出了首个Oculus头显。手机是这些产品的基础,甚至是高端的Rift和Vive的基础。

较高端的头显可以提供全身的追踪,其中还有些包含了手部控制器,可以提供“房间规模”VR系统,让用户四处走动,并且和环境进行互动。但仅仅使用你的手机加上简单的透镜,也就是Cardboard或塑料外壳的产品也可以让你获得惊人的体验。随着手机生厂商在头显中集成更好的VR子系统,这种体验会变得越来越好。

头显设备的清单还在急速扩充,你可以在网上查询到此类设备的信息。

最初发布于2017年1月23日

[解读]全球首家专业VR影院研究报告

6月12日,国美电器旗下首家VR影院正式开启。作为“全球首家专业VR影院”,国美VR影院历经一年的时间,由来自十二个国家的团队成员共同参与设计施工建设,占地面积近300平方米,是全世界专业化程度最高的交互式VR影院。

该影院采用了3D建筑打印技术,激光区隔观影区域,现代化、科技化效果与传统印象中观影大厅截然不同。另外,还采用了由悦诚科技自主研发的VR影院远程控播系统和云计算平台,也为这座VR影院注入了更多科技感。

在试营业期间,悦诚科技联合HTC Vive一起开展了一次关于VR影院的问卷调查,获得了163份有效问卷,并发布了《全球首家专业VR影院研究报告》。虽然调查样本较少,但作为一次尝试,其中的有些数据还是值得我们参考的。

悦诚科技表示,在该VR影院开业初期,特意设置了一个月的时间免费对外开放,目的就是获得一些媒体和消费者的反馈,从而不断改进工作。在此期间,总计有近2000位体验者走进了这家VR影院。以下为该报告的主要数据及解读。

报告首先公布了VR影院对消费者开放两周的客流变化图,可以看到在工作日期间,客流量很低。悦诚科技认为,随着VR影院正式运营,预计周末客流量将会有明显提升。

在收集到的163份有效问卷中,男性体验者占据绝大多数,为79%,女性仅占21%。貌似与VR行业从业者目前的性别比率基本一致,与之相比,传统影院的消费群体在性别方面的差异并不会如此悬殊。年龄层分布上,全部处于25至40岁之间,也与VR行业从业者的年龄分布基本一致。

结论:参与者普遍年轻,男性居多,这是新型科技尝鲜阶段的普遍现象。

通过何种渠道了解到这家VR影院?有效数据中的大多数体验者表示是通过微信、微博等社交媒体了解到VR影院,因此,互联网宣传是最重要的途径,另外口碑效应也是一个不容忽视的因素。

至于体验VR影院的理由,超过半数的有效数据表明,对新事物的好奇心是吸引大家的主要原因,此外体验者中还不乏VR资深发烧友,毕竟目前在国内“VR影院”还是一个新概念,不少VR行业从业者也在这段时间内前往国美VR影院一探究竟。

影院中的主要设备是6台HTC Vive和25台三星Gear VR。二者都是目前主流的VR头显设备,但在笔者看来,真正适合VR观影的设备,应该是VR一体机,无论是成本,还是使用的便利程度,都更加适合VR影院这种场景。

接下来是一组用户对这两款VR设备满意程度的调查数据,分别从重量、舒适度、内容质量、音效质量、操作难易五个维度进行调查。

总体满意度上, Vive更胜一筹。Vive的优势在于其内容,悦诚科技认为,高端VR虽然昂贵,却能提供最好的体验,然而对于经营者来说,空间成本和运营成本也是不得不去考虑的重要因素,因此VR一体机和PC VR相结合将成为未来线下体验的完美组合。

在VR设备购买意愿调查方面,数据反映了人们对PC专业设备在线下实体场景体验感受的青睐和对一体VR设备的期待。超过90%的体验者有意愿将来购买VR设备,大多数人对HTC Vive的满意度更高,但数据表明超过60%的消费者未来更倾向于购买价格较低且所需空间更小的一体VR设备和智能手机VR设备。

92%的参与者为首次体验,当被问及“你愿意再次体验吗”这个问题时,竟然有高达99%的体验者表示愿意再次到访。看来这种新奇的体验形式还是很受玩家欢迎的,至于其正式开放营业之后是否还能保持如此热度,还有待观察。

值得注意的是,国美VR影院中并不仅仅提供VR体验,还陈列了一些机器人、3D打印机等高科技产品,这些新奇陈设也有利于吸引更多的体验者。有将近三分之一的观众表示,VR影院的设计超出他们的想象。

在调查报告的最后,悦诚科技提供了如下几点参考意见,对于VR影院行业有一定的参考价值:

内容的有趣程度和丰富性是VR影院长期吸引顾客的关键,未来可增加部分VR游戏场景的设置,如大空间对战游戏等。

观众对价格非常敏感,初期定价门槛要低。普通经营者面临极大的经营压力,单纯依靠销售门票很难维持生计。

消费者普遍在体验结束后询问他们是否可以购买VR设备,并表示他们倾向于先体验后购买。因此VR影院是顾客了解感受VR设备的重要场所,可成为线下VR设备销售的重要场景。

专业服务是提升观众满意度的重要因素,VR影院的员工招募及培训极其重要。在这个阶段对观众的引导教育显得尤为关键,我们发觉消费者在尝试前和尝试结束后都会花相当的时间来了解VR设备和VR内容。

最初发布于2017年7月18日

工业应用领域会是虚拟现实的真正市场所在吗?

“虚拟现实能够产生独特的体验,这种体验在其他任何平台都是无法获得的,并且其产生的体验能够满足不同的需求,来吸引更大范围内容的用户。”HTC Vive的执行董事Vinay Narayan表示。听到他这样谈论VR的潜力,我们并不感到奇怪,毕竟他是市场上仅有的两个VR大玩家之一的高管,但有趣的是,Narayan相信,VR在企业领域还有着大量尚未得到开发的潜力。

HTC和Valve合作开发了HTC Vive,这家著名的游戏公司开发了Steam分发平台,以及一些最著名的游戏作品,比如《半条命》和《传送门》系列。并且Narayan也承认,VR在早期的多数发展动力都来自游戏。实际上,当被问及他最喜欢的VR体验时,他承认,他有很多的选择,但他首选的游戏作品当属工作模拟游戏《Job Simulator》。

现在,距离HTC Vive开始接受预定差不多一年的时间了,人们有些担忧消费者对VR的兴趣开始趋于稳定了。比如在看今年1月份的Steam硬件和软件调查数据时,你可以看到在早期的Oculus Rift和HTC Vive份额上涨之后,目前这一份额已经停滞不前。这对于VR来说是一个“凶兆”吗?

“用户登记信息–从他们预定产品开始–这一曲线是非常典型的,”Narayan说道。“这和任何设备会面对的情况都相似,并且虽然我们不能分享具体的销量数据,但这一状况是很正常的。我们仍然在见证着人们逐渐接受这一事物,并且现在最大的增长量来自于一个全新的领域,并不是游戏领域。仅仅在Steam平台上就有超过1000款内容,并且我们期待着在企业应用领域能够迎来大爆发。”

这就是来自印度诺伊达的SmartVizX公司的切入点。有些公司在开发VR游戏,有些公司在制作VR电影,而SmartVizX则在使用VR来设计建筑。Narayan本人也是SmartVizX公司董事会的成员之一,同时这家公司还有来自世界各地的公司的支持。他告诉我们,他在这家公司的角色是比较趋向于实干型的,他可以帮助这家公司确定其VR战略,并且给他们提供一些VR在世界各地的应用方式的观点。

对于那些研究VR的公司来说,无论是在印度还是在世界上其他国家,Narayan认为消费者对于虚拟现实的认知程度,或者说是了解的缺乏,是最大的挑战。“这些人正在做一些非常伟大的工作,但是如果大众们没有意识到这一点,这就会成为一个问题,”他说道。“目前,VR才刚刚起步,还没有很多人了解这个行业,但这一问题在企业应用领域就不那么严重了。”

在游戏以外,他还见到很多公司在为VR开发软件,比如设计工具,同时他还说VR能够用于教育和培训行业。

“对于设计、蓝图和模型,它们都是一种解释的方法,”他说道。“即使是一个建筑物的3D模型也有其局限性。但是在VR中,你可以以完美的精确度来设计原型。你可以让人们进入现场。如果你是一位建筑师的话,你可以让客户在它们的新房子里四处走动,而无需在3D建模上浪费时间,并且可以让他们四处观看,获得一个真实的感受,这将会是极为有益的。”

“这对于教育来说也是非常有价值的,”他补充道。“如果有人想用VR来解决一个难题,他们可以在更具沉浸感的环境中进行。你的意识会更多地沉浸在你所学习的内容中,这会有很大的影响。HTC Vive已经被用来培训消防员。很明显,你不能让建筑物一直燃烧来进行营救人员的培训。这种培训的效果是非常惊人的。”

实际上,在最近的CES 2017展会上公布的Vive追踪器已经被用在消防员培训上。这款配件被安装一个真正的消防水带上,这样一来,就可以在虚拟世界中对其进行追踪。这相比Vive游戏控制来说,用于消防训练时会更加真实。“Vive追踪器将会将其一系列新的体验,无论是在游戏还是在其他领域。”Narayan补充道。

这已经超越了游戏,并且可以探索VR的各种能力。这也是HTC Vive上线其自家的VR应用商店Viveport的部分原因。随着这一平台的发布,目前已经有了三个不同的VR应用商店,即Viveport、Oculus Store和Steam。这并不是一个独占的应用商店,HTC Vive的用户也可以充分使用Steam平台,Viveport也不排除Oculus Rift。

“我们相信,平等地使用VR体验会让世界变得更好,增强我们的日常生活,并且帮助我们更好地连接所有事物。Viveport团队的一个重要目标就是让开发者们接触全球的用户,并且促进此自身的发展,”Viveport的高级副总裁Rikard Steiber 说道。

Narayan解释道,这不仅能够让Vive帮助游戏行业的发展,同样还有其他类型的VR内容。“SteamVR是一个用途非常广泛的工具,但在游戏领域才是最出名的,”他说道。“Viveport将会允许我们推动非游戏应用,并且这在企业应用领域同样能够起到帮助作用。”

当然,问题在于是否会有足够多的用户能够维持对VR的兴趣,并且能够接受这三个内容平台的扩张。部分问题在于高昂的价格–即使是最便宜的PSVR也需要花费399美元,并且你还需要拥有一台PS4来运行它。HTC Vive是目前最贵的VR设备的,价格高达799美元,并且你还需要一台足够强大的PC来使用它。

但是Narayan却不这么认为,他表示人们对VR的认识才是HTC和其他VR行业公司要面对的真正的挑战。“从成本的角度来讲,目前VR设备的成本已经在下降了,”他说道。“我们也在和很多的PC合作厂商一起来帮助降低成本,比如降低最低配置需求,并且发售捆绑套装来降低价格。这回随着时间而逐渐改善。所以目前我们要关注的,是人们对VR的意识。”

最初发布于2017年2月9日

原文链接:http://gadgets.ndtv.com/entertainment/features/could-the-future-of-virtual-reality-lie-in-enterprise-software-1657286

Lytro的光场相机能拍出什么样的VR视频?他们展示了一段Demo

Hallelujah是一段由VR电影工作室Within使用Lytro最新的Immerge光场相机拍摄的全新VR体验。这款相机能够拍摄容积视频,相比传统的360度视频能够带来更强的沉浸感。Hallelujah是由Leonard Cohen于1984年创作的同名歌曲,加上最新的VR电影拍摄技术,以及卓越的空间音效组合而成的,带来了无与伦比的新体验。

Lytro的Immerge相机不同于你以前见过的任何360度相机。它并不是要拍摄“扁平”的画面,而是借助其巨大的相机阵列,可以捕捉同一个场景的不同视角和数据,并且经由特殊的软件,将其组合并重新创作成相机周边环境真正的模样。这种技术最大的好处在于,在回放的时候,用户可以进入到场景的虚拟版本中,还可以在场景中做出一些在允许范围内的动作。但传统的360°视频仅仅能拍摄固定的视角,基本上你的头部是被固定的。更不用提Immerge相机还能够提供真正的立体画面,以及更佳高质量的视频回放了。最终作品相比你看过的传统的360°视频,会是更丰富和更具沉浸感的VR电影体验。

在最近拜访Lytro,参观其最新版的Immerge相机之后,外媒曾经这样评价:“总之,在看到Lytro最新版本的Immerge相机之后,我更加相信,今天的360°电影拍摄手段只是一个权宜之计。而当真正谈及电影级VR拍摄和制作时,容积视频拍摄才是未来,Lytro就位于最前沿。”

当时外媒的文章谈论了大量的技术信息,但当时外媒记者并未谈及让他印象深刻的体验内容。当时体验的内容就是Hallelujah,现在,终于可以谈及这段VR体验了。

Hallelujah是由VR电影工作室Within拍摄的,使用了Immerge相机的容积视频拍摄技术和优秀的空间音效,组合成了无与伦比的VR体验。观看者可以欣赏到Leonard Cohen于1984年创作的同名歌曲。Lytro提供了一些他们所做的幕后工作的介绍。

在Hallelujah中,歌手Bobby Halvorson站在倾斜的黑色背景前,以独唱开场。作为该场景中唯一的人物,观众通过容积视频拍摄技术,能很容易地感受到歌手的形象。而当你向左和向右摆动时,你可以看到Halvorson的脸,但却是以一种在传统的360°视频中完全不可能的形式。有了对景深和视差的感知,你会感觉这个歌手就站在你的面前。

整首歌都是清唱的,没有乐器伴奏,歌手Halvorson就站在左边,右边,以及你的身后,还唱着伴唱音轨。

而视频的观众,就站在中间的一片空地上,距离这些Halvorson的形象只有一臂的距离,欣赏他们唱出的活泼的歌曲。你可以四处观看,听到每个Halvorson唱出不同音轨上的音符。当你转头时,经过精细处理的音频效果会更加明显,每个音轨就恰似来自于对应的Halvorson。这种融合了空间音效的音频极好地增强了观众的临场感,你不仅会感觉Halvorson就站在那里,还能亲自听到他唱出的歌曲。

随着歌曲的进行,你会发现Halvorson的歌声中还包含了独特的且令人舒适的混响。这并不是数字合成的效果。而且在歌唱过程中,他身边黑色的空白会逐渐淡去,你会发现自己站在一个美丽的大教堂的中央。在Halvorson的背后,站着一个合唱团,他们也加入了演唱,为Halvorson的独唱增加了新的音效。

当你转动身体去观察这个新的环境时,你可以看到天花板、墙和窗户的细节,在你身后是一排排空的座位,向远处看,可以看到贯通教堂前后的两条通道。当你收回视线时,歌曲达到了高潮,之后逐渐结束。

整个体验过程也就这周歌的长度(大概5分钟),但是这段激动人心的表演会让你感觉它就是为你而打造的。借助其中的空间音效,以及精心编排和处理的后期制作过程,你会获得独特的深度沉浸感。

不过,Hallelujah在很长的一段时间内,还将仅仅是一个Demo,它不仅仅能够展示出容积视频拍摄的优越性,同时还给予了拍摄VR电影的创作者们全新的想象空间。

最初发布于2017年4月24日

原文链接:http://www.roadtovr.com/shot-lytros-light-field-camera-hallelujah-stunning-mix-volumetric-film-audio/

CES大放异彩的HypeVR拍摄技术解析:这就是VR视频的未来

在去年年底对外透露了这项技术之后,我们终于能够亲自体验HypeVR的Volumetric Video Capture(译为:容积视频拍摄)技术,借助该技术,体验者可以在VR视频四处走动。

360°视频的固有限制因素

今天,大多数的VR视频作品都是以360°和3D的形式来拍摄的。拍摄质量良好的360° 3D视频在VR中观看的效果很不错(比如你可以去看看Felix & Paul的作品)。但是,假设有天我们能够实现视网膜级别的分辨率以及完美的几何学立体效果,就会出现一个360° 3D视频无法逾越的障碍,那就是在视频内部的移动。

今天所有的360°视频(无论是不是3D)中,观众的视角都会锁定在一个固定的有利的角度。不像那些实时渲染的VR游戏,观众不能在视频中走动–甚至是你想靠在椅子上,想让视角随之变动也是不可能实现的。这样一来不仅会沉浸感不足,而且也很不舒适。我们即使是静坐的时候也会经常有头部的轻微的移动,在这时如果虚拟的画面跟不上我们的运动,观看的感觉就会不那么真实,并且也影响舒适度。

VR容积视频拍摄技术

这就是HypeVR开发容积视频拍摄技术的原因之一。他们要做的,不仅仅是拍摄一些360度的照片然后将其缝合(就像传统的360°相机那样),同时还要拍摄每一帧画面中的容积数据,这样一来,一旦作品被回放时,这些信息可以让体验者在视频内走动。

在CES 2017展会期间,我看到了HypeVR使用其怪兽级的拍摄设备录制的原始视频,以及一个全新的,更加生动的体验,是HypeVR和英特尔联手打造的。

在戴上Oculus Rift头显之后,我走进了一个新的场景:一个时长为30秒的越南山谷的美丽风景片段。我就站在一个湖面中央小岛的石头上。除了这些石头之外,整个小岛被郁郁葱葱的野草覆盖,在离我几码远的地方还有农民和正在吃草的水牛。

在我的远处是一片雨林,以及一处风景秀丽的瀑布。水流潺潺,水面荡漾着波纹,冲刷着我所在的小岛,以及长在水边的野草。

其中的画面非常逼真且细腻–感觉比任何我曾用头显看过的360° 3D视频的沉浸感都要强。大部分是由于我能够在视频内部移动。而且是以正常的平行视差,在一个房间规模的区域内移动。这让我感觉好像真的就站在画面中,站在越南的这个地方一样,而不仅仅是目光处在这个环境中。这是我们在观看VR视频时都想要达到的效果,而且VR这种媒介如果想要变得真正有吸引力,就要朝着这个方向努力。

我曾经看过让人印象深刻的使用摄影测量法拍摄的VR体验内容,但是摄影测量法需要拍摄者花费数小时来构建场景,从每一个能想象到的角度取景,并且把所有的照片组合成一个模型。结果可能会很惊艳,但是使用这种方法是无法拍摄会动的物体的,因为你无法足够快速地拍摄包含可移动物体的整个场景。

HypeVR采用了不同的办法,他们的拍摄设备固定在一个场景中,以每秒60次的速度进行拍摄,同时使用了高质量的视频捕捉设备以及深度映射激光雷达。之后,拍摄到视频中的纹理数据会与景深数据进行融合,来创作出每秒60帧的包含场景容积数据的视频。这也就是说,你能够看到水波的运动或者汽车开过,但仍然保持了容积数据,可以让用户在视频的某些部分进行移动。

采用这种容积视频拍摄技术所拍摄的视频中的每一帧实际上都是实时渲染的场景3D模型,在播放时会一帧挨一帧地出现。这不仅允许体验者在其中走动,就像VR游戏环境中那样,同样还是HypeVR的作品如此清晰和沉浸感强的原因–渲染到VR头显屏幕的每一帧画面都是对可用数据的最佳取样,并且都从每个角度对3D数据进行几何学修正(不只是针对那些3D效果最佳点,而是针对整个360° 3D视频)。这种方法也意味着超出视野的内容不会出现问题(这个问题我们在360°相机拍摄的视频中经常会遇到)。

克服局限

HypeVR目前所拥有的技术正是我们想要看到的VR视频应有的效果,但是在制作和分发的过程中还有很多局限需要解决,只有解决了这些问题,这种技术才可以被用来拍摄观众们想要看到的影视级VR内容。

容积数据中的阴影和平移

你可以像一般的阴影那样想象一下:当某件物品从你身边移动的同时,有来自前方的照明源,在这个物体的后面就会有影子,因为光线无法穿过这个物体。阴影的位置取决于光线和物体的相对位置。

虽然HypeVR可以使用激光雷达(激光遇到物体会发生反射,以确定距离)捕捉到场景中的深度数据,这个物体会挡住激光,并且呈现出“容积阴影”。但不像普通的阴影,这些容积阴影会在几何结构的后方留下一个洞,因为相机无法看到物体后面(恰如光线无法穿透这些物体)。

如果你完全静止地站在拍摄点,这一问题不会有任何影响,因为你不会看到被拍摄的物体后面的容积阴影。但是由于观看者可以在空间中走动,他们很有可能看到这些物体后面的情况,也就是会看到那些容积阴影。

我所看到的HypeVR展示内容中并没有容积阴影,这也就意味着这家公司已经发现了解决这一问题(这段内容中存在的问题)的有效办法。

最简单的办法或许是在后期制作时手动修正几何结构,来填补这些洞。这会是相当简单的(比如一个人离开相机几步远的距离),但也可能会极为困难(比如把相机放在浓密的森林中,周围的树和植物都在投射各种各样的容积阴影)。

另一种办法是在拍摄之后插入一个3D模型(这个模型会在真实世界中以摄影测量法进行拍摄)到场景中,这样一来,一开始就不会出现阴影了。这是个简单的方法,因为整个场景都已经被渲染成了3D几何结构,就像是一个游戏环境那样,所以插入更多的3D物体相对来说更加直接。

最后一种办法可能是容积视频拍摄技术最终的发展方向–一个在繁杂的后期制作过程中进行的实时进行的场景拍摄与CGI模型的融合(类似我们今天看的电影大片的制作方法)。

移动拍摄设备或许会让事情更为复杂,因为这将会引起容积阴影出现在场景中的各个位置。HypeVR告诉我们,他们还没有进行过移动摄像机的尝试,以确定其技术是否可以处理平移问题。如果被证明拍摄设备在录制时不能移动,这也不一定会引发问题。这需要根据移动设备对VR电影拍摄语言的重要性来决定。目前,许多的360° VR视频制作都是使用固定位置的相机来完成的。

下载量大小和数据压缩

HypeVR所使用的拍摄设备是14台RED相机,每台相机都能拍摄60FPS的6K分辨率画面。同时还有激光雷达数据记录在每一帧中。处理和重新整合这些数据以达成最终状态需要花费大量的时间(通常每帧需要花费6分钟,在本地处理的话)。在所有的画面都被成功渲染之后,用户还需要从网上获取这些视频,虽然在拍摄时每30秒占用2GB,这还可以忍受。每30秒2GB的视频其实是一个巨大的进步。在不久之前,HypeVR拍摄的视频每30秒能达到惊人的5.4TB。

像是HypeVR这种容积视频拍摄技术仍然需要更好的压缩技术,来压缩成更加实用的文件体积。而在消费者这边,更快的网络连接也扮演了重要的角色,可以让这种VR视频能够更快地进行传输,观众无需等待过大的下载量就可以观看。

总之

目前的容积视频拍摄技术还有很多挑战需要面对,但这对于任何新的电影拍摄技术来说都是一样。HypeVR已经证明,拍摄这种人人都想体验的引人注目的实景VR视频是可以做到的,同时还可以避免和减少局限性。在不断变得更加复杂的影视制作过程中使用这项技术需要明智的导向以及新技术的开发,以获得更加实际的制作时间和更加完美的最终产品。如果HypeVR公司的作品就是这样的一个迹象,那么最终的结果会值得这样努力。

最初发布于2017年1月11日

原文链接:https://www.roadtovr.com/believe-hype-hypevrs-volumentric-video-capture-glimpse-future-vr-video/

这个在中国探索VR电影的美国人 对于VR电影有何不同看法?

在12月的一个下午,Kevin Geiger正在进行关于VR中的故事讲述的一次再普通不过的演讲。地点是北京电影学院里一个围的水泄不通的场馆,他鼓励大家都来参与电影制作,无论是导演、演员还是电影行业的任何一个角色,来为VR这个新媒介带来不同的新观念。

作为北京电影学院国际动画与VR研究中心的创始人和特聘教授,Kevin Geiger就处在探索VR电影在中国的前景的最前沿。Kevin Geiger本人也在制作电影,同时还在为北京电影学院数字媒体学院设计新的沉浸式媒体课程。

从2014年Facebook收购Oculus VR开始,中国对VR的兴趣就在与日俱增。这次数额达20亿美元的收购引起了投资者对把低成本VR设备带到中国市场的兴趣。截至2015年年底,就涌现出了100多家头显生产商,其中包括大量的类似谷歌Cardboard和三星Gear VR的设备。

现在,这个行业迎来了硬件之外的新的机会,那就是软件内容,当然还有Kevin Geiger所关注的故事讲述。现在,已经有VR创业团队探索使用VR应用来治疗抑郁症,或者开发VR影视编辑软件,以及VR动画制作软件。

这方面的消费需求也相当旺盛。根据中国电子标准化研究所的数据,中国的VR市场将会在2020年超过79亿美元的规模。这是隶属中国工信部的一个研究所,拥有制定VR行业标准的职权。

中国也是世界上增长最快的电影市场,根据Deloitte的数据,在2015年全年,中国的电影票房就已经达到了63亿美元的规模。Kevin Geiger认为,如此大的市场,足以让电影行业认真对待故事片。这也是促使他重新启动独立工作室Magic Dumpling的理由(这家工作室是他在2009年和几个中国的合伙人一起创办的)。由于有些敏感的政治题材电影可能会遇到种种限制,Kevin Geiger表示他的目标是创作出可以让人们了解到现实社会的VR娱乐内容,并且给观众以思考的空间。这对于疲于发掘枯燥的历史题材的中国电影人来说,也是一个新的选择。

Kevin Geiger和他在Magic Dumpling的伙伴们曾经开发了受中国文化启发的动画形象,其中包括Tofu Boy,在情绪波动时会改变表情的一个淘气的孩子,以及两个石狮子,名为Stoney和Rocky。这些形象在2012年Kevin Geiger加入这家公司时被迪士尼收购了(他在2015年离开了这一职位)。

Kevin Geiger是一个谦逊的俄亥俄州人,他的经历证明,他对技术革新具有很强的适应能力。在从大学的绘画专业毕业之后,Kevin Geiger意识到,电脑生成的图像将会接管手绘动画,因而他开始学习编程。并且在1995至2007年间在迪士尼从事动画工作,在参与了《幻想曲2000》和《恐龙》这两部电影的制作之后,他成了《四眼天鸡》这个迪士尼首部3D动画作品的电脑图形顾问。

在2008年,他受邀在北京电影学院动画学院讲授课程时,Kevin Geiger看到他的生活与很多电影中出现的场景有些类似,他并没有想到会从事这一行业。用他自己的话来说,看到VR在中国迅速起飞,也是促使他长期在中国工作的催化剂,也是一次新事业的尝试。

根据南加利福尼亚大学影视艺术学院老师Eric Hanson的说法,中国的消费者们对VR的快速接受也给予了Kevin Geiger更好的机会来在中国推动VR事业,美国市场是无法与之相比的。这位老师同时还在加利福尼亚的xRez工作室开发VR内容。

为了启动北京电影学院新设立的VR中心,Kevin Geiger提出了多个新项目,已在充分利用VR的能力来让用户直接进入到故事中。在VR中,观众不像传统影院中那样全程只盯着一个方向,电影制作人们必须了解如何在观众们观看与故事发生地相反的方向时,还能继续讲述这个故事。Kevin Geiger的解决办法是允许观众探索电影,但是会构建一种方法,在故事的关键点把观众拉回到故事场景中,也就是观众们为了继续观看电影所必须了解的场景。

他首批项目中就有一个正在筹划的VR短片,名叫《Four Dishes and a Soup》。其故事线很简单–一个外国人和他的中国女朋友的家人们共进晚餐–提供了中国人比较关注的适应外国人习惯的一个探讨,同时还保持统一性。在今年的早些时候,开始写剧本之前,他将会和演员们一起与一个中国家庭共进晚餐,使用一台全景相机,以外国人的视角来记录演员们的即兴表演。

其他正在计划中的项目相对于他们的专业来说要更加传统一些,比如其中有一个项目准备创作一个VR体验,可以让国外的游客们在兵马俑之间行走,并且了解其中的故事。

他在中国工作时,Kevin Geiger热衷于分享他的专业知识,并且在于中国学生互动时尽量避免散播其西方哲学。

当然他也发现了一些文化上的差异,其中有些需要敏感对待,因为可能会影响到他的VR事业。比如说,西方的编剧可能(就像Calder Willingham和Buck Henry在电影《毕业生》中所做的那样)会让男主角在女主角准备嫁给另一个男人的时候,冲进教堂并且当着整个大厅的陌生人们表达他的爱意,而中国的编剧则可能让男主角去挑战要和女主角结婚的男人,但男主角不会表达他的真实感受。

同时,还有商业模式上的差异。西方的惯例是,如果电影没有完成的话,需要用保险来补偿投资人,但是中国的制片人们会认为这并不必要。Kevin Geiger说。

他在中国完成的早期的VR影视作品并不是完整长度的电影,而是短片、商业导向的片段,比如广告和推销用的视频。

在中国,VR体验店正在以敏锐的商业思维提供着射击游戏和电影短片,每个人的消费大概在7美元左右。Secret Location工作室的监制Eric Shamlin认为,这些将会是推广可探索的内容的场地。这家工作室在多伦多和洛杉矶设有办公室,并且凭借其创作的VR体验获得了2015年的艾美奖。Eric Shamlin本人也曾在中国旅行,来探索潜在的商业合作。

想要让真正的VR大片席卷中国的电影市场可能还需要一些时间,部分原因是投资者们进入VR电影领域是比较困难的,同时还因为电影制作人们还在寻求可使用的叙事语言。Eddie Lou表示。他是Sandman Studios工作室的创始人,这家位于北京的初创团队主攻VR动画形象创作。“大家都在尝试,”Eddie Lou说。“但这是一个非常激动人心的过程。”

最初发布于2017年1月11日

原文链接:https://www.technologyreview.com/s/603218/the-man-selling-virtual-reality-to-china/

威尼斯电影节最佳VR体验奖正式揭晓 这是一部怎样的作品?

笔者得知,第74届威尼斯电影节公布了获奖名单,中国台湾新媒体艺术家黄心健、美国前卫音乐教母Laurie Anderson共同创作的VR作品《沙中的房间》喜获最佳VR体验奖。

威尼斯电影节今年首度开设VR电影竞赛单元,三部中国VR动画作品入围竞选,分别是《拾梦老人》、《Free Whale》和《窗》。另外HTC Vive和Jaunt中国联合出品,由中国台湾导演蔡明亮执导的VR电影《家在若兰寺》也成功入围。

黄心健领奖致词时表示,拍摄VR对他而言是很特别的学习经验,他也感谢今年2月才过世的父亲、妈妈、家人和太太、台湾国立政治大学以及HTC等支持,才能顺利完成创作。

黄心健在Facebook上表示,制作《沙中的房间》期间,父亲病危送入加护病房,直待他从美返台的隔日过世,他想将荣誉和这部片子献给父亲,“感恩他在天上的保佑。”

这次黄心健和全球21件作品一同入围的VR作品在15至17世纪的特别隔离区Lazzaretto Vecchio小岛上放映,采预约制看展,奥斯卡作曲家本龙一也到场观看《沙中的房间》。

《沙中的房间(La Camera Inssabiata)》源自《未来剧场》,《未来剧场》是一个从2016年初开始的一个跨国合作计划,黄心健表示其有幸与多年好友,也是跨界传奇艺术家Laurie Anderson合作,发展建构于VR的作品。期间经过台北与纽约之间的往返,无数次的skype线上会议,密集的fast prototype快速概念制作后,两个VR的作品逐渐成形:一个是《沙中的房间》另一个则是《高处》。

《沙中的房间》是一个庞大的虚拟空间,有如巨大的记忆迷宫。参访者可以有如身在梦中一般,在其中自由飞行,里面有八个独特的房间,像是如同星云旋转的文字银河,或是参访者的声音会凝结成为声音的雕塑,画作逐渐转化为文字,消散于空气之中…这些独特的互动房间,将抽象的符号转化为具像、可以互动的实体,让参访者探索文字与记忆的连结。

黄心健进一步表示与Laurie合作,永远是一个充满挑战与学习的过程。如果说新媒体艺术是在探讨科技媒材在艺术上的使用,那Laurie的声音、音乐与叙述的故事,可以被称为“灵魂的素材”,裡面充满了对于生命的感动,让其有着发自灵魂深处的颤动;并有幸可以成为第一个使用这媒材应用于VR之中。

据了解,黄心健现任台湾国立政治大学传播学院数位内容硕士学程专任教授,1988年台大机械工程系毕业后赴美,在芝加哥伊利诺理工学院取得设计硕士与博士候选人资格后,曾担任美国SONY及SEGA等电脑娱乐公司艺术总监,期间多次获得多媒体设计大奖。并参与过台北故宫未来博物馆、上海世博会台北馆、台北101公共艺术等,并参与歌手周杰伦、周华健、李宗盛等演唱会视觉创作。

最初发布于2017年9月10日