Facebook新款24目相机上手体验:六自由度的容积视频长这样

大多数的360°内容并不尽如人意,无论你是否认为这种内容是不是真正的VR,真相是,其中大多数内容根本不值得辩论。那些优秀的团队,比如即使是Felix and Paul,他们也有20来个低分辨率的作品勉强可看。但即使是我见过的最棒的360°视频,跟我刚刚在F8大会期间拍摄完成的作品相比,都是垃圾。

Facebook和FLIR的新相机的展位隐藏在圣何塞会议中心的一个侧厅里,并且仅对被邀请的媒体进行展示。x24和x6相机都在Facebook Surround 360的展示区陈列着。在被引导经过多重安检之后,我终于进入了这个被几面临时墙分割的房间中,在房间的中央,摆放着这两台备受关注的相机。

Facebook Surround 360团队的工作人员向我展示了首批Demo。第一个看到的是x24配合Oculus Rift展示的项目。

在戴上Rift头显之后,我看到了一个貌似是标准的,但分辨率却非常高的360°视频。我站在一个大屋子的阳台上,这个屋子看起来就像是一个华丽的室内热带雨林。在这里我能听到河水在某处流淌,轻风从树叶间穿过。在我沉醉于这高画质的视频时,工作人员提示我,将会想我展示Facebook Surround体验项目真正的魔力:可以在视频中自由走动。

在按下一个按钮之后,我所见到的世界产生的剧变。我刚刚看到的棕榈树突然变得近在咫尺,而非平时所见到的二维画面。在地面离我远去时,我突然感觉到了自己在升高。我周围所有的事物都从平面变成了饱含充满活力的深度信息和色彩的世界。即使在这样的场景中,图像还保持着极高的分辨率。唯一的缺陷在一些拼接的边缘还存在少许模糊现象。

接下来更酷的事情发生了,当我沉浸在这个环境中时,我被告知可以向前走一步。当我真的迈出一步时,周边的环境也跟着我的步伐产生了变化,就像我真正走动时周围会产生的变化一样。有生以来我第一次在360°视频中走动,我情不自禁的笑了起来。坦率的说,要不是拼接出现的模糊和一些小问题,我会认为自己真正站在这个室内的植物园里。

接下来我又体验了另一个场景,一些观众在观赏热带水族馆,旁边有一位引导员在讲解热带鱼。这次,作为对比,我也观看了传统的,扁平的360°视频,和Facebook全新打造的可走动的3D体验。其中的不同之处是非同寻常的。这些提供临场感的因素会让你想到使用Unity引擎打造的CG体验,但是却又包含了高分辨率的视频,而非来自Unity商店的内容。

这并不是说Unity引擎已经远远落后了,我下一个体验的Demo是在OTOY的展区,这家公司是Facebook Surround团队的早期合作伙伴之一。OTOY向我展示了使用x24拍摄的一个简单的公园场景。我再一次被难以置信的图像保真度和三维呈现方面的提升震撼到了。不过与前者不同的是,实际上OTOY是在Unity引擎中实时渲染的这些照片级的图像。这也就意味着,我可以使用基础的Unity光照工具来修改其中的内容。

在按下Oculus Touch的一个按钮之后,我关闭了阳光,启用了一个全新的光源和角度。也就是说,我可以操作我周围的环境。在这时,我可以对真实世界拍摄的视频进行游戏级别的编辑工作。

OTOY的CEO Jules Urbach这样阐述了产品的概念:“如果将这种技术应用到真正的游戏设计过程,或许某天我们可以见到拍摄的真实场景的大量使用,而非全部使用电脑去生成。”

另一位外媒记者Anshel Sag也体验了这些Demo。他还曾经亲自体验过HypeVR的技术,两者都使用了非常类似的容积视频拍摄技术。Anshel Sag这样评价Facebook的新产品:

“Facebook的容积视频解决方案很明显还在早期阶段,但是通过与OTOY合作,他们以我们可以理解的方式,扩展了容积视频和图像的使用场景。在图像质量和六自由度方面,Facebook的六自由度解决方案还要经过一些研究,才能达到其他六自由度视频的水平,比如HypeVR那种。必须承认,HypeVR的拍摄设备非常笨重而且昂贵,但是能够在今天提供一种顶级的360°六自由度视频体验。由于Facebook研究这一技术才十个月,我猜测他们还会有更多的改进,并且能够最终达到HypeVR如今的水平。”

“我对于Facebook如何将这些相机带到市场上很感兴趣,因为这24目相机是FLIR打造的,6目相机是完全由Facebook打造的。他们选择不开源这些相机,也意味着Facebook想要对未来的合作相机厂商授权这些设计。我认为,在今年4季度到明年1季度期间,随着这些相机逐渐进入市场,我们将看到来自这些相机的内容。”

这类内容的营销、分发和创作仍然有待观察,但就目前来看,Facebook Surround 360貌似是目前最高效的相机平台,并且对于这个快速变化中的行业来说,也是具有重大意义的一步。

最初发布于2017年4月20日

原文链接:https://uploadvr.com/facebook-surround-360-x24-hands-on/

CES大放异彩的HypeVR拍摄技术解析:这就是VR视频的未来

在去年年底对外透露了这项技术之后,我们终于能够亲自体验HypeVR的Volumetric Video Capture(译为:容积视频拍摄)技术,借助该技术,体验者可以在VR视频四处走动。

360°视频的固有限制因素

今天,大多数的VR视频作品都是以360°和3D的形式来拍摄的。拍摄质量良好的360° 3D视频在VR中观看的效果很不错(比如你可以去看看Felix & Paul的作品)。但是,假设有天我们能够实现视网膜级别的分辨率以及完美的几何学立体效果,就会出现一个360° 3D视频无法逾越的障碍,那就是在视频内部的移动。

今天所有的360°视频(无论是不是3D)中,观众的视角都会锁定在一个固定的有利的角度。不像那些实时渲染的VR游戏,观众不能在视频中走动–甚至是你想靠在椅子上,想让视角随之变动也是不可能实现的。这样一来不仅会沉浸感不足,而且也很不舒适。我们即使是静坐的时候也会经常有头部的轻微的移动,在这时如果虚拟的画面跟不上我们的运动,观看的感觉就会不那么真实,并且也影响舒适度。

VR容积视频拍摄技术

这就是HypeVR开发容积视频拍摄技术的原因之一。他们要做的,不仅仅是拍摄一些360度的照片然后将其缝合(就像传统的360°相机那样),同时还要拍摄每一帧画面中的容积数据,这样一来,一旦作品被回放时,这些信息可以让体验者在视频内走动。

在CES 2017展会期间,我看到了HypeVR使用其怪兽级的拍摄设备录制的原始视频,以及一个全新的,更加生动的体验,是HypeVR和英特尔联手打造的。

在戴上Oculus Rift头显之后,我走进了一个新的场景:一个时长为30秒的越南山谷的美丽风景片段。我就站在一个湖面中央小岛的石头上。除了这些石头之外,整个小岛被郁郁葱葱的野草覆盖,在离我几码远的地方还有农民和正在吃草的水牛。

在我的远处是一片雨林,以及一处风景秀丽的瀑布。水流潺潺,水面荡漾着波纹,冲刷着我所在的小岛,以及长在水边的野草。

其中的画面非常逼真且细腻–感觉比任何我曾用头显看过的360° 3D视频的沉浸感都要强。大部分是由于我能够在视频内部移动。而且是以正常的平行视差,在一个房间规模的区域内移动。这让我感觉好像真的就站在画面中,站在越南的这个地方一样,而不仅仅是目光处在这个环境中。这是我们在观看VR视频时都想要达到的效果,而且VR这种媒介如果想要变得真正有吸引力,就要朝着这个方向努力。

我曾经看过让人印象深刻的使用摄影测量法拍摄的VR体验内容,但是摄影测量法需要拍摄者花费数小时来构建场景,从每一个能想象到的角度取景,并且把所有的照片组合成一个模型。结果可能会很惊艳,但是使用这种方法是无法拍摄会动的物体的,因为你无法足够快速地拍摄包含可移动物体的整个场景。

HypeVR采用了不同的办法,他们的拍摄设备固定在一个场景中,以每秒60次的速度进行拍摄,同时使用了高质量的视频捕捉设备以及深度映射激光雷达。之后,拍摄到视频中的纹理数据会与景深数据进行融合,来创作出每秒60帧的包含场景容积数据的视频。这也就是说,你能够看到水波的运动或者汽车开过,但仍然保持了容积数据,可以让用户在视频的某些部分进行移动。

采用这种容积视频拍摄技术所拍摄的视频中的每一帧实际上都是实时渲染的场景3D模型,在播放时会一帧挨一帧地出现。这不仅允许体验者在其中走动,就像VR游戏环境中那样,同样还是HypeVR的作品如此清晰和沉浸感强的原因–渲染到VR头显屏幕的每一帧画面都是对可用数据的最佳取样,并且都从每个角度对3D数据进行几何学修正(不只是针对那些3D效果最佳点,而是针对整个360° 3D视频)。这种方法也意味着超出视野的内容不会出现问题(这个问题我们在360°相机拍摄的视频中经常会遇到)。

克服局限

HypeVR目前所拥有的技术正是我们想要看到的VR视频应有的效果,但是在制作和分发的过程中还有很多局限需要解决,只有解决了这些问题,这种技术才可以被用来拍摄观众们想要看到的影视级VR内容。

容积数据中的阴影和平移

你可以像一般的阴影那样想象一下:当某件物品从你身边移动的同时,有来自前方的照明源,在这个物体的后面就会有影子,因为光线无法穿过这个物体。阴影的位置取决于光线和物体的相对位置。

虽然HypeVR可以使用激光雷达(激光遇到物体会发生反射,以确定距离)捕捉到场景中的深度数据,这个物体会挡住激光,并且呈现出“容积阴影”。但不像普通的阴影,这些容积阴影会在几何结构的后方留下一个洞,因为相机无法看到物体后面(恰如光线无法穿透这些物体)。

如果你完全静止地站在拍摄点,这一问题不会有任何影响,因为你不会看到被拍摄的物体后面的容积阴影。但是由于观看者可以在空间中走动,他们很有可能看到这些物体后面的情况,也就是会看到那些容积阴影。

我所看到的HypeVR展示内容中并没有容积阴影,这也就意味着这家公司已经发现了解决这一问题(这段内容中存在的问题)的有效办法。

最简单的办法或许是在后期制作时手动修正几何结构,来填补这些洞。这会是相当简单的(比如一个人离开相机几步远的距离),但也可能会极为困难(比如把相机放在浓密的森林中,周围的树和植物都在投射各种各样的容积阴影)。

另一种办法是在拍摄之后插入一个3D模型(这个模型会在真实世界中以摄影测量法进行拍摄)到场景中,这样一来,一开始就不会出现阴影了。这是个简单的方法,因为整个场景都已经被渲染成了3D几何结构,就像是一个游戏环境那样,所以插入更多的3D物体相对来说更加直接。

最后一种办法可能是容积视频拍摄技术最终的发展方向–一个在繁杂的后期制作过程中进行的实时进行的场景拍摄与CGI模型的融合(类似我们今天看的电影大片的制作方法)。

移动拍摄设备或许会让事情更为复杂,因为这将会引起容积阴影出现在场景中的各个位置。HypeVR告诉我们,他们还没有进行过移动摄像机的尝试,以确定其技术是否可以处理平移问题。如果被证明拍摄设备在录制时不能移动,这也不一定会引发问题。这需要根据移动设备对VR电影拍摄语言的重要性来决定。目前,许多的360° VR视频制作都是使用固定位置的相机来完成的。

下载量大小和数据压缩

HypeVR所使用的拍摄设备是14台RED相机,每台相机都能拍摄60FPS的6K分辨率画面。同时还有激光雷达数据记录在每一帧中。处理和重新整合这些数据以达成最终状态需要花费大量的时间(通常每帧需要花费6分钟,在本地处理的话)。在所有的画面都被成功渲染之后,用户还需要从网上获取这些视频,虽然在拍摄时每30秒占用2GB,这还可以忍受。每30秒2GB的视频其实是一个巨大的进步。在不久之前,HypeVR拍摄的视频每30秒能达到惊人的5.4TB。

像是HypeVR这种容积视频拍摄技术仍然需要更好的压缩技术,来压缩成更加实用的文件体积。而在消费者这边,更快的网络连接也扮演了重要的角色,可以让这种VR视频能够更快地进行传输,观众无需等待过大的下载量就可以观看。

总之

目前的容积视频拍摄技术还有很多挑战需要面对,但这对于任何新的电影拍摄技术来说都是一样。HypeVR已经证明,拍摄这种人人都想体验的引人注目的实景VR视频是可以做到的,同时还可以避免和减少局限性。在不断变得更加复杂的影视制作过程中使用这项技术需要明智的导向以及新技术的开发,以获得更加实际的制作时间和更加完美的最终产品。如果HypeVR公司的作品就是这样的一个迹象,那么最终的结果会值得这样努力。

最初发布于2017年1月11日

原文链接:https://www.roadtovr.com/believe-hype-hypevrs-volumentric-video-capture-glimpse-future-vr-video/