在去年年底对外透露了这项技术之后，我们终于能够亲自体验HypeVR的Volumetric Video Capture(译为：容积视频拍摄)技术，借助该技术，体验者可以在VR视频四处走动。
360°视频的固有限制因素
今天，大多数的VR视频作品都是以360°和3D的形式来拍摄的。拍摄质量良好的360° 3D视频在VR中观看的效果很不错(比如你可以去看看Felix & Paul的作品)。但是，假设有天我们能够实现视网膜级别的分辨率以及完美的几何学立体效果，就会出现一个360° 3D视频无法逾越的障碍，那就是在视频内部的移动。
今天所有的360°视频(无论是不是3D)中，观众的视角都会锁定在一个固定的有利的角度。不像那些实时渲染的VR游戏，观众不能在视频中走动–甚至是你想靠在椅子上，想让视角随之变动也是不可能实现的。这样一来不仅会沉浸感不足，而且也很不舒适。我们即使是静坐的时候也会经常有头部的轻微的移动，在这时如果虚拟的画面跟不上我们的运动，观看的感觉就会不那么真实，并且也影响舒适度。
VR容积视频拍摄技术
这就是HypeVR开发容积视频拍摄技术的原因之一。他们要做的，不仅仅是拍摄一些360度的照片然后将其缝合(就像传统的360°相机那样)，同时还要拍摄每一帧画面中的容积数据，这样一来，一旦作品被回放时，这些信息可以让体验者在视频内走动。
在CES 2017展会期间，我看到了HypeVR使用其怪兽级的拍摄设备录制的原始视频，以及一个全新的，更加生动的体验，是HypeVR和英特尔联手打造的。
在戴上Oculus Rift头显之后，我走进了一个新的场景：一个时长为30秒的越南山谷的美丽风景片段。我就站在一个湖面中央小岛的石头上。除了这些石头之外，整个小岛被郁郁葱葱的野草覆盖，在离我几码远的地方还有农民和正在吃草的水牛。
在我的远处是一片雨林，以及一处风景秀丽的瀑布。水流潺潺，水面荡漾着波纹，冲刷着我所在的小岛，以及长在水边的野草。
其中的画面非常逼真且细腻–感觉比任何我曾用头显看过的360° 3D视频的沉浸感都要强。大部分是由于我能够在视频内部移动。而且是以正常的平行视差，在一个房间规模的区域内移动。这让我感觉好像真的就站在画面中，站在越南的这个地方一样，而不仅仅是目光处在这个环境中。这是我们在观看VR视频时都想要达到的效果，而且VR这种媒介如果想要变得真正有吸引力，就要朝着这个方向努力。
我曾经看过让人印象深刻的使用摄影测量法拍摄的VR体验内容，但是摄影测量法需要拍摄者花费数小时来构建场景，从每一个能想象到的角度取景，并且把所有的照片组合成一个模型。结果可能会很惊艳，但是使用这种方法是无法拍摄会动的物体的，因为你无法足够快速地拍摄包含可移动物体的整个场景。
HypeVR采用了不同的办法，他们的拍摄设备固定在一个场景中，以每秒60次的速度进行拍摄，同时使用了高质量的视频捕捉设备以及深度映射激光雷达。之后，拍摄到视频中的纹理数据会与景深数据进行融合，来创作出每秒60帧的包含场景容积数据的视频。这也就是说，你能够看到水波的运动或者汽车开过，但仍然保持了容积数据，可以让用户在视频的某些部分进行移动。
采用这种容积视频拍摄技术所拍摄的视频中的每一帧实际上都是实时渲染的场景3D模型，在播放时会一帧挨一帧地出现。这不仅允许体验者在其中走动，就像VR游戏环境中那样，同样还是HypeVR的作品如此清晰和沉浸感强的原因–渲染到VR头显屏幕的每一帧画面都是对可用数据的最佳取样，并且都从每个角度对3D数据进行几何学修正(不只是针对那些3D效果最佳点，而是针对整个360° 3D视频)。这种方法也意味着超出视野的内容不会出现问题(这个问题我们在360°相机拍摄的视频中经常会遇到)。
克服局限
HypeVR目前所拥有的技术正是我们想要看到的VR视频应有的效果，但是在制作和分发的过程中还有很多局限需要解决，只有解决了这些问题，这种技术才可以被用来拍摄观众们想要看到的影视级VR内容。
容积数据中的阴影和平移
你可以像一般的阴影那样想象一下：当某件物品从你身边移动的同时，有来自前方的照明源，在这个物体的后面就会有影子，因为光线无法穿过这个物体。阴影的位置取决于光线和物体的相对位置。
虽然HypeVR可以使用激光雷达(激光遇到物体会发生反射，以确定距离)捕捉到场景中的深度数据，这个物体会挡住激光，并且呈现出“容积阴影”。但不像普通的阴影，这些容积阴影会在几何结构的后方留下一个洞，因为相机无法看到物体后面(恰如光线无法穿透这些物体)。
如果你完全静止地站在拍摄点，这一问题不会有任何影响，因为你不会看到被拍摄的物体后面的容积阴影。但是由于观看者可以在空间中走动，他们很有可能看到这些物体后面的情况，也就是会看到那些容积阴影。
我所看到的HypeVR展示内容中并没有容积阴影，这也就意味着这家公司已经发现了解决这一问题(这段内容中存在的问题)的有效办法。
最简单的办法或许是在后期制作时手动修正几何结构，来填补这些洞。这会是相当简单的(比如一个人离开相机几步远的距离)，但也可能会极为困难(比如把相机放在浓密的森林中，周围的树和植物都在投射各种各样的容积阴影)。
另一种办法是在拍摄之后插入一个3D模型(这个模型会在真实世界中以摄影测量法进行拍摄)到场景中，这样一来，一开始就不会出现阴影了。这是个简单的方法，因为整个场景都已经被渲染成了3D几何结构，就像是一个游戏环境那样，所以插入更多的3D物体相对来说更加直接。
最后一种办法可能是容积视频拍摄技术最终的发展方向–一个在繁杂的后期制作过程中进行的实时进行的场景拍摄与CGI模型的融合(类似我们今天看的电影大片的制作方法)。
移动拍摄设备或许会让事情更为复杂，因为这将会引起容积阴影出现在场景中的各个位置。HypeVR告诉我们，他们还没有进行过移动摄像机的尝试，以确定其技术是否可以处理平移问题。如果被证明拍摄设备在录制时不能移动，这也不一定会引发问题。这需要根据移动设备对VR电影拍摄语言的重要性来决定。目前，许多的360° VR视频制作都是使用固定位置的相机来完成的。
下载量大小和数据压缩
HypeVR所使用的拍摄设备是14台RED相机，每台相机都能拍摄60FPS的6K分辨率画面。同时还有激光雷达数据记录在每一帧中。处理和重新整合这些数据以达成最终状态需要花费大量的时间(通常每帧需要花费6分钟，在本地处理的话)。在所有的画面都被成功渲染之后，用户还需要从网上获取这些视频，虽然在拍摄时每30秒占用2GB，这还可以忍受。每30秒2GB的视频其实是一个巨大的进步。在不久之前，HypeVR拍摄的视频每30秒能达到惊人的5.4TB。
像是HypeVR这种容积视频拍摄技术仍然需要更好的压缩技术，来压缩成更加实用的文件体积。而在消费者这边，更快的网络连接也扮演了重要的角色，可以让这种VR视频能够更快地进行传输，观众无需等待过大的下载量就可以观看。
总之
目前的容积视频拍摄技术还有很多挑战需要面对，但这对于任何新的电影拍摄技术来说都是一样。HypeVR已经证明，拍摄这种人人都想体验的引人注目的实景VR视频是可以做到的，同时还可以避免和减少局限性。在不断变得更加复杂的影视制作过程中使用这项技术需要明智的导向以及新技术的开发，以获得更加实际的制作时间和更加完美的最终产品。如果HypeVR公司的作品就是这样的一个迹象，那么最终的结果会值得这样努力。
最初发布于2017年1月11日
原文链接：https://www.roadtovr.com/believe-hype-hypevrs-volumentric-video-capture-glimpse-future-vr-video/