品玩

科技创新者的每日必读

打开APP
关闭
数码产品

每帧3GB!这项虚拟现实技术打破次元壁,重塑空间全息影像

其他人还在用几百块的双摄全景摄像头拍 VR 视频,HypeVR 已经组装了一台 12 x Red 数字电影摄像机+Velodyne 激光雷达的相机阵列。这跟一般的 VR 视频根本不在一个水平上,因为 HypeVR 要做的是“重现全息场景”。

光谱

发布于 2017年1月6日

在 VR 头显里想象这样一个场景:

你站在中越边境的河谷,观看壮美的景色——但头显里播放的并非普通的全景视频,而是可以随着身体移动和头部倾斜,看到被画面中的物体挡住的更多东西,甚至……整个场景。

比如你的面前有一个油桶,但你可以稍微挪动一点,或者把头向右倾斜,就能看到油桶背后的溪流:

这显然不是一个几百块钱的双摄全景摄像头就能实现的。其实,这部视频的拍摄手法叫做 Volumetric Capture,翻译成中文叫“容积捕获” ,采用特殊的设备,像三维空间扫描一样记录下了摄像头周围所在区域的全部物理环境。拍摄它的公司叫做 HypeVR,该公司联合创始人泰德·施洛维茨告诉我,这段全息影像的每帧数据量就高达 3GB。

昨天,PingWest品玩在英特尔的 VR 发布会上粗略体验了一下 HypeVR 所拍摄的这段内容。今天我们又找到了该公司的创始人兼 CEO Tonaci Tran,更深入地体验和了解了这项技术。

这段全息影像的记录时间是 2016 年 11 月 14 日,地点是中越边境的板约瀑布。简单来说,HypeVR 开发的这种新视频格式,具有三个特性:360°全景+高清+六自由度

全景不消细说。在清晰度方面,一般的全景摄像采用多相机阵列(比如 GoPro)的方案,和 HypeVR 根本没法比——该公司的一个多相机阵列就要用到 Velodyne 开发的激光雷达 (LiDAR),再配上 12 台世界上最顶级的 Red 超高清摄像机。仅供参考:Red 的分辨率 为 5K,12台……清晰度难以想象。

至于六自由度,英文叫做 6 degrees of freedom (6dof) 是一个物理上的术语,指的是物体能够在三维空间里,在 xyz 三轴方向上自由运动以及围绕三轴自由转动的能力。在 VR 业界,6dof 是一种技术指标,指的是当头显的佩戴者在三维空间里前后左右上下移动和摇头、摆头时,头显里所显示的空间画面能够随之变化,就像在真实空间里一样。

但并非所有的 VR 内容的录放都支持 6dof。如果一个全景摄像头放在定点上录制内容,它拍下的其实也只是一个二维的画面。而在拍摄中加入激光雷达,使得最后产生的二维画面多了一维——空间,其实是 HypeVR 全息影像录制技术最大的不同。这样录制和最后剪辑制作完成的内容,不是二维的画面,而是具有空间感的全息影像。

还有一个问题:最后成片中的画面里,那些桶、水牛和其他挡住视野的物体,它们背后的画面又该怎样拍呢?HypeVR 以商业机密为由没有想我透露太具体的细节,但我猜测采用的方法应该类似于:先在一个点拍摄 (point zero),然后更换一个能拍到障碍物背后的点 (point a),然后按照从 0 到 a 的距离和方向,在全息场景重建的时候,拼接 a 的内容到 0 的内容里。

 蹲下,或者往左/右边走,就能看到被水牛挡住的地方。这是其它 VR 视频绝对无法做到的。
蹲下,或者往左/右边走,就能看到被水牛挡住的地方。这是其它 VR 视频绝对无法做到的。

但显然,这样制作出来的最终内容格式肯定不是普通和 VR 视频一般采用的 mp4 格式,而是一种全新的格式。Tran 对我表示:

从容积捕获 (volumetric capture)、场景重现 (reconstruction)、压缩编码 (compression codec)、播放和直播串流所采用的图像引擎 (graphics engine for playback and volumetric streaming),一切都是全新的。我们认为这就是视频 2.0 时代。

Tran 是美国出生的越南人,曾在加州大学圣地亚哥分校学习数字媒体创作。因为 10 年前创立了第一家 Red 高清电影摄像机出租服务,他在越南也引起过不小的轰动,还曾因此在越南电影界获得了不小的名气。

2014 年,为了实现“打造下一代视频技术”的梦想,他和电影巨头二十世纪福斯的数字技术专家泰德·施洛维茨一同创立了 HypeVR。

该公司总部位于加州圣地亚哥。Tran 告诉我,他认为 HypeVR 在相机阵列、全息场景重建、6dof 全息视频压缩和全息视频串流方面,有着绝对的技术优势。至于公司的技术优势,他用一句话总结为“独家的容积捕获、制作和播放引擎,专为视频 2.0 时代打造。”也正因此,英特尔将 HypeVR 视作重要的合作伙伴,邀请其参加 CES 的发布会和现场演示。

接连两天由浅及深地体验了 HypeVR 带来的全息可互动影像之后,我心理对于 VR 视频的芥蒂消除了一些。之前我对所谓的 VR 内容不太感冒的原因就在于,它们只是把我绑在一个固定的地方,然后允许我转动脑袋,并没有什么所谓的“沉浸”感,反而感觉自由被限制了。

我问 Tran “在你们这段视频里,我到底有多大的自由度?”他告诉我:“只要这条头显的线够长、头显还在传感器追踪的范围里,你想走多远走多远。”

部分图片来源:英特尔、HypeVR

下载品玩App,比99.9%的人更先知道关于「数码产品」的新故事

下载品玩App

比99.9%的人更先知道关于「数码产品」的新故事

iOS版本 Android版本
立即下载
光谱

品驾 高级主笔,关注汽车相关前沿技术和产业链。原品玩硅谷主笔。欢迎联系我交流行业信息,分享新闻线索

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测