连乐器都不要了!英特尔这项技术让你光弹奏空气都能带来美妙音乐

舞台的这边,一位身材微胖的鼓手坐在椅子上,头戴 VR 头显,手持两支鼓棒“抽风”般击打空气。

舞台的那边,一位消瘦的男子戴着奇怪的手套,双臂张开,像在打太极。

舞台上没有一样乐器,但犀利的鼓点、清脆的钢琴还有悠扬的大提琴声音却能随着他们的动作变化响彻整个会场。

酷玩乐队(Coldplay)的金曲《Clocks》响起,熟悉的旋律遇上了乐手夸张的动作,一种奇妙的违和感产生又很快消失在空中。

钢琴、提琴和架子鼓发出的声音,其实是琴弦和敲击鼓皮的震动带来音箱和鼓桶的共振——音乐本质上是物理范畴里的艺术。但在这场虚拟现实音乐盛宴当中,机器视觉取代了常规的物理原则。这就是发生在英特尔年度技术大会 IDF16 上的一幕。

这套“空气架子鼓”由英国利物浦音乐科技公司 Aerodrums 开发。Aerodrums 几乎不需要安装,因为它本身就没有鼓和踏板,而是采用高频精确的动作捕捉技术,捕捉鼓手“敲空气”和“踩地板”的动作,然后在计算机里将动作实时转换为音色。Aerodrums 向我透露,捕捉的硬件是公司自行开发的,但将信号转成声音,以及视觉化的计算工作则需要摆脱英特尔 Curie 计算单元。

aerodrums-idf

aerodrums-2
而在 IDF上,英特尔的 VR 技术让鼓手在敲击的同时,还能在头显里看到一套虚拟的架子鼓。鼓还会随着敲击发生形状变化(稍微有点假,但还是超酷的!)

Aerodrums-jam-full-page-vertical-color

IMG_20160816_085619

这套方案直接解决了鼓手们最头疼的问题:架子鼓的购买和维护、装鼓的车和储藏室、昂贵的隔音装修和不爽的邻居……

Aerodrums 能够输出标准 MIDI 数字音乐信号,目前的市场售价只有 199 美元。

像个法师一样用双手和双臂演奏美妙旋律的音乐家名叫 Kevin Doucette,他自己设计并组建了一个小团队制造了这台“空气钢琴”。准确来讲,这台设备应该算作合成器,能够演奏出不同的电子音色,只要有音色库当然也可以模拟提琴、钢琴或任意一种真实的乐器。

IMG_20160816_085817

Doucette 用双手“弹奏”空气。

这台合成器的核心同样是动作捕捉,采用的是两颗英特尔自家的 RealSense 实感摄像模组。普通的摄像头只能拍摄二维画面,而 RealSense 能在三维空间里捕捉物体的姿态、位置和动作。

IMG_20160816_085851

在自己的左右手之间,Doucette 来回切换低音和高音,或者钢琴和提琴等不同音色。如果是在一场普通的电子音乐会上,想要做到这样的随心所欲身边至少要有三四台键盘吧?

kevin-doucette-keyboards

这般酷炫的场景出现在芯片巨头英特尔的年度盛会上已经不是第一次了,如果说乐视擅长开发布会,那么英特尔应该算得上科技公司里最会开音乐会的了。

往届 IDF 上,音乐家带着真的提琴、吉他或其他乐器演奏,英特尔用 RealSense 来拍摄他们,用诡异的光环、粒子特效和画面叠加起来呈现朦胧迷幻的效果。今年,虚拟/增强现实技术的质变,给英特尔的音乐会事业带来了一次全面升级……

说不定明年,我们都可以躺在自己的家里戴着头显参加 IDF 了。

(欢迎关注 PingWest品玩的 IDF16 系列报道,为你带来最老牌芯片厂商的最前卫科技体验。)

订阅更多文章