用手捏一个3D影像:突破传统手势操作的触摸屏交互是怎样的?

我们之前报道过,一家公司试图把所有平面的东西都变成触摸屏。这次,来自MIT Labs的团队却要把所有平面的触摸屏,都变成可以自行DIY的东西。

现在不管是2D的触摸屏还是3D的显示屏,都已经不稀奇了。这种新的技术,把触摸屏与3D显示结合在一起。屏幕不是传统的固态形状,也不只是弯曲的,而是橡胶状的。你可以肆意捏、掐、提、压来“蹂躏”它,就像捏泥人一样。屏幕可以是有菱角、有凹凸,随你的心情变形。

两位创始成员称它为Obake,意思是代表日本神话中一种变形可塑的精神。屏幕的设计师
Dhairya Dand和Rob Hemsley,都来自MIT媒体实验室。

20130424161037

整个设施包括一个橡胶薄膜和底下的直线调节器,它们放置在一个由集成Kinect 投影仪的摄像头下方,投影仪会向橡胶板投射影像。同时摄像头还会辨认出你对橡胶板提起或下压的程度,并显示不同颜色。

如果你向上提这个橡胶,这个橡胶板可以形成一座小山。如果你往下戳,他就会向下变形。用手指在橡胶板上来回滑动,它会显示摩擦的范围。甚至你还可以对屏幕进行整体平移,做成一个小土丘的样子,在视频中就介绍了超过10种常见的交互方式。

1

提起

2

进一步提起

3

下压

4

进一步下压

5

S形弯曲

6

拼接缝合

7

延展

8

双手向内挤压

9

拉扯塑形

10

挤压变形

11

用手指戳

12

摩擦滑动

13

撑开

在了解基本的手势操作后,用户可以选择不同的素材层,亲手DIY一个3D世界。向上拉伸就是一座小山、撑开就是一眼池塘、沿者轨迹滑动又是一条小溪。你还能够用所见即所得的方式局部调节山形和水流经的区域。

diliceng

DIY的山形

shuiliu

DIY的水流

这一切操作直接在屏幕上进行,一切就像是真实的3D实物一样。相比之下,传统的技术只让你看到3D影像,仅仅是感官上的错觉罢了。这项新技术像攒面团一样的操作,是直接用手就能感知到的,Dand和Hemsley把这称为2.5D显示。

他们同时认为,传统的触摸屏工作原理还是严重停留在鼠标的选择、拖拽、点击的概念,只是将鼠标的操作,用手的动作给替代了,这样的思路还是停留在2D的影像时代。而且,对于大多数3D显像技术,还是不能充分利用3D的手势操作。这个原因并不是这其中的技术有多么艰深,而是电脑用户已经适应了用双手做事的方式:比如捏、敲、拉伸等等。它已经成为集体共同的语言,很难改变。于是,他们把这样传统的手势操作继承下来。

这就好比我们在键盘上做的事情一样。用键盘模拟打字机上的按键排列,一代代传承下来。QWERTY这样按键排列甚至没有什么多少逻辑可言,实际上,我们完全可以更高效地安排按键的替代方式。但QWERTY就是标准,这是大多数人已经习惯了的。

所以,创建一个复杂的3D手势操作,可能会让事情适得其反。Dand和Hemsley想要建立一个交互方式,它不是那么繁复,也不需要用户记忆和熟悉。这就是他们为什么这样设计,用户看到的,就是他们已经熟悉的。同时,这种设计还超越了触屏本身。

这样的显像技术如果要运用到现实生活中,还有很长的路要走。比如调节器现在还很笨重,需要对其空间压缩,投影仪与摄像头也要简化,同时这个设备还不够便携。

抛弃这些困难不谈,假如你有这样的设备,你会用它做什么?

订阅更多文章