众所周知，微软的Kinect是一个体感游戏设备，但其包含的传感器技术并不仅可以应用于游戏领域。日前，微软亚洲研究院与中科院共同研发出了一套基于Kinect的手语识别系统，能够把聋哑人的手势翻译成文本。

在日常生活中，聋哑人在与他人沟通时，因为手语的缘故无法进行有效的交流。针对这个问题，科学界已经提出了至少两种解决方案：一是数码手套（Data Gloves），这类似于《少数派报告》中出现的那款，可以记录手势的轨迹并将其编译为自然语言；二是摄像追踪（Camera Tracking），是将一段手势用摄像机录制完成后进行画面分析得出语言结果。

这两种技术在理论上都是可行的。不过，前一种方案普及成本过高，后一种方案存在识别率过低的问题（例如当画面背景过于复杂的时候）。

“在我们看来，”中科院研究院陈熙霖说道，“这个项目最大贡献在于，它验证了用现有的、廉价的3D和2D传感器进行手语识别的可能性。”

这个项目诞生于微软的Microsoft Research Connections计划。微软设立MRC计划的初衷就是与全球各地的顶级研究人员一同开发项目，解决人类面临的各种难题。（本文末有该项计划的总结报告）

用Kinect实现手语翻译的核心技术是一套3D动态轨迹校准与匹配系统。它的算法包括两种工作模式：

一是翻译模式（Translation Mode）。即将手语翻译成文本或语音；

二是交流模式（Communication Mode）。这主要是帮助聋人与普通人对话。对方的自然语言可以被翻译成手语，并由设备屏幕上的虚拟人物表示出来。

如下图所示：

除了这个项目外，之前英国的Technabling公司和西班牙工程师Daniel Martinez Capilla也分别利用Kinect研发出了类似用途的手势识别系统。而中科院与微软亚洲研究院的成果则实现了中国手语与汉语之间的互译。

[gview file="http://pingwest.com/wp-content/uploads/2013/07/SL.pdf"]