你还在玩小咖秀,斯坦福大学的人已经在玩“大咖秀”了

去年夏天,小咖秀火了一把。它最大创新就是让用户跟明星演唱或者电影对话桥段对口型。这其实和当初后舍男生模仿后街男孩的歌曲对口型很相似。

那么如果反过来,让明星跟你来对口型,会不会更有意思?据 Engadget 报道,现在斯坦福大学的研究人员,已经发明出了一种面部识别技术,能让视频里的人,跟着你面部表情的变化而变化。这简直可以被称为“大咖秀”。

更美妙的是,这种技术可以实时的让视频里的人的面部表情和你保持一致,而且毫无违和感。目前这还需要一套系统,并没有哪款应用能够轻松做到。

这样一来,只要你有一段某人的视频,你想让他说什么,只要把摄像头对着自己,把想说的说出来,视频里的人就会说出同样一段话——当然,只是口型和你保持一致,声音还只能用你自己的声音。

让布什学你的口型。图片说明:左上为学习对象,左下为原视频,右侧为输出的模仿视频。

让布什学你的口型。图片说明:左上为学习对象,左下为原视频,右侧为输出的模仿视频。

有的人可能还记得《一个馒头引发的雪案》或者《元首的愤怒》等视频,这些视频为了能让主持人或者演员的口型和视频编辑者希望他说的话保持一样,剪辑起来非常费力,可能要逐祯去看。但有了这套表情转换系统,你只要抓取任何一个演员说话的片段,然后就可以自己为他配上口型。

在做演示的时候,研究人员主要恶搞了政要们,比如普京、布什以及川普。他们选取了这些人的演讲视频,然后配上了自己说话的口型。

让普京学你的口型。图片说明:左上为学习对象,左下为原视频,右侧为输出的模仿视频。

让普京学你的口型。图片说明:左上为学习对象,左下为原视频,右侧为输出的模仿视频。

当然,除了恶搞,这套系统的应用还有更加广泛的应用,比如用在电影里。如果要让动画人物说话的口型更加真实,只要镜头对着一个人说话,动画人物的口型就会和他一致。还有译制片里,可以让演员的口型和翻译过来之后配音演员的一致,比如让乔治·克鲁尼说中文。但不知道这样会增加违和感还是会让表演显得更自然。

订阅更多文章