“视频连环画”技术:看看百度要在视频进度条上玩出什么新花样

在YouTube等视频网站上,往往会提供预览图的功能——当你把鼠标放在播放器的进度条上后,可以通过图片来预览接下来要播放的视频内容,这个小功能被推出后获得了诸多用户一致的喜爱,这也说明了有不少用户希望以一种更快捷的方式来获知视频中的内容。而如今,也有越来越多的视频产品开始对这个功能进行延伸——例如,优酷等网站会利用关键内容节点上的文字标注出内容核心;爱奇艺利用数据挖掘推出“绿镜”功能——提前标注和过滤视频内容中不精彩的部分。

oi

如今,百度也想在“进度条”上玩出一些新花样——百度的工程师们认为,当前的进度条预览方式并不够彻底。比如,我们没法在那样小的窗口下看清楚视频的剧情,所以他们一直在寻求新解决方案,根据PingWest的了解,他们将这套新的方案命名为“百度视频连环画播放技术”。

简单来说,“百度视频连环画”会根据当前用户观看视频的信息截取视频的关键画面,然后对这些关键画面进行排序,进而生成一个图片库,而当用户的视频缓冲不及时、无法正常观看,或是用户希望快速预览视频内容时,视频产品就会从画面库中读取对应的关键画面进行播放,以“连环画”的形式展现视频内容。就像是对视频进行了抽取、剪辑、再重新播放。

相对于原来的”预览图”技术,这种做法能让用户更快的了解到整个视频内容。这不仅仅是一个用户体验问题,更重要的是,它与移动终端上视频产品的成败息息相关——由于网络问题,在移动终端上,视频卡顿的发生率很高,而在卡顿情境下,大量的用户会选择跳出视频内容。所以,“视频连环画技术“真正要解决的,是移动端视频用户的留存问题。

不过,虽然”“视频连环画技术”的原理解释起来比较简单,但技术实现却有不小的门槛——在利用机器把视频截取、拼接成连环画时,首先要去考虑如何避免某部分情节丢失。

为了让所有的关键情节都包含在视频连环画内,百度的做法是首先从字幕文件中抽取“关键时间点序列”,据此截取带有完整字幕的画面,其次是对跨度较长的对话进行补帧,通过从视频中抽出图片,从而保证每3~4秒都有一张图,进而保证了情节的连贯。根据百度内部实验的结果,虽然相关技术在将本地视频转化为连环画的过程很顺利,但针对线上视频截取画面、识别卡顿还是有一些问题尚未解决。

这自然也延缓了相关功能抵达用户的时间,所以目前我们暂时还无法体验视频连环画播放技术,但与之相关创意却有着另外一些可供发挥的空间。从技术上来说,目前百度是根据字幕文件截取关键画面,未来则有可能采用音频识别、OCR识别等技术等来适配不同类别的视频内容。从运用场景上来说,除了解决视频卡顿、满足用户追剧的需求外,以后相关技术还有可能运用在教育视频中以方便用户学习、应用在体育视频中自动截取关键画面等。

这项产生于百度内部编程马拉松中的技术不但获得了黑马奖,而且被评为百度内部当季度的一级专利。在内部推介会上,视频连环画播放的创意甚至现场就被确认要应用到百度视频的应用中。所以接下来,我们只需等待相关功能在百度视频中上线了。

订阅更多文章