品玩8月30日讯,据 Arxiv 页面显示,韩国科学技术院大学的研究人员近日发布论文,介绍了一款利用大模型技术来为无声电影配音的方法。
研究团队希望从无声视频中通过唇部运动来生成高质量语音,完成唇语到语音的转换。该方法使用自监督语音表示来消除同音异形,使用声学变异信息来建模多样化的语音风格。此外,研究团队还采用了基于流的后处理网络来捕捉和优化生成语音的细节。
论文表示,该方法在语音自然性和可理解性方面达到了接近真实人类语音的生成质量。

韩国科学技术院大学发布论文,为无声电影生成语音
2023年8月30日品玩8月30日讯,据 Arxiv 页面显示,韩国科学技术院大学的研究人员近日发布论文,介绍了一款利用大模型技术来为无声电影配音的方法。
研究团队希望从无声视频中通过唇部运动来生成高质量语音,完成唇语到语音的转换。该方法使用自监督语音表示来消除同音异形,使用声学变异信息来建模多样化的语音风格。此外,研究团队还采用了基于流的后处理网络来捕捉和优化生成语音的细节。
论文表示,该方法在语音自然性和可理解性方面达到了接近真实人类语音的生成质量。

下载品玩App,比99.9%的人更先知道关于「AI大模型」的新故事
下载品玩App
比99.9%的人更先知道关于「AI大模型」的新故事




0 条评论
请「登录」后评论