品玩

科技创新者的每日必读

打开APP
关闭

豆包语音团队提出“AI多人有声剧”方案,效果媲美真人配音+后期

15小时前

近日,豆包语音团队发布了“AI多人有声剧”自动化方案。方案支持多角色、高表现力的TTS(语音合成)演播,同时实现了全自动AI后期的链路,从小说文本到高质量的多人有声剧成品,全部由AI端到端完成。

据了解,“AI多人有声剧”自动化方案基于高自然度的多角色智能朗读,配合AI后期自动添加音乐、音效、特效并进行智能混音,能够全自动生产媲美真人水准的有声剧作品。这套方案不仅使得听书自然度、沉浸感显著提升,且生产链路全程无人工参与,可大幅降低制作成本、缩短制作周期,高效覆盖更多书籍。

“AI多人有声剧”自动化方案支持从小说文本到完整成品有声剧的全自动生产。该方案可以自动进行角色划分,准确率超过98%,同时其语音大模型通过对海量文本与语音的多模态预训练,原生地将文本和语音模态融合,引入思维链信息,具备强大的文本理解能力和语音演绎能力,多人演播效果发音自然、情感丰富。

此外,方案中的画本预测模型在多角色演播音频基础上,实现了从小说文本到带有音效、人声特效、环境音、配乐的画本预测,在得到画本信息之后进行音频召回并合成、智能动态调整音频参数,并结合多角色TTS最终合成“有声剧”成品。

目前,首批通过“AI多人有声剧”方案端到端创作的作品已经在番茄小说APP上线,效果超出预期,并得到书友良好反馈,为听书行业注入全新活力。未来,“AI多人有声剧”方案仍将不断升级,覆盖更多有声内容,小说更新即可让用户同步享受精品有声剧。

取消 发布

下载品玩App,比99.9%的人更先知道关于「豆包大模型」的新故事

下载品玩App

比99.9%的人更先知道关于「豆包大模型」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测