品玩

科技创新者的每日必读

打开APP
关闭

Apple与中国人民大学联合推出统一音视频生成模型VSSFlow

2月10日

品玩2月10日讯,据 9to5Mac 报道,Apple三位研究人员与中国人民大学六位学者共同开发新型AI模型VSSFlow,首次在单一系统中实现从无声视频同步生成环境音效与语音对话。该模型采用10层架构,融合视频帧(10fps)与文本转音素序列,通过流匹配技术从噪声重建高质量音频。

研究发现,语音与音效的联合训练不仅未相互干扰,反而产生“互促提升”效应。为实现音画同步输出,团队进一步基于合成混合数据对模型进行微调。

实验表明,VSSFlow在音效与语音任务上均达到业界领先水平。项目代码已开源,模型权重及推理演示亦将陆续开放,旨在推动视频条件音频生成技术发展。

取消 发布

下载品玩App,比99.9%的人更先知道关于「苹果」的新故事

下载品玩App

比99.9%的人更先知道关于「苹果」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测