品玩3月24日讯,腾讯元宝推出创新框架PrismAudio,致力于解决视频生成高保真环境音的难题。该框架要求生成的声音在语义、时序、美学和空间四个维度上与视频内容严格对齐,代表了该领域的最新研究进展。
PrismAudio的核心在于融合“思维链”与强化学习,首创“先规划,后执行”的生成范式。模型首先为四个维度分别生成详细的音频“行动指南”,再基于综合规划生成音频。生成后,由四个独立的打分器进行多维度评估,并通过创新的Fast-GRPO算法进行高效强化学习优化,其训练效率约为传统方法的三倍。
实验表明,在VGGSound与AudioCanvas等权威测试集上,PrismAudio在多项关键指标上均超越了MMAudi与ThinkSound等现有最佳模型。该模型参数量为5.18亿,生成9秒音频仅需0.63秒,兼具高性能与高效率。此项工作已被ICLR 2026接收。





0 条评论
请「登录」后评论