品玩11月21日讯，据 HuggingFace 页面显示，来自新加坡国立大学的研究者近日联手腾讯 PCG ARC Lab ，发布了一款音乐理解生成框架M2UGen。

论文显示，该框架集成了大语言模型理解和生成不同模态音乐的能力，旨在通过使用预训练的 MERT、ViT 和 ViViT 模型，分别从音乐、图像和视频等不同灵感来源挖掘创作潜力。

此外，研究者还探索了 AudioLDM 2 和 MusicGen 的使用，并通过整合 LLaMA 2 模型实现了多模式理解与音乐生成之间的衔接。