品玩12月25日讯，据 Arxiv 页面显示，谷歌近日发布论文，介绍了一款名为 VideoPoet的大语言模型，可合成高质量的视频并匹配相应音频。

VideoPoet采用了一种仅解码器的变压器架构，处理包括图像、视频、文本和音频在内的多模态输入。该模型训练过程包括两个阶段：预训练和任务特定适应。在预训练过程中，VideoPoet在自回归变压器框架内整合了多种多模态生成目标。预训练的大语言模型可以作为基础模型，适用于各种视频生成任务。

研究显示，VideoPoet具备生成高保真运动的能力。