品玩12月29日讯,据 AI Base 报道,字节跳动与南洋理工大学联合发布开源AI视频生成框架StoryMem,通过“Memory-to-Video(M2V)”机制,将单镜头扩散模型升级为支持多镜头、超1分钟连贯叙事的长视频生成系统。
该框架利用动态记忆库存储关键帧信息,结合轻量LoRA微调,在角色外貌、场景风格和叙事逻辑上实现跨镜头高度一致,一致性指标较现有方法提升29%。配套发布的ST-Bench数据集含300个多镜头故事提示,支持标准化评估。社区已开始在ComfyUI中集成该技术。

字节跳动与南洋理工大学开源StoryMem框架
11小时前品玩12月29日讯,据 AI Base 报道,字节跳动与南洋理工大学联合发布开源AI视频生成框架StoryMem,通过“Memory-to-Video(M2V)”机制,将单镜头扩散模型升级为支持多镜头、超1分钟连贯叙事的长视频生成系统。
该框架利用动态记忆库存储关键帧信息,结合轻量LoRA微调,在角色外貌、场景风格和叙事逻辑上实现跨镜头高度一致,一致性指标较现有方法提升29%。配套发布的ST-Bench数据集含300个多镜头故事提示,支持标准化评估。社区已开始在ComfyUI中集成该技术。

下载品玩App,比99.9%的人更先知道关于「字节跳动」的新故事
下载品玩App
比99.9%的人更先知道关于「字节跳动」的新故事




0 条评论
请「登录」后评论