品玩

科技创新者的每日必读

打开APP
关闭

Snap团队最新AI研究成果:2秒文字成图,手机上运行

2023年6月2日

品玩6月2日讯,据 arxiv上的一篇论文显示,一款名为 SnapFusion 的图片生成模型现已进入测试阶段。据悉,该模型开发团队的大部分人员均来自snap。

SnapFusion 可以在移动设备上使用,能在不到2秒的时间内生成一张512x512的高质量图片。与传统的文生图模型相比,SnapFusion 的生成速度快且质量高,同时避免了高端GPU和云推理这些成本高昂的方式,也规避了可能出现的隐私问题。

通常来说,文生图模型难以在移动设备上使用,因为这种模型都具有复杂的网络价格和数十个去噪迭代,运行时需要大量的计算资源,因此需要高性能GPU来帮助计算。但大部分移动设备都不具备这样的资源。所以当前市场上可以运行在移动设备上的图片生成模型都存在运行时间长,算力需求大等缺点。

SnapFusion 的研究目的就是改善这一现象。SnapFusion采用了高效的 UNet 框架来训练,通过识别原始模型中的冗余并使用数据蒸馏技术减少图像解码器的计算量。与经典的图片生成模型 Stable Diffusion v1.5 相比,SnapFusion 在性能和速度方面均表现出色。

同时,SnapFusion 还采用了一种名为 data distillation pipeline 的技术来加速和压缩图像解码器,从而进一步提高了推理速度。SnapFusion 还采用了 step distillation 技术来减少迭代去噪的步骤,从而实现了更快的推理速度。SnapFusion还通过使用不同的训练管道和学习目标来改善图像质量。

目前SnapFusion 已经进入实测环节。根据测试画面显示,SnapFusion 可以在极快的时间内按照文本要求生成不同的图片。用户可以根据自己的需求来改善图片内的内容,并且拥有不同的风格可供选择。目前SnapFusion 还没有正式发布,具体发布日期尚未公布。

取消 发布

下载品玩App,比99.9%的人更先知道关于「品玩大模型内刊」的新故事

下载品玩App

比99.9%的人更先知道关于「品玩大模型内刊」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测