品玩

科技创新者的每日必读

打开APP
关闭
业界动态

加速3.47倍!火山引擎助力AIGC突破性能瓶颈

shuohang

发布于 2022年12月22日

AIGC(AI-Generated Content 人工智能生成内容)一经推出火爆全网,各种画风和产品形态频频出现且快速演进。以Stable Diffusion模型为例,一次完整的预训练大约需要在128张A100计算卡上运行25天,用户付费上百万,高额的研发费用是用户的痛点之一。同时,AIGC产品演进快速,对性能和资源提出更高要求。

火山引擎云服务,为此类问题提供了解决方案,推动AIGC产业的发展。火山引擎打造同时支持训练加速与推理加速的自主研发高性能算子库,在全面提升AI计算性能的基础上,不断追求节省显存、简单适配,同时支持多款GPU卡,为客户带来更多低成本、便捷的部署方案。

在推理场景下,基于Stable Diffusion模型的端到端推理速度达到66.14 it/s,是PyTorch推理速度的3.47倍,运行时GPU显存占用量降低60%。在客户AI视频创作的AIGC推理业务实践中,火山引擎高性能算子库搭载客户的推理模型帮助其推理性能提升一倍,GPU资源使用量减少一半,可为客户节省50%成本。

在训练场景下,使用该高性能算子库可将上文Stable Diffusion模型在128张A100的训练时间从25天减少到15天,训练性能提升40%。同时,由于AIGC模型在训练时占用GPU显存容量非常大,未经优化时的模型只能运行在最高端的A100 80GB GPU卡上。火山引擎高性能算子库通过大量消减中间操作,将运行时GPU显存占用量降低50%,使得大多数模型可从A100迁移到成本更低的V100或A30等GPU卡上运行,摆脱特定计算卡的限制,而且不需要做额外的模型转换工作。

以此,以AIGC场景为代表,无论是迭代速度,还是单次的训练成本,都有了显著的性能提升和成本节省。未来,火山引擎云服务将持续在机器学习、科学计算、图形处理等领域深耕,不断追求极致性能。(作者:刘仁新)

下载品玩App,比99.9%的人更先知道关于「业界动态」的新故事

下载品玩App

比99.9%的人更先知道关于「业界动态」的新故事

iOS版本 Android版本
立即下载
shuohang

这家伙很懒,什么也没留下,却只想留下你!

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测