品玩7月31日讯,百度近日宣布,推出飞桨多模态大模型开发套件PaddleMIX 2.0版本。全面兼顾高性能算法、便捷开发、高效训练和完备部署,极大降低业界多模态领域开发者的开发门槛。
PaddleMIX 2.0覆盖图像、文本、视频、音频模态模型,多模态理解方向新增LLaVA系列等模型,多模态生成方向新增视频生成能力,支持SoRA相关技术,新增高速推理文图生成模型LCM。此外2.0新增多模态数据处理工具箱DataCopilot。新增Auto模块,统一多模态大模型SFT训练流程,兼容全参数、LoRA训练。发布PPDiffusers 0.24.1版本,新增Paddle版peft,accelerate后端;提供基于PPDiffusers开发的ComfyUI插件。
新版本DiT模型支持3B规模预训练,性能领先同类产品 8%。精调阶段新增MixToken训练策略,吞吐量提升68%。支持LLaVA等模型推理部署,推理性能优于同类技术34%。





0 条评论
请「登录」后评论