7月5日，在2024世界人工智能大会“可信大模型论坛”上，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。

基于蚂蚁百灵的多模态能力，该模型可实现直接理解并训练音频、视频、图、文等多模态数据，使其更像人一样感知和互动，能“看”会“听”、能“说”会“画”，支持千亿级别参数医疗视觉识别。测试期间，对诊疗报告、医学药品、毛发状况等识别准确率达90%以上，中英文医疗考试、基准测试达到或超过GPT4水准。会上，支付宝还推出了与大模型配套的可信一体机与云解决方案，并与全国20家头部三甲医院、医疗管理机构，联合发起AI医疗共建计划，探索大模型创新应用。