在现实生活中,“以图搜图”已经得到广泛应用。例如,当我们看到喜欢的服饰,但不知道品牌或具体名称时,可以使用电商平台以图搜图功能,只要上传该衣服的图片,就能立即找到相似款式,并获得价格和购买链接。
从技术角度来看,以图搜图得以实现,与向量检索紧密相关。向量检索是将数据对象(如图像、文本等),转换为向量形式存储和检索,并对图像进行特征提取,将图像的特征表示为向量,利用算法快速计算、查询向量与数据库中向量的相似度,最终完成搜索。可以说,向量检索为以图搜图提供了一种快速、有效的实现方式,使得在大规模图像数据的相似性搜索成为可能。
2023年底,火山引擎ByteHouse上线向量检索能力,而近期,该能力也在以图搜图场景中得到应用。
据介绍,ByteHouse向量检索通过支持多种向量检索算法以及高效的执行链路,可以支撑大规模向量检索场景,并达到毫秒级的查询延迟。基于业界最新的 VectorDBBench 工具进行测试,ByteHouse也已达到与专用向量数据库相近的性能。
ByteHouse向量检索功能整体架构
某社交媒体整合营销平台,则通过引入ByteHouse向量检索能力,满足了舆情监测场景中的以图搜图需求。举个例子,有一家食品公司是该整合营销平台的客户之一,食品公司上市了一款零食,而某位消费者在零食中发现异物,并发布在社交媒体中,引发网络讨论,舆论不断发酵。基于以图搜图的舆情监测能力,整合营销平台帮助食品公司快速发现舆情异常,并采取补救措施。
但由于数据体量不断膨胀,该整合营销平台虽然匹配了更多资源,依然面临查询性能下降的问题。据介绍,该平台的整体数据规模已达到12亿,但公司管理层期望在尽可能低的成本下,达到秒级搜索速度。
经过一系列测试和对比,该平台的研发人员发现,行业相关产品的查询效率在几秒到十多秒之间,而ByteHouse只需700-800 毫秒。在进一步优化之后,ByteHouse查询效率进一步降低到150-200 毫秒内,只需秒级以下时间,就能从大规模数据中查找出近似的 1000 张图片,并完成相似度评分。
ByteHouse技术专家介绍道:“为了在有限资源下,最大化向量检索性能,我们主要在这四个方面进行优化,分别是向量检索计算下推、过滤操作优化、冷读优化、索引限制。”
具体来说,ByteHouse通过将算子拆分,进行 Vector Search 再处理,提升延迟速度,实现计算下推优化,而在过滤操作中,主要针对标量、向量混合查询场景优化。针对造成性能瓶颈的冷读问题,ByteHouse将不同资源用index结构载入内存的方式,实现高性能计算。
除此之外,由于使用向量检索会消耗较多 CPU 和内存资源,为了进一步降低成本,ByteHouse用索引限制并发,并通过压缩存储空间、支持增量训练等手段实现内存优化。
除了支持向量检索能力的Vector引擎,ByteHouse还具有全文检索、GIS等引擎,实现全场景引擎覆盖。作为一款具备高性能、极致分析能力的云原生数据仓库,早在2022年2月,ByteHouse在字节跳动的部署规模已超1万8000台,单集群超2400台。未来,它还将持续为企业提供极致的数据分析能力,助推数智化转型升级。
0 条评论
请「登录」后评论