品玩

科技创新者的每日必读

打开APP
关闭
业界动态

腾讯刷新TPC-DS世界纪录,100TB数据分析性能提升10倍

Agent时代,海量数据处理性能仍在持续突破。

鸠鸠

发布于 11小时前


Agent时代,海量数据处理性能仍在持续突破。

8月18日,据国际事务处理性能委员会(TPC)官网信息,腾讯云数据湖计算DLC刷新TPC-DS 100TB性能和性价比两项世界纪录,综合性能成绩达6.54亿,是此前最高纪录的近10倍;单位性能成本降至11.04元,仅为此前的约六分之一。

(TPC官网成绩)

TPC-DS是全球数据分析领域最具代表性的性能测试之一,主要衡量一套系统处理海量、复杂数据任务的综合能力。过去多年,Oracle、IBM、Databricks等海外技术厂商均曾参与TPC相关测试,其中100TB也是TPC-DS目前设置的最大测试规模之一。

腾讯云此次挑战的100TB,约等于一个大型电商平台连续数年的交易、退货、库存、订单明细全部打包在一起。系统要在这座“数据山”上完成从数据导入到复杂分析、数据更新的完整流程,而不是只跑某一个专项。

难度还在于任务的复杂和并发。系统不仅要连续完成99类不同的分析任务,并在4组任务同时运行时一轮处理396次复杂查询,还要同步应对数据的持续插入和更新,整个测试更接近企业真实运行时的高负载状态。

最终得分也不是看某一次跑得多快。TPC-DS 会综合单任务处理速度、并发吞吐、数据维护等多个环节计算总分,并同时计算获得这些性能所需的成本。

腾讯云打破世界纪录,其背后的引擎来源于腾讯内部天穹平台自研的统一计算引擎 SuperSQL,它通过统一的计算底座,将批量计算、实时计算以及 CPU、GPU 等不同算力整合到一套引擎中,并支持 SQL、Python 和多模态数据处理,可统一分析结构化、半结构化和非结构化数据,目前已在腾讯内部多个业务中稳定运行多年。

这也是腾讯近年来第三次在TPC核心测试中刷新世界纪录。2023年,腾讯云曾刷新高并发交易性能纪录,2024年登顶10TB数据分析测试;此次测试进一步扩大到100TB,持续验证腾讯云在高并发交易和海量数据分析场景下的处理能力。

值得一提的是,这些能力正在面对新的应用环境。随着企业AI从模型调用进一步走向Agent,数据系统不仅要支撑传统交易和分析,还需要持续承接Agent带来的数据读取、处理、沉淀,以及模型训练和推理等计算任务,对数据处理规模、并发和效率提出更高要求。

腾讯云也在沿这一方向升级数据技术体系,上个月,DLC进一步升级为AI DLC,将数据处理能力延伸至AI计算、模型训练、推理和Agent应用,支撑企业快速构建Agent-Ready的数据基础设施。

下载品玩App,比99.9%的人更先知道关于「业界动态」的新故事

下载品玩App

比99.9%的人更先知道关于「业界动态」的新故事

iOS版本 Android版本
立即下载
鸠鸠

这家伙很懒,什么也没留下,却只想留下你!

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测