2023年12月7日，Rambus宣布Rambus HBM3内存控制器IP现在可提供高达9.6 Gbps的性能，可支持HBM3标准的持续演进。相比HBM3 Gen1 6.4 Gbps 的数据速率，Rambus HBM3内存控制器的数据速率提高了50%，总内存吞吐量超过1.2 TB/s，适用于推荐系统的训练、生成式AI以及其他要求苛刻的数据中心工作负载。

HBM全称为高带宽内存，是一种利用三维同步动态随机存取技术（SDRAM）构建的内存接口，指的是利用垂直概念来扩展内存同时大幅度增加堆栈内处理速度。HBM3是市面上各类人工智能推理、训练常用GPU的内存，目前比较常见的HBM3速率通常为6到8Gbps，比如最火的H100，所采用的HBM3速率就是6.4 Gbps，Rambus HBM3是该产品的1.5倍。

Rambus HBM3 内存控制器 IP 专为需要高内存吞吐量、低延迟和完全可编程性应用而设计。该控制器是一种高度可配置的模块化解决方案，可根据每个客户对尺寸和性能的独特要求进行定制。对于选择第三方HBM3 PHY的客户，Rambus还提供HBM3控制器的集成与验证服务。

IDC内存半导体副总裁 Soo-Kyoum Kim 表示：“HBM 是更快速且更高效的处理大型 AI 训练和推理集的关键内存技术，比如用于生成式 AI 的训练和推理。对于像Rambus这样的 HBM IP供应商来说，持续提高性能来支持满足市场苛刻要求的领先 AI 加速器的意义重大。”

随着数据密集型应用和人工智能的快速发展，对高带宽和高性能存储解决方案的需求越来越大。HBM3作为一种高性能、高带宽的存储技术，在高性能计算和存储领域具有巨大的市场潜力。同时，亦有其他存储技术如GDDR6，也在竞争中与HBM3抢占市场份额。

HBM3具有更高的带宽和更低的延迟。由于HBM3芯片堆叠在一起，通过短距离、高密度的互连通道进行数据传输，带宽可以达到数百GB/s的级别。GDDR6带宽相对较低，但仍然比较高，可提供数百GB/s的带宽。HBM3在功耗和热量方面相对较低，这是由于堆叠封装和短距离的数据传输导致的优势。GDDR6的功耗和热量相对较高，需要更大规模的散热解决方案来保持良好的温度控制。

虽然在表现上目前看来HBM3更胜一筹，实际上GDDR6也有自身的优势。相对于HBM3，GDDR6的制造成本通常更低。GDDR6采用的是传统的平面式设计，在制造和封装方面更常规，并且生产工艺更成熟。此外，GDDR6在容量方面具有更高的可扩展性。由于其平面式布局，添加更多的存储芯片（例如通过增加通道数量）可以相对容易地实现更大的存储容量。在制程方面，GDDR6技术已经相对成熟，并且商业化部署比HBM3要早一些。由于GDDR6已经有一些先前版本（如GDDR5和GDDR5X）的成功基础，因此制造商对于其性能和可靠性有着更多的信心。

因此GDDR6会和HBM3最终形成分化，需要面对大规模密集计算作业的用HBM3，家用图形计算作业的则采用GDD6。