品玩11月14日讯,英伟达昨晚正式发布了 AI 芯片 H100 GPU 的后续产品 HGX H200 GPU,可大幅提高大语言模型的能力。
据悉,HGX H200 GPU 相比前代产品内存带宽增加了1.4倍,内存容量增加了1.8倍。 H200 GPU使用了HBM3e 内存的芯片,可以以每秒 4.8 TB 的速度提供 141GB 的内存。英伟达表示,H200更大、更快的内存可加快生成式人工智能和大语言模型的速度,与 H100 GPU 相比,H200 在处理 Llama2 等大语言模型时可将推理速度提高 2 倍。
H200 还与已经支持 H100 的系统兼容。英伟达表示,客户在添加H200时不需要做任何改动。亚马逊、谷歌、微软和甲骨文的云计算部门将在明年率先使用到新的 GPU。

0 条评论
请「登录」后评论