品玩3月29日讯,据 ytech 报道,英伟达宣布 H200 GPU 正式发布并发货,这是人工智能行业的一项重大进展。
这款新一代硬件在人工智能任务中,特别是在生成型人工智能工作负载中,实现了关键的三倍性能提升。通过在新推出的Hopper架构图形处理器上实施先进的推理解决方案TensorRT-LLM,英伟达展示了其高效处理GPT-J等复杂大型语言模型(LLM)的能力,而且速度和精度都非常出色。
H200 GPU最近在MLPerf基准测试中首次亮相,以每秒生成高达31,000个令牌的速度展示了非凡的吞吐量。这些 GPU 不仅在原始性能方面表现出色,而且还采用了创新的热管理解决方案,为性能提升做出了贡献。

0 条评论
请「登录」后评论