品玩10月18日讯，据英伟达官方消息，英伟达现已公布新款软件工具Tensor RT-LLM，提升大语言模型在本地PC平台上的性能。

英伟达曾在上个月推出面向数据中心的 Tensor RT-LLM，而这一次推出的版本面向家用电脑。TensorRT-LLM for Windows 是一个开源库，可加快最新人工智能大型语言模型（如 Llama 2 和 Code Llama）的推理性能，使其推理速度提升4倍。

英伟达还同时发布了帮助开发人员加速 LLM 的工具，包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型以及展示 LLM 响应速度和质量的开发人员参考项目。