品玩6月17日讯,据英伟达官方消息,英伟达发布了 Nemotron-4 340B 模型系列,包括 Nemotron-4-340B-Base 、 Nemotron-4-340B-Instruct 和 Nemotron-4-340B-Reward 。
英伟达表示,这些模型在各种评估基准上的表现与开放访问模型相比具有竞争力,并且在以 FP8 精度部署时,其大小适合配备 8 个 GPU 的单个 DGX H100。在各种研究和商业应用中,特别是在生成用于训练较小语言模型的合成数据时,社区可以从这些模型中获益。值得注意的是,在模型对齐过程中,超过 98% 的数据都是合成的,这展示了这些模型在生成合成数据方面的有效性。
为了进一步支持开放式研究和促进模型开发,英伟达还将开源模型配准过程中使用的合成数据生成管道。

0 条评论
请「登录」后评论