品玩11月10日讯，微软研究团队近日发表论文，宣布推出一款FP8 混合精度训练框架，用于节约大模型计算成本。

研究团队表示，当前大模型训练需要付出高额框架，而如果采用FP8 低精度训练大模型，可以将速度提高 2 倍、内存成本降低 50% 至 75%，并且可节省通信成本。微软表示，目前只有 Nvidia Transformer Engine 兼容 FP8 框架，主要利用这种精度进行 GEMM（通用矩阵乘法）计算，同时以 FP16 或 FP32 高精度保持主权重和梯度。

微软表示，FP8 低精度训练框架现已开源。