品玩12月12日讯，据 Arxiv 页面显示，来自 AI 公司 Graphcore 的一支研究团队近日提出了一项名为 SparQ Attention的技术，可以降低大语言模型的内存带宽要求。

研究团队表示， SparQ Attention技术通过选择性获取缓存历史记录来降低注意块内的内存带宽要求。该技术可在推理过程中直接应用于现成的 大语言模型，而无需修改预训练设置或进行额外的微调。

研究团队表示，通过评估 Llama 2 和 Pythia 模型在各种下游任务中的表现，SparQ Attention技术可以将大模型的内存和带宽要求降低八倍，而准确率不会降低。

论文地址：https://arxiv.org/pdf/2312.04985.pdf