品玩7月18日讯，据 Arxiv 显示，微软近日发布论文，介绍一款名为In-context Autoencoder (ICAE)的模型，可用于在大语言模型中进行上下文压缩。

论文显示， ICAE 中包含两个模块，一个可学习的编码器通过从LLM中采用LoRA进行调整，将长上下文压缩成有限数量的存储槽。还有一个固定解码器，可以根据存储槽进行各种目的的条件选择。

实验结果表明，ICAE能够有效地产生具有4倍上下文压缩的存储槽，固定解码器可以很好地对其进行条件选择，帮助模型进行回应。