品玩12月30日讯，据 HuggingFace 页面显示，由HuggingFace、英伟达和约翰霍普金斯大学联合推出的编码器模型BERT 推出了全新版本 ModernBERT。

开发团队表示，尽管 BERT 模型自 2018 年发布以来仍被业界广泛使用，并且是 Hugging Face 上下载量第二大的模型（仅次于 RoBERTa），每月下载量超 6800 万次，但这款模型如今已有些落后。

在 BERT 模型首次发布 6 年后的今天，Hugging Face 和其他团队借鉴了近年来业界 LLM 的进展，对 BERT 模型架构和训练过程进行改进，最终公布了 ModernBERT 模型以代替原版 BERT 模型。