近日,自然语言处理领域权威排行榜——GLUE(通用语言理解评估基准)新排名出炉。百度自研的语义理解技术与平台文心ERNIE以90.9的分数再登榜首,领先微软 DeBERTa/TuringNLRv4,谷歌 T5以及阿里巴巴、华为等研发的其他同类别技术。

GLUE排行榜由纽约大学、华盛顿大学、谷歌DeepMind等机构联合推出,涵盖自然语言推断、语义相似度、问答匹配、情感分析等9大不同类型的NLP任务。GLUE榜单的挑战者包含了谷歌、Facebook、微软等国际顶尖科技公司以及斯坦福大学、卡耐基·梅隆大学等知名高校,含金量极高。GLUE榜单在一定程度上成为了衡量各机构自然语言处理预训练技术水平最重要的指标之一。

(一级)首创层次化学习

早在2019年12月,百度文心ERNIE就曾以9个任务平均得分首次突破90大关的好成绩,刷新GLUE榜单历史夺得榜首。此次百度文心ERNIE再度登顶,主要源于文心ERNIE对模型持续学习方式的进一步升级和模型神经元数目的进一步增多,使得模型能更加高效地、高质量地学习海量数据中的丰富知识。具体来说,文心ERNIE提出了层次化Post-LN Transformer算法,解决了大规模Post-LN Transformer模型训练不稳定问题,保证了模型训练效果。此外,文心ERNIE还利用了百度飞桨独创的Hybrid Sharding分布式算法,极大地降低了模型训练时间。

(文心ERNIE层次化Post-LN Transformer技术图解)

(一级)业界领先的语义理解技术与平台——文心ERNIE

自然语言处理(NLP)被称为人工智能皇冠上的一颗明珠,该领域的技术突破对于机器认知智能发展至关重要。百度文心ERNIE则是一个取得世界级突破的语义理解技术与平台,它依托于百度的深度学习平台飞桨打造,将机器理解语言的水平提升到一个新的高度,为计算机带来了认知智能领域的巨大跨域。此次文心ERNIE能够再次超越国际顶尖公司及高校荣登榜首,背后是百度在NLP技术的长期积累。

文心ERNIE的核心技术优势在于,它开创性地将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的新知识,实现模型效果不断进化,如同人类持续学习一样。这让它在16个中英文典型 NLP任务上显著超越当时世界最好效果。

文心ERNIE语义理解平台集先进的预训练模型、全面的NLP算法集、端到端开发套件和平台化服务于一体,为企业和开发者提供一站式NLP开发与服务。

如今,百度在自然语言处理领域的深厚积累已辐射至不同领域。文心ERNIE已广泛地应用于百度内外多个产品和技术场景,在百度搜索、小度音箱、信息流推荐等一系列产品应用中发挥了重要作用,大幅提升了产品效果和用户体验,并通过百度智能云形成“云智一体”的竞争优势,输送到金融、通信、教育、互联网等行业,助力各行各业产业智能化升级。