品玩

科技创新者的每日必读

打开APP
关闭

超越Claude 3.5、GPT-4o等顶尖闭源模型,阿里通义开源模型Qwen2.5斩获OpenCompass评测榜冠军

2024年10月18日

10月17日记者获悉,司南 OpenCompass大语言模型评测榜9月榜单公布,阿里通义千问开源模型Qwen2.5-72B-Instruct 击败Claude 3.5、GPT-4o等闭源模型,成为该评测榜首个开源模型冠军。据了解,9月底通义千问开源模型Qwen系列的衍生模型数量首次超越Llama,成为全球最大的开源模型群。

司南 OpenCompass 是由上海人工智能实验室研发的大模型评测体系平台,OpenAI、阿里巴巴、智谱AI、Meta、零一万物等百余个最主流的大模型均已加入评测,是最具国际影响力的中国权威第三方评测榜单。司南 OpenCompass 自建评测榜单每月一更,从语言、推理、知识、代码、数学、指令跟随、智能体等七大能力维度、十余项细分任务,对近期主流模型进行全面评测分析。

在2024年9月的司南 OpenCompass 榜单中,开源的Qwen2.5-72B以70.3分夺冠,首次超越Claude 3.5和GPT-4o等顶尖闭源模型。Qwen2.5-72B-Instruct在此次榜单的多项能力测评中均名列前茅。在代码能力方面,Qwen2.5-72B-Instruct以74.2分夺冠,不仅能准确完成代码编写,还能详细解释代码的功能和逻辑;在数学能力方面,Claude 3.5得分72.1,GPT-4o得分70.6,远不及Qwen2.5-72B-Instruct获得的77分成绩。

司南 OpenCompass 评价称,Qwen2.5的登顶,标志着开源社区在模型领域取得快速进展,以 Qwen 2.5等为代表的国产主流厂商模型,在经历最新一轮技术迭代后,其性能有了显著提升,与国际顶尖模型之间的差距正在快速缩小,展现了国产模型的强大竞争力。

早在9月底,Qwen2.5-72B-Instruct就冲进Chatbot Arena大模型盲测榜单前十,是前十中唯一的中国大模型。Qwen系列开原模型涵盖多尺寸的大语言模型、多模态模型、数学模型和代码模型,几乎所有尺寸的模型都实现了同等规模的最佳性能。截至9月底,全球开发者基于Qwen系列二次开发的衍生模型数量也已突破7.43万,超越Llama的7.28万,成为全球最大的开源模型群。

取消 发布

下载品玩App,比99.9%的人更先知道关于「Qwen」的新故事

下载品玩App

比99.9%的人更先知道关于「Qwen」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测