万亿参数大模型阵营又添一员。9月30日消息,蚂蚁集团已在今天凌晨开源了自研的首个万亿参数大模型Ring-1T-preview。据悉,该模型是一款自然语言推理大模型,也是全球首个开源的万亿参数推理大模型。
据百灵大模型官方信息,此次发布的Ring-1T-preview是万亿参数推理大模型Ring-1T的预览版模型,但也同样展示了卓越的自然语言推理能力。例如,在考察数学能力的AIME 25测试中,Ring-1T-preview取得92.6分,超越所有已知开源模型及Gemini 2.5 Pro,更接近GPT-5(无工具使用)的94.6分。在被誉为“代码生成能力的终极试金石”CodeForces测试中斩获94.69分,超过GPT-5。同时在LiveCodeBench及ARC-AGI-v1等权威榜单中均位列开源模型首位。
值得一提的是,蚂蚁百灵研发团队还在IMO25(国际奥林匹克数学竞赛)上测试了Ring-1T-preview的推理能力, Ring-1T-preview可一次性做对第三题,同时在1、2、4、5题可一次推理出部分正确答案。
今年以来,蚂蚁AGI开源持续加速,发起了专注于大模型基础技术的InclusionAI社区,开源了百灵基础大模型Ling、强化学习开源框架AReaL、多智能体开源框架AWorld等,多项工作引发行业热议。包括首个基于国产芯片训练的大尺寸MoE模型Ling-plus-1.0、全球首个开源的扩散语言模型LLADA,全球首个开源多模态理解与生成深度统一模型Ming-lite-omni-1.5,该模型一度登顶Hugging Face模型趋势榜(any to any)TOP1。近期Ling-2.0架构下的Ling-flash-2.0也登上了Hugging Face模型趋势榜中型尺寸模型(text generation)榜单TOP2,深受开发者喜爱。
业界普遍认为,在Scaling Law规律下,模型参数越大,具备越强的理解与生成能力,以及模态融合能力,也就是更聪明、更智能。万亿参数大模型的领先性不仅体现在“参数规模”本身,更在于其背后所代表的算法创新、系统能力、数据工程能力,是当前人工智能技术能力的集大成,也是通往通用人工智能(AGI)的关键一步。据公开信息,海外公司中谷歌、OpenAI、Meta已经研发了“万亿参数”级别的大模型。国内也有阿里、月之暗面研发了万亿大模型。
万亿大模型的研发不仅是技术挑战,更需要在能效比、架构效率、训练方法上取得突破。根据百灵大模型团队公开的部分技术方案,Ring-1T-preview版深度融合了蚂蚁AGI团队的诸多先进研发成果。包括百灵团队全新升级的Ling-2.0 MoE架构,它融合了1/32稀疏性、FP8混合精度训练等特性,训练效率和性能都显著增强。以及此前在Ring-flash-2.0开源模型中公开的棒冰(icepop)方法,它克服了MoE LLM强化学习训练中的稳定性挑战。此外还有蚂蚁自研高效强化学习系统ASystem(包含首个支持异步强化学习的推理框架AReaL框架)等。可以看出,蚂蚁AGI已从算法、框架、模型、系统等层面形成了领先性的全栈布局。
蚂蚁百灵团队还透露,团队一直在投入Ling2.0家族1T语言基座的后训练,试图最大程度地激发这个万亿规模基座模型的自然语言推理潜力。Ring-1T正式版正在训练中。
0 条评论
请「登录」后评论