品玩3月22日讯,腾讯混元昨晚正式推出自研深度思考模型混元T1正式版。通过大规模强化学习,并结合数学、逻辑推理、科学和代码等理科难题的专项优化,混元T1正式版进一步提升了推理能力。
混元T1正式版沿用了混元Turbo S的创新架构,采用Hybrid-Mamba-Transformer 融合模式。腾讯表示,基于出色的长文捕捉能力,混元T1能有效解决长文推理中常见的上下文丢失和长距离信息依赖问题。
同时,混合Mamba架构针对长序列处理进行了专项优化,通过高效的计算方式,在确保长文本信息捕捉能力的同时大幅降低资源消耗,在相近的激活参数量下,实现了解码速度提升2倍。





0 条评论
请「登录」后评论