2025年上半年，AI开源领域的竞赛异常激烈，主要围绕着几个核心方向展开：首先是效率竞赛，各路玩家不再单纯追求千亿、万亿参数的“巨无霸”模型，而是更专注于通过新架构和训练方法，用更小的参数实现更强的性能。其次，多模态已成标配，纯文本模型越来越少，新发布的旗舰模型几乎都具备了处理图像、视频等多种信息的能力。
最后，智能体（Agent）是新战场，让AI能够调用工具、自主完成任务，成为了衡量模型能力的关键指标。在这样的背景下，智谱AI在今天正式开源了其最新的多模态模型：GLM-4.1V-9B-Thinking。
GLM-4.1V-9B-Thinking只有9B参数，但在18个测试中，表现却能持平甚至超过72B参数的Qwen-2.5-VL-72B。更重要的是，它引入的“思考范式”，通过课程采样强化学习 RLCS（Reinforcement Learning with Curriculum Sampling）全面提升模型能力，让我们能清晰地看到AI如何对复杂的视觉信息进行推理，而不仅仅是给出一个“黑盒”式的答案。
核心技术：GLM-4.1V-Thinking是如何实现的？
简单说完了核心特点，我们来看看GLM-4.1V-Thinking是怎么实现这些能力的。
这个模型的架构主要有三个部分：视觉编码器、一个起桥梁作用的适配器、以及语言解码器。但每个部分都有不少创新。
视觉编码器用的是AIMv2-Huge，这是个很强的视觉模型。但智谱做了个重要改动：把传统的2D卷积换成了3D卷积，这样做的好处是能更好地处理视频，因为多了时间维度。对于静态图片，就通过复制帧的方式保持格式一致。
然后是位置编码的改进。智谱加入了2D-RoPE（二维旋转位置编码），让模型能处理各种奇怪尺寸的图片。什么概念？宽高比超过200:1的图片都能处理，4K分辨率也没问题。同时还保留了原来ViT的位置嵌入，通过双三次插值动态适配不同分辨率。
中间的适配器是个MLP结构，主要负责把视觉信息和语言信息连接起来。这部分看起来简单，但很关键，决定了视觉和语言信息能不能有效融合。
语言解码器用的是GLM架构，也做了改进。原来的RoPE位置编码被扩展成了3D-RoPE，增强了对多模态输入的空间理解能力，同时保持文本生成的原有性能。
整个架构的巧妙之处在于，每个组件都不是简单拼接，而是深度融合。视觉信息经过编码后，通过适配器与语言模型深度整合，最后输出的不只是答案，还有完整的推理过程。
训练过程也很有讲究。分三个阶段：预训练、监督微调（SFT）和课程采样强化学习（RLCS）。预训练阶段又分为多模态预训练和长上下文持续训练；然后是监督微调，专门用高质量的CoT（思维链）数据来训练推理能力；最后是课程采样强化学习，通过RLVR和RLHF两种方法全面优化性能，通过课程采样，在这些任务上开展由易而难的动态大规模强化学习训练，模型在实用性、准确性和稳健性等方面取得了显著提升。
这种设计让9B参数发挥出了远超参数规模的能力，不是靠堆参数，而是靠精巧的架构设计和训练策略。
上手实测，一个模型的多种用途
了解了GLM-4.1V-Thinking的核心技术后，我们通过几个实际案例，来看看它在真实场景中的表现。
正值七月初，各地高考分数刚刚放榜，我们先用一道今年的高考数学真题来检验一下GLM-4.1V-Thinking的逻辑推理能力。
测试指令：“请帮我解决这个题目，给出详细过程和答案。”
模型的思考过程非常详尽，它首先分析了“正四棱柱”的几何特性，识别出底面是正方形，侧棱与底面垂直。甚至考虑了用空间坐标系来解题的可能性，但最终选择了更简洁的几何法。
解题步骤也很清晰，三步走策略——先用勾股定理求出底面对角线，再求边长，最后算体积。
光会做数学题还不够，我们想看看GLM-4.1V-9B-Thinking在生活场景里的表现，于是给它发了一段最近正在尝试的家常菜“农家一锅香”的烹饪教程视频。
这次采用了“追问”的形式，逐步加深难度。
我们先问了一个最基本的问题：“这个视频讲了什么？”
GLM-4.1V-9B-Thinking的回答迅速且准确，表明它对视频的整体内容有快速的归纳能力。
接着，我们增加了难度，要求它拆解出具体步骤：“主要步骤有哪些？”
模型的表现依然很出色，列出了“1. 煎鸡蛋 -> 2. 炒青椒 -> 3. 炒肉 -> 4. 混合调味 -> 5. 装盘”的核心流程。
有意思的是，模型似乎暴露了它处理视频的可能方式。在回答中可以观察到它引用了多个“页面”或帧作为分析参考，这些页面的序号和视频的秒数相对应，可能是将视频理解为一系列按时间顺序排列的关键帧截图。
最后，我们提出了一个最考验细节能力问题：“第27秒发生了什么？”
它能精准地定位到第27秒对应的截图，并描述出当时的动作是“用勺子打出多余的油脂”。更锦上添花的是，它还主动解释了这么做的目的——是为了“减少油腻感”，而这正是我们准备追问的下一个问题。
我们再用一张在大模型圈流传的Meme图，考验一下它的“情商”和对网络亚文化的理解。
测试指令：“这个图是什么意思？”
回答如下：这张图是一个网络迷因（meme），用来表达**情侣关系中因对电子设备文件的理解差异而产生的小误会与不信任感**，具体含义可拆解为： 文字说明：“When she sees a folder named "models" in your personal laptop and all it contains some file ending with .pkl, .pt or .pth” 意思是 *当她看到你个人笔记本电脑里有个叫“models”的文件夹，里面全是带 .pkl、.pt 或 .pth 后缀的文件时*。 图像场景：画面中女性（通常代表女友/妻子视角）面露疑惑、担忧，手持手机（可能是在质问或观察）；男性（代表伴侣）在浴室（可能刚结束独处时间后回到空间），整体氛围透露出“她对你电脑里的‘models’文件夹存有疑虑”，而实际上： 这些文件扩展名（`.pkl`、`.pt`、`.pth`）常见于机器学习/人工智能领域（`.pkl` 是 Python 的序列化格式，`.pt` 和 `.pth` 多是 PyTorch/TensorFlow 等框架下的模型权重文件），属于技术开发资料； 但“models”字面容易让人误以为是“模特照片”等非技术关联的内容，导致情侣间对文件夹用途产生**认知偏差**——女方可能觉得这是和“外部女性/不适当内容”有关的证据，进而表现出不信任、焦虑的情绪。 简言之，这张图幽默地展现了“因为行业术语/文件命名歧义，导致亲密关系中出现小误会，一方对另一方隐私/设备内容产生猜忌”的场景，常用于调侃“程序员/科技从业者伴侣被质疑电脑内容”的共鸣感~
可以看到，模型解释了所有的事实，但没能点出这个梗的核心——那种由信息差造成的、程序员“有苦说不出”的巨大情感反差。不过凭借9B的参数能做到这一步，已经相当不错了。
最后，为了测试GLM-4.1V-9B-Thinking的逻辑与创意融合能力，我们选择了一个更具挑战性的任务，让它解读世界名画《阿尔诺芬尼夫妇像》，并模仿其风格创作一段商业文案。
问：这是扬·凡·艾克的名画《阿尔诺芬尼夫妇像》。请你仔细观察后，完成以下任务：
1、用简单的语言，描述这幅画的主要内容、整体氛围，并解读其中至少两个最突出的象征性元素。
2、现在，请你模仿这幅画所传达出的感觉，为一项高端的家族财富规划服务——“传世信托”，撰写一段大约100字的宣传文案。
结果也相当出色。模型不仅准确解读了画作的庄重氛围和镜子、绿色长裙等元素的象征意义 ，还能将这种“注重传承和契约”的感觉，巧妙地迁移到了为“传世信托”撰写的宣传文案中。 从分析画作细节，到提炼“见证”与“永恒”等关键词，再到将其应用在文案创作的完整逻辑链条，迫使模型几乎调用了从知识库、逻辑链到语言美学的全部能力，这项任务的耗时也最长（耗时22597ms）。
9B参数的“以小博大”之道
根据官方技术报告，GLM-4.1V-9B-Thinking达到了10B参数级别视觉语言模型的最强性能（SOTA）。
这是一个相当亮眼的成绩。具体来看，在28项公开评测任务中，它有23项做到了同级别最佳。更值得注意的是，其中有18项任务的表现，持平甚至超过了参数量是它8倍的Qwen-2.5-VL-72B模型。这意味着模型在“参数效率”（即用更小的模型尺寸达到更高的性能）上做得非常出色。
从评测数据中，我们可以梳理出几个关键点：
在科学、技术、工程、数学（STEM）领域表现突出。在MMMU、MathVista、AI2D等多个需要严谨数理逻辑和科学知识的测试中，它的得分都超过了参数量远大于它的对手。
在需要精细理解的任务上优势明显。例如，在需要识别图表内容的ChartQA、ChartMuseum，以及处理长文档的MMMLongBench-Doc评测上，它的得分都大幅领先于同级别的其他模型。
在新兴的Agent和代码能力上很强。特别是在GUI Agent（图形界面代理）和Coding（代码生成）这两个考验模型与数字世界深度交互能力的领域，它的提升尤其显著。
此外，官方还提供了一张图，清晰地展示了“强化学习”（RL）在训练过程中带来的性能提升。
可以看到，在经过SFT（监督微调）的基础上，再加入RL训练后，模型在GUI Agents、视频理解、STEM等多个维度上都有了5%到7%不等的显著增长。这从数据上直观地证明了其训练方法的有效性，也解释了为什么它能达到如此高的性能水平。
总的来说，这些量化数据印证了我们在第一部分提到的观点，不是靠堆参数，而是靠精巧的架构设计和训练策略，让模型发挥出了远超参数规模的能力。
在AI版图里，GLM-4.1V-Thinking的位置和未来
最后，我们不妨退后一步，看看GLM-4.1V-Thinking在当下的AI版图里，到底处在一个什么样的位置，又意味着什么。
从技术角度看，9B参数能达到72B参数的效果，这对整个行业都有启发意义。不是所有公司都能负担得起训练超大模型的成本，但如果能通过更好的架构和训练方法达到同样效果，那门槛就降低了很多。
开源这个决定也很关键。GLM-4.1V-Thinking的开源，可能会极大地推动更多关于“多模态思考范式”的研究和应用，让整个社区都受益。
这种全面的能力，也正好契合了当前AI发展的一个核心趋势：自主智能体（Autonomous Agents）。GLM-4.1V-Thinking所具备的GUI Agent能力，让它有潜力成为这一趋势下的关键赋能工具，在未来的企业自动化和数字化转型中发挥作用。
而根据官方信息，这次发布的9B模型只是一个开始，更大参数的版本也已“蓄势待发”。这种持续投入开源的战略，也获得了资本市场的强力背书，就在7月2日，智谱宣布已获得来自浦东创投和张江集团的10亿元战略投资。这笔资金将为其后续大模型的研发和开源生态的构建提供坚实保障。
总之，GLM-4.1V-Thinking的发布，值得关注的不只是它在评测数据上的优异表现。更重要的是，它向我们展示了一种可能性，通过让AI的思考过程变得透明，并赋予其处理多样化任务的全栈能力，AI正在从一个单纯回答问题的“工具”，向一个能理解、规划并执行任务的“智能助手”迈进。
最后，如果你想亲自上手体验GLM-4.1V-Thinking，或者将其集成到自己的项目中，可以访问以下链接：
HuggingFace 体验链接： https://huggingface.co/spaces/THUDM/GLM-4.1V-9B-Thinking-Demo
魔搭社区 (ModelScope) 体验链接： https://modelscope.cn/studios/ZhipuAI/GLM-4.1V-9B-Thinking-Demo
Github: https://github.com/THUDM/GLM-4.1V-Thinking
Hugging Face: https://huggingface.co/collections/THUDM/glm-41v-thinking-6862bbfc44593a8601c2578d
ModelScope: https://modelscope.cn/collections/GLM-41V-35d24b6def9f49
智谱MaaS开发平台（bigmodel.cn）已同步上线 GLM-4.1V-Thinking-Flash API，详情可查阅：
API 使用指南： https://www.bigmodel.cn/dev/howuse/visual-reasoning-model/glm-4.1v-thinking
API 接口文档： https://www.bigmodel.cn/dev/api/visual-reasoning-model/glm-4.1v-thinking
论文：https://arxiv.org/abs/2507.01006
技术报告：https://arxiv.org/abs/2507.01006
0 条评论
请「登录」后评论