从去年年底到现在,手机端侧大模型可谓是“百花齐放”,几乎所有厂商都已经拿出来了自家大模型杀手锏,前有华为通过手机助手接入,后有小米 OV 荣耀继往开来,当然还有之前评测的三星,甚至连魅族都开始准备放弃造传统“智能”手机转而去造 AI 终端。
这样下来确实能够看到手机厂商为了“争”这块市场厮杀有多激烈,各种端侧大模型排行层出不穷,都在想尽办法苦口婆心地告诉消费者部署了几十上百亿参数自家算力有多强。
而且从手机端反馈来看,厂商们也都非常努力,还记得 OPPO 赶在大年三十还在开发布会宣布将全面进军大模型,接着就是魅族的大模型开放计划,这可让手机圈再度因为大模型兴起而变得热火朝天。
在之前评测的文章《三星 Galaxy S24:AI 的终极形态,就是让你感受不到它的存在》中我也说过了,手机端侧大模型实际上已经经历过三个阶段发展:
第一阶段是利用问答窗口形式来集成大模型;
第二阶段是通过一些具体应用场景,来接入大模型;
第三阶段是用大模型“重构”系统底层功能,颠覆整个操作系统。
但从刚开始的语音对话到现在部分厂商在系统底层全面融合 AI ,在用户感知这一层,似乎还没有哪个厂商的“声音”比 OPPO 的 AIGC 消除热度高。
当然一方面“显性”成因是 OPPO 推出的“时机”确实拿捏非常准确,春节期间大家都会外出拍照,AIGC 消除功能基本上能够用上。而另一方面,对于拍照、消除这样随时都会用到的功能,似乎是大模型未来发展的“隐性”发力点。
所以当我第一次听说小米要在最新影像旗舰上搭载影像大模型算法时,顿时来了兴趣。
小米这次深度集成影像大模型算法的小米 14U,到底是否可以成为大模型深入融合日常功能“第四阶段”的代表呢?
影像大模型究竟是个啥?
认真细致地使用一段时间后,发现小米 14U 集成的影像大模型优势和劣势都非常明显,但首先需要明白一个事情:小米影像大脑升级为 Xiaomi AISP,基本上算是对影像算法的重构,这比单纯的硬件升级要重要。
简单来讲,小米影像大脑是一套包括融合光学、色彩引擎、仿生感知、加速引擎、生态引擎、ISP 等在内的新架构。这套算法的优势在于,可以在硬件条件有限条件下,只利用算法,如光学多领域融、空间融、时间融、光影融合,来提升对于光的使用效率,而且对于硬件性能需求门槛也相对低一些,所以就能够看到在红米 Note 这样的千元机上,通过小米影像大脑也可以实现超低延迟快门以及不错的成像品质。
但升级的 Xiaomi AISP 就不一样了,首先这项技术核心在于,它本身就是依托于 AI 影像大模型的影像架构,和影像大脑相对线性的布局方向不同,AISP 已经融合进入到了光学、影调、色彩、人像四个独立引擎模块中。
相当于需要多线程处理,如果想要“算得过来”就必须有高算力来支撑,而这需要 CPU、NPU、ISP 通力协作来提供,所以当小米中国区副总裁许雯宣布算力可以达到 60TOPS 时,心一紧,这意味着对于搭载老处理器的机型来讲,很多功能都无法使用,换句话来讲。
Xiaomi AISP 因为对于性能有极高要求,或许高通骁龙8 Gen 3是能够实现完整功能的“最低要求”。
此外,接下来问题是,在发布会上宣布的四大独立模型,所体现出来的功能,真的就和没有搭载的有翻天覆地的变化吗?
影像大模型并没有“物尽其用”
正巧我这里还有因为折扣费实在太低,还没来得及置换的小米13U,这两台机器除了主摄传感器升级之外,副摄的传感器几乎完全一样。13U搭载的是最新小米影像大脑,在和小米14U对比使用影像功能后,我发现目前 AISP 所赋能的一些功能上的表现,确实有一定强化,但对于用户“感知”层面来讲,做得还不够。
因为小米14U中最能感受到大模型发挥作用的功能其实并不多。
使用下来,Ultra Zoom AI 超级长焦是影像大模型最接地气的功能,它可以在30倍以上数字变焦拍摄时,调用 AI 大模型来提升光的重绘,进而提升画面清晰度。
这样的功能,对于手不稳的用户或者新手小白特别友好。需要注意的是,目前小米的 AISP 算力虽然已经名列前茅,但想实现计算后的实时渲染画面还不现实。
那如何让消费者能够“感知”到大模型已经在计算了?小米14U解决方式是在取景框下方出现一个AI图标,这就意味着在按下快门后就可以得到AI调整后的图片。
不难看出,经过 AI 处理计算后的图片在细节上相比13U的确提升了不少。不仅画面清晰了,而且 AI 大模型可以自动识别“被瞄准”的对象,让拍摄对象始终处于画面中央,而小米13U在数码变焦超过30倍,成片后虽然有小米影像大脑来进一步计算,但依旧无法和14U的画面对比。
当然这Ultra Zoom AI超级长焦也不意味着用起来就一劳永逸,在使用过程中我还是发现了一些问题:
其一,对于能够激发条件有严格限制,必须在光线极好的环境;
其二,被识别物体需要有复杂层次,光滑平面很难激发AI。
除了Ultra Zoom AI超级长焦外,拥有更线性色深和更高动态范围的 Ultra RAW 功能并非小米14U独占,在小米13U上也有这项功能,只不过没有经过 FusionLM 融合光学大模型计算罢了。除此以外,像ToneLM 影调大模型、ColorLM 色彩大模型、PortraitLM 人像大模型这些都直接体现在影像计算中,并不能自主调节,在实用性上并没有使用大模型消除背景来得更直观。
揭晓答案,左边为小米13U,右边为小米14U。
小米13U 也有 Ultra RAW,对于大众用户来讲调节范围足够大,对于资深玩家来讲,小米14U动态范围更高。
影像大模型还有很长路要走
其实早在2018年,华为发布的 P20 就已经利用麒麟 NPU 的算力,实现了多达19种场景、覆盖500个识别目标的AI识图功能,在识别后就可以自动调整手机曝光、影调、色彩等等.而之后随着影像硬件发展,以及算力的增强,如今我们看到了部分手机厂商提出了AI影像大模型概念并付之于应用。
但对于现阶段搭载影像大模型的机型来讲,能够真正感受到大模型带来的最终成片效果提升确实有限,一方面受限于 CPU、NPU 这样的处理器算力,想有更复杂的拍摄实时预览也不现实。
而另一方面,在 AI 影像大模型融入手机影像之前,硬件已经有了高速发展,像小米13U 就通过大底 CMOS、高通光量孔径、复杂的涂层技术来提升了成像质量,如果使用主摄拍摄几乎难分伯仲。
但不管怎么说,影像大模型+硬件“双条腿”走路的组合,在一定程度上拓展了手机影像成像素质上限,但如何长久发展下去,让影像大模型可以让大众有肉眼可见的提升,才是考验手机厂商的终极测试。
接下来手机影像的发展,应该在现有尺寸的硬件基础上,想办法通过“AI计算摄影”能力获得更好的画面,而不是一味的采用更大的传感器尺寸。
虽说“底大一级压死人”,但目前手机影像模块已经严重影响了用户握持时的使用手感,继续增加传感器和影像模组在手机内部的空间其实是一种“偷懒”的做法。
去年华为 P60 Pro 之所以大卖,就是因为它在有限的机身三围尺寸下,将画质做到了能够匹配各家“影像旗舰”的画面效果。
而早年间 Google Pixel 的“生存之道”,也是用一颗不那么主流的传感器做到非常强大的成片表现,这都是计算摄影的能力,在手机传感器已经来到1英寸的“瓶颈”之下,AI 计算摄影真的应该发挥更大的作用。
0 条评论
请「登录」后评论