品玩

科技创新者的每日必读

打开APP
关闭

禾赛造“相机”:死磕具身数据的激光雷达公司才是好机器人公司

从感知硬件到空间数据,禾赛想把真实世界变成可复用的训练场

樊雅婷

发布于 2小时前

禾赛在具身上又有新动作,这次和数据有关。

近期禾赛正式发布了三维世界数据引擎 Kosmo,包括 AI 空间相机 Kosmo One 和云平台 Kosmo World。前者采集真实环境,后者将其转化为可编辑、可复用的三维空间数据,服务机器人训练、世界模型和内容创作。

回看此前的布局,这并不是一次突然跨界。禾赛三位联合创始人已共同创办机器人公司 Sharpa,后者独立运营,开发机器人及灵巧手等产品;今年 4 月,禾赛又在技术开放日上首次展示 Kosmo,并公布机器人动力模组方向。

和禾赛团队交流后,你会发现Kosmo 的野心也不只在机器人身上。具身训练、影视制作、空间展示,都被放进了它的应用范围。贯穿这些场景的是同一件事:把真实世界采下来,变成可以反复使用的三维数据资产。

Kosmo One AI空间相机
Kosmo One AI空间相机

大家都在采动作,禾赛先采环境

“当前,物理 AI 缺的不是数据,而是真实世界数据。”禾赛联合创始人及 CTO 向少卿这样解释 Kosmo 的出发点。

在他的判断中,普通二维图片和视频缺少直接测量的深度、位姿与空间关系;纯仿真数据难以完整还原复杂物理规律;真机遥操作足够真实,却成本高、难以规模化。高质量、大规模、低成本,长期构成具身数据的“不可能三角”。

Kosmo 的切入点由此不同。

此前体验觅蜂 MEgo 时,我需要完整做出叠衣服、擦桌子的过程,记录“人怎么完成一件事”。Kosmo 则更关注环境本身——房间的结构、物体的位置,以及它们之间的空间关系。

一个以操作过程为中心,一个以可复用的三维环境为中心。

这也决定了 Kosmo 在 Real-to-Sim-to-Real 中的位置:它主要处理真实环境进入仿真系统的前半段,降低场景采集与重建的门槛。

扫完一个房间,还能重新布置

外形上,一公斤重的手持相机 Kosmo One 像一个接力棒,但它不像看起来那么简单。

设备集成了高空间解析力激光雷达、8K 影像系统、一英寸 CMOS 和高精度惯性测量单元(IMU),对几何、色彩、纹理和设备位姿进行微秒级同步采集。再结合 3D Gaussian Splatting(3DGS)重建与专门的图像处理调校,官方称可以实现毫米级几何精度。

这些配置各有分工,激光雷达提供空间测量,影像系统记录视觉细节,IMU 辅助运动与姿态估计。它的思路是让三维重建以实测几何为依据,而不只是生成一个视觉上相似的房间。

采集流程则尽量简化。Kosmo One 提供即开即扫、智能指引和一键续扫功能,官方给出的典型参数是:约 15 分钟完成 100 平方米普通室内空间扫描。云端模型生成速度,在相近硬件、数据集和质量要求下,最高约为同类 3DGS 重建产品的 5 倍。

现场 demo 里,更吸引我的是采集后的可再编辑,重建场景中的物体可以被单独选中、移动,空间布局不再固定。

对机器人训练来说,这意味着一次采集可以扩展出多种训练条件。最近 GPT-6 Astra 借助 Blender 制作三维内容的演示,展示了模型构建虚拟场景的能力;Kosmo 则从真实空间出发,通过重建和编辑增加场景变化。

支撑这一步的是禾赛自研的 Kosmo Spatial Core(KSC)。据介绍,这套系统通过语义分割识别独立物体,通过生成式能力补全未扫描区域;一次重建还会同步输出相互对齐的 3DGS、Mesh 和 Depth 数据,分别用于视觉呈现、表面几何与距离表达。

例如,采集一间厨房后,可以改变杯子的位置、桌椅的摆放,构造不同的训练场景。同一项拿杯子或收拾桌面的任务,可以在不同条件下反复训练,帮助机器人学习适应环境变化。这也降低了反复布置现场、重新采集和建模的成本,让一份真实场景数据能够支持更多训练任务。

[世界模型空间轨迹规划视频.mp4]

DQ 门店提供了一个实际样本。据 Sharpa 介绍,其机器人在上海一家 DQ 门店使用现有设备制作暴风雪冰淇淋,一单包含 55 个连续操作步骤,涉及开柜门、添加配料、搅拌和翻转纸杯等动作。

在这一项目中,原本约需专业团队 300 小时完成的训练环境建模,被约 15 分钟的扫描与重建替代;该部署中的机器人任务成功率达到 99%,失败率降至此前的十分之一。

机器人要训练场,电影也要片场

影视创作展示了同一套能力的另一种用途。

在机器人公司手里,三维场景是训练环境;在创作者手里,它可以成为勘景、镜头预演、虚拟制作和后期处理的素材。相比一段固定机位的视频,空间重建保留了继续选择视角、加工场景的余地。

目前,Kosmo 已获得全球顶尖影视公司的采用,其中包括皮克斯旗下工业级渲染器 RenderMan。10 月 5 日,RenderMan 官网发布教程,用 Kosmo 扫描皮克斯园区的台灯与小球,再将数据导入 Houdini,使用 RenderMan 渲染,并提供了 120MB 的示例工程。

用 Kosmo 扫描的皮克斯广场,再用 RenderMan 渲染的效果——来源:Dylan 的 blog
用 Kosmo 扫描的皮克斯广场,再用 RenderMan 渲染的效果——来源:Dylan 的 blog

艺术家 Dylan Sisson 在使用记录中解释,采集结果可以通过 USD 格式进入 Houdini 的 Solaris 环境,不必先将广场重新制作成传统多边形场景。在 Houdini 中,扫描结果作为点数据参与编辑,可以调整位置、大小和透明度,再进行风格化处理。

另一个已经上线的场景来自高德。双方公布的首批合作项目中,“重美术馆”和“偏锋画廊”由 Kosmo 完成三维重建,进入高德扫街榜“飞行街景”,用户可以在线浏览真实空间。禾赛负责采集、重建与空间数据生成,高德提供地图、位置服务和应用入口。

由此看,Kosmo 对应的不只是一类客户需求:机器人公司购买训练素材,影视团队制作数字资产,商户和空间运营者则需要线上展示。

设备与数据服务,两种商业模式

关于 Kosmo 的商业模式,禾赛团队也有更具体的说明。一类是向行业客户提供软硬件一体化产品;另一类是面向世界模型和物理 AI 企业,提供规模化的真实空间数据生产服务。客户可以自行采集,也可以采购数据生产服务。

相应地,禾赛计划开放采集图像、点云、IMU 数据和重建后的三维资产,对接 Isaac Sim、Isaac Lab、Houdini、RenderMan 等训练与创作平台。发布会当天,Kosmo 还与银河通用机器人、原力灵机签订了战略合作。

银河通用机器人联合创始人姚腾洲介绍,进入一个新场景前,三维重建可以帮助团队提前了解环境,把部分训练、调试和验证放在实验室完成,缩短到客户现场后的交付过程。

苏度科技商业副总裁张校珩则谈到了工业客户对数据的顾虑:企业未必愿意把自己的场景数据交给模型公司。他认为,终端客户也可以使用 Kosmo 采集数据,再结合通用模型完成面向自身业务的后训练。

禾赛正在寻找它的下一个增长曲线,而拿大模型演进来对比,一切智能都建立在更好的“压缩”之上,对网络数据的压缩带来模型智能,接下来,如何对真实世界更高压缩,会直接影响物理AI的进程。禾赛过往的激光雷达技术与生意,其实就是对物理世界进行压缩的一种方法,今天它希望从此切入,真正演变为一个物理AI公司一个好的机器人公司。

樊雅婷

这家伙很懒,什么也没留下,却只想留下你!

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测