品玩

科技创新者的每日必读

打开APP
关闭
路萌

这个机器人能像 BB8 一样跟着你到处跑,有TensorFlow一份功劳

TensorFlow 帮助提升了路萌自主跟随功能的鲁棒性和稳定性。

Decode

发布于 2019年8月8日

既能当平衡车踩,又可以像《星球大战》 BB8 一样自动跟随“主人”,“混血儿”路萌(Loomo)是一个非典型的消费机器人产品。

(《星球大战》里的 BB8)
(《星球大战》里的 BB8)

路萌有着平衡车的外形,以及机器人的“大脑”。当大多数消费级机器人还只能在室内充当故事机时,路萌已经可以跑在户外,并且自动跟着使用者。

这个机器人出自“赛格威机器人”之手,后者是是赛格威-纳恩博集团创立于 2015 年的机器人业务。通过将平衡车、计算机视觉技术和机器人技术相结合,赛格威创造了一个“另类”的消费级机器人产品。

自主跟随是这个“另类”机器人最吸引人的功能。基于多个摄像头、计算机视觉以及英特尔的 RealSense 模块,路萌机器人能快速识别用户特征、姿态和地理位置,跟随用户前进,并在跟随期间自动避障。

在实现自主跟随这个功能过程中,赛格威机器人视觉组借助了当下流行的深度学习开源框架 TensorFlow。

“跟踪使用者(Follow me)功能本质是一个视频目标检测和跟踪问题,传统方法基于相关滤波实现。”赛格威机器人资深算法工程师薛舟对 PingWest 品玩表示。毕业于瑞士联邦理工(洛桑)的薛舟,在 2018 年 4 月加入赛格威后,主要负责摄像头相关的算法工作,比如路萌上的视觉传感器(鱼眼相机、RGB 相机和深度相机)。

(路萌的视觉传感器)
(路萌的视觉传感器)

相关滤波跟踪算法的实现路径是建立一个相关滤波器,使其与目标的相关响应最大。“我们会选定需要跟踪的图像块,经过特征提取、变换和相关滤波器相乘等一系列操作后,输出最大响应。响应最大位置即为这一帧中跟踪目标的位置。”薛舟解释道。

这种方法的优势是运算速度快,但很容易受到环境和目标变化的影响。“光照变化比较明显、目标经过遮挡再次出现、背景和跟踪前景有较多相似地方等情况,都会导致这种方法失效”。

为了提高目标跟踪的稳定性和鲁棒性,薛舟所在的赛格威视觉组想到了深度学习方法。

通常,大多数团队开始引入深度学习方法,都会借用一个深度学习框架,以降低开发成本,把精力集中在业务问题上,而不必过多关注底层技术。

在现有的几个深度学习框架中,赛格威视觉组选择了 TensorFlow。薛舟说:“综合来看,TensorFlow 最符合我们需求。比如,前期做原型时,效率会比其他框架高。并且,TensorFlow 有 Lite 版本,在部署时更有优势。”

基于 TensorFlow 深度学习框架,赛格威视觉组使用”Detect to Track”方法来弥补相关滤波的不足。

“我们先做目标(人体)的检测,然后再做目标跟踪,并且多个线程运行,隔几帧就会重新做一次目标检测和特征提取。采用新的方法后,目标在走动过程中转身、光照大幅度变化、发生遮挡、前景背景混淆等情况下,路萌都能第一时间重新找回被跟踪的目标。”薛舟告诉 PingWest 品玩。

基于深度学习的实现路径中,有几个关键点,比如检测目标、提取目标特征,都需要深度学习来实现。薛舟表示:“TensorFlow 在这些环节提供了很多帮助。”

利用 TensorFlow 训练完深度学习模型后,赛格威机器人视觉组还需解决部署的问题。路萌作为一个移动的机器人,会面临许多不确定因素,比如没有网络、电量不足。

“我们很多应用场景都是在移动端的,TensorFlow Lite 能很好满足我们的需求。”薛舟解释道。TensorFlow Lite 是 Google 于 2017 年 11 月专门针对移动端和物联网领域、发布的轻量级深度学习框架。它以轻量、低延迟、耗电少、支持移动端硬件加速等优势,被很多团队应用于移动端部署。

像 BB8 一样充满未来感的路萌,不是实验室里造价高昂的原型,而是消费者可以买到的产品——2018 年 9 月,路萌在京东发售,定价 9988 元。

路萌的成功量产开卖,不仅是消费机器人走向市场的探索,也是机器学习商业化落地的一次有益的尝试。机器学习早已不只是象牙塔里的论文,借助 TensorFlow 这一类开源工具,开发者和团队在业务中采用机器学习的门槛已经大大降低。

在真实的商业应用领域,机器学习如何助力企业成长,才是当前人工智能业界最重要的课题之一。

2019 世界人工智能大会 TensorFlow“智在,启无限”主题论坛将于 2019 年 8 月 30 日在上海世博中心举办,届时将邀请到以下重量级演讲嘉宾参与到论坛,与大家探讨机器学习在产品层面的突破、商业领域的应用、以及文化和艺术领域的创新。他们是怎么看待机器学习的,他们对机器学习的未来又有哪些期许与展望?快来认识一下吧!

TensorFlow产品团队豪华阵容:

<br>Kemal EI Moujahid  TensorFlow全球产品总监 

Kemal EI Moujahid  TensorFlow全球产品总监 

 

Mike Liang  TensorFlow亚太区产品负责人 
Mike Liang  TensorFlow亚太区产品负责人 

 

Nicole Pang  TensorFlow产品经理 
Nicole Pang  TensorFlow产品经理 

                                                                                                                       

重量级圆桌论坛嘉宾:

Subramaniyan Arun 通用电气贝克休斯数据科学及分析副总裁 
Subramaniyan Arun 通用电气贝克休斯数据科学及分析副总裁 

 

杨杰 网易严选算法总监 
杨杰 网易严选算法总监 

 

孙继超 腾讯 Medical Big Data Scientist
孙继超 腾讯 Medical Big Data Scientist

                         

 

创意迸发的开发者们:

Anna Huang  Machine Learning Researcher 
Anna Huang  Machine Learning Researcher 

 

武强博士 兰州大学信息工程学院助理研究员
武强博士 兰州大学信息工程学院助理研究员

 

 

胡继礼 安徽中医药大学医药信息工程学院计算机基础教研室主任
胡继礼 安徽中医药大学医药信息工程学院计算机基础教研室主任

以上嘉宾将在8月30日与大家见面!扫描二维码或点击这里,马上报名!

 

下载品玩App,比99.9%的人更先知道关于「路萌」的新故事

下载品玩App

比99.9%的人更先知道关于「路萌」的新故事

iOS版本 Android版本
立即下载
Decode

品玩作者 线索采集微信:dcba54123关注人工智能、工业和混合现实等新技术、科技创新领域。

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测