品玩

科技创新者的每日必读

打开APP
关闭
科技创新者大会

百度大脑EasyDL助力产业升级

作为国内技术最领先、最全面的AI开放能力平台,百度大脑已经累积开放了216项AI能力,AI生态已经有超过150万的开发者。

钟文

发布于 2019年10月25日

演讲人:谢永康 百度大脑EasyDL技术负责人

    刚才听了前面几位嘉宾的分享,受益匪浅,我是百度大脑EasyDL的技术负责人,我今天就给大家介绍一下百度大脑EasyDL在to B的各行各业做出了哪些比较好玩的东西,如何助力产业升级。

    我们首先来看一下百度大脑的分层结构,百度大脑自下而上分为深度学习平台,主要是飞桨这样一个平台,在前几天的世界互联网乌镇峰会上也被入选(世界互联网领先科技成果)。我今天要介绍的EasyDL就在AI开发平台这一层面,希望把飞桨的能力通过平台让B端客户更好应用、落地。在开发平台之上是AI能力开放平台,这些是百度自研的,包括语音、视觉、自然语言处理,知识图谱等等这些已经预知的比较通用的能力。百度大脑从2016年发布以来,和业界的很多合作伙伴形成了很好的生态,在和生态伙伴的交互过程当中,我们也形成了面向不同行业行业场景化的解决方案,包括企业服务、工业、零售等等行业,我们都有比较丰富的行业解决方案。最上层是为了满足不同的场景和客户需要,我们提供了软硬一体的商品,面向IoT的端计算的平台,以及面向私有化部署的工具包。整个自下而上,就是百度大脑的层级结构。

    目前为止百度大脑是国内技术最领先、最全面的AI开放能力平台,已经累积开放了216项AI能力,绝大多数的AI能力可以在一天之内跟客户做集成。目前百度大脑的AI生态已经有超过150万的开发者。

    在这个过程当中,随着我们和生态开发者、生态客户做交流的过程中,我们很快就发现AI要真实地落地到场景,它的模型、算法、产品形态必须是要可定制的。举个例子,我们必须有厨师在实际生产过程中的着装图片或者是视频,我们才能去建设面向解决食品安全生产问题的定制化模型和解决方案。我们只有具备了寄生虫在显微镜下的图片之后,才有可能打造面向智能医疗领域的解决方案。

    但是大家可以很直观想到领域和模型定制之间,其实是有比较大的gap的。第一个gap是存在于数据上。首先领域的数据标注成本很高,我们在学术界或者在工业界,更多的是标准数据级,常见的数据级。但是对于领域的数据级,其实往往是没有标注过,甚至是没有建设起来的。第二个是领域的专家很了解业务,但他对机器学习,对深度学习、模型训练或者算法调优,往往是缺乏经验的。第三个是我们即使有了领域定制的模型,它的持续优化,它的运维,成本也是非常高的。大家也知道模型不是一蹴而就的,是要通过不断的使用去迭代、优化的,整个的优化周期也会比较长。因此造成了我们业界场景化是需要定制的AI算法,但是成本很高,项目效果往往无法达到预期。

    看到了这个问题之后,我们在2017年我们就推出了百度大脑EasyDL的产品,右边是用户的东西,可以是图片、文本、视频等等。百度大脑EasyDL解决的问题是对这些数据的加工,基于这些数据的定制化模型的学习,以及服务的部署和上线。当中的过程对于领域客户来说基本是透明的。最终百度大脑会提供最右侧的云端的Restful API,以及基于边和端设备的SDK,还有软硬一体的商品,或者是用于私有化部署的本地服务包。

    目前EasyDL已经发布了经典版和行业版,这两个的区别就是我们的经典版是面向零算法基础的客户,它提供最为常用的、场景泛化能力最强的一些技术能力方向,包括图象分类、物体检测、图象分割、声音、文本、视频分类等等。行业版是面向特定的经典的场景,这些场景里面包括数据,包括数据的采集,包括模型的深度调优,我们都会做深度的定制。

    自EasyDL上线以来,目前已经有将近2万的客户创建了多达6万的定制模型,它的场景也是非常丰富。接下来我就给大家介绍一些比较好玩的,比较具有代表性的EasyDL真实落地的场景案例。

    首先是医疗领域的,一个援藏的医生在边缘牧区,牧民感染寄生虫的概率很高,但是因为边缘的地区医疗资源很缺乏,牧民感染寄生虫以后往往没有办法得到正确判断是被哪种寄生虫感染,进而无法准确地治疗他,就推后了治疗的时期。但是牧区其实并不是没有设备,这些显微镜设备、采集数据的设备是有的,只是没有合格的或者说充足的医疗人员。这个陈医生就基于EasyDL和他采集到的寄生虫的镜检图片,训练了一个定制化的识别寄生虫种类的模型,很好地解决了牧区医疗资源不足的问题。

    第二个case是气象领域,就发生在杭州,是我们杭州气象局使用EasyDL做了一个物体分类和对于云层,对于天气,对于风霜雨雪识别的天气模型。大家知道典型的气象局或者现状,有一些往天上拍的摄像头,采集到的图片是需要人工做判断的。一方面人工判断受主观因素影响,对一些云状的判断大家的标准是不一致的。另外是它的时效性有影响,要数据采回来,然后人去看,不可能做到高密度的时空频率。杭州气象局就使用EasyDL打造了一个自动识别天上的云状、云量的模型,大幅提高了时效性和检测的效率。

    第三个案例来自市政道路,北京新桥是交通部下属的一个科研机构,它使用EasyDL对于这个桥和高速公路的路面健康程度去做了一个定制化的模型,这个模型可以比较准确地检测出道路的健康程度有没有开裂,有没有需要维修的情况,大幅提高了效率,也节省了维护的成本。

    第四个例子是环保方面的,大家知道近期上海和杭州都在推行垃圾分类,分形科技就使用EasyDL定制化图象分类的能力,定制了一个一体机,是软硬结合的设备,这种设备可以自动识别7种类型的垃圾,实现自动的垃圾分类,也是为环保提供了一个新的思路。

    刚才前面几位嘉宾都讲到AIoT,百度大脑也认为AIoT是未来一个非常重要的方向。怎么样能够使定制化的AI能力和边缘、设备相结合,包括在工业里面怎么去落地,EasyDL在这方面也有不少的案例。这是柳州源创使用EasyDL进行工业质检的案例,是使用EasyDL的定制化物体检测模型训练了一个针对发动机里面喷油嘴的质检的定制化模型,大家知道喷油嘴本身就很细,管径是很细的,目前的做法是人要借助特种设备去放大看喷油嘴里面有没有裂纹、毛刺、瑕疵之类的,如果有毛刺,发动机运行起来,毛刺脱落,就很有可能造成发动机的比较严重的故障。他们把定制化训练的模型和生产检测的机器相结合,形成了这样一个工业质检的定制化的产品,使检测的效率得到了大幅提升,同时也节约了人工检测的成本。

    和制造业结合还有一个例子,大家知道在服装出厂之前,是要通过X光的检测,避免服装里面残留有断针或者金属物件,这些是对人体有伤害的。之前都是通过人工去看,爱包花饰是使用EasyDL定制一个基于X光的识别模型,可以准确地识别断针和金属部件,从而导致纺织品出厂是安全的,也大幅提升了效率和准确新。

    百度的阿拉丁也使用EasyDL定制化的文本分类的能力,做一个针对作文打分的自动系统,能够基于包括文章里面有没有用比喻、拟人的修辞手法去判断这篇文章的质量,也大幅提升了文本审核以及优秀作文评价的效率。

    刚才介绍的这些案例,都是EasyDL的经典版所提供的能力方向。就像我刚才提到的,EasyDL现在也已经发布了行业版,我这边以零售行业为例,大家看一下为什么EasyDL除了经典版之外还要有行业版。比如线下零售里面,一个很常见的场景是去做货架的巡检,我们以某品牌的饮料为例,我们来看一下它和普通的物体检测或者目标检测,有怎样的区别。

    首先饮料包装瓶放在货架上之后,你去拍摄它,不同角度同一个商品呈现的样子是不一样的,包括拍摄的是俯视角还是平视角还是仰视角都是不一样的。这对商品SKU的识别检测数据的标注量比普通的物品检测要大很多。第二个是同一个品牌的一个系列的商品,相似度是很高的,比如500毫升可乐和200毫升可乐的外包装差不多,或者不同口味的可乐外包装也是类似的。在一些竞品上,同样性质的产品,有时候外包装也是相似的。这就给目标检测的识别造成了很大的难度。第三个是由于数据采集的时候拍摄空间的限制,货架往往是很狭长的,货架和货架之间的间距又比较狭窄,所以我们通常无法一下子采集到整个货架的图片,而是一段一段的图片,这就需要对识别最终的结果进行后处理,或者是需要进行人工干预,这和普通的物品检测也不太一样。

    基于这些原因,我们针对零售行业商品检测的具体场景,我们进行了深入的优化,包括对数据的采集,包括对模型的深度优化,包括对最终的产品形态的深度优化。在数据层面,我们一个是建设了这样一个针对商品的采集箱,我们称为SKU采集箱,可以360度去拍摄这个商品的全景图象。第二个我们为了解决商品在货架上陈列角度不同,我们引入了基于GAN的数据生成技术,去模拟商品摆放在货架上的各种情况。第三个是我们预制了海量的SKU的预制商品库,来提升模型识别的效果。

    在算法层面我们也进行了优化,我们引入Attention机制,进行细粒度识别。我们使用超大规模的分类优化问题。最后我们对货架,由于狭长,拍摄的结果是片段的,我们做了货架拼接,从而导致整体的误识别率能够得到大幅度降低。这是EasyDL的行业版在零售上面的一个具体案例。

    分享了EasyDL和AI落地的行业场景结合的案例以后,我们看一下EasyDL产品本身具有哪些特性。它具有四个特性,首先是简捷可视化操作,二是高精度模型效果,三是完善安全的数据管理和数据服务,最后是端云结合。

    EasyDL从产品形态来讲,包含三各环节,包括数据的服务、模型的训练以及模型部署,这些刚才已经大致讲过。

    所谓的简捷可视化的操作,最快就包括四步,大概5分钟就能得到一个定制化的AI模型。第一步是创建数据集以及上传,第二步是对数据集标注,第三步是对模型的训练和校验,最后是结果的获取,或者是定制化模型的部署。

    为了实现模型效果的高精度,除了我们采用领先的飞桨这样一个深度学习框架之外,我们在上层也进行了很多的技术优化,包括我们采用迁移学习的技术去解决小数据集下如何能够实现学习模型的高精度。包括我们采用了机器自动设计深度学习网络结构的Auto DL的技术,我们也采用防止过拟合的Early Stopping的技术,即使是小数据的情况下我们仍然可以得到高精度的模型。

    这是对人工设计的网络模型和网络结构和AutoDL由机器设计的网络结构,在标准数据集和业务数据集上对精度的比较。浅蓝色的这一块是明显的会略高于人工设计的部分,也说明机器设计的网络,在一些情况下,是优于人工设计的传统网络的。

    数据这块,也是百度大脑EasyDL格外重视的,包括数据安全,以及如何进行智能的数据加工。所有用户上传的数据,我们都进行了严格的加密,所以客户不用担心数据的安全、隐私的问题。对于数据的加工,也是今年EasyDL里面特别新增的,包括我们对数据的智能标注。

    这边可以看一个数据,这个功能上线之后我们统计了一下,基本上对于原始数据级只要进行40%左右的人工标注,和我们的系统去做交互,对一些bad case做修整以后,机器可以对剩下的60%数据做标注。人标注的数据集和60%由机器标注的数据集,最终训练出来模型的精度上的差异是非常小的,大概在千分位的差异。所以这个可以大幅节省领域的客户去做数据标注的成本。

    EasyDL的另外一个特性是端云结合,刚才提到IoT或者AIoT的时代已经逐步到来,未来肯定有很多的人工智能的计算、推理计算、定制化的计算,是发生在边缘设备上,是发生在设备端的。所以对这块EasyDL也非常重视,我们除了云端的API之外,有设备端的SDK,可以做软硬结合的商品,还可以做私有化的本地部署服务,都是面对不同的业务场景需要的。

    总结来看,EasyDL具有简捷可视化的操作,具有少量数据即可获得高精度模型效果,具有完善安全的数据处理加工工具,以及端云结合这样四个特点。

    自2017年上线百度大脑EasyDL以来,我们积累了大量助力行业产业升级的case。未来EasyDL会怎么做呢?EasyDL会主要集中在三个维度上,分别是速度、广度和深度这三个维度上做不断的迭代。速度上就是指我们的定制能力的方向,模型的效果会更好,定制能力方向会更多,我们的框架设施会更加全面,包括引入对强化学习,包括引入对联邦学习的这些基础设施的支持。

    在广度上面,我们会上线更多上下游相关的产品形态,包括智能的数据加工的产品形态,包括我们现在已经有的EZage会更加成熟,它是面向边缘和端计算的平台。

    深度上面,我们除了经典版和场景化的行业版之外,我们还会面向具有一定编程经验的,有更高精度或者更深入的代码级模型定制的专业版。昨天我们的专业版已经上线,如果大家希望了解这方面的情况,也可以扫二维码去了解百度大脑EasyDL的详细情况。

    AI时代已经到来,百度大脑非常乐意和在座的各位一起助力产业升级,让AI无处不在,谢谢大家!

下载品玩App,比99.9%的人更先知道关于「科技创新者大会」的新故事

下载品玩App

比99.9%的人更先知道关于「科技创新者大会」的新故事

iOS版本 Android版本
立即下载
钟文

这家伙很懒,什么也没留下,却只想留下你!

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测