华为云人工智能领域首席科学家田奇：ModelArts 3.0助力行业AI落地
DoNews9月25日消息（记者刘文轩）在HUAWEICONNECT2020期间，华为云发布ModelArts3.0，融合骨干模型、联邦学习、智能评估、智能诊断和高效算力。
华为云AI首席科学家田奇介绍华为云长期扎根AI基础技术研究，覆盖计算机视觉、语音语义和决策优化三大AI领域，提出了六大基础研究计划。这些计划产生的许多研究成果以即插即用的方式逐步部署于华为云ModelArts，助力行业AI落地。
以下是田奇演讲全文：
大家好，ModelArts在多个行业和项目中有了成功落地，这离不开华为云EI在人工智能领域的长期投入。
华为云长期扎根AI基础研究，覆盖计算机视觉、语音语义和决策优化三大领域。我们聚焦于模型高效、数据高效、算力高效、知识高效4大方向，提出了六大基础研究计划，包括面向大模型的模型摸高计划、面向小模型的模型瘦身计划、面向多模态学习的数据魔方计划、面向小样本学习的数据冰山计划、面向通用知识抽取的万物预视计划和面向新学习范式的虚实合一计划。
我们的许多研究成果，包括自动机器学习、小样本学习、联邦学习、预训练模型等，能够即插即用地部署于ModelArts使能平台，助力AI赋能千行百业。
在多项业界公开竞赛和测评中，华为云EI的持续创新研究已经取得了不错的成果，这些都将应用于ModelArts平台，提供给全球的开发者使用。
感知方面，我们在ImageNet大规模图像分类、WebVision大规模网络图像分类、MS-COCO二维物体检测、nuScenes三维物体检测、视觉预训练模型的下游分类/检测/分割等验证中，均保持业界领先。目前，ModelArts驱动的感知模型已经在医疗影像分析、油气勘探、工业故障检测等领域获得广泛应用。
认知方面，依托语音语义和知识图谱方向的积累，我们整合行业数据，对多样、复杂、孤岛化的数据进行治理，实现感知智能到认知智能的飞跃。目前，ModelArts驱动的认知模型已在药物靶点预测、金融诈骗分析、智能售后客服等多项任务中得到应用。
决策方面，依托运筹优化、强化学习、智能控制等算法，我们已经构建起完整的决策底座，使得AI真正实现感知-认知-决策的智能闭环。目前，ModelArts驱动的决策引擎已经应用于机位分配、工业制造、智能交通、游戏娱乐等领域。
我们发布的ModelArts3.0，是面向AI在行业落地提供的AI开发平台。在这里，我和我的团队主要是从技术领域进行探索和研究，如何通过AI技术高效解决行业挑战，比如，如何用极少数据训练出高精度模型？如何降低企业应用AI的门槛？如何解决企业对数据安全使用的顾虑等？最终，我们将骨干模型、联邦学习、智能诊断评估优化、和高效算力，很好的融入了ModelArts3.0，下面我将详细解读。
华为云骨干工具链EI-Backbone，整合模型高效、数据高效、算力高效、知识高效，全面提升行业AI落地能力。EI-Backbone的能力，已经在10余个行业成功验证，并且斩获10余个业界挑战赛冠军，发表100余篇顶级论文。EI-Backbone提供了AI开发的新范式，以肺部医疗影像分割为例来介绍：
过去需要成百上千例标注数据才能进行的训练，现在有了EI-Backbone，只需要几十例甚至十几例标注数据即可完成，节省标注成本90%以上；
过去需要大量专家经验和试错成本的模型选择和超参调节，通过EI-Backbone提供的全空间网络架构搜索和自动超参优化技术，可在无需人工干预的情况下快速完成，且精度大幅提升；
过去需要几周甚至更长时间，从头开始的模型训练、测试、验收和部署流程，在加载EI-Backbone集成的预训练模型后，可以缩短到几小时甚至几分钟内完成，训练成本降低90%以上。
基于EI-backbone技术，我们华为云ModelArts和杭州云深处科技有限公司合作，实现了四足机器狗的工业场景巡检。
华为云ModelArts3.0的下一个特性--联邦学习。
众所周知，数据是AI应用的基础，只有基于多样化的数据，才能实现AI智能感知。然而，在实际AI行业落地中，数据是分散在不同的数据控制者之间，这就导致了行业应用的数据孤岛问题，使得AI算法训练效果受到限制。
针对这个问题，华为云Modelarts提供联邦学习特性，实现数据不出户的联合建模。用户各自利用本地数据训练，不交换数据本身，只用加密方式交换更新的模型参数，实现协同训练。
华为云EI与中国科学院上海药物所的蒋华良院士合作，将华为自研的FedAMP算法和AutoGenome算法应用到药物研发的AI任务中，精准预测药物水溶解性、心脏毒性和激酶活性，准确度远超传统的联邦学习和深度学习算法。
此外，华为云提供云边协同的服务，支持不同地点、不同客户的数据进行联邦训练，通过加密方式上传服务端，对全局模型进行更新，再将其下发至边缘设备，便捷支持同业态的横向联邦和跨业态的纵向联邦学习。联邦训练参与者可以通过云端，也可以通过华为云边缘设备（如智能小站）的计算能力参与联邦训练，实现行业内联合建模。
模型在部署上线前，需要进行充分评估，结果优秀的模型直接投入生产环境，差强人意的则需要进一步优化迭代。ModelArts提供了全面的可视化评估、智能化诊断功能，使得开发者可以直观的了解模型的各方面性能，进而针对性的进行调优或部署生产。
下面以一个上皮病变细胞分类的模型评估来进行详细讲解。
在精度方面，华为云ModelArts提供了包含准确率、精确率、召回率、F1值、混淆矩阵、ROC曲线等常规指标，还包括了数据敏感度分析模块，评估模型在不同数据特征子区间上的表现；
在性能方面，ModelArts提供算子级别的时间、空间消耗统计分析和多种整体的性能指标，并且针对模型的表现给出相应建议，如模型量化、蒸馏等；
在可解释性方面，ModelArts提供热力图，用以展示模型做出推理判断所依据的区域；
在可信方面，ModelArts内置多种模型可信相关评测方法，提供多角度模型安全能力评估指标，并能依据当前模型表现给出相应的防御建议。
随着深度学习分布式训练的不断发展,各类模型的训练对于计算设备的需求越来越大。但由于各种原因,训练作业的资源还没有被充分利用。造成资源浪费的原因非常多,主要包括以下几点：
训练算法代码本身质量不高、资源利用率低。
模型大小和超参数的设置也会显著地改变计算资源的利用率。
资源池整体利用率存在波动峰谷。类似于“峰谷电”,训练作业的提交也有高峰期和低谷期，造成很大的资源浪费。
弹性训练是ModelArts的核心能力之一，可以根据模型训练速度的需求自适应实现资源的最佳分配。
ModelArts提供两种模式，一是Turbo模式，可以充分利用空闲资源加速已有训练作业，训练速度可提升10倍以上，并且不影响模型的收敛精度；二是经济模式，可以通过最大化资源利用率给开发者提供极致的性价比，在大多数典型场景下可以提升性价比30%以上。
为了更好地支持超大算力需求的AI研发，华为ModelArts平台在集群规模，任务数量，以及分布式训练都做了针对性的优化。
ModelArts研发平台能够管理上万的节点，更好的支持大型训练任务需求。通过优化服务框架，ModelArts平台支持10万级别的作业同时运行、支持万级芯片的大规模分布式任务。
优秀的分布式加速比是大规模集群分布式训练的关键能力，也是促使用户选择使用大规模集群来加速AI业务的关键因素。
华为云ModelArts领先的分布式加速比能力，在MLPerfbenchmarkImagenet-1K分类任务上，使用512芯片集群跑出93.6秒的成绩，优于NVIDIAV100的120秒。
在骨干网络、联邦学习、模型诊断优化、高效算力的加持下，华为云ModelArts会加速AI在行业落地。未来，华为云将持续聚焦于模型高效、数据高效、算力高效和知识高效4个重点方向，扎根于AI基础研究。在计算机视觉、语音语义、决策优化3大AI领域进行基础研究计划投入，我们会持续努力，提供强大的AI技术支持每一位开发者发挥所长、创造独特价值。华为云将持续践行普惠AI，与全球开发者共成长！
相关文章
-
京言AI助手测试版上线公告
她还表示，京东尝试在内部经营管理方面将大模型应用于系统代码辅助编写，实现了20%以上的效率提升。,此外，京东也已经开始测试AIGC自动生成商品营销图文的能力，目前已推广至2000多个零售三级品类。,今年5月，淘宝方面确立“科技驱动”为三大战略之一，并表示未来五年内实现商家运营工具的全面AI化。
2024-03-13 17:37 -
ShoptopAI内容工具分别是什么？有何优势？(Shoptop礼品卡是什么？有哪些注意事项？)
另外在商品的正文描述里，也可以通过点击鼠标右键对内容进行AI优化。,AI优化：在博客原文内容上一键优化润色，可以自动检查文本中的语法错误、拼写错误、标点符号等问题;确保文章更加优美流畅、更加准确明了。,博客设置完后，需要手动到【菜单导航】中进行菜单栏的绑定。
2024-03-14 16:31 -
快手AI玩评功能内测公告
快手宣布，在短视频评论区开始内测AI文生图功能——快手AI玩评，用户通过输入各种创意文字，可一键生成海量风格图片，更便捷的在评论区进行趣味互动。,据悉，这是继快手AI对话之后，快手在短视频场景内探索并落地的又一AIGC能力，这也是业内首次在大型APP核心业务场景评论区下应用的AIGC能力。,快手AI对话依托于快手社区内容生态，通过互动对话的形式，可以帮助用户快速查找短视频、达人、百科等内容，体验全
2024-03-13 18:07 -
快手自研文生图大模型可图内测公告
用户通过“AI玩评”功能可一键生成海量风格图片，更便捷的在评论区进行趣味互动。,快手AI团队表示，可图大模型仍在持续优化效果、丰富能力。,快手AI对话依托于快手社区内容生态，通过互动对话的形式，可以帮助用户快速查找短视频、达人、百科等内容，体验全新的信息获取形态。
2024-03-13 18:06 -
点淘AI头像功能是什么？怎么玩？
点淘AI头像功能即将上线，如何操作生成AI头像呢?一起来看本篇文章的介绍吧。一、产品介绍1、点淘核心创意功能点淘APP将在12月1日上线【点淘AI头像】功能，用户上传6-8张单人照片，就能「免费生成」自己的数字分身;超多头像模板选择，快来试试你的AI头像吧！2、模板行业“天花板”一张照片轻松获得多种类型风格的专属头像，照片变身、卡通头像、证件写真免费任用户挑选;模板精美程度、生成效果横比同类型产品
2024-03-13 17:50 -
亚马逊扩大与人工智能初创公司Hugging Face合作 亚马逊
亚马逊(AMZN.US)的云计算部门正在扩大与人工智能初创公司HuggingFace的合作，后者正在开发ChatGPT的竞品这是大型科技公司在生成式AI系统市场上结盟的最新举措亚马逊网络服务(AWS)将使用HuggingFace的产品，包括一个与ChatGPT背后的技术相竞争的语言生成工具，提供给那些想使用这些工具作为其自己的应用程序构建模块的云客户AWS负责数据库、分析和机器学习的副总裁Swam
2024-03-22 16:03 -
海通证券24小时客服热线(客服人工电话号码是多少) 创业
海通证券股份有限公司（以下简称公司）成立于1988年，注册资本130.642亿元公司始终坚持“务实、开拓、稳健、卓越”的经营理念和“稳健乃至保守”的风控理念，在三十多年的经营中，经历了多个市场和业务周期、监管改革和行业转型发展阶段截至2022年6月末，公司总资产达7495.66亿元，归属母公司净资产达1630.81亿元，实现营业收入121.04亿元，归属母公司净利润47.58亿元，主要财务指标保持
2024-03-22 14:38 -
10种常用的网络营销方法
来源：THLDL大课堂一、搜索引擎注册与排名这是最经典、也是最常用的网络营销方法之一，现在，虽然搜索引擎的效果已经不像几年前那样有效，但调查表明，搜索引擎仍然是人们发现新网站的基本方法。,现在，西单电子商务公司网上商场同样采用了这种营销思想，不过在表现形式上有一定的差别。,网上商店除了通过网络直接销售产品这一基本功能之外，还是一种有效的网络营销方法。
2024-03-22 09:24 -
邬贺铨详解5G产业：1秒下电影并非核心应用
新浪科技讯11月19日上午消息，2019京东全球科技探索者大会今日举行，中国工程院院士邬贺铨发表演讲称，一秒钟下载一部电影并不是5G的核心应用，1G-4G面向个人通信，5G扩展到产业互联网、智慧城市等方面应用。,谈及5G对汽车的影响，邬贺铨表示，5G可以让车到车、车到云等连接，提高车辆安全性，与此同时还可以实时掌握车辆数据，提高运输效率。,此外，基于5G+AIoT+区块链的产品溯源，可以避免人为篡
2024-03-22 09:18 -
小米预告将宣布重要消息：明天揭晓
海报仅仅给出了关键词“electricandblue-tiful”，并未透露细节。,有网友猜测，小米可能会公布RedmiNote8系列新配色。,此前小米官方推特预告即将推出RedmiNote8Pro新配色海洋蓝。
2024-03-22 09:14