解密华为最新AI生态布局,开源AI计算框架,三大顶会密集发论文81篇
科技
科技 > 互联网 > 正文

解密华为最新AI生态布局,开源AI计算框架,三大顶会密集发论文81篇

文 | 心缘

HMS枪响方熄,华为又发新的生态炮弹。

3月27日至28日,首次在线上举办的华为开发者大会,成为华为“鲲鹏+昇腾”双引擎计算战略的大型秀场。

基于鲲鹏的免费商用版操作系统、基于昇腾的开源AI计算框架接连亮相,为华为计算长卷再添上浓墨重彩的一笔。

有趣的是,就在过去十天内,我国国产开源深度学习框架小分队一改百度飞桨单兵作战的旧格局,喜添清华计图、旷视天元、华为MindSpore三位新伙伴。

单拼技术,几个框架各具千秋;而华为之强,强在全栈全布局。

AI框架上承应用、下接芯片,而华为既拥有覆盖云边端的丰富AI应用场景,又自主研发昇腾系列AI芯片,软硬件协同的AI方案日臻完善。

根据华为《泛在算力:智能社会的基石》报告,预计到2025年,AI涉及的场景规模将达到2081亿美金,AI所消耗的算力将占算力消耗总量的80%以上。

那么,在智能计算的扩疆之战中,华为已经交出了怎样的成绩单?

一、全新升级的AI基础设施整体架构

在2018年华为全联接大会上,华为首次发布了全栈全场景AI解决方案,如今这一方案已经得到全新升级。

纵向来看,该方案打包了应用使能全堆栈方案、统一训练和推理框架MindSpore、芯片算子库CANN、昇腾系列IP和芯片,可在公有云、私有云、边缘计算、IoT行业终端和消费终端实现全场景部署。

横向来看,昇腾系列IP和芯片包含Max、Mini、Lite、Tiny、Nano五个系列,覆盖云边端及嵌入式AI应用场景。

华为处理器不直接对外销售,而是以云服务和模块、板卡、小站、服务器、集群等形式面向客户,协同硬件框架、数据库、AI计算框架,加速合作伙伴的AI开发及应用。

华为计算产业发展的策略是“硬件开放,软件开源,使能合作伙伴”。

而在刚落幕的华为开发者大会2020中,这一策略的存在感相当爆棚。

面向企业,华为推出低门槛高效率的业界首款企业级AI应用开发专业套件ModelArts Pro,升级端云协同多模态AI应用开发套件HiLens。

面向AI开发者,华为开源其全场景AI计算框架MindSpore,公布重点攻克数据、模型和知识三大挑战的华为视觉计划,并启动基于昇腾的高效算子开发工具TBE的正式公测。

这意味着,无论你是AI高阶大神还是开发小白,在华为打造的这个全能AI开发大礼包里,都能找到可以满足你需求的工具。

二、面向企业:进化的低门槛AI开发神器

如今缺乏专业人才、低效率的基础设施支持已成为阻碍AI快速落地的重要因素。

对于行业企业来说,行业业务复杂度高,AI应用开发需要丰富的行业经验支持;定制代码工作量大,耗时长,无法快速业务上线;购买定制AI模型后,又难以实现自我迭代。

对行业开发者来说,通用API具有局限性,不支持行业特定业务流程;业务繁忙,无暇深度研究算法;相似的项目难以简单复用,存在大量重复工作。

针对这些行业痛点,华为发布业界首款企业级AI应用开发专业套件ModelArts Pro,向企业提供高效易用的专业AI开发工具。

面向物流、零售、金融、医疗、交通等行业场景,华为云首批推出了ModelArts Pro文字识别、视觉、自然语言处理、知识图谱等开发套件,快速响应不同行业不同场景的定制需求。

例如,中国石油借助华为云ModelArts Pro知识图谱开发套件,快速构建石油测井领域的专业化模型,实现了油气水层的智能识别,评价时间缩短70%以上,识别准确率达到了测井解释专家水平

盈智科技应用华为云ModelArts Pro文字识别开发套件,实施各类国际物流单证信息自动化、结构化输出,同等人力投入下,将信息录入效率提升50,节省60%的人力成本。

华为云ModelArts Pro平台具备以下特点:

1)高效的行业算法:结合领先AI技术和行业专家经验构建了优质行业预置算法,开发者仅需少量标注数据,即可获得高精度AI应用;

2)领先的AI开发平台:底层依托一站式AI开发管理平台ModelArts提供领先算法技术,保证AI应用开发的高效和准确,并节省人力。

3)简单的流程式开发:用户可借助预置行业工作流,轻松完成AI应用项目开发及迭代。

4)灵活的工作流编排:针对特定的行业、场景,开发者可根据自身需求对行业工作流进行灵活编排,实现AI应用开发。

5)丰富的开放生态:基于华为云开放生态,用户可以在AI市场中分享及获取、购买所需行业AI工作流,高速高效实现AI行业落地。

在ModelArts Pro套件家族中,华为端云协同多模态AI应用开发套件HiLens也全面升级,推出多模态开发环境HiLens Studio、开发框架HiLens Framework及技能市场HiLens Skill Market。

其中,HiLens Studio方便开发者在云端进行调试,并可以做端云协同的部署,无需再安装各种依赖包和做环境适配。

英国AI公司Emotech联合华为云推出多模态AI英语口语教评解决方案,并在现场演示如何通过HiLens开发口语评测的AI技能,并部署到HiLens kit上。其首创的口型与发音结合的多模态技术,相比单模态评分稳定性提高30%

华为云还推出普惠AI计划,涵盖文字识别、语音交互、自然语言处理、内容审核五大类热门AI产品,1元领取百万API。

三、面向开发者:国产开源AI框架生力军

AI从研究到生产存在巨大的鸿沟。

一方面,学术界AI模型研究层出不穷,对AI开发有简单易上手、易于调精度等诉求。

另一方面,工业界AI模型应用层出不穷,需要大数据集、完备功能、适应多种应用场景。

那么业界现有AI计算框架,能兼顾两者的诉求吗?

在华为开发者大会上,华为MindSpore首席科学家陈雷教授介绍道:

“现有的框架多数开发门槛高,需要开发者深入了解计算机体系结构,异构性差,也就是对端边云异构算力不足,全场景能力不足。”

在这样的背景下,华为打造了兼顾产学界开发者需求的全场景AI计算框架MindSpore。

MindSpore是统一的训练推理框架,支持昇腾、GPU、CPU等处理器,原生适应云边端多个场景,并在按需协同的基础上,着重提升易用性,显著减少模型开发时间,降低模型开发门槛。

具体来看,MindSpore具有以下三个特性:

1、开发态友好:AI算法即代码

MindSpore通过自动微分、自动并行、自动调优等技术以及可视化工具,使开发态变得更加友好,可将核心代码量减少20%,整体效率提升50%

2、运行态高效:面向昇腾芯片优化

MindSpore通过图/算子编译加速以及神经网络并行执行,提升动态图性能,协同昇腾AI芯片实现1.6倍性能优势

3、部署态灵活:全场景按需协同

MindSpore通过自适应部署技术,打通从IoT设备到云灵活部署,开发者只需调校一次AI应用,无需涉及二次开发。

该框架支持鸿蒙、安卓、iOS等操作系统,在端侧的HMS智慧服务中可提供10多种功能。它的架构设计灵活,模型可大可小,能保证模型低功耗、速度快、轻量级的需求。

此外,MindSpore也提供有深度优化的模型集市Model Zoo,今年第四季度将上线超过30个模型。

MindSpore首个开源版本为0.1.0-alpha版。陈雷教授表示,MindSpore开源后,华为将极力构建蓬勃发展的AI生态。

在后续的MindSpore高阶计划中,华为将根据用户的反馈和诉求,持续调整计划的优先级,提供更多的预置模型,改变编程体验,并提供昇腾芯片的全面支持,不断优化性能和软件架构,完善可视化、调试调优、安全相关工具。

华为还将推进开发者扶植、高校科研合作和开源社区合作计划。

华为拟在4月开放线上免费体验资源的申请,全年举办不少于10场线下技术沙龙,举办MindSpore开发者大会,向高校提供专项创新课题基金激励和教学扶植计划,并聘邀顶级专家加入社区技术委员会,招募Committer参与社区核心项目,欢迎更多企业和组织参与社区建设。

四、生态基座:统一计算架构与全场景布局

华为已面向高校、初创企业、开发人员和合作伙伴拉开了AI生态大网,但正如华为高级副总裁张顺茂所言:“大厦不能建在沙丘上,也不能建在别人的基座上。”

华为为AI生态构筑的基座,即是昇腾AI芯片。

从一个耳机到数据中心AI应用,需要的算力相差一千万倍,功率相差20万倍。

如此大的差异,如果采用不同架构和硬件,将给开发者带来巨大的算法迁移和开发工作量。

那么能否通过一个架构,覆盖全场景AI呢?

从2014年起,华为就启动了AI处理器统一架构的技术论证,历时两年完成了架构设计,取名达芬奇。

达芬奇架构的核心是Cube计算引擎,具有可扩展计算和可扩展内存,实现了芯片内的单Cube到多Cube,数千颗芯片的互联,解决全场景算力差异带来的难题。

就像通用的语言文字般,统一的达芬奇架构,能让云边端的“沟通”不再困难,减少了程序间的和代码改写工作量,让开发者拥有了云边端一致的开发体验,并大幅提升开发效率。

基于达芬奇架构,华为推出面向不同场景的昇腾AI芯片,又基于昇腾AI芯片,打造了Atlas人工智能计算平台,推出Atlas系列模块、板卡、小站、服务器、集群。

这些产品已经在智慧交通、智慧电力、智慧金融、智慧城市、智能制造等数十个行业落地。

在云侧,实时分析4300万张过往车辆的图片,采用通用处理器方案需要3000台服务器,采用GPU方案需要近一百台服务器,而采用面向AI深度学习优化的NPU方案仅需60台,大大减少了服务器的部署数量和功耗的需求。

如果进行软硬件协同调优,则可以进一步释放硬件的算力。如单台AI服务器的处理能力是320路高清视频,经调优后,其处理能力可以提升到384路视频。

大会现场,依瞳科技李劲博士也分享了基于华为Atlas的开发实践,并推出了业内首个支持华为昇腾910处理器的AI开源开放异构平台。

在边缘侧,华为松山湖基地部署了基于Atlas工业质检解决方案,将质检准确率提升到99%,部分工艺的精度甚至能达到99.9%。这一AI质检算法模型已被开放到昇腾社区,供广大开发者下载使用。

在端侧,南开大学计算机学院使用华为Atlas 200 AI加速模块,为视网膜筛查病变检测AI应用提供算力。南开大学李涛教授表示,相比几款服务器级的CPU和GPU,Atlas 200拥有更高的能效比最高、更好的便携性和价格。

在原有Atlas计算平台的基础上,华为启动基于昇腾的高效算子开发工具TBE的正式公测。

TBE内置丰富的算子库,同时支持两种编程方式,包括便捷易用的DSL,和可发挥硬件极致性能的TIK,并计划激励100家以上贡献算子的高校和合作伙伴,根据工作量和代码的质量进行相应的奖励,以更充分地释放昇腾AI处理器的算力潜能。

为了帮助开发者快速上手,华为打造了昇腾开发者社区,在资源中心提供技术文档和开发工具,在赋能中心提供AI理论课程、实践课程和应用案例,在知识中心提供了在线问答、流程支持、远程支持、经验分享等功能。

五、突破三大挑战,发布华为视觉研究计划

在AI基础研究方面,华为同样有深厚的积淀。

从创新能力来看,华为在计算机视觉顶会CVPR 2020发表了33篇文章,在CVPR 2019和ICCV 2019分别发表了29和19篇文章,论文数量进入世界第一梯队。

当下计算机视觉研究的推进,总是缠绕着数据、模型与知识三大挑战。突破这些挑战,方能加速计算视觉基础研究。

为此,基于昇腾AI计算平台,华为发布华为视觉研究计划。

“我们的目标是基于昇腾AI计算平台,加强计算机视觉基础研究,同时基于MindSpore全量实现代码,并开源供大家使用。”华为诺亚方舟实验室计算视觉首席科学家田奇说。

华为视觉研究计划有6个子计划,具体内容如下:

1、数据冰山计划

该计划为解决数据标注瓶颈的问题,让数据生成真正代替手工标注,包含3个子课题:

(1)数据生成质量拔高:希望通过1-2年时间,能解决生成数据质量差和不真实的问题。

(2)数据生成点石成金:设计数据自动挑选的算法,在海量生成数据中挑选高质量数据。

(3)通用自动数据生成:对不同的子任务,设计不同的生成数据方式,让数据生成具备普惠能力。

2、数据魔方计划

该计划针对多模态学习,构建下一代智能视觉算法。

研究内容包括多模态数据量化指标、多模态数据对应策略研究、多模态数据融合方案。

3、模型摸高计划

该计划旨在构建云侧大模型,刷新各类视觉任务性能上限,包含3个子课题:

(1)全空间网络架构搜索:希望突破神经网络架构搜索空间受限的约束,搜索更多范式、更多网络空间结构的变化,让神经网络架构真正实现自动搜索。

(2)新型算子搜索:让算子的设计从手工复用到创造新的算子。

(3)搜索模型普适能力提升:搜索出来的网络,其泛化能力、抗攻击性、迁移性较差,希望能够提升网络架构搜索的泛化能力。

4、模型瘦身计划

该计划旨在打造高效的端侧视觉计算模型,同样有3个子课题:

(1)自动搜索小型化网络:将硬件的约束融入自动设计中,使得算法能够适配不同硬件。

(2)一比特网络量化:希望设计一比特网络,使其能表达更极致的全精度网络性能。

(3)构建新型加法网络:希望在卷积网络中,用加法运算代替所有的乘法运算,同时与芯片计算相结合,探索高效计算的新路径。

5、万物预视计划

该计划目标是定义视觉的预训练任务,构建通用的视觉模型,希望让视觉模型完成从认知到感知的跨越。

具体做法是,搜集大量公开无标签的亿级数量级的图片,完成知识的抽取与整理。

6、虚实合一计划

该计划目标在虚拟场景下,不通过数据标注,直接训练智能行为本身。

目前业界的研究非常有限,需要回答下面的问题:如何定义知识?如何构筑虚拟场景?如何模拟用户的真实行为?如何确保数据与智能体的安全?

“虽然这个计划极具挑战,但是我们认为这条道路会通向真正的人工智能。”田奇说。

结语:华为的AI答卷

华为轮值董事长徐直军曾这样描述华为的AI战略:“如同公元前的轮子和铁、19世纪的铁路和电力、以及20世纪的汽车、电脑、互联网一样,华为认同AI是一组技术集合,是一种新的通用目的技术。”

信息化时代,巨头较量,生态为王,在市场需求的驱动下,以开发者为核心的AI生态正成为各大科技公司竞逐的核心战场。

AI芯片、AI算法研究、开源AI框架、AI应用开发平台、云边端AI服务及落地成果、开发者社区……围绕AI的生态布局,华为显然已经写出一张底气十足的答卷。

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载