在华为开发者大会2020(Cloud)期间,华为云推出了全面升级的业界首个端云协同多模态AI应用开发套件——HiLens ,打通线上线下开发和部署流程,开发者只需在云上完成一次多模态AI应用开发,既可以部署到云侧,也可以部署到端侧和边缘侧。

人工智能的发展正经历从感知到认知,从单模到多模,从云侧到端云协同的演进。此次,全面升级的华为云HiLens推出多模态开发环境HiLens Studio、开发框架HiLens Framework及技能市场HiLens Skill Market。

HiLens Studio:华为云HiLens在云侧新推出开发环境HiLens Studio,开发者可以在线完成开发、调试、模拟运行、部署和发布AI技能等功能,免去了线下环境搭建、线上线下切换等复杂步骤,没有硬件套件也可以完成多模态AI应用开发。传统的AI应用开发和部署意味着高成本和高门槛,借助HiLens Studio,AI应用开发和部署仅需要三步:

在华为云一站式AI开发管理平台ModelArts进行模型训练与转换,然后到HiLens Studio开发和调试技能,并可以在模拟器中查看技能输出效果,完成后可以一键部署到HiLens Kit等端侧设备,整个过程均在云侧完成。Studio中的模拟器基于华为昇腾NPU,与HiLens Kit一致,和真实环境非常接近。

Framework:新推出的多模态AI应用开发框架HiLens Framework,封装了多模态数据接入、数据处理、模型推理和结果输出等多个方便易用的组件,结合华为自研的昇腾芯片进行了深度性能优化,提供了多语言开发接口,用来开发AI应用代码更简洁、流程更清晰。例如,传统方式的100+行代码实现的音频解码+片段截取+预处理过程,通过HiLens Framework仅需3行代码即可以实现;20+行代码实现的模型初始化+模型推理,缩减为仅需2行代码。

技能市场:华为云HiLens还提供开放的技能市场(HiLens Skill),预置丰富的各类场景技能和应用模板,开发者可以一键安装部署到端侧进行免费试用,也可以在模板基础上进行修改、补充更多特性,无须从零开始,可以很快上手。

英国AI公司Emotech联合华为云推出多模态AI英语口语教评解决方案,拥有全球首创的口型与发音结合的多模态技术,具有良好的抗噪、抗干扰能力,多场景适用,相比单模态评分稳定性提高30%。音频与视频的多模反馈,让学生告别盲听学口语时代,提供多感官的互动,使学习更加高效。

Emotech团队在华为开发者大会2020(Cloud)上演示了如何使用HiLens端云协同多模态AI应用开发套件快速开发一个多模态口语测评Skill,并把它部署到端侧设备HiLens Kit上。然后模拟学生在平板电脑上进行跟读,多个平板电脑可以把视频数据送到算力强大的HiLens Kit上推理分析,降低时延的同时保护隐私,得到多模态口语测评得分。

Emotech团队演示多模态口语测评Skill开发

基于华为云HiLens,AI开发者可以开发出适用于智慧家庭、智慧教育、智慧门店、智慧工业、智慧交通等场景的多模态AI解决方案,快速实现AI应用开发及落地。