华为云开源HiLens Framework，边缘计算部署门槛再次降低

在HUAWEI CONNECT 2020期间，华为云CTO张宇昕宣布HiLens Framework开源。HiLens是业界首个端云协同多模态AI应用开发框架，以简洁统一的API降低AI应用开发者的上手难度，在保持高性能的前提下,简化开发者工作量。HiLens Framework则为开发者提供了一套开发工具，让开发者不必重复制造轮子，直接调用相关模块的API，即可规范快速地开发出高性能的端云协同多模态AI技能和应用。

HiLens Framework开源，有力提速端云协同AI部署

现代生活中，很多地方都有AI应用落地的场景和例子。比如在线下零售门店中，可以通过摄像头精准识别用户，实现千人千面的个性化定制服务；在无人车比赛中，高速行驶的无人车通过快速识别图像，实现实时推理，做出准确决策；在家里，具备AI能力的摄像头，可以实时看护老人、儿童的状态，一旦发生意外，就能第一时间发出警报；在各行业中通过OCR文字快速智能识别各种文本和票据等。

在这些应用场景中，有些数据敏感且要求实时处理响应，但往往因为网络不够稳定，无法上传到云端处理，因而采用端云协同方式，结合云上高效开发和边端侧的敏捷快速部署，既能保证AI计算的性能，又能兼顾用户隐私诉求，更加快捷高效。

但如何实现图像、声音等数据的端云协同AI计算呢？很多方案都存在AI运算能力不强、难以实现复杂的定制化功能、初学者上手难度太大、部署繁杂等缺点，无法在工业或商业用途中大规模落地应用。

华为云关注到这种用户需求，在2018年的华为全联接大会上，推出了业界首个端云协同多模态AI开发应用平台Huawei HiLens，支持视频、音频、图片、红外等多模态数据的AI应用开发、AI应用在线部署、海量设备管理等，能够对接多种端侧计算设备，为诸多场景的AI应用提供了更大发挥空间。

Huawei HiLens发布两年后的今天，华为云宣布开源HiLens Framework，作为HiLens的端云协同多模态AI应用开发框架，简化了HiLens Kit技能开发者的开发工作，以简洁统一的API降低AI技能应用开发者的上手难度，在保持高性能的前提下，简化开发者工作量。10分钟即刻学会开发技能；性能普遍提升3倍，代码量减少80%，开发周期缩短70%，开发成本降低90%。

以音频解码+片段截取+预处理的代码撰写为例，基于TensorFlow/OpenCV 需要100+行，而采用HiLens Framework则只需3行；以模式初始化+推理的代码撰写为例，基于TensorFlow/OpenCV 往往需要20+行，而采用HiLens Framework则只需2行。

此次HiLens Framework开源，涉及了音视频输入、媒体处理、模型推理、资源管理、日志系统、EI 服务接口、输出管理等功能模块，通过HiLens Framework开发的AI应用可移植运行到任何基于Ascend 310设备上，提供常用语言Python和C++接口，符合AI开发者的开发习惯。

HiLens Framework的开源，能够很好地帮助开发者快速定位AI开发中的问题，进而快速解决问题，实现端云协同AI的快速开发和落地。同时，将吸引更多的外围设备输入、输出，更多的外围工具集成等，更将汇聚开发者力量，丰富完善HiLens Framework集成能力，扩大HiLens端云协同影响力，同时拓展华为昇腾生态和华为云生态。

10倍提升开发效率，加速AI应用落地

AI应用开发框架HiLens Framework是打通端云协同的重要技术环节，与开发环境HiLens Studio、管理平台和多模态AI技能市场一起，大大加速了开发者的开发效率，帮助行业快速构建设备端与云上能力高效协同的HiLens智慧解决方案，通过HiLens Kit、Atlas500智能小站、第三方商用摄像头等端侧设备，提供了高效易用、成本低廉的AI应用开发方案，能够快速部署于商超、园区、家庭、工业等应用场景。

AI落地使用边缘计算的应用场景时，往往场景数据都存在差异，难以用一个AI模型达到最佳性能。华为云HiLens与边缘云创新lab技术合作，推出难例上传与MA Pro HiLens套件结合的增量学习模板，实现了对模型的增量训练，使得AI模型在具体应用场景中越用越聪明。

例如，某工厂出于安全原因，采用视频监控智能检测现场人员安全帽佩戴情况。项目部署方在HiLens技能市场检索后发现，这一应用场景已有基础模型，直接购买安装后先搭建出基础的技能。然后再通过HiLens Framework的接口将难以识别的部分数据筛选出来，上传到自己账户下的云端存储，借助ModleArts Pro HiLens套件，在基础模型上增量训练，使得模型越用越聪明，最终训练出符合该工厂环境的模型，实现根据具体应用场景的模型定制化。在这一过程中，该工厂仅用800张安全帽检测实践数据，就将模型精度从80%快速提升到90%，漏检率从25%下降到10%，通过几次难例上传与迭代，部署时间从原计划的3个月缩减到1个月，有效地推进了行业应用落地。

端云协同，拓展新生态

HiLens Framework的开源如水到渠成，不止向开发者提供一个AI应用的高效开发框架，还进一步推动华为云HiLens与华为云ModelArts PRO视觉计算AI平台的结合，形成一整套的AI模型训练、应用开发、分发部署的端云协同管理平台。

当HiLens用户通过HiLens Framework连接到ModelArts Pro，就进入了一个更加广阔的AI世界，联接了从昇腾芯片、MindSpore开发框架，再到华为全栈全场景AI解决方案，以及华为不断积累的各行业AI经验。

此次HiLens Framework的开源，如同一条金线，一头穿起华为云的云端AI能力，另一头穿起更多AI场景，让云端协同的边缘计算更易于部署落地，推动AI更加普惠，在开发者的共同推动下，AI将拓展将到日常生产、生活的方方面面，和每个人都息息相关。

当前，HiLens已拥有80+生态伙伴，助力企业开发者加速商业落地，如上海意赋教育等。已拥有30+高校，助力AI教育和科学研究，如浙江大学、上海交通大学等，欢迎更多开发者加入到HiLens Framework的开源项目中来。