基于ModelArts的人工智能与机器人系统培训

项目批次：2023年第二批

项目编号：231100007121320

项目类型：师资培训项目

项目实施背景

近年来，人工智能与机器人技术为人类的生产生活提供了极大的便利，已成为推动社会进步的重要力量。作为未来国际竞争的焦点和经济发展的新引擎，该领域亟需突破自主创新瓶颈，攻克关键核心技术短板，培养相关专业技术人才，全面提升科技创新能力。

华为云ModelArts平台是面向AI开发者的一站式开发平台，提供包括海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，支持海量边缘设备和机器人端设备安全接入，帮助用户快速创建和部署模型，管理全周期AI工作流。基于ModelArts构建的人工智能与机器人平台，可有效增强云边端协同能力，加速AI应用落地，对培养高端AI人才、突破关键核心技术、推动自主创新具有重要价值。

改革思路及举措

通过搭建基于华为云ModelArts的云-边-端架构的计算与应用平台，为控制科学与工程、计算机科学与技术、电子信息、电气工程和机械工程等多个专业领域提供综合实践教学案例，培训老师和学生把人工智能与机器人理论与实际应用相结合的能力，指导老师和学生在ModelArts平台上完成完整的人工智能和机器人算法及应用项目，并在其基础上进行二次开发，使老师和学生逐步形成基于ModelArts的人工智能与机器人课程科学的方法论。

1、基于ModelArts的跨摄像机行人目标跟踪

本项目基于华为云ModelArts平台，构建了一套跨摄像机行人目标跟踪系统。系统通过在多个华为摄像机网络中，对一个摄像机下的行人目标进行检测，随后在其他摄像机节点对该目标进行检测、识别与跟踪。项目利用华为云ModelArts平台对跨摄像机行人目标跟踪算法进行训练，并部署在华为Atlas 200 DK以实现跨摄像机行人目标跟踪。实验原理图如图1所示。

图1 基于ModelArts的跨摄像机行人目标跟踪实验原理图

项目利用多摄像机捕获视频中的关键帧制作跨摄像机行人目标跟踪数据集；使用华为云ModelArts平台对数据集进行预处理和数据标注，标注完成后在平台对跨摄像机行人目标跟踪算法进行训练，利用YOLOv3网络对行人目标进行高效检测及跟踪，OSNet网络对行人进行重识别。训练示意图如图2所示。

图2 ModelArts平台下跨摄像机行人目标跟踪算法模型训练

在ModelArts平台训练完成得到Pytorch框架下的.pth模型文件，包含神经网络结构及权重参数，其中OSNet网络结构示意图如图3所示。

图3 OSNet网络结构

由于训练的模型无法直接转换为Ascend处理器所需的.om格式文件，转换流程需先借助中间格式，即将ModelArts平台的Pytorch下训练的模型先转换为.onnx文件，再利用华为的模型转换工具ATC，将.onnx文件进一步转换为Ascend处理器可处理的.om文件。通过ATC工具实现Pytorch模型到Ascend 310可处理模型的成功转换，实现跨平台的兼容性，使得AI应用得以顺利在华为的硬件平台上部署。

在华为Atlas 200 DK的MindX SDK接口下完成跨摄像机行人目标跟踪算法的推理及部署。跨摄像机行人目标跟踪算法模型推理的主要流程如图4所示，包括行人目标检测、特征提取与匹配、可视化展示等步骤。

图4 跨摄像机行人目标跟踪模型推理流程图

行人目标检测：对包含大量行人图像的Query数据库使用训练好的OSNet模型，提取行人图像数据库Query中每个目标人物的ReID特征向量包括行人独特的外观信息并形成一个特征矩阵集；

特征提取与匹配：利用YOLOv3目标检测模型对摄像机采集并输入的场景视频或图片进行分析，自动检测图像中出现的所有行人。通过计算Query库中某个行人与Gallery（检测到的行人）中每个行人特征之间的距离，使用欧氏距离衡量它们的相似性，从而完成行人身份的匹配；

可视化展示：最后通过可视化手段，将识别到的行人在场景图像中用边框标出，并在图像上方标注对应的行人身份标识符ID或匹配结果等识别信息。

跨摄像机行人目标跟踪实验结果如图5所示。

图5 跨摄像机行人目标跟踪实验结果图

实验结果表明，在不同摄像头的视野范围内，系统能够精确地识别并持续跟踪每一个行人。在多摄像头数据的融合下，系统不仅能够对行人进行准确的定位，还能为每个行人分配唯一的身份标识符ID。这些ID确保了即便行人在不同摄像头之间移动，系统也能准确地识别和跟踪该行人，而不会产生身份混淆或丢失。

由于跨摄像机行人目标跟踪实验需要对捕获的大量行人图像进行处理，计算量非常大，对深度学习模型的训练工具要求非常高，本项目采用云边端协同架构实现高效的跨摄像机行人跟踪：将端侧摄像机采集的原始视频数据传回ModelArts平台云端，在ModelArts平台对视频数据进行预处理与数据标注，并对深度学习网络进行配置，进行跨摄像机行人目标跟踪算法的模型训练；在边缘计算设备对模型进行了推理与部署，基于华为Atlas设备的边缘计算能力，将深度学习推理过程本地化处理，减少了数据传输带来的延迟和带宽消耗，满足了实时性要求。

2、基于ModelArts的智能人形机器人动作识别与模仿

人形机器人能够获取机器人周围的环境信息，动态完成运动规划任务，具有类人的智能和灵活性，在机器人领域具有广阔应用前景。本项目综合考虑智能人形机器人系统性能、架构可扩展性，构建基于ModelArts与华为Atlas AI软硬件堆栈的云、边、端解决方案，实现智能人形机器人实时精准的动作识别与模仿。

本项目结合智能人形机器人的动作模仿能力和ModelArts的AI服务，开发一个能够模仿人类复杂动作的机器人系统，并通过ModelArts平台实现模型训练和人形机器人模型的部署；采用华为云ModelArts平台和基于华为Atlas 200 DK开发板开发的智能人形机器人实现人体动作识别和模仿功能。智能人形机器人包含双臂和双足等机器人本体、电池、双目摄像机、信号线与驱动板等部分，示意图如图6所示。

图6 智能人形机器人示意图

智能人形机器人动作识别与模仿系统包括云端模型构建、边缘节点处理与计算以及端设备动作处理。基于ModelArts的智能人形机器人动作识别与模仿功能示意图如图7所示。

图7 基于ModelArts的智能人形机器人动作识别与模仿功能

在云端模型构建中，利用华为云ModelArts平台进行深度学习模型的训练，优化动作识别与模仿算法。华为云ModelArts平台提供了强大的AI开发和部署工具，能够帮助我们高效地开发和优化深度学习模型，推动机器人应用的落地。本项目在ModelArts平台下采用COCO数据集对YOLOv8深度学习算法进行了训练，人体关键节点分布如图8所示，通过定义网络的结构和训练参数，利用YOLOv8深度学习模型检测人体姿态中的关键点实现了人体姿态估计，并通过模型验证来评估训练过程的质量。模型训练完成后，需要让机器人在实际环境中实现动作模仿，并根据实验结果优化模型和算法。ModelArts作为主机端的训练层，将训练完成的模型转换后部署至推理层，推理层的Atlas 200 DK能够基于模型加速推理，将推理结果传递至展示层，从而驱动机器人关节运动。

图8 人体关键节点分布

在边缘节点处理与计算中，模型推理运行于Atlas 200 DK环境，能够支持卷积神经网络的加速，通过智能人形机器人摄像机获取包含人体场景的图片，并利用在ModelArts云端服务器训练得到的模型进行模型推理，获取场景中人体关键节点特征，按照一定的阈值，提取人体头、四肢等关键节点坐标，并获取颈、肩、肘、膝等关节角度，将属于同一人的关节点连接，实现对人体动作实时识别。

在智能人形机器人端设备动作处理中，智能人形机器人与Atlas 200 DK边缘处理器之间的通信接口为uart串口，可以完成人体实时数据与控制指令下发，实现智能人形机器人与控制系统的交互：通过串口指令和下位机通信，将模型推理获得的人体关键节点坐标和关节角度发送给人形机器人控制板，由人形机器人运动处理模块控制对应的关节电机，以低延时对检测识别的关节角度和动作等推理结果进行反馈，完成对人体动作的模仿。基于ModelArts的智能人形机器人动作识别与模仿实验结果如图9所示。

图9 智能人形机器人动作识别与模仿实验结果图

3、基于ModelArts的智能车交通标志识别与路径规划

智能车集合了传感器和自动控制技术，具有多样化功能、简洁化设计和便捷操作等优点，在交通运输、军事、生活服务等领域发挥着重要作用。基于ModelArts的智能车交通标志识别与路径规划系统结构如图10所示，在ModelArts平台云端服务器训练智能车的交通标志识别模型，并采用基于华为昇腾Atlas 200 DK深度学习处理器的全爱迈威尔轮智能车系统进行交通标志识别模型推理，实现端侧智能车的路径规划。

图10 基于ModelArts的智能车交通标志识别与路径规划

在ModelArts平台下利用云端服务器进行模型训练并将模型部署于智能车，不需要通过终端训练，大大缩短模型训练时间。智能车的交通标志识别与自主路径规划训练与预测阶段的流程图如图11所示。在基于ModelArts的云端服务器训练阶段，将交通标志场景的大量环境视频信息传到ModelArts云端服务器，制作相应的交通标志数据集，定义YOLOv5深度学习网络的结构与训练参数，并对交通标志识别模型网络进行训练，得到能够完成交通标志识别的模型文件，通过验证集来评估训练的效果，进行模型的选择与优化。

图11 智能车交通标志识别与路径规划训练与预测阶段流程

在预测阶段，利用智能车配置的摄像机来获取交通标志场景的视频，摄像机模块与摄像机驱动交互，从摄像机获取YUV420SP格式的视频数据，并进行视频解析和图像预处理，将采集的信息传给装载在智能车的Atlas 200 DK边缘处理器进行模型推理与部署，使用Matrix框架提供的接口将在ModelArts平台训练的交通标志识别模型转换为Ascend 310 AI支持的模型，基于YOLOv5目标检测算法实时反馈交通标志信息和其位置，获取场景中的交通标志图像特征，识别左转、右转、前进、掉头、停止等不同种类的交通标志信号，通过通讯模块将交通标志信息和指令发送给终端智能车的控制板，利用路径规划策略对不同的交通信号标志制定相应的智能车的动作，并由智能车的运动处理模块控制相应的关节运动。智能车的交通标志识别与自主路径规划实验如图12所示，能够识别场景中的左转及掉头交通标志，并输出控制信号改变智能车运动模式，最终实现对交通标志的识别与路径规划。

图12 智能车交通标志识别与自主路径规划实验结果图

项目成果、创新点及成效

1、项目成果及创新点

（1）基于华为云ModelArts实现了跨摄像机行人目标跟踪，实现高精度、高效率的云、边、端一体化跨摄像机目标跟踪协同作业；

（2）构建了基于ModelArts和华为Atlas AI软硬件堆栈的云、边、端解决方案，实现智能人形机器人实时精准的动作识别与模仿；

（3）基于ModelArts平台构建了智能车从数据标注、模型训练到模型部署、云边端协同等一站式目标识别与规划服务能力，实现智能车高效可靠交通标志识别与路径规划功能；

（4）完成了基于ModelArts的人工智能与机器人系统师资培训，并基于华为云ModelArts技术对学生进行培训，培养了具备基于华为云ModelArts的人工智能与机器人系统开发和创新能力的专业技术人才。

2、项目成效

本项目深化了产教融合，提升了人工智能与机器人领域人才培养水平，基于ModelArts的人工智能与机器人系统培训对深化产教融合、建立以人工智能与机器人关键技术为基础的产业和人才生态、在华为云ModelArts技术领域的拔尖人才培养以及自主创新核心技术创新具有重要的理论意义与应用价值。

应用及推广情况

举办了基于ModelArts的人工智能与机器人系统师资培训，由项目负责人主讲，来自上海交通大学、中山大学、哈尔滨工业大学（深圳）、电子科技大学、华东师范大学、广西大学、广东工业大学、郑州轻工业大学、湖南工业大学等10余所高校的20多位教师参加。

培训围绕华为云ModelArts服务、实战案例项目、基于ModelArts和华为Atlas AI软硬件开发等主题展开，让参培老师感受到了利用华为云ModelArts进行人工智能与机器人系统开发的高效性及便利性。

基于华为云ModelArts技术以及人工智能与机器人开发案例开展了对老师以及学生的培训，增强了老师和学生们在华为云技术领域的相关理论和应用知识，为基于ModelArts的人工智能与机器人行业培养了技术突出的学术和专业技术人才。

经验总结

本项目基于华为云ModelArts平台开发人工智能与机器人系统，利用华为云ModelArts平台提供的友好界面、直观操作流程以及图形化工具，显著提高AI模型的开发效率，缩短从模型构建到部署的时间；平台还拥有强大的计算资源，便于用户快速处理大规模数据和进行复杂的计算任务，提高了模型的训练速度和准确性；平台上训练生成的模型可以方便地部署到云边端等各个场景中的设备；此外，平台还拥有庞大的用户社区和丰富的资源库，用户可以在社区中交流经验、分享资源，获得更多的帮助和支持。

华为Atlas设备具有强大的计算能力和高效的处理能力，适合边缘计算和AI推理任务，尤其在处理深度学习时表现优异，能够提供更高效的边缘计算能力，减轻了云端计算的压力，提高了系统的实时性。在Atlas设备上部署系统后，系统具有很好的可扩展性和灵活性。

本案例在云计算技术、边缘计算技术、人工智能应用以及机器人控制等方面积累了宝贵的经验，为未来基于自主创新平台的人工智能与机器人项目的顺利开展提供重要参考。未来，项目团队将继续通过ModelArts云端进行大规模数据及算法优化分析，进一步优化跨摄像机行人目标跟踪以及人形机器人动作模仿的精度和实时性。

案例内容由项目负责人提供