基于意法半导体STM32N6和STM32MP257的手势识别与控制系统

为满足工厂自动化计算机视觉应用的发展需求，意法半导体（ST）凭借其深厚的技术积累和敏锐的市场洞察力，开发了一套基于STM32N6和STM32MP257的手势识别与控制系统。该系统由三大部分构成：手势识别与数据采集的感知部分、数据转换与处理任务的PLC部分以及实现运动控制与手势跟随的灵巧手部分。

感知部分：手势识别与数据采集

感知部分的核心是摄像头，它像一个不知疲倦的观察者，实时捕捉手部视频。而负责处理这些视频的是STM32N6微控制器，它集成了意法半导体强大的Neural-ART加速器神经处理单元（NPU），在视觉数据处理方面表现出色，确保手势识别的高效与精准。

手势识别技术采用了Google提供的MediaPipe Hand Landmarker技术。这一技术依赖于深度卷积神经网络（CNN）训练出的两个模型：掌部检测模型和手部关键点检测模型。掌部检测模型首先在图像中准确定位手部区域，并裁剪出手掌图像；随后，手部关键点检测模型在裁剪后的图像上提取出21个关键点的xyz坐标（z轴代表相对深度信息）。STM32N6凭借出色的计算能力，能够实现每秒超过30帧的高识别速率，真正实现实时处理。通过ST的X-CUBE-AI软件扩展包及完整的AI生态系统，该模型可以轻松部署到STM32N6平台，无需复杂优化即可高效运行。最终，STM32N6通过485总线将21个关键点坐标数据发送给PLC，为后续控制提供精确输入。

数据转换与处理：关节角度计算与控制

数据处理的关键环节由基于STM32MP257的PLC承担。STM32MP257是一款专为工业自动化设计的高性能工业级MPU，采用双核Cortex-A35处理器和单核Cortex-M33组成的异构架构，具备强大的计算和实时处理能力。丰富的通信接口、图形加速、AI加速以及多种安全功能，使其在工业自动化、机器人控制和智能边缘计算等领域大显身手。

这款PLC的一大亮点是集成了CODESYS软件平台，开发者可以通过它轻松创建、调试和部署控制程序，极大缩短开发周期。在本系统中，PLC借助CODESYS平台完成多项关键任务：

关节角度计算：根据视觉系统传来的21个关键点坐标，精确计算每个手指三个关节的角度数据，并将其转化为机械手电机目标位置的映射关系；

数据处理与转换：对关节角度数据进行坐标转换、目标位置设定等处理，生成最终的控制帧；

实时通信与控制：通过标准CAN协议，将计算出的目标位置实时发送给机械手电机驱动系统，确保运动精确执行。

此外，STM32MP257支持EtherCAT、Modbus TCP/RTU、Ethernet等常用通信协议和逻辑控制功能，能灵活适应不同工业环境，连接和控制各种设备，保障系统在多样化场景中稳定运行。其异构架构也为用户提供了更多升级空间。

意法半导体还提供了基于STM32MP135的PLC方案，虽然主频和网口数量稍逊一筹，但性价比较高，适合预算有限的应用场景。

灵巧手部分：运动控制与手势跟随

本系统选用睿研RY-H1灵巧手进行演示，这款机械手就像一位训练有素的“模仿大师”。它拥有15个自由度和20个运动关节，内置15个高速精密空心杯电机，创新的直线驱动设计让它高度仿生，动作协调自然，拟人度极高。RY-H1机械手搭载独家专利的力位混合智能控制算法，由STM32G431 MCU实现高精度、高速控制，能模拟人手完成猜拳、握笔、握鸡蛋、摘草莓、递名片等复杂动作。

RY-H1机械手通过接收PLC传来的目标位置数据进行插补控制，与手势识别系统完美协同，精准跟随手势运动。无需触觉传感器就能自适应各种物体形态，抓取精准度令人赞叹。

应用前景广泛

这套基于STM32N6和STM32MP257的手势识别与控制系统不仅提升了机器人的视觉能力和工作效率，还推动了自动化技术的进步。无论是在工业制造、物流配送还是医疗护理领域，这些先进的传感器都能帮助机器人更好地完成任务。例如，在工业环境中，该系统可以用于自动引导车（AGV）的导航系统，提高生产效率；在医疗领域，它可以用于手术辅助机器人，提供高精度的视觉支持。

注：中芯巨能代理销售意法半导体旗下全系列IC电子元器件，如需STM32N6和STM32MP257产品规格书、样片测试、采购、BOM配单等需求，请加客服微信：13310830171。