MediaPipe Hands是Google推出的一个基于深度学习的实时手部跟踪和手势识别框架。该模型能够通过单个RGB摄像头检测和跟踪手部，识别手指的21个关键点。MediaPipe Hands利用了轻量级的卷积神经网络，能够在低延迟的条件下实现高精度的手势识别和手部跟踪。其算法首先通过手掌检测器定位手的位置，然后细化手部的关键点位置。由于其高效的架构，MediaPipe Hands广泛应用于虚拟现实、手势控制、增强现实等领域，为实时交互系统提供了强大的支持。

源模型

• 输入尺寸: [1x3x256x256], [1x3x256x256]
• 参数量: 1.76M, 2.01M
• 模型大小: 7.11MB, 8.09MB
• 输出尺寸: [1x2944x18, 1x2944x1], [1,1,1x21x3]

源模型仓库：MediaPipe-Hand

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md