ViT（Vision Transformer）是由Google在2020年提出的基于Transformer架构的视觉模型。与传统卷积神经网络（CNN）不同，ViT直接将图像划分为固定大小的图块（patches），然后将这些图块的线性嵌入作为序列输入给Transformer。ViT模型利用自注意力机制捕捉图像中的长距离依赖关系，并且通过消除卷积操作，简化了图像处理的过程。尽管Transformer最初用于自然语言处理任务，ViT在大型数据集（如ImageNet）上训练后在图像分类任务中表现出色。ViT的优点在于其可扩展性，能够处理更大的图像数据集，并适用于多种视觉任务，如图像分类、目标检测等。

源模型

• 输入尺寸: 224x224
• 参数量: 82.55M
• 模型大小: 330.5M
• 输出尺寸：1x1000

源模型仓库：ViT

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md