CLIP 是由 OpenAI 研发的革命性视觉-语言预训练模型，它通过在 4 亿对“图像-文本”数据上进行对比学习，实现了视觉概念与自然语言语义的深度对齐。不同于传统仅能识别预定义类别的视觉模型，CLIP 具备强大的零样本（Zero-shot）学习能力，能够仅凭文字描述就识别出从未见过的物体类别。这一突破彻底改变了计算机视觉的游戏规则，使其从“封闭集识别”进化到了“开放世界感知”。作为多模态 AI 的基石，CLIP 不仅被广泛用于图像检索、自动标注，更是目前主流 AI 绘画与多模态大模型中不可或缺的视觉理解核心。

源模型

• 输入尺寸: [1x3x224x224], [1x77]
• 参数量: 43.02M, 105.16M
• 模型大小: 172.10M, 122.99M
• 输出尺寸：[1x512], [1x512]

源模型仓库：clip-vit-base-patch16

Model Farm 提供预编译好的模型资源以及推理代码，支持以下两种方式获取：

• 通过 Model Farm 页面获取：在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。

• 通过命令获取（推荐）：持有阿加犀开发板的用户，可以通过开发板内置的 MMS 工具获取模型资源及代码包。

# 模型查询
mms list [model name]

# 模型资源获取
mms get -m [model name] -p [precision] -c [soc] -b [backend] -d [file path]

MMS 具体使用请参考：MMS 使用 & 提前获取预览版块模型

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/{model_name}_{SoC Name}_{Precision}
    
    |__ models # folder where model files are stored    
    
    |__ code # aidlite python model inference example

        |__ python # aidlite python model inference example

        |__ cpp # aidlite cpp model inference example

        |__ README.md