MobileCLIP2 是 MobileCLIP 的升级版高效图文预训练模型，专为移动端和低延迟场景设计。模型规模在 50–150M 参数之间，推理延迟仅需 3–15ms，却在零样本任务上达到了行业领先水平。与前代相比，MobileCLIP2 在多模态强化训练中引入了三大改进：其一，采用在 DFN 数据集上训练的高质量 CLIP 教师集成，提升蒸馏效果；其二，改进 captioner 教师，并在多个高质量图文数据集上微调，以提升描述多样性和覆盖度；其三，结合多个生成模型的合成 captions，进一步增强模型鲁棒性。实验结果表明，MobileCLIP2-B 在 ImageNet-1k 零样本分类中比 MobileCLIP-B 提升了 2.2% 精度；MobileCLIP2-S4 在精度上达到 SigLIP-SO400M/14 的水平，但模型小 2 倍、延迟更低，并在 DFN ViT-L/14 上实现 2.5 倍加速。我们已开源预训练模型与数据生成工具，方便社区扩展和复现。

源模型

• 输入尺寸: 1x3x256x256, 1x77
• 参数量: 125.1M, 123.6M
• 模型大小: 482.24M, 476.48M
• 输出尺寸: 1x768, 1x768

源模型仓库: mobileclip2

Model Farm 提供预编译好的模型资源以及推理代码，支持以下两种方式获取：

• 通过 Model Farm 页面获取：在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。

• 通过命令获取（推荐）：持有阿加犀开发板的用户，可以通过开发板内置的 MMS 工具获取模型资源及代码包。

MMS 具体使用请参考：MMS 使用 & 提前获取预览版块模型

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md