MobileSAM-FP16
语义分割
FP16

MobileSAM:语义分割
MobileSAM (Mobile Segment Anything Model) 是 Meta AI 基于 Segment Anything Model (SAM) 功能改进轻量级图像分割模型,专为移动端与边缘设备实时应用设计。其核心创新在于使用蒸馏方法,将原始 SAM 中体积庞大的 ViT-H 图像编码器替换为参数仅 5M 的 Tiny‑ViT 编码器,同时保留原 SAM 的 mask 解码器结构。
- 体积与速度显著优化:整体参数从约 615M 减少至 9.66M,推理速度提升至每图 12ms(编码器 8ms + 解码器 4ms),比原始 SAM 快约 38×。
- 结构兼容:模型架构与原始 SAM 完全一致,仅替换编码器;支持点击/框选等交互提示方法。
- 部署友好:适合 CPU 和移动端部署,GitHub 提供 ONNX 支持,演示在 Mac CPU 上约 3s 完成一张图像分割。
- 应用场景:适用于实时抠图、虚拟背景、增强现实、人机交互、智能监控等需要快速响应且资源受限的领域。
性能参考
设备
AI框架
数据精度
推理耗时
精确度损失
模型大小
模型转换
当用户对源模型进行过微调,需要重新进行模型转换。
用户可以自行参考以下两种方式完成模型转换:
使用 AIMO 完成模型转换:在右侧性能参考板块中点击模型转换参考查看模型转换步骤
使用高通 QNN 完成模型转换:请参考 Qualcomm QNN 文档
模型推理
Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。
对于模型文件格式为 .bin
的模型,可以使用以下两种推理引擎完成模型在高通芯片上推理:
使用 APLUX AidLite 推理:详情请参考 APLUX AidLite 开发者文档
使用 Qualcomm QNN 推理:请参考 Qualcomm QNN 文档
推理示例代码
推理示例代码是基于 AidLite SDK 实现
点击模型 & 代码下载模型文件和推理代码包,文件结构如下
/model_farm_{model_name}_aidlite
|__ models # folder where model files are stored
|__ python # aidlite python model inference example
|__ cpp # aidlite cpp model inference example
|__ README.md
性能参考
设备
AI框架
数据精度
推理耗时
精确度损失
模型大小