Segment-Anything-Model-2（简称 SAM 2）是 Meta AI 发布的下一代视觉分割基础模型，支持对图像和视频中的任意物体进行实时交互式分割。相比先前版本，SAM 2 在视频分割上采用通用 Transformer 架构并集成流式内存机制，使其在少量交互提示下即能实现精确、持续的目标跟踪。

核心技术特点：

• 统一图像与视频分割：同一模型支持图片和视频输入，模式支持点击、框选等多种交互方式。
• 高速与高精度：图像分割精度提升且速度提升约6×；视频帧率可达约44 FPS，实时性强。
• 大规模视频数据驱动：训练于SA‑V数据集，包含约51,000条视频与643,000个masklet注释，标注效率提升约8.4倍。
• 遮挡与记忆机制：引入遮挡检测和缓存模块，使模型能持续追踪被遮挡目标。
• 开源与生态支持：模型、数据集和代码以 Apache 2.0/MIT 授权发布，社区和框架（如 Ultralytics）快速集成。

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md