SAM2-Unet 是一种结合Segment Anything Model（SAM）与U-Net架构的混合分割模型，专为高精度医学图像分割及小样本学习场景优化。其核心在U-Net的编码器-解码器结构中嵌入SAM的视觉提示（Visual Prompt）机制，通过交互式点/框输入动态引导分割目标，同时保留跳跃连接以融合多尺度特征。模型引入轻量化适配器（Adapter）微调SAM的预训练权重，提升对医学影像（如CT/MRI）中低对比度区域的敏感度，并减少对大规模标注数据的依赖。支持零样本迁移与少样本微调，在BraTS、ISIC等医学数据集上较传统U-Net提升Dice系数约8%，同时保持较低的计算开销，适用于临床辅助诊断与实时病灶定位。

源模型

• 输入尺寸: 1x3x352x352
• 参数量: 206.51M
• 模型大小: 849.34M
• 输出尺寸：1x1x352x352

源模型工程请访问：SAM2-Unet

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md