Mask2Former 是由Meta AI于2022年提出的通用图像分割框架，统一支持实例分割、语义分割和全景分割任务。其核心创新在于引入基于Transformer的解码器，通过可学习的“掩膜查询”机制动态生成目标掩膜，无需依赖预定义锚框或区域建议。模型采用多尺度特征增强策略，结合高分辨率特征图捕捉细节与低层级语义特征提升分类鲁棒性，并利用交叉注意力机制优化查询与图像特征的交互。在COCO、ADE20K等数据集上，Mask2Former以单一模型实现多项任务SOTA性能，尤其在复杂场景和小目标分割中表现突出。其结构灵活高效，支持端到端训练，广泛应用于自动驾驶、医学影像解析及遥感图像分析等领域，推动分割技术迈向统一化与高性能化。

源模型

• 输入尺寸: 1x3x384x384
• 参数量: 42.01M
• 模型大小: 201M
• 输出尺寸：[1x100x134],[1x100x96x96]

源模型工程请访问：Mask2Former

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md