
BEVFormer-tiny (R50) 是一款专注于边缘端高效部署的自动驾驶多相机三维目标检测模型。该模型由商汤科技与清华大学团队提出,基于经典的 ResNet-50 骨干网络,通过独特的时空注意力机制(Spatio-Temporal Attention),将多个环视相机的二维图像特征无损地转换为统一的环视鸟瞰图(BEV)特征。作为 Tiny 轻量化版本,它通过精简 Transformer 层数与优化网格分辨率,在大幅降低显存占用与计算延迟的同时,依然完好地保留了对动态物体的速度估计与时序轨迹追踪能力。凭借其优异的能效比,BEVFormer-tiny 已成为低算力车载芯片、路侧边缘计算单元(RSCU)实现高精度 3D 空间感知与车路协同的工业级标杆。
源模型
- 输入尺寸: [[1,6,3,480,800]]
- 参数量: 33.7M
- 模型大小: 128.5 FP32
- 输出尺寸:boxes [[300,9]], scores [[300]], labels [[300]]
源模型仓库:bevformer
Model Farm 提供预编译好的模型资源以及推理代码,支持以下两种方式获取:
通过 Model Farm 页面获取:在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。
通过命令获取(推荐):持有阿加犀开发板的用户,可以通过开发板内置的 MMS 工具获取模型资源及代码包。
# 模型查询
mms list [model name]
# 模型资源获取
mms get -m [model name] -p [precision] -c [soc] -b [backend] -d [file path]
MMS 具体使用请参考:MMS 使用 & 提前获取预览版块模型
当用户对源模型进行过微调,需要重新进行模型转换。
用户可以自行参考以下两种方式完成模型转换:
使用 AIMO 完成模型转换:在右侧性能参考板块中点击模型转换参考查看模型转换步骤
使用高通 QNN 完成模型转换:请参考 Qualcomm QNN 文档
Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。
对于模型文件格式为 .bin 的模型,可以使用以下两种推理引擎完成模型在高通芯片上推理:
使用 APLUX AidLite 推理:详情请参考 APLUX AidLite 开发者文档
使用 Qualcomm QNN 推理:请参考 Qualcomm QNN 文档
推理示例代码
推理示例代码是基于 AidLite SDK 实现
点击模型 & 代码下载模型文件和推理代码包,文件结构如下
/{model_name}_{SoC Name}_{Precision}
|__ models # folder where model files are stored
|__ code # aidlite python model inference example
|__ python # aidlite python model inference example
|__ cpp # aidlite cpp model inference example
|__ README.md