Beit（Bidirectional Encoder Image Transformer）是微软提出的视觉预训练模型，通过掩码图像建模（Masked Image Modeling, MIM）学习图像表示。其核心将图像分块并随机掩码部分区域，利用Transformer预测被掩码区域的视觉词汇（Visual Token），模仿BERT的文本预训练策略。Beit引入视觉分词器（Visual Tokenizer）将图像块编码为离散符号，强化模型对全局上下文的理解能力。在ImageNet分类、ADE20K分割等任务中超越传统监督学习模型，支持自监督/半监督训练，减少对标注数据的依赖。适用于图像理解、医学影像分析及多模态下游任务扩展，为高效视觉表征学习提供通用框架。

源模型

• 输入尺寸: 1x3x224x224
• 参数量: 82.52M
• 模型大小: 360.02MB
• 输出尺寸：1x1000

源模型工程请访问：beit

在右侧性能参考板块中点击模型转换参考查看模型转换步骤

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK实现

SDK安装

详情请参考AidLite开发者文档

• 安装AidLite SDK

# install aidlite sdk c++ api
sudo aid-pkg -i aidlite-sdk

# install aidlite sdk python api
python3 -m pip install pyaidlite -i https://mirrors.aidlux.com --trusted-host mirrors.aidlux.com

• 验证AidLite SDK

# aidlite sdk c++ check
python3 -c "import aidlite; print(aidlite.get_library_version())"

# aidlite sdk python check
python3 -c "import aidlite; print(aidlite.get_py_library_version())"

推理示例代码

• 点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md