TrOCR 是微软研究院于 2021 年提出的一个端到端 Transformer OCR 模型，融合了图像 Transformer（如 ViT/DeiT/BEiT）作为编码器，以及文本 Transformer（如 RoBERTa/UniLM）作为解码器。

• 结构：采用完整的 Transformer 编码器–解码器架构，对图像进行分块嵌入，之后自回归生成文本。
• 模型尺寸：提供 Small（约 62 M 参数）、Base（约 334 M 参数）和 Large（约 558–608 M 参数）等多个版本，适配不同场景。
• 效果优异：在印刷体、手写体以及场景文本识别任务中均取得了 SOTA 表现。如 TrOCR‑Small 在 IAM 手写数据集上的 CER 为 4.22%，Base 为 3.42%，Large 为 2.89%。
• 轻量示例：TrOCR-Small-Handwritten 对 IAM 手写文本识别进行了专门优化，支持批处理推理

源模型

• 输入尺寸: [[1x3x384x384]], [[1,1],[1], [1,8,19,32],[1,8,19,32],[1,8,578,32],[1,8,578,32], [1,8,19,32],[1,8,19,32],[1,8,578,32],[1,8,578,32], [1,8,19,32],[1,8,19,32],[1,8,578,32],[1,8,578,32], [1,8,19,32],[1,8,19,32],[1,8,578,32],[1,8,578,32], [1,8,19,32],[1,8,19,32],[1,8,578,32],[1,8,578,32], [1,8,19,32],[1,8,19,32],[1,8,578,32],[1,8,578,32]]
• 参数量: 23.07M, 38.31M
• 模型大小: 87.84M, 146.29M
• 输出尺寸: [[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32],[1,8,578,32]], [[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1,8,20,32],[1]]

源模型仓库：TrOCR

当用户对源模型进行过微调，需要重新进行模型转换。

用户可以自行参考以下两种方式完成模型转换：

• 使用 AIMO 完成模型转换：在右侧性能参考板块中点击模型转换参考查看模型转换步骤

• 使用高通 QNN 完成模型转换：请参考 Qualcomm QNN 文档

Model Farm 所提供的模型性能基准测试以及示例代码皆基于阿加犀AidLite SDK 实现。

对于模型文件格式为 .bin 的模型，可以使用以下两种推理引擎完成模型在高通芯片上推理：

• 使用 APLUX AidLite 推理：详情请参考 APLUX AidLite 开发者文档

• 使用 Qualcomm QNN 推理：请参考 Qualcomm QNN 文档

推理示例代码

推理示例代码是基于 AidLite SDK 实现

点击模型 & 代码下载模型文件和推理代码包，文件结构如下

/model_farm_{model_name}_aidlite
    
    |__ models # folder where model files are stored

    |__ python # aidlite python model inference example

    |__ cpp # aidlite cpp model inference example

    |__ README.md