Whisper-tiny
语音识别
FP16
post
Whisper-tiny:语音识别

Whisper-tiny 是 OpenAI 发布的 Whisper 系列中最小、速度最快的语音识别模型,专为资源受限设备和实时应用而设计。尽管体积轻巧,它依然支持多语种语音识别、语音转文本和语音翻译等任务。Whisper-tiny 适合对延迟敏感或算力有限的场景,如移动设备、边缘计算终端、智能助手等。它在保持良好性能的同时大幅降低了计算和内存消耗,是低功耗语音处理的理想选择。

源模型工程请访问:Whisper-tiny

多语种 RTF 详情

由于模型固化输入尺寸在24s左右,会发现越短的音频输入RTF越高(会按照24s自动填充)

English
Audio Length RTF Encoder Decoder(Total Loop Time)
5s 0.03 0.03 0.11
10s 0.03 0.03 0.21
15s 0.03 0.03 0.32
24s 0.02 0.03 0.45
Chinese
Audio Length RTF Encoder Decoder(Total Loop Time)
5s 0.04 0.03 0.13
10s 0.03 0.03 0.24
15s 0.03 0.03 0.35
24s 0.02 0.03 0.49
Spanish
Audio Length RTF Encoder Decoder(Total Loop Time)
5s 0.04 0.03 0.13
10s 0.03 0.03 0.22
15s 0.03 0.03 0.34
24s 0.02 0.05 0.37
French
Audio Length RTF Encoder Decoder(Total Loop Time)
5s 0.03 0.03 0.11
10s 0.03 0.03 0.23
15s 0.03 0.03 0.31
24s 0.02 0.05 0.38
Japanese
Audio Length RTF Encoder Decoder(Total Loop Time)
5s 0.03 0.03 0.11
10s 0.03 0.03 0.23
15s 0.03 0.03 0.33
24s 0.03 0.05 0.52
Korean
Audio Length RTF Encoder Decoder(Total Loop Time)
5s 0.04 0.03 0.12
10s 0.03 0.03 0.22
15s 0.03 0.03 0.30
24s 0.02 0.05 0.45
性能参考

设备

语种
数据精度
音频长度
实时率(RTF)
模型大小
模型资源获取

Model Farm 提供预编译好的模型资源以及推理代码,支持以下两种方式获取:

  • 通过 Model Farm 页面获取:在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。

  • 通过命令获取(推荐):持有阿加犀开发板的用户,可以通过开发板内置的 MMS 工具获取模型资源及代码包。

# 模型查询
mms list [model name]

# 模型资源获取
mms get -m [model name] -p [precision] -c [soc] -b [backend] -d [file path]

MMS 具体使用请参考:MMS 使用 & 提前获取预览版块模型

支持的语种
支持的语种
中文
英文
日语
韩语
法语
西班牙语

注意:在右侧性能参考板块中,展示了当前音频输入长度下对应语种的 RTF 值。由于模型输入尺寸固化(非动态输入),低于该音频长度的 RTF 值会略微增高。

使用AidVoice推理
许可证
源模型许可证:MIT
可部署模型许可证:APLUX-MODEL-FARM-LICENSE
性能参考

设备

语种
数据精度
音频长度
实时率(RTF)
模型大小