Whisper-tiny
语音识别
FP16

Whisper-tiny:语音识别
Whisper-tiny 是 OpenAI 发布的 Whisper 系列中最小、速度最快的语音识别模型,专为资源受限设备和实时应用而设计。尽管体积轻巧,它依然支持多语种语音识别、语音转文本和语音翻译等任务。Whisper-tiny 适合对延迟敏感或算力有限的场景,如移动设备、边缘计算终端、智能助手等。它在保持良好性能的同时大幅降低了计算和内存消耗,是低功耗语音处理的理想选择。
源模型工程请访问:Whisper-tiny
多语种 RTF 详情
由于模型固化输入尺寸在24s左右,会发现越短的音频输入RTF越高(会按照24s自动填充)
English
| Audio Length | RTF | Encoder | Decoder(Total Loop Time) |
|---|---|---|---|
| 5s | 0.03 | 0.03 | 0.11 |
| 10s | 0.03 | 0.03 | 0.21 |
| 15s | 0.03 | 0.03 | 0.32 |
| 24s | 0.02 | 0.03 | 0.45 |
Chinese
| Audio Length | RTF | Encoder | Decoder(Total Loop Time) |
|---|---|---|---|
| 5s | 0.04 | 0.03 | 0.13 |
| 10s | 0.03 | 0.03 | 0.24 |
| 15s | 0.03 | 0.03 | 0.35 |
| 24s | 0.02 | 0.03 | 0.49 |
Spanish
| Audio Length | RTF | Encoder | Decoder(Total Loop Time) |
|---|---|---|---|
| 5s | 0.04 | 0.03 | 0.13 |
| 10s | 0.03 | 0.03 | 0.22 |
| 15s | 0.03 | 0.03 | 0.34 |
| 24s | 0.02 | 0.05 | 0.37 |
French
| Audio Length | RTF | Encoder | Decoder(Total Loop Time) |
|---|---|---|---|
| 5s | 0.03 | 0.03 | 0.11 |
| 10s | 0.03 | 0.03 | 0.23 |
| 15s | 0.03 | 0.03 | 0.31 |
| 24s | 0.02 | 0.05 | 0.38 |
Japanese
| Audio Length | RTF | Encoder | Decoder(Total Loop Time) |
|---|---|---|---|
| 5s | 0.03 | 0.03 | 0.11 |
| 10s | 0.03 | 0.03 | 0.23 |
| 15s | 0.03 | 0.03 | 0.33 |
| 24s | 0.03 | 0.05 | 0.52 |
Korean
| Audio Length | RTF | Encoder | Decoder(Total Loop Time) |
|---|---|---|---|
| 5s | 0.04 | 0.03 | 0.12 |
| 10s | 0.03 | 0.03 | 0.22 |
| 15s | 0.03 | 0.03 | 0.30 |
| 24s | 0.02 | 0.05 | 0.45 |
模型资源获取
Model Farm 提供预编译好的模型资源以及推理代码,支持以下两种方式获取:
通过 Model Farm 页面获取:在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。
通过命令获取(推荐):持有阿加犀开发板的用户,可以通过开发板内置的 MMS 工具获取模型资源及代码包。
# 模型查询
mms list [model name]
# 模型资源获取
mms get -m [model name] -p [precision] -c [soc] -b [backend] -d [file path]
MMS 具体使用请参考:MMS 使用 & 提前获取预览版块模型
支持的语种
| 支持的语种 |
|---|
| 中文 |
| 英文 |
| 日语 |
| 韩语 |
| 法语 |
| 西班牙语 |
注意:在右侧性能参考板块中,展示了当前音频输入长度下对应语种的 RTF 值。由于模型输入尺寸固化(非动态输入),低于该音频长度的 RTF 值会略微增高。