Qwen3-4B-Instruct-2507
文字生成
W4A16

Qwen3-4B-Instruct-2507
Qwen3 推出了 Qwen3-4B 非思考模式 的更新版本,命名为 Qwen3-4B-Instruct-2507,其核心增强功能如下:
- 通用能力显著提升:在指令遵循、逻辑推理、文本理解、数学、科学、代码编写及工具使用方面均有大幅改进。
- 长尾知识覆盖大幅增加:提升了在多种语言环境下的长尾知识覆盖范围。
- 用户偏好对齐表现更佳:在主观及开放性任务中与用户偏好的对齐程度显著提高,能够提供更有帮助的回答和更高质量的文本生成。
- 长文本理解能力增强:支持高达 256K 超长上下文的理解与处理。
多尺寸上下文性能表格
该模型支持多个上下文尺寸混合,根据输入长度自动匹配合适尺寸。
目前已支持的芯片及具体性能如下表:
QCS8550 Perfomance
| Context Length | Prefill toks/s | Decode toks/s |
|---|---|---|
| cl512 | 1114.44 | 21.03 |
| cl1024 | 1077.2 | 20.45 |
| cl2048 | 998.75 | 18.85 |
| cl3072 | 931.82 | 17.03 |
| cl4096 | 886.29 | 14.80 |
QCS8625 Perfomance
| Context Length | Prefill toks/s | Decode toks/s |
|---|---|---|
| cl512 | 1497.51 | 26.23 |
| cl1024 | 1469.88 | 25.67 |
| cl2048 | 1366.85 | 22.85 |
| cl3072 | 1283.23 | 21.38 |
| cl4096 | 1205.57 | 18.27 |
QCS9075 Perfomance
| Context Length | Prefill toks/s | Decode toks/s |
|---|---|---|
| cl512 | 1211.27 | 21.55 |
| cl1024 | 1163.98 | 20.86 |
| cl2048 | 1075.04 | 19.17 |
| cl3072 | 1006.07 | 17.55 |
| cl4096 | 955.50 | 14.99 |
QCS8275 Perfomance
| Context Length | Prefill toks/s | Decode toks/s |
|---|---|---|
| cl512 | 1131.48 | 19.54 |
| cl1024 | 1063.02 | 16.33 |
| cl2048 | 1022.95 | 16.54 |
| cl3072 | 982.49 | 16.16 |
| cl4096 | 917.12 | 13.00 |
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小
模型资源获取
Model Farm 提供预编译好的模型资源以及推理代码,支持以下两种方式获取:
通过 Model Farm 页面获取:在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。
通过命令获取(推荐):持有阿加犀开发板的用户,可以通过开发板内置的 MMS 工具获取模型资源及代码包。
# 模型查询
mms list [model name]
# 模型资源获取
mms get -m [model name] -p [precision] -c [soc] -b [backend] -d [file path]
MMS 具体使用请参考:MMS 使用 & 提前获取预览版块模型
模型详情
Qwen3-4B-Instruct-2507 具有以下特点:
- 类型:因果语言模型 (Causal Language Models)
- 训练阶段:预训练与后训练 (Pretraining & Post-training)
- 参数总量:4.0B (40 亿)
- 参数量(不含嵌入层):3.6B (36 亿)
- 层数:36 层
- 注意力头数 (GQA):查询 (Q) 为 32 个,键值 (KV) 为 8 个
- 上下文长度:原生支持 262,144 个 token。
注意:该模型仅支持“非思考模式”,输出中不会生成 <think></think> 代码块。同时,不再需要显式指定 enable_thinking=False 参数。
源模型评估
注意:此表格显示的是源模型的评估,而非量化模型的评估。源模型评估来自于 Qwen3-4B-Instruct-2507 评估结果
| GPT-4.1-nano-2025-04-14 | Qwen3-30B-A3B Non-Thinking | Qwen3-4B Non-Thinking | Qwen3-4B-Instruct-2507 | |
|---|---|---|---|---|
| Knowledge | ||||
| MMLU-Pro | 62.8 | 69.1 | 58.0 | 69.6 |
| MMLU-Redux | 80.2 | 84.1 | 77.3 | 84.2 |
| GPQA | 50.3 | 54.8 | 41.7 | 62.0 |
| SuperGPQA | 32.2 | 42.2 | 32.0 | 42.8 |
| Reasoning | ||||
| AIME25 | 22.7 | 21.6 | 19.1 | 47.4 |
| HMMT25 | 9.7 | 12.0 | 12.1 | 31.0 |
| ZebraLogic | 14.8 | 33.2 | 35.2 | 80.2 |
| LiveBench 20241125 | 41.5 | 59.4 | 48.4 | 63.0 |
| Coding | ||||
| LiveCodeBench v6 (25.02-25.05) | 31.5 | 29.0 | 26.4 | 35.1 |
| MultiPL-E | 76.3 | 74.6 | 66.6 | 76.8 |
| Aider-Polyglot | 9.8 | 24.4 | 13.8 | 12.9 |
| Alignment | ||||
| IFEval | 74.5 | 83.7 | 81.2 | 83.4 |
| Arena-Hard v2* | 15.9 | 24.8 | 9.5 | 43.4 |
| Creative Writing v3 | 72.7 | 68.1 | 53.6 | 83.5 |
| WritingBench | 66.9 | 72.2 | 68.5 | 83.4 |
| Agent | ||||
| BFCL-v3 | 53.0 | 58.6 | 57.6 | 61.9 |
| TAU1-Retail | 23.5 | 38.3 | 24.3 | 48.7 |
| TAU1-Airline | 14.0 | 18.0 | 16.0 | 32.0 |
| TAU2-Retail | - | 31.6 | 28.1 | 40.4 |
| TAU2-Airline | - | 18.0 | 12.0 | 24.0 |
| TAU2-Telecom | - | 18.4 | 17.5 | 13.2 |
| Multilingualism | ||||
| MultiIF | 60.7 | 70.8 | 61.3 | 69.0 |
| MMLU-ProX | 56.2 | 65.1 | 49.6 | 61.6 |
| INCLUDE | 58.6 | 67.8 | 53.8 | 60.1 |
| PolyMATH | 15.6 | 23.3 | 16.6 | 31.1 |
*: For reproducibility, we report the win rates evaluated by GPT-4.1.
模型推理
请参考顶部模型推理标签选择合适的推理 SDK。
推荐使用 AidGen & AidGenSE 推理
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小