Qwen3-4B-Instruct-2507
文字生成
W4A16
post
Qwen3-4B-Instruct-2507

Qwen3 推出了 Qwen3-4B 非思考模式 的更新版本,命名为 Qwen3-4B-Instruct-2507,其核心增强功能如下:

  • 通用能力显著提升:在指令遵循、逻辑推理、文本理解、数学、科学、代码编写及工具使用方面均有大幅改进。
  • 长尾知识覆盖大幅增加:提升了在多种语言环境下的长尾知识覆盖范围。
  • 用户偏好对齐表现更佳:在主观及开放性任务中与用户偏好的对齐程度显著提高,能够提供更有帮助的回答和更高质量的文本生成。
  • 长文本理解能力增强:支持高达 256K 超长上下文的理解与处理。

多尺寸上下文性能表格

该模型支持多个上下文尺寸混合,根据输入长度自动匹配合适尺寸。

目前已支持的芯片及具体性能如下表:

QCS8550 Perfomance
Context Length Prefill toks/s Decode toks/s
cl512 1114.44 21.03
cl1024 1077.2 20.45
cl2048 998.75 18.85
cl3072 931.82 17.03
cl4096 886.29 14.80
QCS8625 Perfomance
Context Length Prefill toks/s Decode toks/s
cl512 1497.51 26.23
cl1024 1469.88 25.67
cl2048 1366.85 22.85
cl3072 1283.23 21.38
cl4096 1205.57 18.27
QCS9075 Perfomance
Context Length Prefill toks/s Decode toks/s
cl512 1211.27 21.55
cl1024 1163.98 20.86
cl2048 1075.04 19.17
cl3072 1006.07 17.55
cl4096 955.50 14.99
QCS8275 Perfomance
Context Length Prefill toks/s Decode toks/s
cl512 1131.48 19.54
cl1024 1063.02 16.33
cl2048 1022.95 16.54
cl3072 982.49 16.16
cl4096 917.12 13.00
性能参考

设备

AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小
模型资源获取

Model Farm 提供预编译好的模型资源以及推理代码,支持以下两种方式获取:

  • 通过 Model Farm 页面获取:在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。

  • 通过命令获取(推荐):持有阿加犀开发板的用户,可以通过开发板内置的 MMS 工具获取模型资源及代码包。

# 模型查询
mms list [model name]

# 模型资源获取
mms get -m [model name] -p [precision] -c [soc] -b [backend] -d [file path]

MMS 具体使用请参考:MMS 使用 & 提前获取预览版块模型

模型详情

Qwen3-4B-Instruct-2507 具有以下特点:

  • 类型:因果语言模型 (Causal Language Models)
  • 训练阶段:预训练与后训练 (Pretraining & Post-training)
  • 参数总量:4.0B (40 亿)
  • 参数量(不含嵌入层):3.6B (36 亿)
  • 层数:36 层
  • 注意力头数 (GQA):查询 (Q) 为 32 个,键值 (KV) 为 8 个
  • 上下文长度:原生支持 262,144 个 token。

注意:该模型仅支持“非思考模式”,输出中不会生成 <think></think> 代码块。同时,不再需要显式指定 enable_thinking=False 参数。

源模型评估

注意:此表格显示的是源模型的评估,而非量化模型的评估。源模型评估来自于 Qwen3-4B-Instruct-2507 评估结果

GPT-4.1-nano-2025-04-14 Qwen3-30B-A3B Non-Thinking Qwen3-4B Non-Thinking Qwen3-4B-Instruct-2507
Knowledge
MMLU-Pro 62.8 69.1 58.0 69.6
MMLU-Redux 80.2 84.1 77.3 84.2
GPQA 50.3 54.8 41.7 62.0
SuperGPQA 32.2 42.2 32.0 42.8
Reasoning
AIME25 22.7 21.6 19.1 47.4
HMMT25 9.7 12.0 12.1 31.0
ZebraLogic 14.8 33.2 35.2 80.2
LiveBench 20241125 41.5 59.4 48.4 63.0
Coding
LiveCodeBench v6 (25.02-25.05) 31.5 29.0 26.4 35.1
MultiPL-E 76.3 74.6 66.6 76.8
Aider-Polyglot 9.8 24.4 13.8 12.9
Alignment
IFEval 74.5 83.7 81.2 83.4
Arena-Hard v2* 15.9 24.8 9.5 43.4
Creative Writing v3 72.7 68.1 53.6 83.5
WritingBench 66.9 72.2 68.5 83.4
Agent
BFCL-v3 53.0 58.6 57.6 61.9
TAU1-Retail 23.5 38.3 24.3 48.7
TAU1-Airline 14.0 18.0 16.0 32.0
TAU2-Retail - 31.6 28.1 40.4
TAU2-Airline - 18.0 12.0 24.0
TAU2-Telecom - 18.4 17.5 13.2
Multilingualism
MultiIF 60.7 70.8 61.3 69.0
MMLU-ProX 56.2 65.1 49.6 61.6
INCLUDE 58.6 67.8 53.8 60.1
PolyMATH 15.6 23.3 16.6 31.1

*: For reproducibility, we report the win rates evaluated by GPT-4.1.

模型推理

请参考顶部模型推理标签选择合适的推理 SDK。

推荐使用 AidGen & AidGenSE 推理

许可证
源模型许可证:APACHE-2.0
可部署模型许可证:APLUX-MODEL-FARM-LICENSE
性能参考

设备

AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小