Qwen2-1.5B-Instruct
文字生成
W4A16

Qwen2-1.5B-Instruct
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小
模型详情
Qwen2 是一系列语言模型,包括不同模型规模的解码器语言模型。对于每个规模,我们发布基础语言模型和对齐的聊天模型。它基于Transformer架构,采用SwiGLU激活、注意力QKV偏置、组查询注意力等技术。此外,Qwen2还提供了一个改进的分词器,能够适应多种自然语言和编程语言。
源模型评估
注意:此表格显示的是源模型的评估,而非量化模型的评估。源模型评估来自于 Qwen2-1.5B-Instruct 评估结果
Datasets | Qwen1.5-0.5B-Chat | Qwen2-0.5B-Instruct | Qwen1.5-1.8B-Chat | Qwen2-1.5B-Instruct |
---|---|---|---|---|
MMLU | 35.0 | 37.9 | 43.7 | 52.4 |
HumanEval | 9.1 | 17.1 | 25.0 | 37.8 |
GSM8K | 11.3 | 40.1 | 35.3 | 61.6 |
C-Eval | 37.2 | 45.2 | 55.3 | 63.8 |
IFEval (Prompt Strict-Acc.) | 14.6 | 20.0 | 16.8 | 29.0 |
模型推理
用户可以通过以下两种方式实现大模型在高通芯片上的推理运行:
- 通过 APLUX AidGen 推理大模型:请参考 APLUX AidGen 开发者文档
- 通过 QualComm Genie 推理大模型:请参考 Qualcomm Genie 文档
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小