Qwen2-0.5B-Instruct
文字生成
W4A16
post
Qwen2-0.5B-Instruct

Qwen2 是Qwen大型语言模型的新系列。对于Qwen2,我们发布了多个基础语言模型和指令微调语言模型,规模从5亿到72亿个参数不等,其中包括一个专家混合模型。

与当前最先进的开源语言模型相比,包括先前发布的Qwen1.5,Qwen2在大多数基准测试中普遍超过了大多数开源模型,并在语言理解、语言生成、多语言能力、编码、数学、推理等方面表现出了与专有模型的竞争力。

欲了解更多详情,请参阅Qwen的博客GitHub文档

性能参考

设备

AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小
模型详情

Qwen2 是一系列语言模型,包括不同模型规模的解码器语言模型。对于每个规模,我们发布基础语言模型和对齐的聊天模型。它基于Transformer架构,采用SwiGLU激活、注意力QKV偏置、组查询注意力等技术。此外,Qwen2还提供了一个改进的分词器,能够适应多种自然语言和编程语言。

源模型评估

注意:此表格显示的是源模型的评估,而非量化模型的评估。源模型评估来自于 Qwen2-0.5B-Instruct 评估结果

Datasets Qwen1.5-0.5B-Chat Qwen2-0.5B-Instruct Qwen1.5-1.8B-Chat Qwen2-1.5B-Instruct
MMLU 35.0 37.9 43.7 52.4
HumanEval 9.1 17.1 25.0 37.8
GSM8K 11.3 40.1 35.3 61.6
C-Eval 37.2 45.2 55.3 63.8
IFEval (Prompt Strict-Acc.) 14.6 20.0 16.8 29.0
模型推理

用户可以通过以下两种方式实现大模型在高通芯片上的推理运行:

许可证
源模型许可证:APACHE-2.0
可部署模型许可证:APLUX-MODEL-FARM-LICENSE
性能参考

设备

AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小