Qwen2 是Qwen大型语言模型的新系列。对于Qwen2，我们发布了多个基础语言模型和指令微调语言模型，规模从5亿到72亿个参数不等，其中包括一个专家混合模型。

与当前最先进的开源语言模型相比，包括先前发布的Qwen1.5，Qwen2在大多数基准测试中普遍超过了大多数开源模型，并在语言理解、语言生成、多语言能力、编码、数学、推理等方面表现出了与专有模型的竞争力。

Qwen2-7B-Instruct支持最大131,072个标记的上下文长度，能够处理大量输入。有关如何部署Qwen2以处理长文本的详细说明，请参阅这一部分。

欲了解更多详情，请参阅Qwen的博客、GitHub和文档。

Qwen2 是一系列语言模型，包括不同模型规模的解码器语言模型。对于每个规模，我们发布基础语言模型和对齐的聊天模型。它基于Transformer架构，采用SwiGLU激活、注意力QKV偏置、组查询注意力等技术。此外，Qwen2还提供了一个改进的分词器，能够适应多种自然语言和编程语言。

注意：此表格显示的是源模型的评估，而非量化模型的评估。源模型评估来自于 Qwen2-7B-Instruct 评估结果

待发布