Qwen2.5 是最新系列的 Qwen 大语言模型。Qwen2.5 版本发布了多个基础语言模型和指令微调语言模型，参数规模从 0.5B 到 72B 不等。相比 Qwen2，Qwen2.5 带来了以下改进：

• 显著增强的知识储备，在 代码编写 和 数学能力 方面表现出色，得益于我们在这些领域的专业专家模型。
• 在 指令遵循、长文本生成（超过 8K token）、结构化数据理解（如表格）和 结构化输出生成（特别是 JSON）方面有了显著提升。
• 对不同系统提示词的适应性更强，提升了角色扮演实现和聊天机器人的条件设定能力。
• 长上下文支持，可处理最多 128K token，并能生成最多 8K token 的文本。
• 多语言支持，覆盖 29+ 种语言，包括：中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等

• 类型：因果语言模型（Causal Language Models）
• 训练阶段：预训练与后训练（Pretraining & Post-training）
• 架构：基于 Transformer，采用 RoPE、SwiGLU、RMSNorm、带偏置的 Attention QKV 以及共享词嵌入
• 参数总数：30.9 亿
• 非嵌入参数数量：27.7 亿
• 层数：36
• 注意力头数（GQA）：Q 有 16 个，KV 有 2 个
• 上下文长度：完整支持 32,768 个 tokens，生成时支持 8,192 个 tokens

更多详情请参阅我们的 博客、GitHub 和 文档。

注意：此表格显示的是源模型的评估，而非量化模型的评估。源模型评估来自于 Qwen2.5-3B-Instruct 评估结果

待发布