Granite-3.1-8b-Instruct

文字生成

W4A16

Granite-3.1-8B-Instruct 是一款具有 80 亿参数的长上下文指令模型，基于 Granite-3.1-8B-Base 微调而成，使用了结合宽松许可证的开源指令数据集以及内部收集的针对长上下文问题设计的合成数据集进行训练。该模型通过多种技术开发，采用结构化对话格式，包括监督微调、基于强化学习的模型对齐，以及模型合并等方法。

性能参考

设备

AI框架

数据精度

首字响应

编码速度

解码速度

上下文长度

文件大小

模型详情

开发团队： Granite 团队，IBM
GitHub 仓库： ibm-granite/granite-3.1-language-models
官方网站： Granite 文档
论文： Granite 3.1 Language Models（即将发布）
发布日期： 2024 年 12 月 18 日
许可证： Apache 2.0

支持语言：
英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。
用户可以根据需要对 Granite 3.1 模型进行微调，以支持这 12 种语言之外的其他语言。

源模型评估

注意：此表格显示的是源模型的评估，而非量化模型的评估。源模型评估来自于 Granite-3.1-8b-Instruct 评估结果

**HuggingFace Open LLM Leaderboard V1**
Models	ARC-Challenge	Hellaswag	MMLU	TruthfulQA	Winogrande	GSM8K	Avg
Granite-3.1-8B-Instruct	62.62	84.48	65.34	66.23	75.37	73.84	71.31
Granite-3.1-2B-Instruct	54.61	75.14	55.31	59.42	67.48	52.76	60.79
Granite-3.1-3B-A800M-Instruct	50.42	73.01	52.19	49.71	64.87	48.97	56.53
Granite-3.1-1B-A400M-Instruct	42.66	65.97	26.13	46.77	62.35	33.88	46.29

**HuggingFace Open LLM Leaderboard V2**
Models	IFEval	BBH	MATH Lvl 5	GPQA	MUSR	MMLU-Pro	Avg
Granite-3.1-8B-Instruct	72.08	34.09	21.68	8.28	19.01	28.19	30.55
Granite-3.1-2B-Instruct	62.86	21.82	11.33	5.26	4.87	20.21	21.06
Granite-3.1-3B-A800M-Instruct	55.16	16.69	10.35	5.15	2.51	12.75	17.1
Granite-3.1-1B-A400M-Instruct	46.86	6.18	4.08	0	0.78	2.41	10.05

模型推理

用户可以通过以下两种方式实现大模型在高通芯片上的推理运行：

通过 APLUX AidGen 推理大模型：请参考 APLUX AidGen 开发者文档
通过 QualComm Genie 推理大模型：请参考 Qualcomm Genie 文档

许可证

源模型许可证：APACHE-2.0

可部署模型许可证：APLUX-MODEL-FARM-LICENSE