Gemma 是 Google 推出的一系列轻量级、最先进的开源模型，它们基于与 Gemini 模型相同的研究成果和技术构建而成。Gemma 属于文本到文本的解码器结构大语言模型（decoder-only LLM），目前支持英文，并提供了预训练版本和指令微调版本的开源权重。Gemma 模型非常适用于多种文本生成任务，包括：问答、摘要生成、推理等。由于模型体积较小，Gemma 可以部署在资源有限的环境中，例如笔记本电脑、台式机或个人云服务，从而让更多人能够接触并使用先进的 AI 模型，推动全民创新。

模型页面: Gemma

作者: Google

模型数据

用于模型训练的数据及其处理方式。

训练数据集

这些模型在包含各种来源文本的数据集上进行了训练。其中，27B 模型使用了 13 万亿个标记进行训练，9B 模型使用了 8 万亿个标记，2B 模型使用了 2 万亿个标记。主要组成如下：

• 网页文档：多样化的网页文本集合确保模型接触到广泛的语言风格、主题和词汇。主要为英文内容。
• 代码：让模型接触代码可以帮助其学习编程语言的语法和模式，从而提高其生成代码或理解与代码相关问题的能力。
• 数学：训练中包含数学文本，有助于模型学习逻辑推理、符号表示，并更好地处理数学相关问题。

这些多样化数据源的组合对训练一个强大的语言模型至关重要，使其能够处理多种不同任务和文本格式。

注意：此表格显示的是源模型的评估，而非量化模型的评估。源模型评估来自于 Gemma-2-2B-it 评估结果

用户可以通过以下两种方式实现大模型在高通芯片上的推理运行：

• 通过 APLUX AidGen 推理大模型：请参考 APLUX AidGen 开发者文档
• 通过 QualComm Genie 推理大模型：请参考 Qualcomm Genie 文档