Mistral-7B-Instruct-v0.3
文字生成
W4A16

Mistral-7B-Instruct-v0.3
Mistral-7B-Instruct-v0.3 大语言模型(LLM)是 Mistral-7B-v0.3 的指令微调版本。
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小
模型资源获取
Model Farm 提供预编译好的模型资源以及推理代码,支持以下两种方式获取:
通过 Model Farm 页面获取:在右侧性能参考板块中点击模型 & 代码获取模型资源及代码包。
通过命令获取(推荐):持有阿加犀开发板的用户,可以通过开发板内置的 MMS 工具获取模型资源及代码包。
MMS 具体使用请参考:MMS 使用 & 提前获取预览版块模型
源模型评估
Mistral 7B Instruct 模型是对基础模型的一次快速微调演示,展示了其可以轻松微调以实现出色的性能。
该模型不包含任何内容审核机制。Mistral 期待与社区合作,探讨如何使模型更精细地遵守安全准则,以便在需要受控输出的环境中部署。
模型推理
用户可以通过以下两种方式实现大模型在高通芯片上的推理运行:
- 通过 APLUX AidGen 推理大模型:请参考 APLUX AidGen 开发者文档
- 通过 QualComm Genie 推理大模型:请参考 Qualcomm Genie 文档
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小