Mistral-7B-Instruct-v0.3
文字生成
W4A16

Mistral-7B-Instruct-v0.3
Mistral-7B-Instruct-v0.3 大语言模型(LLM)是 Mistral-7B-v0.3 的指令微调版本。
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小
源模型评估
Mistral 7B Instruct 模型是对基础模型的一次快速微调演示,展示了其可以轻松微调以实现出色的性能。
该模型不包含任何内容审核机制。Mistral 期待与社区合作,探讨如何使模型更精细地遵守安全准则,以便在需要受控输出的环境中部署。
模型推理
用户可以通过以下两种方式实现大模型在高通芯片上的推理运行:
- 通过 APLUX AidGen 推理大模型:请参考 APLUX AidGen 开发者文档
- 通过 QualComm Genie 推理大模型:请参考 Qualcomm Genie 文档
性能参考
设备
AI框架
数据精度
首字响应
编码速度
解码速度
上下文长度
文件大小