端侧AI崛起：Mistral发布Ministral 3B/8B，号称“全球最佳边缘模型”
编辑日期：2024年10月17日
Mistral公司表示，越来越多的企业希望在个人设备上运行AI模型，这样既能确保数据处理的安全性，又能提高响应速度。
上述两个模型可以在没有互联网连接的情况下，提供翻译服务、本地分析和机器人等多种功能。
这两个AI模型的上下文窗口都是128K，相当于可以一次性处理50页的文档。
Ministral 8B 的价格是每百万个 token 0.1 美元，而 3B 版本的价格为每百万个 token 0.04 美元，非常适合小规模操作或初创开发者使用。Ministral 8B 采用了一种特殊的交错滑动窗口注意力机制，这种设计使得在进行推理时不仅速度更快，而且更加节省内存。以下是相关的性能图表：
