“端侧 ChatGPT 时代来临”,面壁智能发布小钢炮开源 MiniCPM3-4B AI 模型
编辑日期:2024年09月07日
附上 MiniCPM 3.0 的开源地址:
MiniCPM3-4B 是 MiniCPM 系列的第三代产品,其整体性能超越了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125,达到了与多个拥有 70 亿至 90 亿参数的 AI 模型相媲美的水平。
与 MiniCPM1.0 和 MiniCPM2.0 相比,MiniCPM3-4B 具有更强大且多用途的技能集,适用于更广泛的任务。它支持函数调用和代码解释器。
以下是三个不同版本的模型结构(从1到2到3)之间的区别:
MiniCPM3-4B 拥有 32KB 的上下文窗口。通过使用 LLMxMapReduce,MiniCPM3-4B 无需消耗过多内存即可处理理论上无限的上下文。
面壁智能发布了RAG套件,包括MiniCPM-Embedding模型和MiniCPM-Reranker模型,并针对RAG场景推出了微调版的MiniCPM3-RAG-LoRA模型。