元象推出中国最大的MoE开源大模型：总参数量达2550亿，激活参数量为360亿。
编辑日期：2024年09月13日
该模型总参数量为255B，激活参数为36B。官方宣称其效果能够“大致达到”超过100B的大模型的“跨级”性能提升，同时训练时间减少30%，推理性能提升100%，使得每个token的成本大幅降低。
MoE（混合专家模型）架构通过将多个细分领域的专家模型整合成一个超级模型，在扩大模型规模的同时，确保模型性能的最大化，并且还能降低训练和推理的计算成本。谷歌的Gemini-1.5、OpenAI的GPT-4以及马斯克旗下xAI公司的Grok等大型模型均采用了MoE架构。
在多项评测中，元象 MoE 超过了多个同类模型，包括国内的千亿参数模型 Skywork-MoE、传统的 MoE 领先者 Mixtral-8x22B 以及拥有 3140 亿参数的开源模型 Grok-1-A86B 等。
附上相关链接：
大家在看
AI安装教程
AI本地安装教程
微软AI大模型通识教程
微软AI大模型通识教程
AI大模型入门教程
AI大模型入门教程
Python入门教程
Python入门教程
Python进阶教程
Python进阶教程
Python小例子200道练习题
Python小例子200道练习题
Python练手项目
Python练手项目
Python从零在线练习题
Python从零到一60题
