英伟达发布全新AI模型，拥有80亿参数：具有高精度和高效性，并能部署于RTX工作站上。
编辑日期：2024年08月24日
上个月，英伟达与Mistral AI联合发布了开源的Mistral NeMo 12B模型。在此基础上，英伟达进一步推出了较小的Mistral-NeMo-Minitron 8B模型，该模型拥有80亿个参数，并能够在配备英伟达RTX显卡的工作站上运行。
英伟达表示，通过对Mistral NeMo 12B进行宽度剪枝（width-pruning），并采用知识蒸馏（knowledge distillation）进行轻度重新训练后，获得了Mistral-NeMo-Minitron 8B。相关成果已在论文《通过剪枝和知识蒸馏实现紧凑型语言模型》中发表。
剪枝技术通过移除对准确性贡献最小的模型权重来缩减神经网络的规模。在“蒸馏”过程中，研究团队会在一个小规模的数据集上重新训练经过剪枝的模型，以此显著提升因剪枝过程而导致的准确性下降。
就其规模而言，Mistral-NeMo-Minitron 8B 在九项流行的语言模型基准测试中表现出显著优势。这些基准涵盖了多种任务，包括语言理解、常识推理、数学推理、内容总结、编码能力以及生成真实答案的能力。以下是相关的测试结果：
请提供需要重写的文本内容。
大家在看
AI安装教程
AI本地安装教程
微软AI大模型通识教程
微软AI大模型通识教程
AI大模型入门教程
AI大模型入门教程
Python入门教程
Python入门教程
Python进阶教程
Python进阶教程
Python小例子200道练习题
Python小例子200道练习题
Python练手项目
Python练手项目
Python从零在线练习题
Python从零到一60题
