英伟达携手Mistral AI，震撼发布全新力作！一款拥有120亿参数的精悍模型横空出世，堪称业界新王。其实力非凡，不仅超越Llama 3，更实现单卡4090即可流畅运行的卓越性能，开启AI应用新篇章。
编辑日期：2024年07月20日
本周，小巧的AI模型引发了广泛关注，成为了热议焦点。
首先，HuggingFace 率先推出了精巧的模型 SmmALLM，紧接着OpenAI强势介入小型模型领域，宣布了GPT-4o mini的问世。
就在GPT-4o迷你版亮相的同一日，欧洲AI领域的领头羊Mistral公司迅速跟进，隆重推出了他们最新研发、性能卓越的小型模型——Mistral NeMo。这标志着Mistral在人工智能技术上的又一次重大突破。
Mistral NeMo 是由Mistral AI与英伟达共同研发的，拥有120亿参数，能够处理128K的上下文信息。
在全面的性能比拼中，Mistral NeMo 于多维度基准评测脱颖而出，超越了 Gemma 2 9B 及 Llama 3 8B，彰显其卓越实力。
目睹行业巨擘与创新型公司纷纷涉足小模型领域，围观者无不拍手称快。
HuggingFace 的创始人宣布，本周迎来了三大巨头的小型模型接连发布，堪称“小模odel盛宴”！持续创新，不断突破，只提供重写后的文本，始终使用中文回复。
这一周，Mistral 状态爆棚，犹如注入了强心剂，火力全开，势不可挡。
就在不久前，Mistral公司隆重推出了Mathstral 7B与Codestral Mamba两款轻量级模型，这两款模型分别针对数学推理能力和科学探索能力进行了优化。作为Mamba 2架构下首批开源的模型，它们的发布标志着在专业领域应用上的重要突破。
未曾想见，周这仅是轻描淡写地先施展了两记普通攻击，仿佛只是在活动筋骨、预热身手。他与老黄正蓄势待发，酝酿着更为震撼的绝技，期待在关键时刻一鸣惊人，华丽登场。
最新推出的Mistral NeMo 12B精简模型，专为企业用户量身打造，旨在优化其应用体验。
开发人员能够便捷地对支持聊天机器人、多语言处理、编程及摘要功能的企业应用进行个性化定制和部署。
通过融合Mistral AI在训练数据领域的精深造诣与英伟达卓越的硬件及软件生态系统的优化力量，如同由最杰出的父母精心培育的孩子一般，Mistral NeMo模型展现出了非凡的性能表现。
Mistral AI的共同创立者兼首席科学家Guillaume Lample提到，他们非常荣幸能与NVIDIA团队携手，充分利用其顶尖的硬件设施与软件资源。
Mistral NeMo 已经在 NVIDIA 的 DGX Cloud AI 平台上完成了训练过程。这一平台赋予了我们专有且可扩展的权限，以利用最新的 NVIDIA 技术架构。
为提升大型语言模型的推理效率，我们采用了NVIDIA的TensorRT-LLM技术。同时，为了构建定制化的生成式AI模型，我们运用了NVIDIA NeMo开发平台，该平台在新模型的性能推进与优化中发挥了关键作用。
此次携手合作，再次彰显了英伟达坚定不移地致力于扶持模型构建者生态系统发展的承诺。
Mistral NeMo具备处理128K上下文的强大能力，这意味着它在应对各类繁复信息时，能展现出更为流畅与精准的表现。无论是何种情境，它都能确保回应内容紧密贴合对话脉络，提供恰如其分的输出结果。
它在同类参数量的模型中，具备卓越的推理能力、世界知识理解和编码精确度。
如下表所示，在所有基准测试中，Mistral NeMo 的表现都不及 Gemma 2 9B，仅在 MMLU 上存在差距。
在涉及多轮对话、数学能力、常识推理、世界知识以及编码技术等领域的基准测试中，该模型的表现已经超越了Gemma 2 9B与Llama 3 8B这两个强大的竞争对手。
Mistral NeMo 采用了通用架构，这不仅增强了其兼容性，使得操作变得简便，还意味着它能够无缝替换所有依赖于 Mistral 7B 的现有系统。无需额外调整，即可实现平滑过渡，大大提升了应用灵活性。
Mistral NeMo 是一个参数量高达120亿的模型，依照Apache 2.0许可证开放给公众，允许任何人自由下载和运用。
此外，模型运用FP8数据格式执行推理操作，以此缩减内存占用并提升部署效率，同时确保精度不受影响。
这就意味着，模型能够无比顺畅地适应各种任务，高效地应对不同情境，因而成为了企业首选的解决方案。
这种格式具备高度适应性，能够简便快捷地在各个环境中部署，广泛适用于各类应用程序，赋予了它们极大的灵活性。
因此，模型能够迅速部署至任何环境，无需忍受漫长的等待或受限于特定设备，轻松实现自由应用。
Mistral NeMo 专为企业用户设计，深度融合了NVIDIA AI Enterprise平台的高端软件组件。它提供了专业功能更新路径，遵循严谨的验证程序，并强化了企业级别的安全性保障，以满足严苛的企业需求。
开放模型许可协议还授权企业将Mistral NeMo顺利整合到其商业应用中。
Mistral NeMo NIM 精心设计，旨在完美适配单一 NVIDIA L40S、NVIDIA GeForce RTX 4090 或 NVIDIA RTX 4500 GPU 的存储空间，实现高效能与经济性的双重优势。同时，我们承诺提供严格的安全防护和隐私保护，确保用户数据无忧。
换句话说，仅用一个英伟达 L40S，其单块GPU就能满足运行需求。
面向追求尖端人工智能技术的企业，Mistral NeMo 12B 呈现了一套高效且实用的解决方案，集强大功能与实际应用于一体。
通过整合Mistral AI与英伟达在各自专业领域的优势，我们显著提升了Mistral NeMo模型的训练效率与推理性能。这种强强联合，实现了技术上的互补与优化，为用户提供更高效、精准的服务体验。
该模型的训练过程深度融合了Mistral AI在多语言处理、代码理解和多回合对话内容分析等领域的独到见解。在这一过程中，NVIDIA的全方位加速训练技术栈发挥了至关重要的作用，为模型性能的提升提供了坚实的技术支撑。
它精心设计以达到最优性能表现，通过采用高性能的模型并行策略、具备良好的可扩展性，并结合Megatron-LM实现了混合精度训练。这样的架构确保了在大规模数据集上的高效计算和出色效果，同时降低了内存消耗，提升了整体运行效率。
此模型的训练过程采用了NVIDIA NeMo中的一部分——Megatron-LM，在DGX Cloud平台上进行。该平台配置了3,072颗H100 80GB Tensor Core GPU，这些GPU组成了NVIDIA AI架构的核心部分。该架构不仅包含加速计算功能，还涵盖了网络设计与软件优化，共同提升了模型训练的效率。
Mistral NeMo 模型是为构建全球多语言应用而精心设计的。
该模型通过一系列的函数调用进行训练，具备广泛的语言理解能力，尤其在处理大范围的上下文信息时表现出色。它支持包括英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等多种语言，展现出强大的多语言处理性能。
这无疑是向全球各种语言用户普及先进人工智能模型迈出的关键步伐。
在多语言基准评测中，Mistral NeMo展现出色性能，其卓越的表现令人瞩目。
Mistral NeMo 现在采纳了创新的分词工具 Tekken，它以 Tiktoken 为基础，广泛训练于超过一百种语言。相比 Mistral 早期模型中的 SentencePiece 分词器，Tekken 在压缩自然语言文本和源代码方面展现出更高的效率。
具体来说，优化后在压缩源代码以及中文、意大利语、法语、德语、西班牙语和俄语的内容处理上，效率提升了大约30%。
在处理韩语及阿拉伯语的压缩任务时，效率分别实现了两倍与三倍的显著提升。相较于Llama 3分词器，Tekken在压缩文本上展现更优异的表现，覆盖了大约85%的各种语言文本，成效卓著。
铁拳压缩比率
经过深度优化与精调，Mistral NeMo 的性能已达到全新高度。相较于 Mistral 7B，它在精准执行指令、逻辑推理、应对复杂多回合对话及代码生成等任务上展现出更卓越的能力，实现了全面超越。
针对Mistral NeMo指令，我们对模型进行了精细的调整，以提升其准确度。评估过程中，我们采用了GPT-4o作为官方基准，以此来衡量调整后的模型性能。所获得的结果仅展示重写后的文本内容，完全剔除了原始文本信息。以下是经过优化后的文本示例（此处省略具体示例，因为需要实际文本内容才能给出重写版本）。在后续的回复中，我们将持续使用中文进行交流。
Mistral NeMo 已经具备了在云端、数据中心或 RTX 工作站等任意环境中流畅运行的能力，它立志引领一场跨平台 AI 应用的革命性变革。
用户现可立即访问 ai.nvidia.com，提前享受NVIDIA NIM带来的Mistral NeMo体验。不久后，我们将推出可供下载的NIM版本。
已有热心网友在英伟达的NIM推理微服务中抢先体验了Mistral NeMo的12B版本。
如今，开发者能够体验Mistral NeMo的强大功能，通过mistral-inference进行初步尝试，同时利用mistral-finetune对其进行精细调整。
Mistral NeMo 已在 La Plateforme 以 open-mistral-nemo-2407 的代号公开发布。
您提供的请求中没有包含具体的文本内容，所以我无法进行重写。请提供需要重写的文本，我将很乐意帮您进行修改和润色。期待您的回复！
大家在看
