英伟达开源了 Nemotron-Mini-4B-Instruct 小型语言人工智能模型：该模型专为角色扮演设计，具有 9216 个 MLP 单元，上下文长度为 4096 个词元。
编辑日期：2024年09月15日
Nemotron-Mini-4B-Instruct AI 模型专门用于角色扮演、检索增强生成（RAG）和函数调用等任务，是一个小型语言模型（SLM），通过从较大的 Nemotron-4 15B 模型中进行蒸馏和优化而得到。
英伟达运用了剪枝、量化和蒸馏等先进的人工智能技术，使该模型更加小巧高效，特别适合在设备端进行部署。
这种缩小化并未影响模型在角色扮演和功能调用等特定场景中的表现，使其成为需要快速按需响应的应用的实用选择。
该模型在Minitron-4B-Base模型的基础上进行了微调，并采用了LLM压缩技术。其最显著的特点之一是可以处理4096个上下文窗口词元（tokens），从而能够生成更长且更连贯的回复。
Nemotron-Mini-4B-Instruct 以其强大的架构而闻名，确保了高效性和可扩展性。
该模型的嵌入层维度（Embedding Size）为3072，多头注意力（Multi-Head Attention）头数为32，MLP中间层维度为9216，在处理大规模输入数据集时，依然能够以高精度和相关性作出响应。
此外，该模型还采用了组查询注意力（GQA）和旋转位置嵌入（RoPE）技术，进一步增强了其处理和理解文本的能力。
该模型基于Transformer解码器架构，属于一种自回归语言模型。这意味着它根据前面的标记来生成每个新的标记，这种特性使其非常适合于对话生成等任务，因为在这些任务中，对话的连贯性和流畅性至关重要。
Nemotron-Mini-4B-Instruct 在角色扮演应用领域表现出色。凭借其巨大的标记容量和优化的语言生成能力，它可以被嵌入到虚拟助手、视频游戏或任何需要 AI 生成关键响应的交互式环境中。
英伟达提供了一种特定的提示格式，以确保模型在这些场景中，特别是在单轮或多轮对话中，能够输出最佳结果。
该模型还针对函数调用进行了优化，这在AI系统需要与API或其他自动化流程交互的环境中显得尤为重要。其生成准确且具备实际功能的响应的能力，使得该模型非常适用于RAG（Retrieval-Augmented Generation，检索增强生成）场景，即模型需要创建文本并从知识库中检索和提供信息的情况。
请提供参考地址。 （如果需要更准确的回答，请提供更多信息或上下文）
