英偉達開源 Nemotron-Mini-4B-Instruct 小語言 AI 模型：專為角色扮演設計，9216 MLP、上下文長度 4096 詞元

IT之家 9 月 15 日消息，科技媒體 marktechpost 昨日（9 月 14 日）發佈博文，報導稱英偉達開源了 Nemotron-Mini-4B-Instruct AI 模型，標誌著該公司在 AI 領域創新又一新篇章。

小語言模型的大潛力

Nemotron-Mini-4B-Instruct AI 模型專為角色扮演、檢索增強生成（RAG）及函數調用等任務設計，是一個小語言模型（SLM），通過蒸餾（distilled）和優化更大的 Nemotron-4 15B 獲得。

英偉達使用剪枝（pruning）、量化（quantization）和蒸餾（distillation）等先進 AI 技術，讓該模型更小巧高效，尤其適用於設備端部署。

這種縮小化並未影響模型在角色扮演和功能調用等特定場景下的性能，讓其成為需要快速按需響應的應用的實用選擇。

該模型在 Minitron-4B-Base 模型上微調，採用了 LLM 壓縮技術，最顯著的特點之一是其能夠處理 4096 個上下文窗口詞元（token），能夠生成更長且更連貫的回覆。

架構與技術規格

Nemotron-Mini-4B-Instruct 以其強大的架構著稱，確保了高效性與可擴展性。

該模型的 Embedding Size（決定了轉化後的向量的維度）尺寸為 3072，多頭注意力（Multi-Head Attention）為 32 個，MLP 中間維度為 9216，在處理大規模輸入數據集時，仍能以高精度和相關性作出響應。

此外，模型還採用了組查詢注意力（GQA）和旋轉位置嵌入（RoPE）技術，進一步提升了其處理與理解文本的能力。

該模型基於 Transformer 解碼器架構，是一種自回歸語言模型。這意味著它根據前面的標記生成每個標記，非常適合對話生成等任務，其中對話的連貫流暢至關重要。

角色扮演與功能調用應用

Nemotron-Mini-4B-Instruct 在角色扮演應用領域表現尤為突出。憑藉其龐大的標記容量和優化的語言生成能力，它可以嵌入到虛擬助手、影片遊戲或任何其他需要 AI 生成關鍵響應的交互式環境中。

英偉達提供了一種特定的提示格式，以確保模型在這些場景中，尤其是在單輪或多輪對話中，輸出最佳結果。

該模型還針對函數調用進行了優化，在 AI 系統必須與 API 或其他自動化流程交互的環境中變得越來越重要。生成準確、功能性響應的能力使得該模型非常適合 RAG 場景，即模型需要創建文本並從知識庫中檢索和提供信息。

IT之家附上參考地址