Google推出Gemma 2 2B模型 能夠在手機、筆記本電腦、台式機等邊緣設備上運行

Gemma 2 2B是Google推出的Gemma 2系列中一款重量級的輕量級AI模型，具有2億參數。Gemma 2 2B 利用了知識蒸餾技術，通過從更大、更複雜的模型中學習，將其知識傳遞到較小的模型中，取得了超出預期的性能表現。

GEMMA 2 2B 模型適用於多種文本生成任務，包括問答、摘要和推理。其相對較小的體積使其能夠在筆記本電腦、台式機或私人云基礎設施等資源有限的環境中部署。

主要特點

1. 卓越性能

• 性能表現：Gemma 2 2B在LMSYS Chatbot Arena排行榜上超過了所有GPT-3.5模型，可以處理多種文本生成任務，如問答、摘要和推理，展示了其出色的對話AI能力。它在同類模型中表現最佳，能夠在實際應用中提供高質量的對話體驗。
• 優化：該模型經過優化，能夠在各種硬件上高效運行。這包括各種邊緣設備、筆記本電腦和強大的雲部署，如Google的Vertex AI和Kubernetes Engine。

2.靈活且具有成本效益的部署

• 硬件兼容性：Gemma 2 2B可在從邊緣設備到大型數據中心的廣泛硬件上高效運行。它使用NVIDIA TensorRT-LLM庫進行優化，支持NVIDIA RTX、GeForce RTX GPU和Jetson模塊，適合各種AI應用場景。
• 經濟高效：其設計允許在成本效益較高的硬件上運行，甚至可以在Google Colab的T4 GPU免費層上運行，使開發和實驗更具經濟效益。

3.模型集成與兼容性

Gemma 2 2B 設計為與多種主流 AI 開發平台無縫集成，方便開發人員在不同環境中使用：

• Keras 和 JAX：支持流行的深度學習框架，便於模型訓練和推理。
• Hugging Face：兼容 Hugging Face 的模型和工具，簡化模型管理和部署。
• NVIDIA NeMo 和 Ollama：利用這些平台的優化功能，進一步提升模型性能。
• MediaPipe（即將推出）：支持實時處理任務，如影片和音頻流處理。

評估結果

GEMMA 2 2B 在多個基準測試中表現出色，尤其是在文本生成和問答任務中。以下是一些關鍵性能指標：

• MMLU (5-shot, top-1): 51.3
• HellaSwag (10-shot): 73.0
• PIQA (0-shot): 77.8
• BoolQ (0-shot): 72.5
• ARC-e (0-shot): 80.1
• TriviaQA (5-shot): 59.4
• GSM8K (5-shot, maj@1): 23.9

模型下載：https://huggingface.co/google/gemma-2-2b