英偉達新品「掌心AI超算」，¥1800跑8B多模態模型，算力暴增70%價格腰斬

夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

「英偉達版樹莓派」這波良心了，性能漲70%，降價50%。

老黃召開廚房發佈會，從烤箱里端出這台「掌心AI超算」。

△

怎麼不穿皮衣了

新版Jetson Orin Nano開發版套件，算力從40 TOPS漲到67 TOPS（INT8），內存帶寬增加50%，達到102GB/s，功耗僅25瓦。

價格卻降了50%，從$499降到$249（約人民幣1800元）。

67 TOPS什麼概念？

• 比目前英特爾、AMD或高通AI PC中的大部分NPU都快

• 能跑主流的7B、8B大模型量化版，如阿里Qwen，Llama等

• 最高支持4個攝像頭，也能跑8B的視覺語言模型和ViT模型

英偉達稱這是「最實惠的生成式AI超級計算機」。

無論是用來創建基於RAG的聊天機器人、視覺AI Agent，還是部署基於AI的機器人，都是理想的解決方案。

開髮套件包括一個Jetson Orin Nano 8GB系統級模塊（SoM）和一個參考載板，可用於邊緣AI應用的原型設計，功耗最高25w。

採用6核Arm CPU和NVIDIA Ampere架構GPU，GPU配備1024個CUDA核心和32個張量核心，支持多個併發AI應用管道和高性能推理。它最多可以支持4個攝像頭，提供比以前版本更高的解像度和幀率。

The Register估計在運行4位量化版Llama 3.1 8B模型時，能達到約18-20 tokens/s的速度。

Jetson支持一系列英偉達AI軟件，包括用於機器人的NVIDIA ISAAC、用於視覺AI的NVIDIA Metropolis 和用於傳感器處理的NVIDIA Holoscan。

另外可以使用NVIDIA Omniverse Replicator生成合成數據，並使用NVIDIA TAO工具包微調預訓練模型，可以縮短開發時間。

老黃稱這個系列為一種全新的處理器——機器人處理器。

推出第一代產品時，沒人理解英偉達在做什麼

到現在，它已經支持了各種機器人，帶輪子的、兩條腿的、三條腿的。

額外的好消息是，新推出的軟件更新，也將為買過舊版開髮套件的用戶帶來生成式AI性能提升。

有網民表示，黃仁勳就是新的聖誕老人。

參考鏈接：

[1]https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/

[2]https://www.theregister.com/2024/12/17/nvidia_jetson_orin/