想本地部署AI64G內存加5070TI以上顯卡少不了

最近一段時間，以 DeepSeek 為代表的國產大模型，憑藉開源生態和硬件適配性，催生了大量鍾情本地部署的極客玩家，本地部署也就成了熱門話題。本地部署的AI有著低延遲高安全低成本的優勢，但對硬件要求是非常高的。比較重要的是CPU，GPU以及內存，大容量內存決定了本地 AI 模型的可選範圍和運行效率,如果你內存不夠大，卡死也是比較可能的。

最近由於出現了單條32G的條子，組64G也是比較方便的事了，海盜船也更新了最新的複仇者內存條，單條32G可以根據自己需求購買。價格是比較便宜的。另外我手上正好也有張微星的5070TI神龍顯卡，顯存也有個16G，正好也看看大容量內存以及大顯存顯卡對 AI 本地部署的加成有多大效果。

這次的海盜船複仇者是可以單條購買的，當然也有對條，根據你的需求選擇，比如我可以選擇四條或者就選2條，搭配比較方便。外包裝還是一貫的黃色，說實話這個容量如果你不跑AI，幹什麼其實都夠了。

內存造型依然是複仇者的傳統電競風，兩邊激光蝕刻的菱形紋理滿佈馬甲表面，中間區域貼了塊金屬片，刻著“VENGEANCE”，也就是複仇者的英文。

這次的複仇者並沒有帶 RGB ，所以內存整體高度非常的矮，控制在 35mm 左右。有著更好的硬件兼容性，適合搭配空間緊張的 ITX 機箱或者一些小機箱。

看一下時序，38 – 44 – 44 – 96，工作電壓 1.35V，由於容量比較大，所以頻率和時序都比較保守，這也和這代的CPU有關，插滿4條你只有低時序，但容量的重要性一直是大於時序的。

顯卡就是微星的5070TI神龍了，造型我是非常的喜歡的，擁有暴風之怒旗艦機的散熱模組，暴風7風扇也刻意增大了散熱量。

這次還有波浪鰭片4.0，用於減少噪音，RGB採用了多區域光效，除了右邊的MSI的龍標，風扇那裡也是有RGB的。

當然，供電接口還是16pin的新接口。

IO接口就是傳統的3DP+1HDMI了。

先看下內存顆粒，這次查詢的顆粒為K4RAH086VD-BCQK,是Samsung的顆粒。

插上後進入系統確認識別到64G，頻率為6000，這裏可以看到系統就要用到6G左右的內存。

關於本機部署 ollama 有太多教程，我就省略了，如果不喜歡CMD可以上網搜一搜，有很多軟件都可以使用，這裏就不在贅述。根據本機的配置，測試我們使用的14，32，70B的蒸餾版，在往上真的又卡又帶不動。

首先，先測一下70B，剛加載，問了一下丁真是誰，內存使用量就達到了37G，70B雖然是蒸餾板，也已經非常吃硬件了，當然如果你能把顯卡換成5090D，那肯定是要好上不少的。

我使用了16G*2的內存也測試了一遍，剛加載，內存基本就吃滿了，後面就開始一字一句的彈字，我也就沒測試下去了，32G內存是肯定不行的。

32B的情況下則要好很多，內存也就使用了14個G，能支援一般的使用，但是回答問題的精準度就不那麼高了，我問丁真是誰，它回答的半真半假，要不是網上能查我就信了。

使用32G內存在使用上也是沒什麼問題的，回答問題也差不多，就不多贅述了。

14B需求的內存更少，只需要8G左右，但回答問題很不精準，比如我讓它幫我寫入黨申請書，寫的就明顯沒有70B和32B那麼的流暢。

14B對內存的要求不算高，32G其實也夠用，但是你問他丁真是誰，它都說不知道要再去學習，也是非常的豹笑了。

說實話，如果你想組建本地的AI，硬件的要求會非常的高，70B以下的模型我覺得大部分是不能用的。5070TI，64G內存這種硬件基本要標配，我的5070TI在使用70B的情況下也是有一些卡頓的。70B以下的模型雖然流暢，但回答的精度不高，經常不知道它在說什麼。那從測試結果來看，大容量內存顯存對於 AI 應用最大的優勢是提升了運行上限，另外由於四槽的兼容性不好，大容量內存也為瞭解決這個問題而生。另外在娛樂和生產力方面，大容量的內存也是很有必要的，比如剪輯視頻。看來AI的風潮即將帶來大批量的硬件更換。