蘋果官宣：在GoogleTPU上訓練其AI模型

本文來自：硬AI，作者：李丹，題圖來自：視覺中國

公開文件顯示，蘋果開發自家的人工智能（AI）系統Apple Intelligence離不開Google定製芯片的支持。

美東時間7月29日週一，蘋果官網公佈了一篇技術論文，詳細介紹為支持蘋果個人智能化系統Apple Intelligence而開發了一些基礎語言模型，包括一個用於在設備上高效運行的約30億參數模型——端側「蘋果基礎模型」（AFM），以及一個為蘋果雲端AI架構「私有雲計算」（Private Cloud Compute）而設計的大型服務器語言模型——服務器AFM。

論文中，蘋果介紹，端側AFM和服務器AFM是蘋果開發的生成式模型大家族成員，這些模型都用於支持用戶和開發者。論文中，蘋果披露，訓練模型採用了Google研發的第四代AI ASIC芯片TPUv4和更新一代的芯片TPUv5。文章寫道：

「我們在8192塊TPUv4 芯片上從無到有訓練服務器AFM，使用4096的序列長度和4096個序列的批量大小，進行6.3萬億token訓練。」

「端側AFM在2048塊TPUv5p芯片上進行訓練。」

在這篇長達47頁的論文中，蘋果沒有提到Google或是英偉達的名字，但表示，其AFM和AFM服務是在「雲TPU集群」上訓練。這意味著，蘋果向雲服務商租用了服務器執行計算。

事實上，今年6月的全球開發者大會（WWDC）期間，媒體已經在蘋果公佈的技術文件細節中發現，Google成為蘋果在AI領域發力的另一位贏家。蘋果的工程師在構建基礎模型時運用了公司自研的框架軟件及多種硬件，包括僅在Google雲上可用的張量處理單元（TPU）。只不過，蘋果未透露，相比英偉達等其他AI硬件供應商，蘋果有多依賴Google的芯片和軟件。

因此，本週一在社交媒體X上有評論指出，6月就出過蘋果用Google芯片的消息，現在我們有了更多關於訓練堆棧的細節。

有評論稱，蘋果並不是討厭英偉達，只不過TPU的速度更快。還有評論稱，TPU速度更快，所以蘋果用它是有道理的，當然也可能它比英偉達的芯片更便宜。

本週一媒體評論稱，Google的TPU最初是為內部工作負載而創建，現在正得到更廣泛的應用。蘋果用Google芯片訓練模型的決定表明，在AI訓練方面，一些科技巨頭可能正在尋找並且已找到英偉達AI芯片的替代品。

華爾街見聞曾提到，上週，Meta的CEO朱克伯格和Alphabet兼Google的CEO皮查伊都在講話中暗示，他們的公司和其他科技業公司可能在AI基礎設施方面投資過度，「可能過多投入AI」。但他們同時都承認，如果不這樣做，商業風險太高。

朱克伯格說：

「落後的後果是，你在未來10到15年內，都會在最重要的技術上處於不利地位。」

皮查伊說：

AI成本高，但投資不足的風險更大。Google可能在AI基礎設施上投資過多，主要包括購買英偉達的GPU。即使AI熱潮放緩，公司購買的數據中心和計算機芯片也可以用於其他用途。對我們來說，投資不足的風險遠遠大於投資過度的風險。