亞馬遜祭出地表最強全家桶，多模態Nova卻敗給Claude 3.5

就在剛剛，亞馬遜推出了號稱最強大的多模態模型Nova系列。

在多項基準測試中，最強的Nova Pro成功超越了GPT-4o，僅次於Gemini 1.5 Pro、Claude 3.5 Sonnet。

相較之下，Nova Lite和Nova Micro，就要比同級競品差上不少了。

不過，它的價格非常便宜——每百萬token的輸入價格低至0.0175美元，輸出價格低至0.07美元。

性能的提升，讓Amazon Nova可以處理複雜推理任務。比如分析複雜文檔、影片，理解圖表、示意圖，生成高質量的影片內容，還能構建高級AI智能體。

這次推出的Amazon Nova全家桶如下：

Amazon Nova Micro，純文本模型，以極低的成本提供最低的延遲響應

Amazon Nova Lite，成本極低的多模態模型，處理圖像、影片和文本輸入的速度快如閃電。

Amazon Nova Pro，功能強大的多模態模型，針對各類任務的準確性、速度和成本的最佳組合

Amazon Nova Premier，系列中複雜推理性能最強的多模態模型，也是支持蒸餾自定義模型的最佳教師模型

Amazon Nova Canvas，SOTA圖像生成模型

Amazon Nova Reel，SOTA影片生成模型

創造力爆棚，影片理解驚豔

Amazon Nova的創意生成模型，直接讓賣家和廣告商的廣告創意提升到全新的水平。

平均來看，使用這些工具的品牌廣告宣傳的產品數量直接增加了五倍，每個宣傳產品使用的圖片數量增加了一倍，這樣就把預算省到了更需要的地方。

比如下面這個Amazon Nova Reel為某個虛構的意麵品牌製作的廣告，簡直太驚豔了。

在一座「意大利麵城」中，建築由高聳的意大利肉卷麵條管雕刻而成，街區點綴著意大利香料景觀，街道兩旁擺滿了美味的馬里納拉醬、螺絲粉麵條和嫩肉丸

Amazon Nova Pro的影片理解能力也是一絕。

研究者要求模型觀看一場足球比賽的無聲影片片段，然後把比賽內容描述一遍。

結果，模型一口氣準確說出了賽制、球服、球員行動描述以及比賽如何達到高潮的詳細信息！

影片描繪了一場在綠地上正在進行的足球比賽。兩隊的球員，一隊身穿黃色隊服，另一隊身穿白色隊服，正在比賽。黃隊四分衛將球傳給接球手，接球手接住球並開始向前跑動。白隊的防守隊員追趕他，試圖阻止他。這場比賽的高潮是一次鏟球，將接球手放倒在場上

多模態實現SOTA

接下來，我們詳細看一下全家桶中幾大成員的詳細信息。

Amazon Nova Pro：自研最強多模態

Amazon Nova Pro能夠處理多達30萬個輸入token，並為多模態智能體工作流設定了新標準，這些工作流需要調用API和工具來完成複雜的工作流。

它在視覺問題解答（TextVQA）和影片理解（VATEX）等關鍵基準上都實現了最先進的性能。

在輸入300K token的情況下，它可以處理超過一萬五千行代碼的代碼庫。Amazon Nova Pro還可作為教師模型，用於蒸餾Amazon Nova Micro和Lite的自定義變體。

Amazon Nova Lite：主打一個性價比

Amazon Nova Lite可以高精度處理實時客戶交互、文檔分析和可視化問題解答任務。

該模型可處理長達300K token的輸入，並能在單次請求中分析多張圖像或長達30分鐘的影片。

Amazon Nova Lite還支持文本和多模態微調，並可通過模型蒸餾等技術進行優化，為用戶的使用案例提供最佳的質量和成本。

Amazon Nova Micro：純文本

Amazon Nova Micro的上下文長度為128K，並針對速度和成本進行了優化，在文本摘要、翻譯、內容分類、交互式聊天和頭腦風暴以及簡單的數學推理和編碼等任務中表現出色。

Amazon Nova Micro還支持使用微調和模型蒸餾對專有數據進行定製，以提高準確性。

將概念變為現實

Amazon Nova系列還包括兩款創意內容的生成式模型，Amazon Nova Reel和Amazon Nova Canvas。

Amazon Nova Canvas：圖像生成

這是一個先進的圖像生成模型，可生成工作室水準級別的圖像，並可精確控制樣式和內容，包括豐富的編輯功能，如修復、擴圖和背景移除。

Amazon Nova Reel：影片生成

Amazon Nova Reel支持用戶通過文本提示和圖像來控制視覺風格和節奏，並生成專業品質的影片內容，用於營銷、廣告和娛樂。

價格再便宜75%，還能微調和蒸餾

Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro的價格，比Amazon Bedrock中各自智能類別中性能最佳的模型至少還要便宜了75%。

而且，它們也是相比之下最快的模型。

這些模型與Amazon Bedrock集成，是一項支持完全託管的服務，可通過單個API使用來自領先AI公司和亞馬遜的高性能基礎模型。

而且，模型還支持自定義微調，允許客戶將模型指向自己專有數據中的示例，因為這些示例已被標記，所以提高了準確性。

這樣，Amazon Nova模型可以從客戶自己的數據（包括文本、圖像和影片）中瞭解對客戶最重要的內容，然後由Amazon Bedrock訓練一個私人微調模型，提供量身定製的響應。

除了支持微調之外，這些模型還支持蒸餾，從而能夠將特定知識從更大、能力更強的「教師模型」轉移到更小、更高效的模型，後者不僅高度準確，而且運行速度更快、成本更低。

並且，Amazon Nova模型與Amazon Bedrock知識庫集成，還擅長RAG，就能讓響應基於客戶組織的內部數據，來保證最佳的準確性。

因為模型已經過優化，在代理性應用中非常易於使用，還能通過多個API與組織的專有系統和數據進行交互，從而執行多步驟任務。

圍剿英偉達，爭奪AI芯片之王

在當下最炙手可熱的AI芯片賽道中，挑戰者們正上演著一場激烈的「造芯」革命。

據市場研究機構Omdia的數據顯示，在人工智能計算領域，數據中心運營商在非英偉達芯片計算機上的支出預計將於今年增長49%，總額達到1,260億美元。

這個數字，無疑釋放出了芯片市場潛力無限的信號。

AI推理，彎道超車

多年來，英偉達在AI芯片領域一家獨大，儘管其他公司不斷嘗試，但始終未能撼動其霸主地位。

但如今，局面正在發生改變。「推理計算」成為這場AI技術革命的關鍵詞。

無論是科技巨頭，還是小型初創，瞄準了為AI研發定製芯片的賽道，比如Groq、Cerebras Systems等等。

Meta就是一個典型案例。雖然他們使用英偉達芯片訓練了Llama3.1 405B，但在實際為用戶提供服務時，採用的是AMD MI300s芯片。

不僅如此，這些新晉玩家們從英偉達身上學到了一課：單純賣芯片完全不夠了。他們開始籌謀提供完整的計算方案，讓客戶充分發揮AI芯片的最大潛能。

比如，AWS就在剛剛舉辦的re:Invent大會上，宣佈了基於Trainium2芯片的計算服務正式上線。並同時公佈了性能更為強大的Trainium 3芯片的研發計劃。

Amazon EC2 Trn2 UltraServers是全新推出的EC2產品，配備64個互聯的Trainium2芯片。

它由四台服務器構成，每台服務器裝配16枚Tranium芯片。（英偉達最多為8枚）

服務器之間使用超高速的NeuronLink互連，最大可擴展到83.2個峰值千萬億次計算（petaflops），是單個實例計算、內存和網絡能力的四倍，這使得訓練和部署全球最大模型成為可能。

亞馬遜表示，這已經是Ultraserver在保證散熱安全的前提下所能達到的最大配置。

這些還不夠，AWS正在和Anthropic合作進行「Ultracluster」超級計算機計劃。

他們正在構建一個由Trn2 UltraServers組成的EC2 UltraCluster，並將其命名為「Project Rainier」。

這個被命名為「Project Rainier」的集群配備數十萬個Trainium2芯片，計算能力是當前領先AI模型訓練需求的五倍多。

AWS計算和網絡服務部門副總裁戴夫·布朗透露，這個集群將建設在美國境內，預計在2025年投入使用。

它將躋身全球最大規模的AI模型訓練集群之列。

雖然亞馬遜早期推出的AI芯片，包括第一代Trainium在內，並未在市場上獲得顯著反響。

但是對於新一代的Trainium2芯片，亞馬遜展現出了更強的信心——其運算速度較前代產品提升了四倍。

並且，蘋果也將成為其最新芯片客戶之一。

類似的，AMD也宣佈將於明年推出新一代AI芯片，直接與英偉達的Blackwell系列展開競爭。

目前，工程師們已經開始對芯片進行全方位的測試。

與此同時，Google、微軟和Meta等科技巨頭也都在開發自己的人工智能專用芯片，旨在提升特定計算任務的處理速度並降低運營成本。

本月，Google將開始推出基於其第六代自研芯片Trillium的雲服務，該芯片的性能較前代產品提升了近5倍。

不過，這些公司仍在使用英偉達芯片構建大規模計算集群。

老黃：免費送，也沒用

儘管AI芯片新秀們群雄逐鹿，但這並不意味著英偉達即將會失去霸主地位。

黃仁勳曾在史丹福大學演講台上，擲地有聲地表示，「即便競爭對手的芯片免費贈送，在性價比上仍然無法與我們相提並論」。

這句話，道出了英偉達十足的底氣。

畢竟，如今市場中，在人工智能軟件和推理計算方面，能打的芯片非英偉達莫屬。

黃仁勳進一步指出，雖然新一代Blackwell人工智能芯片的能耗有所提升，但其單位能耗的計算效率大幅提高。目前市場對這款芯片的需求異常火爆。

另有據場研究機構IDC統計數據佐證了這一點。

數據顯示，2024年全球人工智能半導體市場規模預計將達到1,175億美元，並預計在2027年底進一步擴大至1,933億美元。

IDC在2023年12月發佈的最新研究報告顯示，英偉達當前在AI芯片市場中佔據著約95%的主導地位。

參考資料：

https://www.wsj.com/articles/amazon-announces-supercomputer-new-server-powered-by-homegrown-ai-chips-18c196fc

https://aws.amazon.com/cn/ec2/ultraclusters/

https://x.com/ArtificialAnlys/status/1864023052818030814

本文來自微信公眾號「新智元」，作者：新智元，編輯：編輯部 HYZhj，36氪經授權發佈。