推理速度達英偉達GPU的10倍,剛獲6.4億美元融資的Groq是什麼來頭?
以快著稱的AI芯片獨角獸Groq,官宣融資6.4億美元,最新估值也暴漲到28億美元。短期內的迅速擴張,它是如何做到的?
8月5日,美國人工智能芯片初創公司Groq官宣獲得6.4億美元最新融資,公司估值也來到了28億美元。
此輪融資由華爾街資管巨頭貝萊德的BlackRock Private Equity Partners領投,思科的Cisco Investments和三星電子的Samsung Catalyst Fund也參與其中。Groq背後的技術創新實力和財力支持可見一斑。
01.1分鐘項目速覽
1.項目名稱 :Groq
2.成立時間 :2016年
3.產品簡介 :
Groq推出的新型AI加速芯片LPU,專為大語言模型量身定製,具有高速推理性能。其芯片性能表現比常規的GPU和TPU提升10到100倍,推理速度達到了NVIDIA GPU的10倍。
4.創始人團隊 :
Jonathan Ross:創始人兼CEO,GoogleTPU項目核心研發人員
Yann LeCun:圖靈獎得主、深度學習三巨頭之一,擔任技術顧問
5.融資情況 :
2017年,Groq在成立初期獲得了種子輪融資1030萬美元;
2018年,Groq在A輪融資中籌集了5230萬美元,由Social Capital領投;
2020年,Groq在B輪融資中籌集了1.5億美元,由Tiger Global Management領投,參與者還包括D1 Capital Partners和The Spruce House Partnership;
2021年,Groq在C輪融資中籌集了3億美元,由Tiger Global Management和D1 Capital Partners繼續支持;
Groq在最新一輪融資中籌集了6.4億美元,由BlackRock Inc.基金領投,思科、三星跟投。
02.創新驅動的AI處理器先鋒
Groq的創立過程可以被視為創新和技術突破的一個典範 。
Ross在創辦Groq之前,曾在Google擔任工程師,負責推動深度學習和計算架構方面的研究。在Google工作期間,Ross發現傳統計算架構在處理現代AI任務時存在顯著的性能瓶頸,特別是在深度學習和大規模數據分析方面。
![](http://n.sinaimg.cn/spider20240808/87/w1080h607/20240808/5686-e7b5fd452c51b8fd13ece4d4a784d663.jpg)
傳統的CPU和GPU無法滿足這些任務對並行計算和低延遲的高要求。這種認知促使Ross離開Google,創辦一家專注於突破傳統計算限制的公司——Groq。
Groq的創始團隊在公司創立初期集中精力於硬件設計和技術研發。團隊成員來自於高性能計算和半導體領域的頂尖人才,具備豐富的經驗和技術背景。早期的工作包括處理器架構的設計、原型的開發以及性能測試。
Groq的技術理念圍繞著一種創新的處理器架構展開,旨在提供比現有處理器更高的計算性能和效率 。公司的目標是設計一種能夠突破CPU和GPU限制的硬件平台,以滿足AI和HPC領域對計算能力的不斷增長的需求。
![](http://n.sinaimg.cn/spider20240808/341/w684h457/20240808/6010-2377a92ce38e2d89f088406105672317.jpg)
隨著技術的成熟和市場需求的增加,Groq開始擴展其業務範圍,進入了數據中心、雲計算和邊緣計算等領域。目前,該公司已與多個行業領先的技術合作夥伴建立了戰略合作關係,推動其產品在全球範圍內的應用。
03.重塑高性能計算
自創立以來,Groq憑藉其突破性的技術和卓越的產品,迅速成為人工智能(AI)和高性能計算(HPC)領域的先鋒。
Groq的技術核心在於其創新的處理器架構。與傳統的CPU和GPU處理器不同, Groq的設計理唸著眼於提升計算能力和效率,特別是針對現代AI和數據密集型應用的需求 。
高度並行化設計:Groq的處理器架構採用了極高的並行化設計,集成了大量計算單元,能夠同時處理大量的數據。這種設計不僅提升了計算能力,還降低了數據處理的延遲。
簡化數據路徑:傳統處理器常常面臨數據傳輸瓶頸,Groq的架構通過優化數據路徑和高速緩存設計,顯著減少了數據傳輸延遲。這樣一來,處理器能夠以更高的效率處理大規模數據集,滿足AI訓練和推理過程中的高性能要求。
靈活的配置選項:Groq提供了多種配置選項,允許用戶根據具體應用需求調整計算資源。這種靈活性使得其處理器可以廣泛應用於不同的計算場景,從數據中心到邊緣計算環境。
Groq的AI加速器是其產品陣容中的核心組成部分,專為加速深度學習模型的訓練和推理而設計 。其優勢主要體現在以下三個方面:
高吞吐量和低延遲:AI加速器通過提高處理能力和降低延遲,顯著加快了機器學習模型的訓練速度。這對於需要處理海量數據的應用,如圖像識別和自然語言處理,尤其重要。
優化算法支持:Groq的加速器優化了各種機器學習算法,包括卷積神經網絡(CNN)、循環神經網絡(RNN)等。通過硬件層面的優化,加速器能夠高效執行這些複雜的計算任務,提高模型的訓練效率和推理性能。
擴展性和可配置性:加速器設計支持高擴展性,能夠應對不同規模的數據處理任務。用戶可以根據需要配置多個加速器,構建高性能計算集群,以滿足大規模AI應用的需求。
憑藉高度並行化的設計、優化的數據路徑、以及強大的AI加速能力,Groq為數據中心、雲計算和邊緣計算等多個領域提供了卓越的技術支持。
隨著技術的不斷髮展和產品的持續優化,Groq正在為現代計算需求提供前所未有的解決方案,推動計算科技向更高水平邁進。
作為AI芯片領域黑馬的Groq,其LPU芯片的高速推理能力毋庸置疑。 但隨著公司估值的暴漲和市場的期待,Groq也在面臨著一系列的挑戰與問題。
04.挑戰與機遇並存
首先便是LPU的容量問題,雖然在處理大語言模型時展現出了卓越的性能,但內存較小導致在實際部署時可能需要大量的硬件資源。
據分析, LPU在運行LLaMA 70B等大模型時,Groq的硬件需求和成本可能遠高於預期 ,這無疑增加了公司在大規模部署時的經濟壓力。
其次,LPU的專用性雖然在特定任務上提供了優勢,但也限制了其在更廣泛AI任務中的應用。與GPU相比,LPU的通用性不足可能影響其在多樣化AI場景中的競爭力。
![](http://n.sinaimg.cn/spider20240808/58/w1019h639/20240808/5bd1-b131bb01066d2a8b6a5eb622c2bb8a12.jpg)
作為初生產品與初創公司,Groq在技術成熟度、市場認可度以及生態系統建設方面還有很長的路要走。它需要不斷優化產品,擴大研發團隊,並與行業夥伴建立合作關係,以加速技術的商業化進程。
展望未來,Groq的發展機遇同樣巨大。隨著AI技術的不斷進步和應用場景的拓展,相關企業對高效能AI芯片的需求日益增長。Groq若能有效解決成本和通用性問題,其LPU芯片有望在AI推理市場佔據重要地位。
Groq公司計劃到2025年3月底前推出10.8萬個LPU ,這一宏偉目標若能實現,將進一步鞏固其在行業中的領導地位。Groq如何在激烈的市場競爭中不斷突破自我,實現技術創新與商業成功的雙重飛躍,值得我們持續關注。
參考鏈接:
1. https://groq.com/
2.https://www.reuters.com/technology/artificial-intelligence/ai-chip-startup-groq-valued-28-bln-after-latest-funding-round-2024-08-05/
3.https://techcrunch.com/2024/08/05/ai-chip-startup-groq-lands-640m-to-challenge-nvidia/
本文來自微信公眾號「元宇宙之心MetaverseHub」,作者:元宇宙之心,36氪經授權發佈。