德國OpenAI加入開源大戰，發佈歐洲純血版模型，曾獲博世和惠普投資

智東西8月27日消息，據VentureBeat報導，德國AI創企Aleph Alpha今日發佈了兩個大語言模型（LLM）。這兩個模型各擁有70億個參數，可以在多種歐洲語言中提供簡潔、長度可控的響應，並已開源。該公司宣稱，其模型的性能可以與其他在70億到80億參數量級的頂尖開源模型相媲美。

除了新發佈的模型，Aleph Alpha之前還開發了擁有700億參數（大約是GPT-3的2/5）的預訓練模型Luminous，並在其基礎上訓練了聊天機器人Lumi。該公司成立於2019年，通常被視為歐洲在AI領域的重要參與者之一。2023年11月7日，該公司宣佈獲得超過5億美元（折合同36億人民幣）B輪融資，由博世風投、舒華斯集團、SAP、惠普等知名財團參投。

下載地址：Aleph-Alpha/Pharia-1-LLM-7B-control at main (huggingface.co)

一、與Mistral、Llama能力相近，且更安全透明

Aleph Alpha發佈了兩個版本的模型：標準版（Pharia-1-LLM-7B-control）和「對齊」版（Pharia-1-LLM-7B-control-aligned）。其中，「對齊」版模型經過了進一步的訓練，目的是降低模型輸出中的有害內容和偏見，從而提高模型的安全性和可靠性。

這兩個模型都在多語言基礎語料庫上訓練，並針對德語、法語和西班牙語進行了文化和語言優化，能提供簡明扼要、長度可控的回答。該公司在官網上發佈了模型在AlpacaEval（由來自史丹福的團隊開發的大語言模型評測系統）上的評測結果：

標準版Pharia在德語、法語和西班牙語上的表現和法國的模型Mistral、美國的模型Llama相差不大，但在英語上的表現則不如兩者。「對齊「版Pharia則大體上比標準版Pharia表現略差一點。

▲Pharia與Mistral、Llama的分數比較。其中，WR指勝率，LC指長度控制勝率（即較短的完成結果優先於較長的）。（圖源：Aleph Alpha發佈在Hugging Face上的Model card）

據Aleph Alpha官網介紹，模型的訓練數據經過嚴格篩選，確保符合歐盟及相關國家法規中的版權和數據隱私法律。相比之下，許多大語言模型則依賴於大量網絡抓取的數據。除了版權和隱私問題之外，網絡抓取的數據還可能包含錯誤、過時或不準確的信息，包含偏見和歧視，甚至可能含有對安全造成威脅的惡意內容。

該公司還開源了其訓練代碼庫「Scaling」，這不僅讓研究人員能夠使用模型，還讓他們能夠理解並改進模型的訓練過程本身。

此外，該模型引入了創新的技術，使用了一種稱為「分組查詢注意力」（Group Query Attention，GQA）的技術。Aleph Alpha聲稱這提高了推理速度，且幾乎沒有犧牲質量。模型還採用了「旋轉式位置編碼」（Rotary Position Embedding，RoPE）的方法，使模型能夠更好地理解句子中單詞的相對位置。

二、注重模型合規性的歐洲AI：可審計模型在受監管行業中或有獨特優勢

隨著AI技術的飛速發展，其在金融、醫療等高度受監管行業中的應用日益增多。這些行業對AI系統的透明度和問責性有著嚴格要求。歐盟即將實施的AI法案進一步強調了這些要求，預計將於2026年生效。

在這樣的背景下，Aleph Alpha的模型發佈策略與歐盟AI法案的監管方向保持一致，顯示出該公司對監管適應性的高度重視。通過開源模型，Aleph Alpha將自己定位為符合歐盟標準的AI開發先鋒。這一開源策略有利於應對日漸增長的行業監管壓力和公眾對AI倫理的要求。

企業客戶越來越需要能夠確保合規性和倫理性的AI解決方案。隨著對AI解決方案在特定監管環境下審核和定製的需求增加，Aleph Alpha的開放方法使其在這些市場中具有潛在的競爭優勢。特別是在監管合規性越來越重要的歐洲市場，Aleph Alpha的戰略與「可解釋AI」趨勢一致，可能為企業AI解決方案中的透明度設定新的標準。

結語：AI霸權的競賽中，開源模型該如何取勝？

通過倡導開放性、堅守合規性以及不斷推動技術創新，Aleph Alpha正在挑戰目前由科技巨頭主導的封閉和不透明的AI開發模式。該公司開放了Pharia模型及其訓練代碼，這一行動有助於緩解公眾對於AI系統」黑箱」特性的擔憂，增強對AI技術的信任，這種透明度對於建立公眾信任至關重要。

然而，從長遠來看，這種開源方法是否能夠與科技巨頭形成有效競爭，仍然有待觀察。雖然開放性有助於激發創新並吸引開發者社區，但它也需要大量的資源來持續推動並圍繞這些模型構建一個繁榮的生態系統。Aleph Alpha需要在促進社區參與和實現戰略發展之間找到合適的平衡點，以保持在迅速演變的AI行業中的競爭力。

來源：VentureBeat、Aleph Alpha官網、Hugging Face