Liquid AI 發佈 LFMs 系列 「液態神經網絡」 通用 AI 模型 能處理各種連續數據

Liquid AI 是麻省理工學院的衍生公司，是一家總部位於馬莎諸塞州波士頓的基礎模型公司。

Liquid AI發佈了其首個Liquid Foundation Models (LFMs)系列，這是新一代生成式AI模型，非Transformer架構， 能夠在不同規模下實現行業領先的性能，同時保持更小的內存佔用和更高效的推理能力。

• 包括1B、3B和40B三個語言模型。
• LFM-1B 在1B模型基準測試中表現出色，超越了基於Transformer的模型。
• LFM-3B 在多個基準測試中表現優異，不僅在3B參數中領先，還優於較大的7B和13B模型，且更適合移動和邊緣設備。
• LFM-40B 一個 40.3B 專家混合模型 (MoE)，專為處理更複雜的任務設計。

模型架構創新

Liquid AI 團隊發明了一種叫做「液態神經網絡」的架構，這種系統受到大腦的啟發。與傳統神經網絡不同，它的特別之處在於，液態神經網絡即使在訓練完成後，仍然能夠適應新的數據和環境變化，不需要重新調整。這意味著它在處理複雜任務時能夠更加靈活和高效，比如分析連續時間內的數據（例如天氣預測或股票走勢）。

研究不僅證明了液態神經網絡能夠應對不同類型的數據（可以很好地處理像影片、音頻等連續的時間數據（比如時間順序上的信息），還具備解釋性和因果性，即它不僅能做出決策，還可以解釋為什麼做出這個決策。同時在學習新任務時，它能夠用更少的資源達到更高的效率。

此外，他們擴展了這種網絡，使其能夠用於圖形數據、控制系統、生成模型等場景，這些技術在諸如自動駕駛、機器人控制等任務中發揮重要作用。

最令人興奮的部分是，團隊還開發了可以處理非常長時間上下文數據的模型，並將其應用於DNA、RNA等生物領域，甚至能幫助設計新的CRISPR基因編輯系統。

LFMs 設計靈感

LFMs 設計靈感來自於幾十年來的數學和信號處理技術積累，通過結合動態系統、信號處理和數值線性代數的理論基礎，構建了一種通用的 AI 模型，可以高效處理多種類型的順序數據。

• 動態系統理論：動態系統關注系統隨時間的變化，通常用於研究複雜的時序行為。這種理論為 LFMs 提供了一種方式去處理變化的序列數據，比如影片、音頻等。
• 信號處理：信號處理是分析、修改和合成信號的科學（如聲音、圖像、電信號等）。LFMs 通過信號處理技術來處理連續數據，如音頻和時間序列數據，使模型能夠更好地理解和處理這些類型的數據。
• 數值線性代數：數值線性代數為處理和計算大規模數據提供了數學基礎，特別是在優化計算和存儲效率方面。例如，如何更快地處理大規模矩陣運算，正是 LFMs 能夠實現高效推理和記憶優化的關鍵。

LFMs 通過這種方法，能夠處理各種連續的數據，比如影片、音頻、文字和時間序列（像股票數據那樣）。

舉例來解釋

假設你有以下幾個任務：

1. 任務一：分析影片中的動作

   你希望人工智能識別一段影片里的人在做什麼，比如是跑步、跳躍還是打籃球。這個影片是連續的圖像幀，包含時間信息（動作在不同時間發生的變化）。

2. 任務二：識別語音中的指令

   你想讓AI聽到某個指令，比如「打開燈」，並且理解這個指令。語音是連續的音頻數據，AI 需要分析聲音的波形、頻率等來理解說話的內容。

3. 任務三：理解一段文字的意思

   你有一篇文章，需要AI總結主要觀點或者回答文章中的問題。文字是一種順序數據，AI 需要理解每個詞的順序和它們之間的關係。

4. 任務四：預測未來的股票價格

   你有歷史的股票價格數據，需要AI根據這些時間序列來預測未來的價格走勢。股票價格隨著時間變化，所以需要AI理解這些數據中的時間模式。

LFMs 的設計就是為了應對這些不同類型的數據任務。不管是影片、語音、文本，還是時間序列，LFMs 都能夠處理，因為它的計算核心是基於動態系統理論、信號處理和線性代數的。這些複雜的理論提供了一種方法，讓 LFMs 能夠更聰明地識別時間或順序信息，從而做出更準確的判斷。

舉個具體例子：

假設你正在用 LFMs 開發一個智能家居助手，它需要：

• 通過攝像頭識別家裡是否有人在運動（影片數據），
• 通過語音助手接收指令（音頻數據），
• 根據用戶的聊天記錄生成回覆（文本數據），
• 並且還能根據用戶過去的開關燈習慣預測什麼時候應該自動開燈（時間序列數據）。

LFMs 就是這種通用的AI模型，它可以通過一個模型，處理所有這些不同的數據類型，而不需要單獨為每個任務設計一個專門的AI。

性能表現

不同規模模型的性能表現：

LFMs 分為三個主要規模的模型：1B、3B 和 40B 參數模型，它們在各自類別中均展現了頂尖的性能。

• LFM-1B：在各種基準測試中獲得了 1B 類別中的最高分，成為該規模的新最先進模型。這是非 GPT 架構首次顯著超越基於 Transformer 的模型。
  
• LFM-3B：提供了其規模下令人難以置信的性能。它在 3B 參數 Transformer、混合模型和 RNN 模型中排名第一，並超越了上一代的 7B 和 13B 模型。它還在多個基準測試中與 Phi-3.5-mini 平分秋色，且比該模型小了18.4%。LFM-3B 是移動和其他邊緣文本應用的理想選擇。
  
• LFM-40B：該模型使用了12B個激活參數，在性能上能夠媲美體積更大的模型，並且其「專家混合」（MoE）架構使其在推理效率上具有顯著優勢。能夠部署在更具成本效益的硬件上。
  

基準測試表現：

Liquid AI 對 LFMs 進行了廣泛的基準測試，以下是一些關鍵的基準測試結果：

• MMLU (5-shot)：LFM-1B 在 MMLU 測試中取得了 58.55 分，超越了同類模型，包括 OpenELM、Llama 3.2 和 Microsoft 的 Phi 1.5。
• Hellaswag (10-shot)：LFM-3B 取得了 78.48 分，遠超同類 3B 參數模型，並且接近更大規模的 7B 和 8B 模型的得分。
• GSM8K (5-shot)：LFM-3B 的得分為 70.28 分，在此類推理任務中表現出色。
• ARC-C (25-shot)：LFM-40B 取得了 67.24 分，表現優於多個更大參數的模型，如 AI21 的 Jamba 和 Meta 的 Llama 3.1。

內存效率：

LFMs 在處理長序列輸入時表現尤為出色。相比 Transformer 架構，LFMs 的內存佔用顯著減少，特別是在處理長輸入序列時，LFMs 能夠在同等硬件條件下處理更長的上下文。例如：

• 在同類 3B 參數模型中，LFM-3B 保持了最小的內存佔用，並且在推理過程中大幅降低了KV緩存的增長速度，使其能夠處理長達32k tokens的上下文輸入。
  

上下文長度優化：

LFMs 的上下文窗口達到了32k tokens，比許多同類模型的上下文長度更長。根據 RULER 基準測試，LFMs 在不同上下文長度下均表現優異，能夠更有效地利用上下文信息，特別是在長上下文任務中具備優勢。

推理效率與可擴展性：

• 推理效率：LFMs 的推理效率非常高，能夠在較低的計算資源下實現高性能輸出。其「專家混合」（MoE）架構在處理複雜任務時展現了優異的性能，並且能夠在成本效益和吞吐量上達到平衡。
• 可擴展性：Liquid AI 對 LFMs 的訓練和推理管道進行了優化，使得 LFMs 在模型規模、訓練時間、推理時間和上下文長度上都具備高度的可擴展性，能夠適應不同的硬件平台（如 NVIDIA、AMD、Qualcomm、Cerebras 和 Apple 等）。

模型介紹：https://www.liquid.ai/liquid-foundation-models

在線體驗：https://playground.liquid.ai/