全球閑置算力訓個模型，性能媲美R1，老黃天塌了，Karpathy曾投資它
全球首個分佈式RL訓練模型INTELLECT-2發佈，它僅通過整合全球閑置或分散的計算資源，就完成了模型的強化學習訓練，訓練成本大大降低。
其模型性能與DeepSeek-R1媲美！
一旦範式成立，這也就意味RL訓練擺脫了對集中式算力的依賴，世界上任何一個人都可以參與到模型訓練當中，大公司壟斷算力時代可能就此終結。
Just like this~算力來算力來，算力從四面八方來。
此模型版本有19個人/機構提供了算力資源支持（源自模型回答，還包括它自己）
除了貢獻算力，還有不少大佬願意投錢，包括不限於Karpathy大神、FlashAttention作者Tri Dao大神、HuggingFace聯創兼CEO Clem Delangue等等。
據團隊成員介紹，他們從編寫模型強化學習框架prime-rl，到今天發佈大概只用了兩個月時間。
目前基礎設施已到位，並且經過驗證，超過那些先進實驗室只是時間問題。
（比如OpenAI？）
有人已經開始斷言：未來的頂級開源模型將以分佈式方式進行訓練。
INTELLECT-2搶先測
目前INTELLECT-2支持網頁端體驗，只需簡單註冊就可以使用。與其他通用助手頁麵類似差不多，不過輸入僅支持文本。
那咱們先來一些基礎問題：INTELLECT-2最大的特點是什麼？
在推理思考了幾秒鍾之後，它給出了答案，首先強調了這是首個去中心化RL訓練的超大規模模型，其次還有強化學習訓練、參數規模與性能的平衡、數據隱私安全與社區驅動等特點。
回答基本OK，那直接來上點難度：
一個外星人來到地球後，第一天有相等的可能選擇以下四件事中的一件完成：1，自我毀滅；2，分裂成兩個外星人；3，分裂成三個外星人；4，什麼都不做。
此後每天，每個外星人均會做一次選擇，且彼此之間相互獨立，求地球上最終沒有外星人的概率
在思考了一會兒之後，回答是醬嬸。
雖然格式有點亂，但是最後回答正確，而且是解析解。(o゜▽゜)o☆[BINGO!]。
如果昨天是明天就好了，那麼今天就是週五了。 問：句子中的今天可能是星期幾？
可以看到基本能力有，但現在還不是特別穩定。像當你開始新對話時，會碰到以下這種情況。
已經有熱心網民已經製作成了GGUF格式上傳到HF。
分佈式強化學習訓練
INTELLECT-2是一個分佈式的大模型訓練框架，採用了全球分佈式異步強化學習的範式。
通俗講，INTELLECT-2就如同一個超大型的眾包項目，任何擁有閑置算力資源的人都可以參與其中。
「異步」則是指不同階段可以獨立、並行地進行，因此不同性能的設備可以同時參與，而不會相互影響。
具體來說，系統會利用全球貢獻者提供的異構算力在本地生成推理數據；這些數據經過驗證後彙集到中心，用於更新模型策略；更新後的策略再分發到每個節點，開始新一輪迭代。
在這套流程當中，一共涉及了四大關鍵組件——
核心RL框架PRIME-RL，實現推理數據生成與模型訓練的解耦和異步進行；
參數分發網絡SHARDCAST，負責將更新後的模型參數高效分發給全球各地的推理節點；
推理驗證協議TOPLOC，驗證每個推理節點提交數據的可信性；
Protocol Testnet，為不同學習任務構建獨立算力資源池，實現算力貢獻和使用的去中心化管理。
INTELLECT團隊已將這四大組件全部開源。
核心RL框架PRIME-RL
PRIME-RL的核心，是支持推理數據生成與模型訓練的解耦與異步執行。
這種方式允許分散的推理節點按照自己的進度生成數據，無需彼此協調和等待。
為了進一步提升性能和減小顯存佔用，PRIME-RL採用支持bfloat16精度的vLLM(vector LLM)作為推理運行時。
另外還集成了FSDP（Fully Sharded Data Parallel）技術對模型進行切片。
FSDP將模型的參數和梯度按層切分到不同的GPU上，每個GPU只負責一部分的計算和存儲。
參數分發網絡SHARDCAST
SHARDCAST是一個基於H湯臣P的參數分發網絡，負責將更新後的模型權重廣播給全球範圍內的推理節點。
在分佈式強化學習中，由於文件體積極大，而網絡帶寬資源良莠不齊，模型權重的分發通常是一個難點。
為瞭解決這個問題，SHARDCAST引入了分片傳輸、多級緩存、智能調度等一系列優化技術。
分片傳輸指的是將模型權重文件切分成多個小的分片，然後並行傳輸。這種做法不僅能充分利用網絡帶寬，降低傳輸延遲，還能提高傳輸的魯棒性，不會因為個別分片傳輸失敗而造成整體重傳。
多級緩存是一種類似於CDN的傳輸模式，具體來說，SHARDCAST在推理節點和中心節點之間引入了一層中繼服務器作為緩存。每當中心節點產生新的模型權重，它首先將權重文件推送到這些中繼服務器。
這樣一來，推理節點就可以就近從中繼服務器拉取權重文件，而不是直接從中心節點獲取，可以有效緩解中心節點的網絡I/O壓力。
另外，與普通的被動響應式傳輸不同，SHARDCAST的中繼服務器會主動跟蹤每個推理節點的權重版本，當發現版本落後時，會主動將增量權重推送給節點，確保了權重更新的實時性。
同時，SHARDCAST還會根據網絡拓撲和帶寬狀況，動態調整傳輸策略和路由，選擇最優的分發路徑。
推理驗證協議TOPLOC
TOPLOC全稱Tierion backed Proof-of-Locality Protocol，是INTELLECT-2中負責驗證推理節點生成數據可信性的關鍵組件。
其目的是確保每個推理節點提交的數據可信，避免惡意節點通過提交虛假數據來破壞模型訓練。
TOPLOC通過密碼學證明和可驗證計算等技術實現，可以概括為Proof生成和Proof檢查兩個主要步驟。
Proof生成是指當一個推理節點完成一組推理任務後，不僅要將生成的軌跡數據提交給中心節點，還要附帶提交一個密碼學proof。
這個proof證明了所提交的數據確實是由特定版本的模型、特定的輸入、特定的隨機數種子生成的，其生成基於安全哈希算法，確保了proof與推理過程綁定。
中心節點在收到推理數據和proof後，會定期抽查部分數據的可信性。驗證節點首先會重放推理節點的模型prefill，然後將計算得到的中間狀態與proof進行比對。
為了降低開銷，推理節點只需提交關鍵的中間狀態，而非完整的計算過程；驗證節點也只需重放部分關鍵路徑，而不是全盤重做。
Protocol Testnet
Protocol Testnet是INTELLECT-2的底層基礎設施，為全球範圍內的計算資源管理和任務調度提供了統一的接口和規範。
它將不同類別的人工智能訓練任務組織成獨立的計算域，每個計算域都有自己的資源池，由去中心化的「賬本系統」來管理節點的身份、貢獻和信譽值。
每個計算域對應了一種特定的訓練任務，如語言模型預訓練、多模態對齊、強化學習等。
針對一個特定的訓練任務，開發者會在Testnet上註冊一個新的計算域，計算域定義了任務的相關屬性和協議規範。
全球範圍內的算力提供者可以將自己的計算設備註冊到Testnet的資源池中。每個節點在加入時，，都需要在去中心化「賬本」上生成一個唯一的密碼學身份，用於後續的貢獻度記錄和信譽管理。
當一個計算域有新的訓練任務需要執行時，Testnet的任務調度服務會根據各節點的算力特徵和網絡狀況，將任務分發到合適的節點上。節點按照任務要求，執行計算並生成結果。
節點生成的計算結果需要經過驗證，以確保其可信性，對於通過驗證的結果，節點的貢獻度會被記錄在去中心化賬本上，作為後續獎勵分配的依據。
服務支持：在整個任務執行過程中，Testnet還提供了節點發現、健康監控、日誌管理等一系列配套服務，以協助節點的管理和問題診斷，保障分佈式網絡的穩定運行。
更多訓練細節
另外在訓練過程中，INTELLECT2還採用了兩步異步強化學習的模式，也就是權重的廣播與正在進行的推理和訓練完全重疊，從而消除了通信瓶頸。
以及雙面GRPO剪輯，通過使用雙面標記概率比剪輯來緩解梯度尖峰，從而使訓練更加穩定。
數據方面，INTELLECT2採用了來自NuminaMath-1.5、Deepscaler和 SYNTHETIC-1的28.5萬個可驗證任務（數學和編碼），並結合離線和在線過濾來選擇具有挑戰性的任務，顯著提高了模型學習效率。
QwQ-32B數學和代碼性能提升
INTELLECT-2的實驗主要包括兩個部分——TARGET-SHORT和TARGET-LONG，分別對應短目標長度和長目標長度的訓練設置。
TARGET-SHORT：隨著訓練的進行，任務獎勵（表示數學和編程能力）顯著提高，長度懲罰有所下降；
TARGET-LONG：任務獎勵同樣大幅提升，長度懲罰也呈下降趨勢，但在實驗的有限時間內尚未完全收斂，模型還未完全學會嚴格遵守思考預算。
與基線模型QwQ-32B（INTELLECT-2是由QwQ-32B經強化訓練而成）相比，INTELLECT-2在數學和編程基準測試（如AIME、LiveCodeBench）上的表現有所提升，但在IFEval上略有下降，可能是因為訓練只專注於數學和編程任務。
在計算資源利用方面，INTELLECT-2通過異步強化學習成功實現了通信和計算的重疊。在兩個實驗設置中，SHARDCAST廣播平均耗時14分鐘，實現了約590Mb/s的帶寬吞吐量。
團隊曾獲Karpathy投資
INTELLEC-2背後的團隊，名叫Prime Intellect，位於美國舊金山。
創始人兼CEO是Vincent Weisser，來自德國（實際上團隊中很多人都有德國背景），之前參與過大量的創業項目，Prime Intellect是他最新的創業成果。
聯創兼CTO Johannes Hagemann，德國Hasso Plattner研究所碩士，本科畢業於杜特蒙德工業大學。
CEO Weisser擔任核心成員的創業項目VitaDAO，Hagemann曾出任策略顧問。
創始工程師Jannik Straube，慕尼黑工業大學碩士，之前曾在IBM工作。
在INTELLEC-2之前，Prime Intellect團隊也發佈過一系列分佈式訓練的模型成果：
INTELLECT-1，第一個在分散式基礎設施上訓練的10B參數模型；
METAGENE-1，用於早期流行病檢測和全球健康應用的生物模型；
INTELLECT-MATH，使用RL訓練的數學推理模型。
另外，基於分佈式強化學習，團隊還推出了從DeepSeek-R1 生成最大的合成推理數據集GENESYS + SYNTHETIC-1。
今年2月，Prime Intellect團隊獲得了1500萬美元（約1.08億人民幣）的新投資，用來構建點對點AI協議。
這筆投資由創始人基金領銜，投資者中還包括大神Karpathy、Hugging Face聯創兼CEO Clem Delangue、FlashAttention作者Tri Dao、Stability AI前CEO Emad Mostaque等AI界名人。
加上之前已有的資金，Prime Intellect團隊獲得的總資金超過了2000萬美元。
在接下來的計劃當中，Prime Intellect將進行提高推理-訓練計算的比例，為模型提供推理鏈中的內置工具（網絡搜索、Python 解釋器等），以及融合獨立訓練的RL模型等一系列工作。
宏觀方面，團隊也將擴大計算市場，擴展去中心化訓練，並與開源和去中心化人工智能領域的其他領先項目開展合作。
參考鏈接
[1]https://www.primeintellect.ai/blog/intellect-2-release
[2]https://www.primeintellect.ai/blog/fundraise
[3]https://x.com/PrimeIntellect/status/1921730059620196772
[4]https://news.ycombinator.com/item?id=43958898
本文來自微信公眾號「量子位」，作者：關注前沿科技，36氪經授權發佈。
