Claude1.7萬字系統提示詞全網刷屏！Karpathy銳評：LLM訓練缺乏關鍵範式

鷺羽 發自 凹非寺

量子位 | 公眾號 QbitAI

全網刷屏的Claude系統提示詞，結果被卡帕西大神當場抓蟲？！

事情是這樣的。

一夜之間，近1.7萬字系統提示詞——包含24000個token，詳細定義了模型行為、工具使用和引用格式…..全部細節直接在GitHub上被泄露了！

這事情一出，網民蜂擁而至速速圍觀，甚至親切地稱呼這次意外泄漏事件是提示技術的金礦。

就在此時，大神卡帕西發現了華點：LLM學習缺少主要範式？

隨即他提出系統提示學習新範式——模擬人類經驗積累過程，將系統提示嵌入權重。

簡單總結一下，就是模擬人類學習，為LLM提供備忘錄功能，讓LLM擁有自主反思用戶問題的「記憶」功能，記錄通用的問題解決知識和策略。

新範式一石激起千層浪，有人表示讚同，也有人開始著手分析新範式幫助LLM暢玩Minecraft的可行性：

當然也有人持反對意見，認為允許模型自己編寫提示會使模型更加混亂，也無法保證模型不會錯誤地理解提示。

具體是怎麼一回事呢？別急，接下來讓我們一起來回顧整個事件。

Claude系統提示詞曝光

據揭露，完整的Claude系統提示詞包含16739個字，也就是110kb。相比之下，ChatGPT中的OpenAI的o4-mini的系統提示僅有2218個字，約為Claude的13%。

具體內容也相當有趣，不僅詳細闡述了Claude基本的行為風格和偏好，還包含了大量全局的問題解決策略，例如下面這個解決經典LLM問題「草莓單詞里有幾個‘r’字母」：

系統提示告訴LLM如何回覆用戶提示，類似於LLM的「設置」選項，定義用哪種語氣回應，以及補充訓練數據中所沒有的上下文信息。

以下是Claude的提示組件構成：

其中最大的組件是工具定義（Tool Definitions），由MCP服務器進行信息填充。與標準的API不同，MCP向LLM提供關於指令的詳細說明教程。

此外，其餘提示（如引用規範、搜索指南和Google集成注意事項）近80%的內容都與工具有關，都詳細說明了在與用戶的交互場景中Claude是如何作用的。

在提示詞文檔的最後還包含一些熱修復，指出了常見的LLM陷阱，例如關於川普的總統就職信息：

根據該提示，Claude的可靠知識截止於2024年10月，此後發生的事件或新聞都以人為熱修復或使用網絡搜索工具來補充。

利用系統提示學習構建新範式

在讀完Claude系統提示詞文檔後，Karpathy火速發表了一篇小作文——LLM學習缺乏主要範式，並稱之為系統提示學習。

傳統學習範式基於強化學習、監督學習等預設框架被動優化，問題的解決只依賴於強化學習嵌入權重，實際並不理解用戶輸入。

新範式與強化學習類似，但採用直接編輯提示而非梯度下降的學習算法。

其強調構建系統提示符供自身使用，讓預處理獲取知識、微調（SL/RL）塑造行為習慣、系統提示學習製定策略，使LLM可以根據實時反饋和情景需求調整和完善響應策略。

舉個栗子，現在的LLM就像電影《記憶碎片》的主人公，只有短期的碎片記憶，無法形成新的長期記憶。

而新範式仿照正常人類學習過程，即當你遇到一些問題並嘗試解決後，你也許會用專屬於你的「系統提示」記住解決策略，在下一次遇到同類問題時，你就會自然而然想到：也許你可以泛化使用上次那種解決方案。

通過經驗->明確的策略->習慣性權重的流程，LLM可以像人類一樣記筆記，將知識轉化為直覺，達成實踐學習、邏輯推理的範式轉變。

利用系統提示學習可以有效實現測試時間訓練，同時始終可以被人類審查，並且保證更少的安全隱患。

系統提示學習在未來還標誌著自主AI系統正在發展自身的計算意識，將超越傳統學習範式的邊界，為真正的自我迭代乃至於AGI提供了可能。

當然，Karpathy也明確指出新範式的實現還有更多有待解決的細節，例如編輯系統的運行問題、知識如何從顯性系統文本轉變為習慣性權重等。

對此，廣大網民展開了激烈的討論。

例如有網民提出可以補充一個記憶層以實現系統提示學習。

也有網民直接拋出了自己在記憶文檔方面的研究結果：

也有人質疑LLM缺乏持續學習的本質，讓它無法從自身思維中學習，系統提示學習並不能從根本上解決，還需要尋找更為有效的思維模式。

那麼你的看法是什麼呢？歡迎在評論區留言討論～

系統提示詞鏈接：https://raw.githubusercontent.com/asgeirtj/system_prompts_leaks/refs/heads/main/claude.txt

參考鏈接：

[1]https://news.ycombinator.com/item?id=43909409

[2]https://x.com/karpathy/status/1921368644069765486

[3]https://x.com/bindureddy/status/1921646319002911130

[4]https://www.dbreunig.com/2025/05/07/claude-s-system-prompt-chatbots-are-more-than-just-models.html