秒變 AI 工程師!GitHub 發佈 Models,點幾下就能試用各種大模型
整理 | 屠敏
出品 | CSDN(ID:CSDNnews)
「只要擁有合適的工具和適當培訓,每位開發者都可以成為 AI 工程師」,GitHub 如是說道。
然而,什麼樣的工具才是合適的?面對市場上百花齊放的 AI 大模型,日常工作中該如何選用?對於一些開源和封閉的模型,它們的使用門檻又該如何降低?
就在今天,GitHub 宣佈推出一款名為 GitHub Models 的新服務,允許開發者免費查找和試用 AI 模型。
借此,GitHub 希望通過 GitHub Models 推動 AI 工程師的崛起——將業界領先的大型和小型語言模型的強大功能直接在 GitHub 上帶給其超過 1 億的用戶。
![](http://n.sinaimg.cn/spider20240802/47/w1080h567/20240802/80bc-f873c218b061106786eb7b1d42fc83d8.jpg)
![](http://n.sinaimg.cn/spider20240802/780/w700h80/20240802/0aca-627753e469a7b6ec652c76f0aa101487.png)
GitHub Models:允許開發者免費查找、試用各種 AI 模型
在發佈時,GitHub Models 將提供對各種大小流行模型的訪問權限,包括 Meta 的 Llama 3.1、OpenAI 的 GPT-4o 和 GPT-4o mini、微軟的 Phi 3、Mistral AI 的 Mistral Large 2 等等。
開發者可以通過內置 PlayGround 訪問、部署每個模型,由此在 GitHub 中免費測試不同的 Prompt 和模型參數,此外,也可以直接將模型帶入到 GitHub Codespaces、Visual Studio Code 等開發者環境中。
![](http://n.sinaimg.cn/spider20240802/298/w1080h818/20240802/d60e-0ca6a686df32c5751fee62d8ff29934d.jpg)
不過,PlayGround 和免費 API 的使用受每分鐘請求數、每天請求數、每個請求的 token 數和併發請求數的限制。個人每天限制 150 次,每分鐘不能超過 15 次,每次 token 有上限:輸入為 8000,輸出為 4000。
![](http://n.sinaimg.cn/spider20240802/572/w757h615/20240802/e75d-a22355e759370f5d46a47c7dbf142a8d.png)
![](http://n.sinaimg.cn/spider20240802/780/w700h80/20240802/e23a-94c57727c32df2e42b4da14675e6a297.png)
測試並比較不同的模型
GitHub CEO Thomas Dohmke 表示:「越來越多的開發者正在構建生成式 AI 應用程序,其中完整堆棧包括後端和前端代碼,以及一個或多個模型。但很大一部分開發人員仍然無法輕鬆訪問開放和封閉模型。這種情況今天發生了變化。」
舉個例子,開發者正在開發一款 AI 應用程序,他們也可能有興趣瞭解市面上的大模型,思考他們的應用程序如何能夠利用合適的大模型來完善功能、提升效率等等,但他們卻不知道到底要使用哪些模型,畢竟每種模型的功能、性能和成本均有所不同,譬如,Mistral 大模型有低延遲性,而 GPT-4o 則擅長構建可能需要實時音頻、視覺和文本的多模式應用程序。
時下,基於 GitHub Models,開發者可以嘗試集成不同的模型,例如檢索增強生成(RAG),它使用實時可信數據來增強提示以提高人工智能響應的準確性,或者在下一階段的開發之前測試護欄和其他調整的有效性。
![](http://n.sinaimg.cn/spider20240802/448/w1023h225/20240802/a592-69be3c2bf6a2b4b73c251726bb2fabf9.png)
相較而言,過往,開發者在本地機器上運行大模型時,可能受限於算力、內存等,GitHub 表示,借助 Codespaces,大家可以先試驗模型推理代碼,然後再把它放到自己的項目中。借助各種語言和各種框架的示例代碼,你可以嘗試各種場景,而不會遇到「在我的計算機上運行」的問題。
Thomas Dohmke 表示,「對於我們大多數人來說,學習成為一名開發人員並不是在課堂上一蹴而就的。這需要練習、玩耍和通過實驗學習。如今,人工智能模型也是如此。在新的交互式模型 PlayGround 中,學生、業餘愛好者、初創公司等只需單擊幾下並按幾下鍵,即可探索 Meta、Mistral、Azure OpenAI Service、微軟和其他公司最受歡迎的私有和開放模型。你可以在管理源代碼的地方試驗、比較、測試和部署人工智能應用程序。」
為了打消開發者在使用 GitHub Models 時的安全顧慮,GitHub 還強調,Models 中的任何 Prompt 或者輸出內容都不會與模型提供商共享,也不會用於訓練或改進模型。
![](http://n.sinaimg.cn/spider20240802/17/w1024h593/20240802/3398-4c248aed4aefcdc01c5cc67ba89a593e.jpg)
Dohmke 補充道:「現在有了 GitHub Models,超過 1 億開發人員可以訪問和試驗新的 AI 模型,他們已經在 GitHub 上直接管理他們的源代碼、問題、拉取請求、工作流和存儲庫。」
除了上述提到的幾個模型之外,未來幾個月,GitHub 還將陸續增加更多語言和視覺模型。目前,這項功能處於有限公開測試中,試用地址:https://gh.io/models
更多詳情見官方公告:https://github.blog/news-insights/product-news/introducing-github-models/