Others

秒變 AI 工程師！GitHub 發佈 Models，點幾下就能試用各種大模型

08月02日 16:36 新浪網 news-china-auto-hilite

整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

「只要擁有合適的工具和適當培訓，每位開發者都可以成為 AI 工程師」，GitHub 如是說道。

然而，什麼樣的工具才是合適的？面對市場上百花齊放的 AI 大模型，日常工作中該如何選用？對於一些開源和封閉的模型，它們的使用門檻又該如何降低？

就在今天，GitHub 宣佈推出一款名為 GitHub Models 的新服務，允許開發者免費查找和試用 AI 模型。

借此，GitHub 希望通過 GitHub Models 推動 AI 工程師的崛起——將業界領先的大型和小型語言模型的強大功能直接在 GitHub 上帶給其超過 1 億的用戶。

GitHub Models：允許開發者免費查找、試用各種 AI 模型

在發佈時，GitHub Models 將提供對各種大小流行模型的訪問權限，包括 Meta 的 Llama 3.1、OpenAI 的 GPT-4o 和 GPT-4o mini、微軟的 Phi 3、Mistral AI 的 Mistral Large 2 等等。

開發者可以通過內置 PlayGround 訪問、部署每個模型，由此在 GitHub 中免費測試不同的 Prompt 和模型參數，此外，也可以直接將模型帶入到 GitHub Codespaces、Visual Studio Code 等開發者環境中。

不過，PlayGround 和免費 API 的使用受每分鐘請求數、每天請求數、每個請求的 token 數和併發請求數的限制。個人每天限制 150 次，每分鐘不能超過 15 次，每次 token 有上限：輸入為 8000，輸出為 4000。

測試並比較不同的模型

GitHub CEO Thomas Dohmke 表示：「越來越多的開發者正在構建生成式 AI 應用程序，其中完整堆棧包括後端和前端代碼，以及一個或多個模型。但很大一部分開發人員仍然無法輕鬆訪問開放和封閉模型。這種情況今天發生了變化。」

舉個例子，開發者正在開發一款 AI 應用程序，他們也可能有興趣瞭解市面上的大模型，思考他們的應用程序如何能夠利用合適的大模型來完善功能、提升效率等等，但他們卻不知道到底要使用哪些模型，畢竟每種模型的功能、性能和成本均有所不同，譬如，Mistral 大模型有低延遲性，而 GPT-4o 則擅長構建可能需要實時音頻、視覺和文本的多模式應用程序。

時下，基於 GitHub Models，開發者可以嘗試集成不同的模型，例如檢索增強生成（RAG），它使用實時可信數據來增強提示以提高人工智能響應的準確性，或者在下一階段的開發之前測試護欄和其他調整的有效性。

相較而言，過往，開發者在本地機器上運行大模型時，可能受限於算力、內存等，GitHub 表示，借助 Codespaces，大家可以先試驗模型推理代碼，然後再把它放到自己的項目中。借助各種語言和各種框架的示例代碼，你可以嘗試各種場景，而不會遇到「在我的計算機上運行」的問題。

Thomas Dohmke 表示，「對於我們大多數人來說，學習成為一名開發人員並不是在課堂上一蹴而就的。這需要練習、玩耍和通過實驗學習。如今，人工智能模型也是如此。在新的交互式模型 PlayGround 中，學生、業餘愛好者、初創公司等只需單擊幾下並按幾下鍵，即可探索 Meta、Mistral、Azure OpenAI Service、微軟和其他公司最受歡迎的私有和開放模型。你可以在管理源代碼的地方試驗、比較、測試和部署人工智能應用程序。」

為了打消開發者在使用 GitHub Models 時的安全顧慮，GitHub 還強調，Models 中的任何 Prompt 或者輸出內容都不會與模型提供商共享，也不會用於訓練或改進模型。