AMD 推出自家首款小語言 AI 模型「Llama-135m 」，主打「推測解碼」能力可減少 RAM 佔用

IT之家 9 月 29 日消息，AMD 在 Huggingface 平台公佈了自家首款「小語言模型」AMD-Llama-135m，該模型具有推測解碼功能，擁有 6700 億個 token，採用 Apache 2.0 開源許可，IT之家附模型地址如下。

據介紹，這款模型主打「推測解碼」能力，其基本原理是使用小型草稿模型生成一組候選 token，然後由更大的目標模型進行驗證。這種方法允許每次前向傳遞生成多個 token，而不會影響性能，從而顯著減少 RAM 佔用，實現效率提升。

AMD 表示，這款模型在四個 AMD Instinct MI250 節點訓練了六天，其「編程專用版本」變體 AMD-Llama-135m-code 則額外耗費了四天時間進行微調。

廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。