李宏毅生成式 AI 導論：最好的 LLM 大模型教程！

李宏毅教授的《生成式AI導論2024》是2024年春季在台灣大學開設的一門系統性課程，重點圍繞生成式人工智能（Generative AI）的基礎理論、技術演進及實踐應用展開。

一、課程概況

課程定位：面向生成式AI的入門到進階學習者，涵蓋生成式模型的基礎原理、大型語言模型（LLM）的演化、微調技術（Fine-tuning）、提示工程（Prompt Engineering）等核心內容。

課程總共包含18節，10次作業，還有14個擴展影片。

授課形式：課程以影片為主，配套PPT、作業及代碼實踐，部分資源通過課程主頁及GitHub開源共享。

課程主頁：

https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php

二、課程內容與結構

課程共分為多講，核心主題包括：

1. 生成式AI基礎：定義生成式AI與分類問題的區別，探討其挑戰（如從海量可能性中生成合理結果）。

2. 大型語言模型（LLM）發展史：從預訓練（Pre-training）到指令微調（Instruction Fine-tuning），分析ChatGPT和LLaMA等模型的演化。

3. 技術細節：

生成策略：文本、圖像、語音的生成方式差異（如逐字生成 vs. 一次性生成）。

模型優化：LoRA、Adapter等參數高效微調方法，思維鏈（Chain-of-Thought）對模型性能的提升。

4. 實踐應用：通過作業實現LLM微調（如讓模型生成唐詩）、Prompt工程開發應用等。

三、課程亮點

教學風格：李宏毅以通俗易懂的講解著稱，常結合動漫案例（如Pokemon）闡釋複雜技術，降低學習門檻。

實踐導向：強調從理論到代碼的完整鏈路，例如通過微調模型實現特定任務，並分析模型參數與顯存的關係。

前沿覆蓋：涉及GPT-4o、Diffusion模型、倫理問題等最新議題。

四、學習路徑

1. 觀看影片並配合PPT理解理論；

2. 完成作業鞏固實踐；

3. 參考社區筆記及開源代碼深化理解。

五、資源獲取

中文課程入口：

https://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from=333.1387.homepage.video_card.click&vd_source=8e91f8e604278558ec015e749d1a3719

課件、作業和代碼：

https://www.bilibili.com/opus/1047348678750109698?spm_id_from=333.1387.0.0