深入理解 AI 大型語言模型機制

建構並訓練 LLM NLP Transformer 和注意力機制 (PyTorch)。使用機械可解釋性工具進行探索

從這 91 小時的課程，你會學到

大型語言模型 (Large language model，LLM) 架構，包括 GPT (OpenAI) 和 BERT
Transformer 模組
注意力機制演算法
Pytorch
LLM 預訓練
可解釋人工智慧
機制可解釋性
機器學習
深度學習
主成分分析
高維度叢聚
降維
高級餘弦相似度應用

要求

學習大型語言模式和人工智慧的動力
具備程式設計經驗者優先，但非必要
熟悉機器學習者優先，但非必要
掌握基礎線性代數者優先
掌握深度學習（包括梯度下降）者優先，但非必要

課程說明

深入理解大型語言模型 (LLM)：架構、訓練與機制

課程描述

ChatGPT、GPT-4、GPT5、Claude、Gemini 和 LLaMA 等大型語言模型 (LLM) 正在改變人工智慧、自然語言處理 (NLP) 和機器學習。但大多數課程僅教授如何使用 LLM。這門 90 多個小時的密集課程將講解它們的實際工作原理，以及如何使用機器學習和機制可解釋性方法對其進行剖析。

這是對 Transformer 架構、自註意力機制、嵌入層、訓練流程和推理策略的深入端到端探索，每一步都提供 Python 和 PyTorch 程式碼實踐。

無論您的目標是從頭開始建立自己的 Transformer、微調現有模型，還是理解最先進的生成式 AI 背後的數學和工程原理，本課程都將為您提供所需的基礎知識和工具。

您將學到什麼

LLM 的完整架構—標記化、嵌入、編碼器、解碼器、注意力頭、前饋網路和層歸一化
注意力機制的數學原理—點積注意力機制、多頭注意力機制、位置編碼、因果掩蔽、機率標記選擇
LLM 訓練－最佳化（Adam、AdamW）、損失函數、梯度累積、批次、學習率調度器、正規化（L1、L2、去相關）、梯度裁剪
下游 NLP 任務的微調與快速工程、系統調優
評估指標－困惑度、準確度和基準資料集（例如 MAUVE、HellaSwag、SuperGLUE），以及評估偏差和公平性的方法
Transformer、注意力層和語言模型訓練循環、自訂類別、自訂損失函數的實用 PyTorch 實現
推理技術—貪婪解碼、波束搜尋、top-k 取樣、溫度縮放
縮放定律及其權衡模型大小、訓練資料和效能
LLM 的限制和偏差——可解釋性、倫理考慮和負責任的 AI
僅解碼器的 Transformer
嵌入，包括 token 嵌入和位置嵌入
採樣技術－用於產生新文字的方法，包括 top-p、top-k、多項式和貪婪演算法

為什麼這門課程與眾不同

超過 90 小時的高清視訊講座——融合理論、代碼和實際應用
每部分都包含程式碼挑戰——並提供完整的可下載解決方案
從基本原理入手－從基本的 Python/Numpy 實作開始，逐步深入完整的 PyTorch LLM
適合研究人員、工程師以及想要超越「黑盒」 API 使用的高級學習者
講解清晰，內容精煉，易於理解

本課程適合哪些人？

機器學習工程師和資料科學家
人工智慧研究人員和自然語言處理 (NLP) 專家
對深度學習和生成式人工智慧感興趣的軟體開發者
具有中級 Python 技能和機器學習基礎知識的研究生或自學者

涵蓋的技術和工具

Python 和 PyTorch 用於深度學習
NumPy 和 Matplotlib 用於數值計算和視覺化
Google Colab 提供免費 GPU 訪問
Hugging Face Transformers 用於處理預訓練模型
分詞器和文字預處理工具
在 PyTorch 中實現 Transformers、微調 LLM、使用注意力機制解碼以及探索模型內部機制

如果您對課程內容有任何疑問，該怎麼辦？

本課程設有問答環節，您可以在這裡發布關於課程內容（包括數學、統計、程式設計或機器學習方面）的問題。我會盡量在一天內解答所有問題。您也可以查看所有其他問題和答案，這能有效提升您的學習效率！您也可以參與正在進行的討論，為問答環節做出貢獻。

完成本課程後，您不僅會了解如何使用 LLM，還會理解它們的工作原理，並能夠設計、訓練、評估和部署您自己的基於 Transformer 的語言模型。

立即註冊，從零開始掌握大型語言模型。

目標受眾

AI 工程師
對現代自回歸模型有興趣的科學家
自然語言處理愛好者
機器學習或資料科學課程的學生
研究生或自學者
對大型語言模型有興趣的本科生
機器學習或資料科學從業者
可解釋人工智慧研究人員

講師簡介

Mike X Cohen 神經科學家，教師，作家

我是一名神經科學家(腦科學家) ，是荷蘭 Radboud 大學的副教授。我有一個活躍的研究實驗室，由美國、德國、荷蘭政府、歐盟、醫院和私人組織資助。

但是你在這裡是因為我的教學，所以讓我告訴你:

我有超過 20 年的教學經驗，教學規劃，資料分析，訊號處理，統計學，線性代數和實驗設計。我教過本科生，博士候選人，博士後研究人員，以及全職教授。我在”傳統”大學課程、為期一週的特別強化課程和諾貝爾獎獲獎研究實驗室教書。我有50個小時的線上講座，你可以在我的網站和 youtube 頻道上找到。我還寫過幾本關於這些話題的技術書籍(在亞馬遜上查閱!) 還有一些還在進行中。

我並不是想炫耀——我只是想說服你，你已經到了一個正確的地方，從一個花了近二十年精煉和完善教學風格的老師那裡學到最多的東西。

觀看我的 MATLAB 程式設計課程的介紹性講座，在課程中我解釋了我的教學哲學和風格。我希望很快能見到你！

超過 20 萬名學生觀看了我的課程超過 15,000,000 分鐘。快來了解一下原因吧！我有幾個免費課程你可以報名參加。你沒有什麼可失去的；）

根據大眾的要求，這裡有一些針對不同教育目標的課程進度建議:

MATLAB 程式設計 : 學習 MATLAB 程式設計，掌握 MATLAB，影像處理

Python 程式設計：通過解決科學專案掌握 Python 程式設計；通過 Python 寫程式掌握數學

應用線性代數：完全線性代數；降維

訊號處理：了解傅里葉變換；生成和視覺化資料；訊號處理; 神經訊號處理

字幕：英文

想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

Udemy 永久擁有課程許多課程約 NT400(點擊連結看更多)
✨年訂閱每月 NT350(再享特別優惠：年度訂閱首年享 25% 折扣) 🌈 悠遊 Udemy 的 26000+ 門課，最大化學習 ( 原價 NT635/月 )
Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
手機上點選優惠連結看到的價格比電腦上看到的貴
＄代表當地貨幣, 如在台灣為 NT
點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現