掌握 LLM 平行性：使用 DeepSpeed 和多 GPU 系統擴充大型語言模型
從這 8.5 小時的課程，你會學到
- 理解並應用 LLM 的平行策略
- 使用 DeepSpeed 實現分散式訓練
- 在多 GPU 系統上部署和管理 LLM
- 增強 LLM 訓練的容錯能力和可擴展性
要求
- 具備 Python 程式設計和深度學習概念的基礎知識。
- 熟悉 PyTorch 或類似框架將有所幫助，但並非必要。
- 可以使用支援 GPU 的環境（例如 Colab）進行動手實作部分——別擔心，我們會引導您完成設定！
課程說明
掌握 LLM 平行性：使用 DeepSpeed 和多 GPU 系統擴充大型語言模型
您準備好釋放大型語言模型 (LLM) 的全部潛力並進行大規模訓練了嗎？
在本課程中，您將深入了解並行策略，學習如何使用資料、模型、管線和張量並行等尖端技術高效地訓練大規模 LLM。
無論您是機器學習工程師、資料科學家還是 AI 愛好者，本課程都將幫助您掌握利用多 GPU 系統並使用 DeepSpeed 優化 LLM 訓練的技能。
您將學到的內容
- 基礎知識：從 IT 概念、GPU 架構、深度學習和 LLM 的基礎知識著手（第 3-7 節）。了解平行運算的基礎知識以及平行性對於訓練大規模模型至關重要的原因（第 8 節）。
- 並行類型：探索 LLM 的核心平行策略－資料平行、模型平行、管道平行和張量平行（第 9-11 節）。學習每種方法的理論和實際應用，以有效地擴展您的模型。
- 親手實作：親身體驗領先的分散式訓練架構 DeepSpeed。在 WikiText 資料集上實作資料並行，並掌握管線並行策略（第 12-13 節）。在多 GPU 雲端平台 RunPod 上部署您的模型，並體驗平行性的實際應用程式（第 14 節）。
- 容錯性和可擴展性：探索確保分散式 LLM 訓練中容錯性和可擴展性的策略，包括進階檢查點技術（第 15 節）。
- 進階主題和趨勢：掌握 LLM 並行中的新興趨勢和進階主題，為 AI 的未來做好準備（第 16 節）。
為什麼要參加這門課？
- 專注於實踐，動手操作：透過使用 DeepSpeed 實現平行策略並在 Run Pod 的多 GPU 系統上部署，培養實際技能。
- 全面深入的講解：每個部分都包含深入的講解和實際範例，確保您理解 LLM 平行性的「原因」和「方法」。
- 可擴展的解決方案：學習高效訓練 LLM 的技巧，無論您使用的是單 GPU 還是分散式叢集。
目標受眾
- 希望擴展 LLM 訓練規模的機器學習工程師和資料科學家。
- 對分散式運算和平行策略感興趣的 AI 研究人員。
- 使用多 GPU 系統並希望優化 LLM 效能的開發人員和工程師。
- 任何對深度學習和 Python 有基本了解並希望掌握高級 LLM 訓練技巧的人。
講師簡介
Paulo Dichone | 軟體工程師, AWS Cloud 從業者 & 講師 Android、Flutter、AWS、最暢銷講師
嗨，我是 Paulo。
我熱衷於教授 Android、Java 和 Flutter 開發。 我在全球 175 個國家教過超過 20 萬名學生。
我在行動應用程式開發（Android 和 iOS）、Web 開發和 AWS 雲端方面擁有豐富的經驗。
我的目標是讓你成為優秀的開發人員和 AWS 雲端實踐者，無論你的經驗如何。 此外，我喜歡與成長中的家人共度時光、彈吉他曼陀林以及在空閒時間旅行。
我期待幫助你成為最好的開發人員和 AWS 雲端從業者。
如果你對 Android 開發和我的課程不熟悉，我建議你從我最全面的 Android 課程開始：
- 全面的 Android 應用開發大師班 – 你將學習 Android 開發入門所需的一切 – 無需任何經驗！
下一個：
- 完整的中級 Android 大師班 – 你將學習中級 Android 主題，例如工作管理器 API、ROOM 資料庫以及在 Android 後台工作。
跨平台開發課程和網路相關（建立 iOS 和 Android 行動應用程式）：
- Flutter & Dart – 完整的 Flutter 應用程式開發課程 – 學習 Dart 程式語言並使用單一程式碼庫建立 iOS 和 Android 應用程式。
- Angular ＆ Dart – 使用 Angular 和 Dart 建立動態 Web 應用程式 – 釋放最常用的 Web 開發框架之一 Angular 和 Dart 的強大功能來建立動態 Web 應用程式。
- TornadoFX – 使用 Kotlin 建立 JavaFX 應用程式 – 利用現代程式語言、Kotlin 和 JavaFX 程式庫建立令人驚嘆的桌面應用程式
對於 AWS 雲端課程：
- Amazon EC2 大師班（包含自動擴展和負載平衡器）
- Amazon ECS 和 Fargate 大師班
- Amazon EKS 與 Kubernetes
- AWS AppSync 和 Amplify
- AWS Lambda 和無伺服器框架
純 Java 基礎課程：
- Java 大師班 – 從初學者到專家指南 – 想要從頭開始學習 Java？ 那麼這就是你需要的課程。
- Java 設計模式 – 完整的大師班 – 了解如何使用經過充分測試、經過驗證的設計模式來建立可靠的軟體。
未來性的開發：AI 工程
我熱衷於幫助學生探索人工智慧與軟體開發的交集。在我推出的 AI 課程中，我將向你展示如何將 AI 解決方案整合到行動應用程式和雲端系統中，使你成為具有 AI 能力的尖端開發人員。
我期待著你參加我的課程，並成為你學成最好的開發人員、雲端從業者和 AI 工程師的成長夥伴。
裡面見嗎？
字幕：英文
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- Udemy 永久擁有課程 許多課程約 NT400(點擊連結看更多)
- ✨年訂閱每月 NT350(再享特別優惠：年度訂閱首年享 25% 折扣) 🌈 悠遊 Udemy 的 26000+ 門課，最大化學習 ( 原價 NT635/月 )
- Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- ＄代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現
報名參加課程
也許你會有興趣
- LLM 相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣！
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
發表迴響