完整的神經網路訓練營：理論、應用

使用 PyTorch 進行深度學習和神經網路理論及應用！包括 Transformers、BERT 和 GPT！

從這 43.5 小時的課程，你會學到

了解神經網路( Neural Networks )的工作原理（理論與應用）
了解卷積網路( Convolutional Networks )的工作原理（理論與應用）
了解循環網路和 LSTM 的工作原理（理論與應用）
深入了解如何使用 PyTorch
了解反向傳播演算法的工作原理
理解神經網路中的損失函數( Loss Functions )
了解權重初始化和正規化技術
使用 Numpy 從頭開始編寫神經網路
將 Transfer Learning (遷移學習)應用於 CNN
CNN視覺化
了解目前廣泛使用的 CNN 架構
深入了解殘差網絡
深入了解 YOLO 目標偵測
可視化神經網路的學習過程
了解如何保存和載入經過訓練的模型
學習使用注意力機制進行序列建模
建構一個具有注意力的聊天機器人
Transformers
使用 Transformers 建立聊天機器人
BERT
建立圖像字幕模型( Image Captioning Model )

要求

最好具備一些基本的 Python 經驗
一些高中數學

課程說明

本課程是深度學習和神經網路的綜合指南。這些理論的解釋很深入，而且方式也很友善。之後，我們將進行實作環節，學習如何在 PyTorch（一個非常先進且強大的深度學習框架）中編寫神經網路程式碼！

課程包括以下章節：

第 1 節 – 神經網路和反向傳播的工作原理

在本節中，你將以友好的方式深入了解神經網路和反向傳播演算法的工作原理。我們將透過一個例子逐步進行計算。我們還將討論神經網路中使用的激活函數及其優點和缺點！

第 2 節 – 損失函數

在本節中，我們將介紹深度學習和神經網路中使用的著名損失函數。我們將介紹何時使用它們以及它們如何運作。

第 3 節 – 最佳化

在本節中，我們將討論神經網路中使用的最佳化技術，以達到最佳點，包括梯度下降、隨機梯度下降、動量、RMSProp、Adam、AMSGrad、權重衰減和解耦權重衰減、LR 調度器等。

第 4 節 – 權重初始化

在本節中，我們將向你介紹神經網路中權重初始化的概念，並討論一些權重初始化技術，包括Xavier初始化和He範數初始化。

第 5 節 – 正規化技術

在本節中，我們將向你介紹神經網路中的正規化技術( regularization techniques )。我們將首先介紹過度擬合，然後介紹如何使用正規化技術（包括 L1、L2 和 Dropout）來防止過度擬合。我們也將討論規範化以及批量規範化和層規範化。

第 6 節 – PyTorch 簡介

在本節中，我們將介紹本課程將使用的深度學習框架，即 PyTorch。我們將向你展示如何安裝它、它如何工作以及為什麼它特殊，然後我們將編寫一些 PyTorch 張量並向你展示一些張量操作，以及在程式碼中向你展示 Autograd！

第 7 節 – PyTorch 中的實用神經網路 – 應用 1

在本節中，你將應用所學知識來建立前饋神經網路來對手寫數字進行分類。這是我們將要展示的前饋網路的第一個應用。

第 8 節 – PyTorch 中的實用神經網路 – 應用 2

在本節中，我們將建立一個前饋神經網路來分類一個人是否患有糖尿病。我們將在大量糖尿病資料集上訓練網路！

第 9 節 – 可視化學習過程

在本節中，我們將直觀地展示神經網路如何學習，以及它們在分離非線性數據方面的表現！

第 10 節 – 使用 Python 和 Numpy 從頭實現神經網路

在本節中，我們將理解並編寫一個神經網絡，而不使用任何深度學習庫（從頭開始僅使用 python 和 numpy）。這對於理解底層結構如何運作是必要的。

第 11 節 – 卷積神經網絡（Convolutional Neural Networks )

在本節中，我們將向你介紹用於圖像的捲積網路。我們將先向你展示與前饋網路的關係，然後逐一介紹卷積網路的概念！

第 12 節 – PyTorch 中的實用卷積網路( Convolutional Networks )

在本節中，我們將應用卷積網路對手寫數字進行分類。這是我們進行的 CNN 的第一個應用。

第 13 節 – 深入 CNN：改進和繪製

在本節中，我們將改進上一節中建立的 CNN，並向你展示如何繪製訓練和測試的結果！此外，我們還將向你展示如何透過網路對你自己的手寫圖像進行分類！

第 14 節– CNN 架構

在本節中，我們將介紹在所有深度學習應用中廣泛使用的 CNN 架構。這些架構分別是：AlexNet、VGG 網路、Inception Net、殘差網路和密集連接網路。我們也將討論一些物件檢測架構。

第 15 節 – 殘差網路

在本節中，我們將深入研究殘差網路的細節和理論，然後從頭開始在 PyTorch 中建立殘差網路！

第 16 節 – Transfer Learning in PyTorch – Image Classification

在本節中，我們將在殘差網路上應用遷移學習來對螞蟻和蜜蜂進行分類。我們還將向你展示如何使用你自己的資料集並套用影像增強。完成本節後，你將能夠對任何你想要的圖像進行分類！

第 17 節 – 卷積網絡可視化

在本節中，我們將直觀地展示神經網路的輸出以及它們實際學習的內容。我們將觀察每一層網路的特徵圖！

第 18 節 – YOLO 物件偵測(理論)

在本節中，我們將學習最著名的物件偵測框架之一：YOLO！！本節深入介紹 YOLO 的理論。

第 19 節 – 自動編碼器和變分自動編碼器

在本節中，我們將介紹自動編碼器( Autoencoders )和去噪自動編碼器( Denoising Autoencoders )。然後我們將看到他們面臨的問題並學習如何使用變分自動編碼器來緩解它。

第 20 節 – 循環神經網路

在本節中，我們將向你介紹循環神經網路( Recurrent Neural Networks )及其所有概念。然後，我們將討論時間反向傳播、梯度消失問題，最後討論解決 RNN 所遇到的問題的長短期記憶 (Long Short Term Memory，LSTM)。

第 21 節 – 詞嵌入

在本節中，我們將討論如何將單字表示為特徵。然後我們將向你展示一些 Word Embedding 模型。我們也會向你展示如何在 PyTorch 中實現詞嵌入( word embedding )！

第 22 節 – PyTorch 中的實用循環網絡

在本節中，我們將在 PyTorch 中使用 LSTM 的循環神經網路( Recurrent Neural Networks )來產生類似於愛麗絲夢遊仙境故事的文本！你可以用你想要的任何其他文字替換故事，RNN 將能夠產生與其類似的文字！

第 23 節 – 序列建模

在本節中，我們將學習序列到序列建模。我們將了解 Seq2Seq 模型的工作原理及其應用領域。我們還將討論注意力機制並了解其工作原理。

第 24 節 – PyTorch 中的實用序列建模 – 建立聊天機器人

在本節中，我們將應用所學的序列建模知識並建立一個具有注意力機制的聊天機器人。

第 25 節 – Saving and Loading Models

在本節中，我們將向你展示如何在 PyTorch 中儲存和載入模型，以便你可以使用這些模型進行後續測試或恢復訓練！

第 26 節 – Transformers

在本節中，我們將介紹 Transformer，它是目前用於 NLP 和語言建模任務的最先進模型。我們將介紹變壓器的每個組件。

第 27 節 – 使用 Transformers 建立聊天機器人

在本節中，我們將實現上一節中學到的所有內容，並使用 Transformers 建立聊天機器人。

目標受眾

任何對學習神經網路和深度學習感興趣的人

講師簡介

Fawaz Sammani 電腦視覺研究員

我是一名研究員，正在研究電腦視覺。在我的研究期間，我實現了許多研究目標，並發表了多篇研究論文。我有三門課程，一個是 MATLAB 提供影像處理的完整指南，在這裡你可以掌握影像處理的基礎知識，為他們建立介面，另一個課程是完整的神經網路指南，在那裡你將在理論上和實踐中深入掌握神經網路和深度學習主題，這是最強大的深度學習框架之一！我非常高興在整個課程中分享我的知識和經驗！