資料科學：自然語言處理 Transformers

Contents

用 Hugging Face 、Python 的 Attention 機制、Tensorflow、PyTorch 和 Keras 實踐 BERT、GPT、深度學習、機器學習和自然語言處理

本課程涵蓋了使用 Transformers 進行自然語言處理的實用技能。首先,我們將看到如何使用預訓練 Transformer 模型來解決各種 NLP 任務,包括文本分類、實體識別和機器翻譯。然後,我們將學習如何微調這些模型,以在自訂資料集上進一步提高其性能。最後,本課程將深入研究 Transformer 的工作原理,以便讓學習者進一步推動這些模型和應用。

從這 18 小時的課程，你會學到

只需幾行程式碼即可將 transformers (轉換器)應用於實際任務
通過遷移學習在您自己的資料集上微調 transformers (轉換器)
情感分析、垃圾郵件檢測、文本分類
NER（命名實體識別），詞性標註
為 SEO 建構您自己的文章微調器( article spinner )
生成可信的類人文本
神經機器翻譯和文本摘要
問答（例如 SQuAD）
零樣本( Zero-shot )分類
理解 self-attention 和 transformers 背後的深入理論
從頭開始實施 transformers
將 transformers 與 Tensorflow 和 PyTorch 一起使用
了解 BERT、GPT、GPT-2 和 GPT-3，以及它們的應用領域
了解編碼器、解碼器和 seq2seq 架構
掌握 Hugging Face Python 程式庫( library )

要求

安裝 Python，它是免費的！
初級和中級內容：體面的 Python 程式設計技能
專家級內容：對 CNN 和 RNN 有很好的理解，並且能夠使用 PyTorch 或 Tensorflow 進行程式設計

課程說明

大家好！

歡迎來到資料科學：自然語言處理 Transformers

自從 Transformers 出現以來，深度學習就和之前大不同了。

機器學習能夠生成與人類創建的文本基本上沒有區別的文本
我們在許多 NLP 任務中達到了新的最先進的性能，例如機器翻譯、問答、蘊含、命名實體識別等
我們創建了多型態(文本和圖像)模型，僅使用文本提示即可生成令人驚嘆的藝術作品
我們解決了分子生物學中一個長期存在的問題，即“蛋白質結構預測”

在本課程中，您將學習應用 Transformers 的非常實用的技能，如果您願意，還可以學習 Transformers 和 Attention (注意力)機制背後的詳細理論。

這與僅涵蓋前者的大多數其他資源不同。

課程分為3個主要部分：

使用 Transformers
微調 Transformers
深入 Transformers

第 1 部分：使用 Transformers

在本節中，您將學習如何使用已經為您訓練好的 Transformers。這是需要花費數百萬美元才能完成，所以不是您想親自嘗試的事情！

我們將看到這些預建模型如何用於廣泛的各種任務，包括：

文本分類（例如垃圾郵件檢測、情緒分析、文件分類）
命名實體識別
文本摘要
機器翻譯
問答
生成(可信的)文本
掩碼語言建模( article spinning )
零樣本( zero-shot )分類

這已經很實用了。

如果您需要在您的工作場所或為您的客戶對文件進行情感分析、文件分類、實體識別、翻譯、摘要等——您已經擁有最強大的最先進的模型，只需很少的程式碼行。

最令人驚嘆的應用程式之一是“零樣本分類”，您會在其中觀察到預訓練模型可以對您的文件進行分類，即使您根本沒有對其做任何訓練。

第 2 部分：微調 Transformers

在本節中，您將學習如何在您自己的自訂的資料集上提高 Transformers 的性能。通過使用“遷移學習”，您可以利用已經投入數百萬美元的培訓，使 Transformer 運行良好。

您會發現您可以用相對較少的工作(和很少的成本)微調 Transformer 。

我們將介紹如何針對現實世界中最實際的任務微調 Transformer ，例如文本分類(情感分析、垃圾郵件檢測)、實體識別和機器翻譯。

第 3 部分：深入了解 Transformers

在本節中，您將了解 Transformers 的真正工作原理。前面的部分很好，但有點太好了。對於只想完成工作的人來說，Libraries 還可以，但如果你想做任何新鮮或有趣的事情，Libraries 就不行了。

讓我們明確一點：這是非常實用的。

你可能會問有多實用？

好吧，這就是賺大錢的地方。

那些對這些模型有深刻理解並能做以前沒有人做過的事情的人，就有能力獲得更高的薪水和享有盛譽的頭銜。機器學習是一個競爭激烈的領域，深入了解事物的運作方式可能是您脫穎而出的優勢。

我們還將了解如何從頭開始實施 Transformers。

正如偉大的 Richard Feynman (費曼)曾經說過的那樣，“我無法創造，如我不明白”( “what I cannot create, I do not understand”. )。

建議先決條件：

體面的 Python 程式碼技能
使用 CNN 和 RNN 進行深度學習很有用但不是必需的
使用 Seq2Seq 模型進行深度學習很有用但不是必需的
對於深入部分：了解 CNN、RNN 和 seq2seq 背後的理論非常有用

獨特的功能

每行程式碼都有詳細解釋 – 如果您不同意，請隨時給我發電子郵件
不會像其他課程那樣浪費時間在鍵盤上“打字”——老實說，沒有人能在短短 20 分鐘內從頭開始真正編寫出值得學習的程式碼
不用懼怕大學水準的數學——了解其他課程遺漏的有關演算法的重要細節

感謝您的閱讀，希望很快見到您！

目標受眾

任何想掌握自然語言處理 (NLP) 的人
任何熱愛深度學習並想了解最強大的神經網路（變形金剛）的人
任何想要超越 Udemy 上典型的初學者課程的人

講師簡介

Lazy Programmer Team 人工智慧與機器學習工程師 ( 更多講師主講課程介紹 )

今天，我把大部分時間花在了人工智慧和機器學習工程師身上，專注於深度學習，儘管我也以資料科學家、大數據工程師和全端軟體工程師而聞名。

我獲得了計算機工程碩士學位，主修機器學習( machine learning )和模式識別( pattern recognition )。

經驗包括作為資料科學家(優化點選率和轉換率)和大數據工程師(建立資料處理管道)的線上廣告和數位媒體。我經常使用的一些大數據技術有 Hadoop、 Pig、 Hive、 MapReduce 和 Spark。

我建立了深度學習模型來預測點進率和使用者行為，以及影像和訊號處理和文字建模。

我在推薦系統方面的工作應用了強化學習和協同過濾，我們使用 A/B 測試驗證了結果。

我曾經為哥倫比亞大學、紐約大學、杭特學院( Hunter College)和新學院( The New School )的大學和研究所教授資料科學、統計學、機器學習、演演算法、微積分、計算機圖形學和物理學。

很多企業都從我的網路程式設計經驗中受益匪淺。我負責所有的後端(伺服器)、前端(HTML/JS/CSS)和操作/部署工作。我使用的一些技術有: Python、 Ruby/Rails、 PHP、 Bootstrap、 jQuery (Javascript)、 Backbone 和 Angular。對於儲存/資料庫，我使用了 MySQL、 Postgres、 Redis、 MongoDB 等等。

英文字幕：有

想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

點選這個 Network & Security 課程✨優惠連結✨ ( NT370 起限時特價中 ) | Udemy 永久擁有課程 ( 在電腦瀏覽器登入，點選“優惠連結”後再回想要的課程介紹中點選“報名參加課程”即可取得）
Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
手機上點選優惠連結看到的價格比電腦上看到的貴
＄代表當地貨幣, 如在台灣為 NT
點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現