fbpx

資料科學:自然語言處理 Transformers

Contents

用 Hugging Face 、Python 的 Attention 機制、Tensorflow、PyTorch 和 Keras 實踐 BERT、GPT、深度學習、機器學習和自然語言處理

本課程涵蓋了使用 Transformers 進行自然語言處理的實用技能。 首先,我們將看到如何使用預訓練 Transformer 模型來解決各種 NLP 任務,包括文本分類、實體識別和機器翻譯。 然後,我們將學習如何微調這些模型,以在自訂資料集上進一步提高其性能。 最後,本課程將深入研究 Transformer 的工作原理,以便讓學習者進一步推動這些模型和應用。

從這 18 小時的課程,你會學到

  • 只需幾行程式碼即可將 transformers (轉換器)應用於實際任務
  • 通過遷移學習在您自己的資料集上微調 transformers (轉換器)
  • 情感分析、垃圾郵件檢測、文本分類
  • NER(命名實體識別),詞性標註
  • 為 SEO 建構您自己的文章微調器( article spinner  )
  • 生成可信的類人文本
  • 神經機器翻譯和文本摘要
  • 問答(例如 SQuAD)
  • 零樣本( Zero-shot )分類
  • 理解 self-attention 和 transformers 背後的深入理論
  • 從頭開始實施 transformers
  • 將 transformers 與 Tensorflow 和 PyTorch 一起使用
  • 了解 BERT、GPT、GPT-2 和 GPT-3,以及它們的應用領域
  • 了解編碼器、解碼器和 seq2seq 架構
  • 掌握 Hugging Face Python 程式庫( library )

要求

  • 安裝 Python,它是免費的!
  • 初級和中級內容:體面的 Python 程式設計技能
  • 專家級內容:對 CNN 和 RNN 有很好的理解,並且能夠使用 PyTorch 或 Tensorflow 進行程式設計

課程說明

大家好!

歡迎來到資料科學:自然語言處理 Transformers

自從 Transformers 出現以來,深度學習就和之前大不同了。

  • 機器學習能夠生成與人類創建的文本基本上沒有區別的文本
  • 我們在許多 NLP 任務中達到了新的最先進的性能,例如機器翻譯、問答、蘊含、命名實體識別等
  • 我們創建了多型態(文本和圖像)模型,僅使用文本提示即可生成令人驚嘆的藝術作品
  • 我們解決了分子生物學中一個長期存在的問題,即“蛋白質結構預測”

在本課程中,您將學習應用 Transformers 的非常實用的技能,如果您願意,還可以學習 Transformers 和 Attention (注意力)機制背後的詳細理論。

這與僅涵蓋前者的大多數其他資源不同。

課程分為3個主要部分:

  1. 使用 Transformers
  2. 微調 Transformers
  3. 深入 Transformers

第 1 部分:使用 Transformers

在本節中,您將學習如何使用已經為您訓練好的 Transformers。 這是需要花費數百萬美元才能完成,所以不是您想親自嘗試的事情!

我們將看到這些預建模型如何用於廣泛的各種任務,包括:

  • 文本分類(例如垃圾郵件檢測、情緒分析、文件分類)
  • 命名實體識別
  • 文本摘要
  • 機器翻譯
  • 問答
  • 生成(可信的)文本
  • 掩碼語言建模( article spinning )
  • 零樣本( zero-shot )分類

這已經很實用了。

如果您需要在您的工作場所或為您的客戶對文件進行情感分析、文件分類、實體識別、翻譯、摘要等——您已經擁有最強大的最先進的模型,只需很少的程式碼行。

最令人驚嘆的應用程式之一是“零樣本分類”,您會在其中觀察到預訓練模型可以對您的文件進行分類,即使您根本沒有對其做任何訓練。

第 2 部分:微調 Transformers

在本節中,您將學習如何在您自己的自訂的資料集上提高 Transformers 的性能。 通過使用“遷移學習”,您可以利用已經投入數百萬美元的培訓,使 Transformer 運行良好。

您會發現您可以用相對較少的工作(和很少的成本)微調 Transformer 。

我們將介紹如何針對現實世界中最實際的任務微調 Transformer ,例如文本分類(情感分析、垃圾郵件檢測)、實體識別和機器翻譯。

第 3 部分:深入了解 Transformers

在本節中,您將了解 Transformers 的真正工作原理。 前面的部分很好,但有點太好了。 對於只想完成工作的人來說,Libraries 還可以,但如果你想做任何新鮮或有趣的事情,Libraries 就不行了。

讓我們明確一點:這是非常實用的。

你可能會問有多實用?

好吧,這就是賺大錢的地方。

那些對這些模型有深刻理解並能做以前沒有人做過的事情的人,就有能力獲得更高的薪水和享有盛譽的頭銜。 機器學習是一個競爭激烈的領域,深入了解事物的運作方式可能是您脫穎而出的優勢。

我們還將了解如何從頭開始實施 Transformers。

正如偉大的 Richard Feynman (費曼)曾經說過的那樣,“我無法創造,如我不明白”( “what I cannot create, I do not understand”. )。

建議先決條件:

  • 體面的 Python 程式碼技能
  • 使用 CNN 和 RNN 進行深度學習很有用但不是必需的
  • 使用 Seq2Seq 模型進行深度學習很有用但不是必需的
  • 對於深入部分:了解 CNN、RNN 和 seq2seq 背後的理論非常有用

獨特的功能

  • 每行程式碼都有詳細解釋 – 如果您不同意,請隨時給我發電子郵件
  • 不會像其他課程那樣浪費時間在鍵盤上“打字”——老實說,沒有人能在短短 20 分鐘內從頭開始真正編寫出值得學習的程式碼
  • 不用懼怕大學水準的數學——了解其他課程遺漏的有關演算法的重要細節

感謝您的閱讀,希望很快見到您!

目標受眾

  • 任何想掌握自然語言處理 (NLP) 的人
  • 任何熱愛深度學習並想了解最強大的神經網路(變形金剛)的人
  • 任何想要超越 Udemy 上典型的初學者課程的人

講師簡介

Lazy Programmer Team 人工智慧與機器學習工程師  ( 更多講師主講課程介紹 )

今天,我把大部分時間花在了人工智慧和機器學習工程師身上,專注於深度學習,儘管我也以資料科學家、大數據工程師和全端軟體工程師而聞名。

我獲得了計算機工程碩士學位,主修機器學習( machine learning )和模式識別( pattern recognition )。

經驗包括作為資料科學家(優化點選率和轉換率)和大數據工程師(建立資料處理管道)的線上廣告和數位媒體。我經常使用的一些大數據技術有 Hadoop、 Pig、 Hive、 MapReduce 和 Spark。

我建立了深度學習模型來預測點進率和使用者行為,以及影像和訊號處理和文字建模。

我在推薦系統方面的工作應用了強化學習和協同過濾,我們使用 A/B 測試驗證了結果。

我曾經為哥倫比亞大學、紐約大學、杭特學院( Hunter College)和新學院( The New School )的大學和研究所教授資料科學、統計學、機器學習、演演算法、微積分、計算機圖形學和物理學。

很多企業都從我的網路程式設計經驗中受益匪淺。我負責所有的後端(伺服器)、前端(HTML/JS/CSS)和操作/部署工作。我使用的一些技術有: Python、 Ruby/Rails、 PHP、 Bootstrap、 jQuery (Javascript)、 Backbone 和 Angular。對於儲存/資料庫,我使用了 MySQL、 Postgres、 Redis、 MongoDB 等等。

英文字幕:有

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

🙌 如何有效率地管理 ChatGPT 輸出與整理自己的 ChatGPT 提示( prompts )使用情境?LN+ for Web 已經針對 ChatGPT 的整合做最佳化


🙌 讓 Notion AI 成為你線上學習的得力助手,詳細操作請參考 – 使用 Notion AI 功能來為 udemy 的課程做摘要總結


  • 點選這個優惠連結 課程特價 | Udemy 永久擁有課程 NT370 起( 請登入 Udemy|按過“優惠連結”後到”報名參加課程“連結網頁做更新 )
  • Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
  • 手機上點選優惠連結看到的價格比電腦上看到的貴
  • $代表當地貨幣, 如在台灣為 NT
  • 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現

報名參加課程

Sponsored by Udemy


也許你會有興趣

不受 FB 演算法影響,歡迎透過 e-mail 訂閱網站更新

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: