資料工程師的 Azure 資料工廠 - Covid19 專案

Contents

使用 Azure 資料工廠、SQL、Data Lake、Databricks、HDInsight、CI/CD 的資料工程師的真實專案 [DP203]

從這 12.5 小時的課程，你會學到

你將學習如何在 Azure 資料工廠 (ADF) 中建置真實的資料管道。
你將使用 Azure 資料工廠 (ADF)、Azure Data Lake Storage Gen2、Azure SQL 資料庫和 Azure Monitor 來獲得良好的 Azure 資料工程技能
你將了解如何使用 Azure 資料工廠 (ADF) 將資料從 HTTP 和 Azure Blob Storage 等來源擷取到 Azure Data Lake Gen2 中
你將了解如何使用 Azure 資料工廠 (ADF) 中的資料流轉換資料並將其載入到 Azure Data Lake Storage Gen2 中
你將了解如何使用 Azure 資料工廠 (ADF) 中的 Databricks Notebook 活動轉換資料並將其載入到 Azure Data Lake Storage Gen2 中
你將了解如何使用 Azure 資料工廠 (ADF) 中的 Azure HDInsight 活動轉換資料並將其載入到 Azure Data Lake Storage Gen2 中
你將了解如何使用 Azure 資料工廠 (ADF) 將轉換後的資料從 Azure Data Lake Storage Gen2 載入至 Azure SQL 資料庫
你將廣泛了解 Azure 資料工廠 (ADF) 中的觸發器以及如何使用它們來規劃資料管道。
你將了解如何在實際專案中使用 Azure 資料工廠 (ADF)、Azure Monitor 和 Log Analytics 來監視管線。
你將學習如何建立生產就緒的管道以及良好實踐和命名標準
你將了解 Azure 資料工廠通過 Azure 資料工程師助理認證考試 DP203 所需的主題
你將了解如何在 Azure Devops 中建立 CI/CD 管道，以將 ADF 管道發佈到更高的環境（測試/生產）

要求

對雲端運算的基本了解會很有用，但不是必要的。
不需要 Azure 經驗，我將帶你完成學習本課程和建置專案所需的一切
需要一個 Azure 帳戶，如果你沒有，我們將在課程中建立一個免費帳戶

課程說明

自課程推出以來的重大更新

2023 年 1 月 – 更新第 3 部分（環境設定）以反映使用者介面的變更。重新錄製了5堂課。

2022 年 11 月 – 新增第 15 和 16 節，重點在於持續整合和持續交付 (CI/CD)

歡迎！

我期待幫助你學習雲端中最受歡迎的資料工程工具之一：Azure 資料工廠 (ADF)！本課程的教學內容是使用 Azure 資料工廠 (ADF) 實施資料工程解決方案，解決報告 Covid-19 趨勢和預測病毒傳播的現實問題。

這與 Udemy 中有關 Azure 資料工廠或資料工程技術的其他課程不同。完成課程（包括所有作業）後，我堅信你將能夠自己啟動一個現實世界的資料工程專案，並精通 Azure 資料工廠 (Azure Data Factory，ADF)。

我還提供了有關儲存解決方案的課程，例如 Azure Data Lake Storage、Azure Blob Storage、Azure SQL 資料庫等。此外，還有有關 Azure HDInsight 和 Azure Databricks 的課程。我甚至還提供了有關使用 Power BI 針對 Azure 資料工廠資料管道處理的資料建置報告的課程。我認為機器學習模型超出了範圍。你可以使用這些資料建立自己的模型並預測價差。

本課程遵循現實世界專案實施的邏輯進展，解釋技術概念並同時建立 Azure 資料工廠 (ADF) 中的資料管道。儘管本課程並不是專門為教你通過 Azure 資料工程師助理認證( Azure Data Engineer Associate Certification )考試 DP203 所需的技能而設計的，但它可以極大地幫助你獲得考試所需的大部分必要技能。

我珍惜你的時間，就像珍惜我自己的時間一樣。因此，我將這門課程設計得快節奏、切題。此外，課程以簡單的英語授課，沒有行話。我從基礎開始課程，在課程結束時，你將精通所使用的技術。

目前課程教您以下內容

Azure 資料工廠

使用 Azure 資料工程技術（例如 Azure 資料工廠 (ADF)、Azure Data Lake Gen2、Azure Blob Storage、Azure SQL 資料庫、Azure Databricks、Azure HDInsight 和 Microsoft PowerBI）建置資料工程解決方案的解決方案架構。
使用 Azure 資料工廠整合來自 HTTP 用戶端、Azure Blob Storage 和 Azure Data Lake Gen2 的資料。
使用控制流程活動（例如取得元資料）在 Azure 資料工廠 (ADF) 管道中進行分支和連結活動。 If 條件、ForEach、刪除、驗證等。
使用管道、資料集和 LinkedServices 中的參數和變數在 Azure 資料工廠 (ADF) 中建立元資料驅動的管道
調試資料管道並解決問題。
使用 Azure 資料工廠 (ADF) 中的事件觸發器、計劃觸發器和翻滾視窗觸發器等觸發器來調度管道
建立映射資料流以建立轉換邏輯。本課程涵蓋了所有轉換步驟，例如來源、篩選、選擇、透視、查找、條件分割、衍生欄( Derived Column )、聚合、聯結和接收器轉換。
調試資料流、調查問題、修復故障等
實作 Azure 資料工廠管道來呼叫對應資料流並執行它們。
建立 ADF 管道來執行 HDInsight 活動並執行資料轉換。
建立 ADF 管道來執行 Databricks Notebook 活動以進行轉換。
建立管道之間的依賴關係以編排資料流
建立觸發器之間的依賴關係以編排資料流
監視資料管道、建立警報、從 Azure 資料工廠監視器報告指標。
使用 Azure Monitor 監視資料工廠管道，並將診斷設定轉送至 Azure Storage 帳戶或 Log Analytics 工作區。
建立 Log Analytics 工作區，透過 Azure 資料工廠管道上的日誌分析建立工作簿和圖表
實施 Azure 資料工廠分析監視工具以及如何進一步擴展此功能。

Azure Storage 解決方案

建立 Azure Storage 帳戶、建立容器、上傳資料、存取控制 (IAM)、使用 Azure 儲存體資源管理器與儲存帳戶交互
建立 Azure Data Lake Gen2、建立容器、上傳資料、存取控制 (IAM)、使用 Azure 儲存資源管理器與儲存帳戶交互
建立 Azure SQL 資料庫、定價層、建立管理員使用者、建立表格、載入資料和查詢資料庫。

Azure HDInsight 和 Databricks

建立 HDInsight 叢集、與 UI 互動、使用 Ambari、建立 Hive 表、從 Azure 資料工廠呼叫 HDInsight 活動
建立 Azure Databricks 工作區、建立 Databricks 叢集、安裝儲存帳戶、建立 Databricks 筆記本、使用 Databricks 筆記本執行轉換、從 Azure 資料工廠呼叫 Databricks 筆記本。

Azure DevOps (CI/CD)

建立 Azure Devops 環境並設定 Azure Devops Git 貯存庫( repository )
將 Azure 資料工廠工件發佈到更高環境的 CI/CD 流程
在 Azure Devops 中建立建置和發佈管道以將程式碼發佈到更高的環境（測試/生產）
配置/參數化 CI/CD 管道以發布存取 Azure Data Lake Storage 的 ADF 管道。

目標受眾

尋找資料工程職業的大學生
致力於其他學科並試圖轉向資料工程的 IT 開發人員
目前正在使用本地技術或其他雲端平台（例如 AWS 或 GCP）並希望學習 Azure 技術的資料工程師/資料倉儲開發人員
希望了解 Azure 資料工程堆疊的資料架構師
希望將知識擴展到資料工程的資料科學家

講師簡介

Ramesh Retnasamy 高級資料工程師/機器學習工程師

你好！我是一名全職高級資料工程師/架構師。我擁有 20 多年為技術、遊戲、金融、零售和政府等行業交付一些大型資料專案的經驗。我交付的專案既在 Azure 和 AWS 等雲平台上，也在本地。我也是 Microsoft 認證的 Azure 資料工程師助理。

我對教學充滿熱情，我為學生的成功感到非常自豪。我的教學風格與標準 I.T 的教學風格不同。教練。我的課程基於現實世界的專案。我的課程不僅會解釋這些概念，還會通過使用現實世界的中二和示例來使它們堅持下去。在整個課程中，我會提供有關良好實踐的指導，並指導你建建可用於生產的應用程式。我堅信，一旦你完成我的課程，你將擁有啟動該技術的實時專案所需的足夠的經驗和知識。當然，你可能需要進一步學習才能在職業生涯中取得進步，但我將為你提供所需的基礎，並為你指明正確的方向，以獲取更多知識。

我珍惜你的時間，就像珍惜我自己的時間一樣。因此，我的課程緊扣主題，並且用簡單的英語授課，沒有任何行話。

字幕：中文、英文

想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

點選這個 Network & Security 課程✨優惠連結✨ ( NT490 起特價中 ) | 大多地區 ✨ 優惠連結 ✨( NT390 起特價中 )| Udemy 永久擁有課程 ( 在電腦瀏覽器登入，點選“優惠連結”後再回想要的課程介紹中點選“報名參加課程”即可取得）
Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
手機上點選優惠連結看到的價格比電腦上看到的貴
＄代表當地貨幣, 如在台灣為 NT
點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現