資料工程師的 Azure Databricks 和 Spark：實作專案

使用 Databricks、PySpark、Spark SQL、Delta Lake、Unity Catalog、Azure Data Factory 進行 Formula1 賽車的真實世界專案

從這 20.5 小時的課程，你會學到

你將學習如何使用 Azure Databricks 和 Spark Core 構建現實世界的資料專案。本課程是使用真實世界資料教授的。
你將獲得 Azure Databricks、Delta Lake、Spark Core、Azure Data Lake Gen2 和 Azure Data Factory (ADF) 方面的專業級資料工程技能
你將學習如何在 Azure Databricks 中創建筆記本、儀表板、叢集、叢集池和作業
你將學習如何使用 Azure Databricks 中的 PySpark 提取和轉換資料
你將學習如何在 Azure Databricks 中使用 Spark SQL 轉換和分析資料
你將了解資料湖( Data Lake )架構和 Lakehouse 架構。此外，你還將學習如何使用 Delta Lake 實現 Lakehouse 架構。
你將學習如何創建 Azure 資料工廠管道來執行 Databricks 筆記本
你將了解如何創建 Azure 資料工廠觸發器來計劃管道以及監視它們。
你將獲得通過 Azure 資料工程師助理認證考試 DP203 所需的 Azure Databricks 和資料工廠技能
你將學習如何從 PowerBI 連接到 Azure Databricks 以創建報告
你將全面了解 Unity Catalog 以及 Unity Catalog 提供的資料治理功能。
你將學習使用支持 Unity Catalog 的 Databricks 工作區來實施資料治理解決方案。

要求

提供了所有程式碼和分步說明，但以下技能將對你的旅程大有裨益
需要基本的 Python 程式經驗
需要基本的 SQL 知識
了解雲端基礎知識將是有益的，但不是必需的
需要 Azure 訂閱，如果你沒有訂閱，我們將在課程中創建一個免費帳戶

課程說明

課程自推出以來的重大更新

更新 3 – 新增第 25、26 和 27 節，包含 Unity Catalog。 Unity Catalog 是 Databricks 的最新功能，它為 Data Lakehouse 提供了統一的資料治理解決方案。這些章節涵蓋了 Unity Catalog 的各個面向以及使用專案實施的方法。

更新 2 – 新增第 6 和 7 節。更新第 8 節。這些變更旨在反映 Databricks 關於存取 Azure Data Lake 的最新建議。此外，這為使用 Azure 學生訂閱或企業訂閱且 Azure Active Directory 存取權限有限的學生提供了更好的解決方案來完成課程專案。

更新 1 – 更新第 3、4 和 5 節，以反映 Azure Databricks 的最新 UI 變更。此外，還包含 Databricks 近期新增至 Databricks 叢集的附加功能的課程。。

歡迎！

我期待幫助你學習雲端中最受歡迎的資料工程工具之一 Azure Databricks！本課程的教學內容是使用 Azure Databricks 和 Spark 核心實施資料工程解決方案，用於分析和報告一級方程式賽車資料的現實專案。

這與 Udemy 中針對 Azure Databricks 的其他課程不同。完成課程（包括所有作業）後，我堅信你將能夠自己啟動一個現實世界的資料工程專案，並精通 Azure Databricks。我還提供了有關 Azure Data Lake Storage Gen2、Azure 資料工廠以及 PowerBI 的課程。本課程的主要重點是 Azure Databricks 和 Spark 核心，但它也涵蓋了相關概念以及與提到的其他技術的連接。請注意，本課程不涵蓋 Spark 的其他方面，例如 Spark 流和 Spark ML。該課程還使用 PySpark 和 Spark SQL 進行教學；它不涵蓋 Scala 或 Java。

該課程遵循現實世界專案實施的邏輯進展，解釋技術概念並同時構建 Databricks 筆記本。儘管本課程並不是專門為教你通過 Azure 資料工程師助理認證考試 DP203 所需的技能而設計的，但它可以極大地幫助你獲得考試所需的大部分必要技能。

我珍惜你的時間，就像珍惜我自己的時間一樣。因此，我將這門課程設計得快節奏、切題。此外，該課程以簡單的英語授課，沒有行話。我從基礎開始課程，在課程結束時，你將精通所使用的技術。

目前該課程教你以下內容

Azure 資料塊( Databricks )