Azure 資料工程專精：建置可擴充解決方案

精通 Azure 上的資料工程：從基礎知識到 Spark、SQL 和 Databricks 的實際專案

從這 51.5 小時的課程，你會學到

資料工程基礎：瞭解資料工程的核心概念、角色和職責，包括資料生命週期管理。
SQL 技能：掌握 SQL 查詢、資料建模和資料庫效能最佳化等基礎和進階技巧。
Python 程式設計：獲得 Python 實作經驗，專注於學習基本程式設計概念、資料操作和檔案處理。
Databricks 和 PySpark 技能：學習使用 Databricks 和 PySpark 進行資料處理和轉換，包括建立高效率的 ETL 管線。
Azure 服務專長：探索各種 Azure 服務，包括 Azure 資料工廠、Azure Synapse 和 Azure 存儲，用於資料整合和分析。
Power BI 資料視覺化：使用 Power BI 建立互動式儀表板和報表，整合來自多個資料來源的資料並利用 AI 工具。
實際專案經驗：將所學技能應用於模擬產業場景的實際專案中，提升問題解決與專案管理能力。

要求

資料工程基礎：瞭解資料工程的核心概念、角色和職責，包括資料生命週期管理。
SQL 技能：掌握 SQL 查詢、資料建模和資料庫效能最佳化等基礎和進階技巧。
Python 程式設計：獲得 Python 實作經驗，專注於學習基本的程式設計概念、資料操作和檔案處理。
Databricks 和 PySpark 技巧：學習使用 Databricks 進行資料處理。資料概念基礎：熟悉基本資料概念和術語。
SQL 基礎知識：具備 SQL 入門知識會有幫助，但並非必要。
程式設計經驗：具備任何程式語言的基本經驗，最好是 Python。
對資料工程的興趣：對資料工程和雲端運算技術充滿熱情。
可上網的電腦：擁有可靠的電腦和網路連接，用於存取課程資料和參與實踐實驗。
學習意願：積極主動地學習和應用新科技。

課程說明

參加我們全面的 Azure 資料工程專精課程，開啟資料工程領域的變革之旅。本課程將為您提供使用 Microsoft Azure 技術設計、實作和管理可擴展資料解決方案所需的關鍵技能。

課程亮點：

資料工程入門：理解核心概念、資料生命週期以及資料庫、資料管道和雲端平台之間的差異。探索資料工程的基本作用以及 ETL 流程的重要性。
Spark Core：深入了解 Apache Spark 的架構和核心功能。學習 RDD、轉換、操作以及 Spark 應用程式的執行。
Spark SQL：深入了解 Spark SQL 的功能、特性和用例。掌握使用 DataFrame 進行資料操作，並探索與 Hive 和其他資料來源的整合。
Spark Streaming：探索使用 Spark Streaming 進行即時資料處理。學習微批次處理、結構化流程處理以及如何建立處理即時資料流的應用程式。
Python 資料工程：夯實 Python 基礎，專注於學習資料結構、函數以及 NumPy 和 Pandas 等函式庫。了解如何使用 Matplotlib 和 Seaborn 視覺化資料。
SQL 基礎與進階：掌握 SQL，從安裝到進階查詢技巧，包括連線、視窗函數和預存程序。學習如何將 SQL 與 Python 連接起來，以增強資料處理能力。
Azure 雲端基礎：探索 Azure 雲端服務，包括儲存解決方案、使用 Azure 資料工廠進行資料整合以及使用 Databricks 進行資料處理。了解雲端環境中的安全性和監控。
使用 PySpark 完成 Databricks 學習：獲得 Databricks 的實務經驗，學習資料攝取、編排和效能最佳化。參與實踐實驗和專案，鞏固您的理解。
畢業設計專案：透過綜合專案，將所學應用於實際場景，這些項目包括 ADF 管道、Databricks 實現和 CI/CD 流程。