通過將元資料驅動( Metadata-driven)的攝取框架( Ingestion Framework )建構為行業標準來學習 Azure 資料工廠( Azure Data Factory )
從這 12.5 小時的課程，你會學到
- Azure 資料工廠
- Azure Blob 儲存
- Azure 第二代資料湖存儲(Lake Storage )
- Azure 資料工廠管道( Data Factory Pipelines )
- 資料工程概念
- 資料湖概念
- 元資料驅動框架概念
- 建構數據引入框架的行業範例
- 動態 Azure 資料工廠管道
- 使用邏輯應用程式發送電子郵件通知
- 管道和批處理運行的跟踪
- 使用 Azure DevOps 進行版本管理
- Azure DevOps 平台基礎架構即程式碼 (IaC) 的深入介紹
- DevOps 的定義以及 Azure 如何作為 SaaS（軟體即服務）平台促進 DevOps 方法論的實踐
- Azure DevOps 平台上的 YAML 管線簡介
- 用於在 Azure DevOps 平台上開發基礎架構即程式碼 (IaC) 的 BICEP 和 ARM 範本簡介
- 業界領先的 DevOps 工具概述
- 建立本機 Git Repository
- 學習如何暫存和提交單一及多個文件
- 使用 Git 進行分支管理，包括合併
- 使用 Bash 和 Visual Studio Code 操作 Git
- 學習如何回溯和撤銷更改
- 為 Microsoft 和自架管道代理程式設定計費
- 安裝和設定自託管管道代理
- 設定個人存取令牌
- 配置自託管代理
- 如何建立 Azure 服務連接
- 克隆 Azure DevOps Repository
- 編寫 PowerShell 腳本以預配資源群組
- 如何在 YAML 管道模板中新增階段、作業和步驟
- 在 Azure DevOps 上執行 YAML 管道
- 如何開發 Azure 群組變數並將其傳遞到 YAML 範本中
- 如何使用 YAML 覆寫 BICEP 參數
- 使用 Bash 和 Git 為 DevOps 和 BICEP 專案建立專案結構
- 使用 BICEP 和 PowerShell 為資源建立標準命名約定
- 開發 BICEP用於提供日誌分析和資料工廠的模板
- 如何為 BICEP 範本新增輸入參數
- 如何為日誌分析和資料工廠建立 BICEP 模組
- 如何為 BICEP 模組新增標籤資訊
- 如何使用 BICEP 建構命名約定
- 如何使用運行時和編譯時變數及參數
- 如何編寫 PowerShell 腳本將 BICEP 轉譯為 ARM 模板
- 如何使用 BICEP 管理資源間的依賴關係
- 如何管理 BICEP 範本錯誤
要求
基本電腦/筆記本電腦
課程說明
本課程的主要目標是幫助你學習使用 Azure 資料工程工具（如資料工廠、Azure SQL 等）建構元資料驅動框架的資料工程技術。
構建框架現在已成為行業規範，了解如何視覺化、設計、計劃和實施資料框架已成為一項重要技能。
我們將一起建構的框架稱為元資料驅動的攝取框架( Metadata-Driven Ingestion Framework )。
對於渴望成為資料驅動的公司而言，從不同的源系統將資料攝取到資料湖中是一項關鍵要求，而找到一種通用的資料攝取方式是可取且必要的需求。
Metadata-Driven Frameworks 允許公司只開發一次系統，它可以被各種業務集群( business clusters )採用和重用，而不需要額外的開發，從而節省業務時間和成本。將其視為即插即用系統。
本課程的第一個目標是讓你加入 Azure 資料工廠平台，幫助你組裝你的第一個 Azure 資料工廠管道。一旦掌握了 Azure 資料工廠開發模式，就可以更輕鬆地採用相同的模式來載入其他資源和資料接收器。
一旦你對建構基本的 Azure 資料工廠管道胸有成竹，作為第二個目標，我們將繼續建構一個成熟且有效的元資料驅動框架，以使攝取更具動態性 ; 更進一步，我們將建立框架，以一種你可以審查每批處理編排和單個管道運行來進行商業智慧和操作監控的方式。
創建你的第一個管道
將涵蓋的內容如下:
- Azure 資料工廠簡介
- 解包( unpack )需求和技術架構
- 創建 Azure 資料工廠資源
- 創建 Azure Blob 儲存帳戶
- 創建 Azure Data Lake Gen 2 儲存帳戶
- 了解如何使用儲存資源管理器
- 創建你的第一個 Azure 管道。
元資料驅動的攝取
- 解開元資料驅動攝取的理論
- 描述構建用戶的高層計劃
- 創建專用 Active Directory 用戶並分配適當的權限
- 使用 Azure 資料工作室
- 創建元資料驅動資料庫（表和 T-SQL 儲存過程）
- 應用業務命名約定
- 創建電子郵件通知策略
- 創建可重複使用的實用程式管道
- 開發一種機制來記錄每個資料攝取管道運行的數據以及批處理本身
- 創建動態資料攝取管道
- 應用編排管道
- 攝取引擎的T-SQL儲存過程說明
- 為資料工廠管道創建 Azure DevOps Repository
事件驅動的攝取
- 啟用事件網格提供程式( Event Grid Provider )
- 使用 Getmetadata 活動
- 使用過濾器活動
- 創建基於事件的觸發器
- 創建和合併新的 DevOps 分支
附加課程：使用 Azure BICEP 設定基礎架構
本課程旨在幫助學員學習如何使用 BICEP、YAML、Git 和 PowerShell 專業地編寫和開發 Azure DevOps 基礎架構即程式碼 (IaC)。
Azure DevOps 是領先的自動化和 DevOps 平台，學員將學習以下內容：
- 深入探討 Azure DevOps 平台上的基礎架構即程式碼 (IaC)
- DevOps 的定義以及 Azure 作為 SaaS（Software as a Service，軟體即服務）平台如何促進 DevOps 方法論的實踐
- Azure DevOps 平台上的 YAML 管線簡介
- 用於在 Azure DevOps 平台上開發基礎架構即程式碼 (IaC) 的 BICEP 和 ARM 範本簡介
- 業界領先的 DevOps 工具概述
Git 是業界領先的分散式版本控制系統，也是 Azure DevOps 的一個非常關鍵的元件，因此學生將參加 Git 速成課程，該課程涵蓋以下基本面向；
- 建立本地 Git Repository
- 學習如何暫存和提交單一或多個檔案
- 使用 Git 進行分支管理，包括合併
- 使用 Bash 和 Visual Studio Code 進行 Git 操作
- 學習如何回溯和撤銷更改
學生可能需要學習如何將 Azure DevOps Pipeline Agents 設定為自託管 Azure DevOps Agents 以運行 CI/CD 管道，這可能可以節省工作環境或個人環境中的成本，因此學生將學習以下內容；
- 為 Microsoft 和自架管道代理程式設定計費
- 自託管管道代理的安裝和設置
- 設定個人存取令牌
- 自託管代理的配置
YAML 是一種領先的組態管理技術，用於開發 CI/CD 管線。學習如何撰寫 YAML 管線的最佳方法或許是讓學生逐步了解如何使用 YAML、PowerShell 和 BICEP 設定基礎架構。最初的重點是資源組的配置，因此學生將學習以下內容：
- 如何建立 Azure 服務連接
- 克隆 Azure DevOps Repository
- 編寫 PowerShell 腳本來預配資源組
- 如何在 YAML 管道模板中新增階段、作業和步驟
- 在 Azure DevOps 上執行 YAML 管道
- 如何開發 Azure 群組變數並將其傳遞給 YAML 模板
- 如何使用 YAML 覆寫 BICEP 參數
編碼專業性的一個面向體現在專案結構上，旨在提高編碼效率和便於管理；另一個面向體現在資源命名規範上。本課程將帶領學生學習以下內容。
- 使用 Bash 和 Git 為 DevOps 和 BICEP 專案建立專案結構
- 使用 BICEP 和 PowerShell 為資源建立標準命名約定
在 Azure 中配置和部署基礎架構的核心是採用 BICEP，學生將學習如何以專業的方式開發 BICEP；
- 開發用於提供日誌分析和資料工廠的 BICEP 模板
- 如何為 BICEP 範本新增輸入參數
- 如何為日誌分析和資料工廠建立 BICEP 模組
- 如何為 BICEP 模組新增標記資訊
- 如何使用 BICEP 建構命名約定
- 如何使用運行時和編譯時變數及參數
- 如何編寫 PowerShell 腳本將 BICEP 轉譯為 ARM 模板
- 如何使用 BICEP 管理資源之間的依賴關係
- 如何管理 BICEP 範本錯誤
目標受眾
- 有抱負的資料工程師
- 對 Azure 資料工廠作為 ETL( Extract, Transform, Load ) 替代方案感到好奇的開發人員
講師簡介
David Charles Academy ABN AMRO 高級大數據工程師/顧問
我是一名資料管理專業人士，在我們生活中正被資料力量和影響力驅動著。 藉助資料的力量，我能夠幫助公司變得更加以資料為導向，從而獲得競爭優勢或滿足監管需求。
在過去的 15 年中，我有幸在零售、電信和銀行業設計和實施資料倉庫解決方案，最近還參與了更多大數據湖的具體實施。
我有幸成為領導並帶領團隊實施上述策略，在業餘時間，我作為 YouTuber 教授線上程式編輯，對技術充滿熱情。
字幕：日本語、英文
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- Udemy 永久擁有課程 許多課程約 NT400(點擊連結看更多)
- ✨年訂閱每月 NT350 🌈 悠遊 Udemy 的 26000+ 門課，最大化學習 ( 原價 NT635/月 )
- Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- ＄代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現
報名參加課程
也許你會有興趣
- Azure 相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣！
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
發表迴響