Contents
通過將元資料驅動( Metadata-driven)的攝取框架( Ingestion Framework )建構為行業標準來學習 Azure 資料工廠( Azure Data Factory )
從這 6.5 小時的課程，你會學到
- Azure 資料工廠
- Azure Blob 儲存
- Azure 第 2 代資料湖儲存( Data Lake Storage )
- Azure 資料工廠管道( Data Factory Pipelines )
- 資料工程概念
- 資料湖概念
- 元資料驅動框架概念
- 關於如何建構攝取框架的行業示例
- 動態 Azure 資料工廠管道
- 帶有邏輯應用的電子郵件通知
- 跟蹤管道和批量運行
- 使用 Azure DevOps 進行版本管理
要求
基本電腦/筆記本電腦
課程說明
本課程的主要目標是幫助你學習使用 Azure 資料工程工具（如資料工廠、Azure SQL 等）建構元資料驅動框架的資料工程技術。
構建框架現在已成為行業規範，了解如何視覺化、設計、計劃和實施資料框架已成為一項重要技能。
我們將一起建構的框架稱為元資料驅動的攝取框架( Metadata-Driven Ingestion Framework )。
對於渴望成為資料驅動的公司而言，從不同的源系統將資料攝取到資料湖中是一項關鍵要求，而找到一種通用的資料攝取方式是可取且必要的需求。
Metadata-Driven Frameworks 允許公司只開發一次系統，它可以被各種業務集群( business clusters )採用和重用，而不需要額外的開發，從而節省業務時間和成本。將其視為即插即用系統。
本課程的第一個目標是讓你加入 Azure 資料工廠平台，幫助你組裝你的第一個 Azure 資料工廠管道。一旦掌握了 Azure 資料工廠開發模式，就可以更輕鬆地採用相同的模式來載入其他資源和資料接收器。
一旦你對建構基本的 Azure 資料工廠管道胸有成竹，作為第二個目標，我們將繼續建構一個成熟且有效的元資料驅動框架，以使攝取更具動態性 ; 更進一步，我們將建立框架，以一種你可以審查每批處理編排和單個管道運行來進行商業智慧和操作監控的方式。
創建你的第一個管道
將涵蓋的內容如下:
- Azure 資料工廠簡介
- 解包( unpack )需求和技術架構
- 創建 Azure 資料工廠資源
- 創建 Azure Blob 儲存帳戶
- 創建 Azure Data Lake Gen 2 儲存帳戶
- 了解如何使用儲存資源管理器
- 創建你的第一個 Azure 管道。
元資料驅動的攝取
- 解開元資料驅動攝取的理論
- 描述構建用戶的高層計劃
- 創建專用 Active Directory 用戶並分配適當的權限
- 使用 Azure 資料工作室
- 創建元資料驅動資料庫（表和 T-SQL 儲存過程）
- 應用業務命名約定
- 創建電子郵件通知策略
- 創建可重複使用的實用程序管道
- 開發一種機制來記錄每個資料攝取管道運行的數據以及批處理本身
- 創建動態資料攝取管道
- 應用編排管道
- 攝取引擎的T-SQL儲存過程說明
- 為資料工廠管道創建 Azure DevOps 儲存庫
事件驅動的攝取
- 啟用事件網格提供程序
- 使用 Getmetadata 活動
- 使用過濾器活動
- 創建基於事件的觸發器
- 創建和合併新的 DevOps 分支
目標受眾
- 有抱負的資料工程師
- 對 Azure 資料工廠作為 ETL( Extract, Transform, Load ) 替代方案感到好奇的開發人員
講師簡介
David Charles Academy ABN AMRO 高級大數據工程師/顧問
我是一名資料管理專業人士，在我們生活中正被資料力量和影響力驅動著。 藉助資料的力量，我能夠幫助公司變得更加以資料為導向，從而獲得競爭優勢或滿足監管需求。
在過去的 15 年中，我有幸在零售、電信和銀行業設計和實施資料倉庫解決方案，最近還參與了更多大數據湖的具體實施。
我有幸成為領導並帶領團隊實施上述策略，在業餘時間，我作為 YouTuber 教授線上程式編輯，對技術充滿熱情。
英文字幕：有
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
🙌 如何有效率地管理 ChatGPT 輸出與整理自己的 ChatGPT 提示( prompts )使用情境？LN+ for Web 已經針對 ChatGPT 的整合做最佳化
🙌 讓 Notion AI 成為你線上學習的得力助手，詳細操作請參考 – 使用 Notion AI 功能來為 udemy 的課程做摘要總結
- 點選這個✨優惠連結 課程特價 | Udemy 永久擁有課程 NT370 起( 請登入 Udemy｜按過“優惠連結”後到”報名參加課程“連結網頁做更新 ）
- Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- ＄代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現
報名參加課程
你必須登入才能發表留言。