為專業資料工程師學習 Azure Databricks，使用 PySpark 和 Spark SQL 進行端到端總整專案
從這 17.5 小時的課程，你會學到
- Azure 雲端中的 Databricks
- 使用 DBFS 和安裝存儲( storage )
- Unity 目錄 – 配置與工作
- Unity 目錄使用者配置和安全
- 使用 Delta Lake 和 Delta Tables
- 手動和自動模式演化
- 增量攝取 Lakehouse
- Databricks 自動載入器
- Delta 實時表( live tables )和 DLT 管道( pipelines )
- Databricks Repos(版本儲存庫)和 Databricks 工作流程
- Databricks Rest API 和 CLI
- 總整專案( capstone project )
要求
- Python程式設計語言
- 使用 Python 的 Apache Spark 和 Dataframe API
- 使用 Python 的 Spark 結構化流程 API
課程說明
我正在使用 Azure 雲端平台建立 Databricks – 為資料工程師掌握 Azure Databricks。本課程將幫助您學習以下內容。
- Azure 雲端中的 Databricks
- 使用 DBFS 和安裝存儲
- Unity 目錄 – 配置與工作
- Unity 目錄使用者配置和安全
- 使用 Delta Lake 和 Delta Tables
- 手動和自動模式演化
- 增量攝取 Lakehouse
- Databricks 自動載入器
- Delta 實時表和 DLT 管道
- Databricks Repos 和 Databricks 工作流程
- Databricks Rest API 和 CLI
總整專案
本課程還包括一個端到端總整專案( Capstone project. )。此專案將幫助您了解現實專案設計、編寫程式碼、實施、測試和 CI/CD 方法。
誰應該學習本課程？
我為願意使用 Databrick 雲端平台按照 Medallion 架構方法開發 Lakehouse 專案的資料工程師設計了本課程。我還為負責設計和建構組織的 Lakehouse 平台基礎架構的資料和解決方案架構師創建本課程。另一類人則是不直接參與 Lakehouse 實施的經理和架構師。儘管如此，他們還是與那些在底層實施 Lakehouse 的人合作。
課程中使用的 Spark 版本。
本課程使用 Azure Cloud 中的 Databricks 和 Apache Spark 3.5。我已使用 Databricks Runtime 13.3 在 Azure Databricks Cloud 上測試了本課程中使用的所有原始程式碼和範例。
目標受眾
- 資料工程師
- 資料工程解決方案架構師
講師簡介
Learning Journal 線上培訓公司
Learning Journal 是一個由一群熱衷於透過縮小現有技能和所需技能之間的差距來幫助他人學習和職業成長的小團隊。為了完成這項使命，我們撰寫書籍、發布技術文章並製作培訓影片，以幫助 IT 專業人員和學生在行業中取得成功。
身為開發人員、架構師、顧問、培訓師和導師，我們在 IT 領域擁有超過 40 多年的經驗。我們與國際軟體服務組織合作進行各種以資料為中心的大數據專案。
Learning Journal 是一個堅信終身持續學習和技能發展的團隊。為了普及終身持續學習的重要性，我們開始在 YouTube 頻道上發布免費培訓影片。我們概念化了持續學習的概念，並在學習日記的旗幟下創建了我們的學習日記。
自 2018 年初以來，我們撰寫了各種技能發展課程、培訓和技術文章。
Prashant Kumar Pandey 建築師、作家、顧問、培訓師 @ Learning Journal
Prashant Kumar Pandey 熱衷於透過彌合人們現有技能和所需技能之間的差距來幫助人們在職業生涯中學習和成長。為了完成這項使命，他撰寫書籍、發表技術文章並製作培訓視頻，以幫助 IT 專業人員和學生在該行業取得成功。
身為開發人員、架構師、顧問、培訓師和導師，他在 IT 領域擁有超過 18 年的經驗，曾與國際軟體服務組織合作進行各種以數據為中心的大數據專案。
Prashant 堅信終身持續學習和技能發展。為了普及終身持續學習的重要性，他開始在自己的 YouTube 頻道上發布免費培訓影面，並構思了在 Learning Journal 的旗幟下創建一本學習日記的想法。
他是 Learning Journal 入口網站的創始人、主要作者和主編，該網站自 2018 年初以來提供各種技能發展課程、培訓和技術文章。
字幕：英文
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- Udemy 永久擁有課程 許多課程約 NT400(點擊連結看更多)
- ✨年訂閱每月 NT350 🌈 悠遊 Udemy 的 26000+ 門課，最大化學習 ( 原價 NT635/月 )
- Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- ＄代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現
報名參加課程
也許你會有興趣
- 資料科學相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣！
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
發表迴響