初學者的資料工程大師班

精通 Hadoop、Spark(使用 PySpark 和 Scala)、AWS Glue、Databricks、Delta Lake 和 NiFi。建造真實專案和 ETL 流水線。

從這 16.5 小時的課程,你會學到

  • 使用 Python 和 Scala 解決實際應用案例
  • Spark Scala 和 PySpark 實際編碼框架
  • 使用 Scala 和 Python 實現實際編碼最佳實踐、日誌記錄、錯誤處理和設定管理
  • 基於 AWS Glue、Athena 和 S3 的無伺服器大數據解決方案

要求

學生應具備一定的程式設計基礎及SQL查詢知識。

課程說明

透過真實專案的實作操作,成為合格的資料工程師!

資料工程大師班將協助您勝任資料工程師的實際工作,課程涵蓋從 Hadoop 和 Spark 到 AWS Glue、Databricks、Delta Lake 和 Apache NiFi 等所有現代資料工程生態系統。

數據工程是所有數據驅動型組織的基石,也是分析、人工智慧和商業智慧的根本。在本課程中,您將掌握如何使用當今最熱門的大數據工具來收集、處理、儲存和分析大規模資料。

透過循序漸進的實作操作和真實項目,您將使用 Hadoop、Spark、Databricks 和 NiFi 建立端到端的資料管道,並同時運用 Python (PySpark) 和 Scala 語言。

您還將學習專業的編碼技巧,包括日誌記錄、錯誤處理、單元測試和組態管理,從而像行業資料工程師一樣編寫程式碼。

透過 Apache NiFi,您將超越傳統的 ETL 流程。您將學習如何設計、自動化和監控系統間的資料流,並了解 NiFi 在現代雲端架構中的定位。

課程結束時,您將能夠自信地使用雲端平台、資料湖和 ETL 管道,並掌握如何利用 ChatGPT 和其他生成式 AI 工具來提高生產力、自動化重複性任務,並在 AI 驅動的世界中進行批判性思考。

您將學到什麼

  • 大數據與 Hadoop 基礎
  • 使用 Google Dataproc 創建免費的 Hadoop 和 Spark 集群
  • Hadoop 實戰:HDFS 與 Hive 項目
  • Python 與 PySpark 大數據基礎
  • PySpark RDD、SQL 與 DataFrame 操作實戰
  • Spark SQL 和暫存檢視 – 使用 SQL 查詢 DataFrame
  • 使用 PySpark 和 Hive 建置端到端項目
  • Scala 基礎和 Spark Scala DataFrame
  • 使用 IntelliJ 和 Maven 建立真實的 Spark Scala 項目
  • Databricks 和 Delta Lakehouse 基礎
  • 管理 Delta 表 – 版本控制、恢復和時間旅行
  • Unity Catalog Volumes – 檔案儲存與操作
  • 使用 Delta Cache 優化 Spark 查詢
  • 使用 Hive、PostgreSQL 和 Spark 建立完整的資料管道
  • PySpark 和 Scala 應用程式的日誌記錄、錯誤處理和單元測試
  • Apache NiFi 基礎 – 建置、自動化和監控資料流程
  • 整合 AWS Glue、Athena 和 S3 進行資料轉換和分析
  • 使用 ChatGPT 加速學習並自動化重複性任務
  • 透過 GitHub Copilot 實作 Vibe 編碼,透過簡單的自然語言對話建立資料管道。

涵蓋的工具和技術

Hadoop • Spark • Hive • PySpark • Scala • Databricks • Delta Lake • NiFi • AWS Glue • Athena • PostgreSQL • IntelliJ • Maven • PyCharm

本課程適合哪些人

  • 想成為資料工程師的初學者
  • 希望轉型大數據領域的軟體或 SQL 開發人員
  • 想要了解資料管道的資料分析師或科學家
  • 以及任何準備資料工程師職位或面試的人員

先決條件

  • 無需任何程式設計經驗——您將從零開始學習 Python 和 Scala。
  • 具備資料庫和 SQL 的基礎知識會有所幫助,但並非必要。

學習成果

完成本大師班後,您將:

  • 理解大數據和分散式計算概念
  • 在雲端平台上建置和部署 Spark 和 NiFi 資料管道
  • 熟練使用 Databricks、Delta Lake 和 AWS Glue
  • 應用日誌記錄、測試、錯誤處理和效能調優的最佳實踐
  • 具備豐富的實務經驗,能夠勝任實際的資料工程職位

本課程採用高品質的人工智慧產生的文字轉語音旁白,以配合強大的視覺效果,提升您的學習體驗。

目標受眾

  • 適合想要學習大數據的初學者,也適合希望轉型從事大數據相關工作的有經驗人士。
  • 也適合想要學習如何在實際工作中編寫程式碼的大數據初學者。

講師簡介

FutureX Skills FutureX Skills

歡迎來到 FutureXSkills,我們專注於打造高品質的影片內容,協助資料工程師和資料科學家提陞技能。我們在 Udemy 平台擁有超過 6 萬名學員,我們引以為傲的是,我們提供的課程均採用簡明易懂、循序漸進的教學方法,深受好評。

我們的課程和影片面向所有程度的學員,從初學者到專家,旨在幫助您加深對資料工程和資料科學概念的理解。

我們經驗豐富的講師和數據專家團隊不懈地努力,製作易於理解和掌握的影片。我們透過清晰的講解、視覺化的輔助工具和真實案例,讓複雜的主題更容易理解。我們的影片內容涵蓋廣泛的主題,包括機器學習和大數據技術,旨在幫助您全面深入地理解每個主題。

字幕:英文

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

  • Udemy 永久擁有課程 🍀 大多課程約 NT350 (點擊看優惠)
  • 年訂閱每月 NT350 優惠 ( ⏳現在訂閱有更惠價價 NT262/月 ) 🌈悠遊 Udemy 的 28000+ 門課,最大化學習 ( 原價 NT635/月 )
  • Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
  • 手機上點選優惠連結看到的價格比電腦上看到的貴
  • $代表當地貨幣, 如在台灣為 NT
  • 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現

報名參加課程

Sponsored by Udemy


也許你會有興趣

不受 FB 演算法影響,歡迎透過 e-mail 訂閱網站更新

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料

由 WordPress.com 建置.

Up ↑

探索更多來自 Soft & Share 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

繼續閱讀