精通 Hadoop、Spark(使用 PySpark 和 Scala)、AWS Glue、Databricks、Delta Lake 和 NiFi。建造真實專案和 ETL 流水線。
從這 16.5 小時的課程,你會學到
- 使用 Python 和 Scala 解決實際應用案例
- Spark Scala 和 PySpark 實際編碼框架
- 使用 Scala 和 Python 實現實際編碼最佳實踐、日誌記錄、錯誤處理和設定管理
- 基於 AWS Glue、Athena 和 S3 的無伺服器大數據解決方案
要求
學生應具備一定的程式設計基礎及SQL查詢知識。
課程說明
透過真實專案的實作操作,成為合格的資料工程師!
資料工程大師班將協助您勝任資料工程師的實際工作,課程涵蓋從 Hadoop 和 Spark 到 AWS Glue、Databricks、Delta Lake 和 Apache NiFi 等所有現代資料工程生態系統。
數據工程是所有數據驅動型組織的基石,也是分析、人工智慧和商業智慧的根本。在本課程中,您將掌握如何使用當今最熱門的大數據工具來收集、處理、儲存和分析大規模資料。
透過循序漸進的實作操作和真實項目,您將使用 Hadoop、Spark、Databricks 和 NiFi 建立端到端的資料管道,並同時運用 Python (PySpark) 和 Scala 語言。
您還將學習專業的編碼技巧,包括日誌記錄、錯誤處理、單元測試和組態管理,從而像行業資料工程師一樣編寫程式碼。
透過 Apache NiFi,您將超越傳統的 ETL 流程。您將學習如何設計、自動化和監控系統間的資料流,並了解 NiFi 在現代雲端架構中的定位。
課程結束時,您將能夠自信地使用雲端平台、資料湖和 ETL 管道,並掌握如何利用 ChatGPT 和其他生成式 AI 工具來提高生產力、自動化重複性任務,並在 AI 驅動的世界中進行批判性思考。
您將學到什麼
- 大數據與 Hadoop 基礎
- 使用 Google Dataproc 創建免費的 Hadoop 和 Spark 集群
- Hadoop 實戰:HDFS 與 Hive 項目
- Python 與 PySpark 大數據基礎
- PySpark RDD、SQL 與 DataFrame 操作實戰
- Spark SQL 和暫存檢視 – 使用 SQL 查詢 DataFrame
- 使用 PySpark 和 Hive 建置端到端項目
- Scala 基礎和 Spark Scala DataFrame
- 使用 IntelliJ 和 Maven 建立真實的 Spark Scala 項目
- Databricks 和 Delta Lakehouse 基礎
- 管理 Delta 表 – 版本控制、恢復和時間旅行
- Unity Catalog Volumes – 檔案儲存與操作
- 使用 Delta Cache 優化 Spark 查詢
- 使用 Hive、PostgreSQL 和 Spark 建立完整的資料管道
- PySpark 和 Scala 應用程式的日誌記錄、錯誤處理和單元測試
- Apache NiFi 基礎 – 建置、自動化和監控資料流程
- 整合 AWS Glue、Athena 和 S3 進行資料轉換和分析
- 使用 ChatGPT 加速學習並自動化重複性任務
- 透過 GitHub Copilot 實作 Vibe 編碼,透過簡單的自然語言對話建立資料管道。
涵蓋的工具和技術
Hadoop • Spark • Hive • PySpark • Scala • Databricks • Delta Lake • NiFi • AWS Glue • Athena • PostgreSQL • IntelliJ • Maven • PyCharm
本課程適合哪些人
- 想成為資料工程師的初學者
- 希望轉型大數據領域的軟體或 SQL 開發人員
- 想要了解資料管道的資料分析師或科學家
- 以及任何準備資料工程師職位或面試的人員
先決條件
- 無需任何程式設計經驗——您將從零開始學習 Python 和 Scala。
- 具備資料庫和 SQL 的基礎知識會有所幫助,但並非必要。
學習成果
完成本大師班後,您將:
- 理解大數據和分散式計算概念
- 在雲端平台上建置和部署 Spark 和 NiFi 資料管道
- 熟練使用 Databricks、Delta Lake 和 AWS Glue
- 應用日誌記錄、測試、錯誤處理和效能調優的最佳實踐
- 具備豐富的實務經驗,能夠勝任實際的資料工程職位
本課程採用高品質的人工智慧產生的文字轉語音旁白,以配合強大的視覺效果,提升您的學習體驗。
目標受眾
- 適合想要學習大數據的初學者,也適合希望轉型從事大數據相關工作的有經驗人士。
- 也適合想要學習如何在實際工作中編寫程式碼的大數據初學者。
講師簡介
FutureX Skills FutureX Skills
歡迎來到 FutureXSkills,我們專注於打造高品質的影片內容,協助資料工程師和資料科學家提陞技能。我們在 Udemy 平台擁有超過 6 萬名學員,我們引以為傲的是,我們提供的課程均採用簡明易懂、循序漸進的教學方法,深受好評。
我們的課程和影片面向所有程度的學員,從初學者到專家,旨在幫助您加深對資料工程和資料科學概念的理解。
我們經驗豐富的講師和數據專家團隊不懈地努力,製作易於理解和掌握的影片。我們透過清晰的講解、視覺化的輔助工具和真實案例,讓複雜的主題更容易理解。我們的影片內容涵蓋廣泛的主題,包括機器學習和大數據技術,旨在幫助您全面深入地理解每個主題。
字幕:英文
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- Udemy 永久擁有課程 🍀 大多課程約 NT350 (點擊看優惠)
- ✨年訂閱每月 NT350 優惠 ( ⏳現在訂閱有更惠價價 NT262/月 ) 🌈悠遊 Udemy 的 28000+ 門課,最大化學習 ( 原價 NT635/月 )
- Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- $代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現
報名參加課程

也許你會有興趣
- Spark 相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣!
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
發表迴響