讓你在資料工程表現優異的全面實作大數據課程：Spark / Kafka / Hadoop / Flume / Hive / Sqoop / MongoDB。
從這 12 小時的課程，你會學到
- Hadoop 生態系、Sqoop、Flume、Hive
- 使用 Apache Spark 編寫程式碼的專業知識
- 學習 Kafka 基礎和使用 Kafka 連接器
- 學習在 MongoDB 中編寫查詢和客戶端
- 學習資料工程技術
要求
語言理解能力
課程說明
在本課程中，您將從學習什麼是 hadoop 分佈式檔案系統以及使用 Hadoop 檔案系統所需的最常見 hadoop 命令開始。
然後您會學習到 Sqoop Import
- 了解 sqoop 命令的生命週期。
- 使用 sqoop import 命令將資料從 Mysql 遷移到 HDFS。
- 使用 sqoop import 命令將資料從 Mysql 遷移到 Hive。
- 在輸入資料時使用各種檔案格式、壓縮、檔案分隔符、where 子句和查詢。
- 了解拆分查詢和邊界查詢。
- 使用增量方式將資料從 Mysql 遷移到 HDFS。
接著，您將學習 Sqoop Export 來遷移資料。
- 什麼是 sqoop 輸出
- 使用 sqoop export，將資料從 HDFS 遷移到 Mysql。
- 使用 sqoop export，將資料從 Hive 遷移到 Mysql。
更進一步，您將了解 Apache Flume
- 了解 Flume 架構。
- 使用 Flume ，從 Twitter 提取資料並保存到 HDFS。
- 使用 Flume ，從 netcat 中提取資料並保存到 HDFS。
- 使用 Flume ，從 exec 中提取資料並顯示在控制台上。
- 描述 Flume 攔截器並查看使用攔截器的示例。
- Flume 多代理
- Flume 合併( Consolidation )。
在下一節中，我們將了解 Apache Hive
- Hive 介紹
- 外部和託管表
- 使用不同的文件 – Parquet、Avro
- 壓縮
- Hive 分析
- 配置單元字串函數
- Hive 日期函數
- 分區
- 分桶
您將了解 Apache Spark
- Spark 介紹
- 叢集( Cluster )概覽
- RDD
- DAG / 階段 / 任務
- 行動與轉變
- 轉型與行動示例
- Spark 數據幀
- Spark 數據幀 – 使用差異檔案格式和壓縮
- 資料框( Dataframes ) API
- Spark SQL
- 資料框( Dataframe )示例
- Spark 與 Cassandra 整合
- 在 Intellij IDE 上運行 Spark
- 在 EMR 上運行 Spark
您將了解 Apache Kafka
- Kafka 架構
- 分區和偏移量
- Kafka 生產者和消費者
- Kafka SerDE
- Kafka 訊息
- Kafka 連接器
- 使用 Kafka 連接器攝取數據
您將了解 MongoDB
- MongoDB 用例
- CRUD (增刪改查)操作
- MongoDB 運算符
- 使用數組( Arrays )
- MongoDB 與 Spark
資料工程面試準備
- Sqoop 面試問題
- Hive 面試問題
- Spark 面試問題
- 資料工程常見問題
- 資料工程 真實專案問題。
目標受眾
- 想要詳細學習大數據的人
- 誰想成為資料工程師
講師簡介
Navdeep Kaur 高級講師 | TechnoAvengers.com（創始人）
Navdeep 是 Udemy 著名的高級講師之一。 Navdeep 在不同技術和領域擁有 14 年的行業經驗。 她擁有 9 門以上的課程和 60,000+名學生，評分為 4.5*，是大數據和雲端領域的領先講師之一。
快樂學習！
英文字幕：有
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
- Udemy 永久擁有課程 ⏳NT310 起特價中(點擊連結看更多)
- ✨年訂閱每月 NT350 🌈 悠遊 Udemy 的 26000+ 門課，最大化學習 ( 原價 NT635/月 )
- Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- ＄代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現
報名參加課程
也許你會有興趣
- 大數據相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣！
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
發表迴響