Contents
大數據深入課程 – Apache Spark、Hadoop、Sqoop、Flume 和 Apache Hive、MongoDB 和大數據叢集( Big Data Cluster )設置
從這 11.5 小時的課程，你會學到
- Hadoop 分佈式檔案系統和命令。
- sqoop 命令的生命週期。
- sqoop Import (輸入)命令將資料從 Mysql 遷移到 HDFS。
- Sqoop Import (輸入)命令將資料從 Mysql 遷移到 Hive。
- 在輸入資料時處理各種檔案格式、壓縮、檔案分隔符、where 子句和查詢。
- 了解拆分查詢和邊界查詢。
- 使用增量方式將資料從 Mysql 遷移到 HDFS。
- 使用 sqoop Export (輸出)將資料從 HDFS 遷移到 Mysql。
- 使用 sqoop Export (輸出)將資料從 Hive 遷移到 Mysql。
- 了解 Flume 架構。
- 使用 Flume，從 Twitter 提取資料並保存到 HDFS。
- 使用 Flume，從 netcat 中提取資料並保存到 HDFS。
- 使用 Flume，從 exec 中提取資料並顯示在控制台上。
- Flume 攔截器。
要求
語言理解能力
課程說明
在本課程中，您將從學習什麼是 hadoop 分佈式檔案系統以及使用 Hadoop 檔案系統所需的最常見 hadoop 命令開始。
然後您會學習到 Sqoop Import
- 了解 sqoop 命令的生命週期。
- 使用 sqoop import 命令將資料從 Mysql 遷移到 HDFS。
- 使用 sqoop import 命令將資料從 Mysql 遷移到 Hive。
- 在輸入資料時使用各種檔案格式、壓縮、檔案分隔符、where 子句和查詢。
- 了解拆分查詢和邊界查詢。
- 使用增量方式將資料從 Mysql 遷移到 HDFS。
接著，您將學習 Sqoop Export 來遷移資料。
- 什麼是 sqoop 輸出
- 使用 sqoop export，將資料從 HDFS 遷移到 Mysql。
- 使用 sqoop export，將資料從 Hive 遷移到 Mysql。
更進一步，您將了解 Apache Flume
- 了解 Flume 架構。
- 使用 Flume ，從 Twitter 提取資料並保存到 HDFS。
- 使用 Flume ，從 netcat 中提取資料並保存到 HDFS。
- 使用 Flume ，從 exec 中提取資料並顯示在控制台上。
- 描述 Flume 攔截器並查看使用攔截器的示例。
- Flume 多代理
- Flume 合併( Consolidation )。
在下一節中，我們將了解 Apache Hive
- Hive 介紹
- 外部和託管表
- 使用不同的文件 – Parquet、Avro
- 壓縮
- Hive 分析
- 配置單元字串函數
- Hive 日期函數
- 分區
- 分桶
您將了解 Apache Spark
- Spark 介紹
- 叢集( Cluster )概覽
- RDD
- DAG / 階段 / 任務
- 行動與轉變
- 轉型與行動示例
- Spark 數據幀
- Spark 數據幀 – 使用差異檔案格式和壓縮
- 資料框( Dataframes ) API
- Spark SQL
- 資料框( Dataframe )示例
- Spark 與 Cassandra 整合
- 在 Intellij IDE 上運行 Spark
- 在 EMR 上運行 Spark
目標受眾
任何想要學習大數據詳情的人
講師簡介
Navdeep Kaur 高級講師 | TechnoAvengers.com（創始人）
Navdeep 是 Udemy 著名的高級講師之一。 Navdeep 在不同技術和領域擁有 12 年的行業經驗。 她擁有 9 多門課程和 40,000 多名學生，評分為 4.5*，是大數據和雲端領域的領先講師之一。
快樂學習！
英文字幕：有
- 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To
🙌 如何有效率地管理 ChatGPT 輸出與整理自己的 ChatGPT 提示( prompts )使用情境？LN+ for Web 已經針對 ChatGPT 的整合做最佳化
🙌 讓 Notion AI 成為你線上學習的得力助手，詳細操作請參考 – 使用 Notion AI 功能來為 udemy 的課程做摘要總結
- 點選這個✨優惠連結 課程特價 | Udemy 永久擁有課程 NT370 起( 請登入 Udemy｜按過“優惠連結”後到”報名參加課程“連結網頁做更新 ）
- Udemy 現在越來越多課程有中文字幕，請參考 Soft & Share 中文線上課程
- 手機上點選優惠連結看到的價格比電腦上看到的貴
- ＄代表當地貨幣, 如在台灣為 NT
- 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上，請稍等刷新或重新點選就會出現
報名參加課程
也許你會有興趣
- 大數據相關線上課程
- ★英語學習地圖 – 練好英文是最大的學習槓桿
- 如何找工作學習地圖 – 找工作不要靠運氣！
- 從 Soft & Share 各種社團頻道挑選你喜歡的加入
你必須登入才能發表留言。