fbpx

掌握大數據 – Apache Spark / Hadoop / Sqoop / Hive / Flume / Mongo

Contents

大數據深入課程 – Apache Spark、Hadoop、Sqoop、Flume 和 Apache Hive、MongoDB 和大數據叢集( Big Data Cluster )設置

從這 11.5 小時的課程,你會學到

  • Hadoop 分佈式檔案系統和命令。
  • sqoop 命令的生命週期。
  • sqoop Import (輸入)命令將資料從 Mysql 遷移到 HDFS。
  • Sqoop Import (輸入)命令將資料從 Mysql 遷移到 Hive。
  • 在輸入資料時處理各種檔案格式、壓縮、檔案分隔符、where 子句和查詢。
  • 了解拆分查詢和邊界查詢。
  • 使用增量方式將資料從 Mysql 遷移到 HDFS。
  • 使用 sqoop Export (輸出)將資料從 HDFS 遷移到 Mysql。
  • 使用 sqoop Export (輸出)將資料從 Hive 遷移到 Mysql。
  • 了解 Flume 架構。
  • 使用 Flume,從 Twitter 提取資料並保存到 HDFS。
  • 使用 Flume,從 netcat 中提取資料並保存到 HDFS。
  • 使用 Flume,從 exec 中提取資料並顯示在控制台上。
  • Flume 攔截器。

要求

語言理解能力

課程說明

在本課程中,您將從學習什麼是 hadoop 分佈式檔案系統以及使用 Hadoop 檔案系統所需的最常見 hadoop 命令開始。

然後您會學習到 Sqoop Import

  • 了解 sqoop 命令的生命週期。
  • 使用 sqoop import 命令將資料從 Mysql 遷移到 HDFS。
  • 使用 sqoop import 命令將資料從 Mysql 遷移到 Hive。
  • 在輸入資料時使用各種檔案格式、壓縮、檔案分隔符、where 子句和查詢。
  • 了解拆分查詢和邊界查詢。
  • 使用增量方式將資料從 Mysql 遷移到 HDFS。

接著,您將學習 Sqoop Export 來遷移資料。

  • 什麼是 sqoop 輸出
  • 使用 sqoop export,將資料從 HDFS 遷移到 Mysql。
  • 使用 sqoop export,將資料從 Hive 遷移到 Mysql。

更進一步,您將了解 Apache Flume

  • 了解 Flume 架構。
  • 使用 Flume ,從 Twitter 提取資料並保存到 HDFS。
  • 使用 Flume ,從 netcat 中提取資料並保存到 HDFS。
  • 使用 Flume ,從 exec 中提取資料並顯示在控制台上。
  • 描述 Flume 攔截器並查看使用攔截器的示例。
  • Flume 多代理
  • Flume 合併( Consolidation )。

在下一節中,我們將了解 Apache Hive

  • Hive 介紹
  • 外部和託管表
  • 使用不同的文件 – Parquet、Avro
  • 壓縮
  • Hive 分析
  • 配置單元字串函數
  • Hive 日期函數
  • 分區
  • 分桶

您將了解 Apache Spark

  • Spark 介紹
  • 叢集( Cluster )概覽
  • RDD
  • DAG / 階段 / 任務
  • 行動與轉變
  • 轉型與行動示例
  • Spark 數據幀
  • Spark 數據幀 – 使用差異檔案格式和壓縮
  • 資料框( Dataframes ) API
  • Spark SQL
  • 資料框( Dataframe )示例
  • Spark 與 Cassandra 整合
  • 在 Intellij IDE 上運行 Spark
  • 在 EMR 上運行 Spark

目標受眾

任何想要學習大數據詳情的人

講師簡介

Navdeep Kaur 高級講師 | TechnoAvengers.com(創始人)

Navdeep 是 Udemy 著名的高級講師之一。 Navdeep 在不同技術和領域擁有 12 年的行業經驗。 她擁有 9 多門課程和 40,000 多名學生,評分為 4.5*,是大數據和雲端領域的領先講師之一。

快樂學習!

英文字幕:有

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

  • 點選這個優惠連結 課程特價 | Udemy 永久擁有課程 NT390 起( 在電腦瀏覽器登入,點選“優惠連結”後再回想要的課程介紹中點選“報名參加課程”即可取得 )
  • Udemy 現在越來越多課程有中文字幕,請參考 Soft & Share 中文線上課程
  • 手機上點選優惠連結看到的價格比電腦上看到的貴
  • $代表當地貨幣, 如在台灣為 NT
  • 點選”報名參加課程”有可能因瀏覽器 cookies 轉久一點或回報錯誤而無法連上,請稍等刷新或重新點選就會出現

報名參加課程

Sponsored by Udemy


Lingoda

也許你會有興趣

不受 FB 演算法影響,歡迎透過 e-mail 訂閱網站更新

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: