fbpx

使用 Java 整合 Apache Spark 課程

通過10多個動手做實例,了解如何使用 Apache Spark 分析大型資料集。 把你的大數據技能提升到一個新的水平。

課程長度 3.5 個小時,你會學到

  • Apache Spark 架構概述。
  • 使用 Apache Spark 的主要抽象層,彈性分散式資料集(RDD) 來處理和分析大型資料集。
  • 使用 RDD transformations 和 actions 以及 Spark SQL 開發 Apache Spark 2.0 應用程 式。
  • 透過 Amazon 的 Elastic MapReduce 服務在 Hadoop YARN 叢集上擴展 Spark 應用程式。
  • 使用 Datasets 和 DataFrames 分析結構化和半結構化資料,並對 Spark SQL 的全面了解。
  • 透過廣播變數和累加器在 Apache Spark 叢集上的不同節點之間共享資訊。
  • 透過 partitioning,caching 和 persisting RDD來優化和調整 Apache Spark 作業的進階技術。
  • 使用 Apache Spark 在該領域的最佳實踐。

課程網址 ♥找優惠折扣碼?

spark

Sponsored by Udemy

也許你會有興趣

喜歡我們的分享嗎?使用以下的社群分享按鈕分享給你的朋友吧!

運用 Scala 和 Apache Spark 2 親手做大數據分析

本課程的講師曾於 Amazon 和 IMDb 9 年,開發和管理過自動向億萬客戶提供產品和電影推薦的技術,且擁有分散式計算 、資料探勘和機器學習等領域擁有 17 項專利。 本課程將帶你深入 20多個案例(如電影評等來查找彼此相似的電影),由簡到繁,在自己的系統或使用 Amazon 的 Elastic MapReduce 雲端服務,運用 Scala、Apache Spark、Hadoop 親手分析大數據!

Continue reading “運用 Scala 和 Apache Spark 2 親手做大數據分析”

用 Spark Streaming 和 Scala 馴服大數據 – 動手做!

大數據分析有兩種,一種是收集了很多資料後再進行分析,或是分析程式使用排程的方式,在晚上執行然後隔天看結果,另一種就是本課程要教你的-即時分析,當資料不斷產生的時候馬上進行分析,並用這些即時的串流資料做機器學習訓練模型與預測

Continue reading “用 Spark Streaming 和 Scala 馴服大數據 – 動手做!”

使用 Apache Spark 和 Python 來處理大數據 – 實際動手做!

講師 Frank 在 Amazon 和 IMDb ( 電影影評網站 ) 共有 9 年工作經驗,而且在分散式計算,資料探勘和機器學習領域擁有17項專利,這堂課他會帶你動手做大數據分析,而且當然是使用 IMDb 的資料並且在 Amazon 的雲端上執行,共有 15 個實踐範例,上這堂課最好已經有 Python 基礎,如果你不要使用 Python,講師也有錄製另一個課程是使用 Scala 的版本

Continue reading “使用 Apache Spark 和 Python 來處理大數據 – 實際動手做!”

Powered by WordPress.com.

Up ↑