fbpx

使用 Java 整合 Apache Spark 課程

通過10多個動手做實例,了解如何使用 Apache Spark 分析大型資料集。 把你的大數據技能提升到一個新的水平。

課程長度 3.5 個小時,你會學到

  • Apache Spark 架構概述。
  • 使用 Apache Spark 的主要抽象層,彈性分散式資料集(RDD) 來處理和分析大型資料集。
  • 使用 RDD transformations 和 actions 以及 Spark SQL 開發 Apache Spark 2.0 應用程 式。
  • 透過 Amazon 的 Elastic MapReduce 服務在 Hadoop YARN 叢集上擴展 Spark 應用程式。
  • 使用 Datasets 和 DataFrames 分析結構化和半結構化資料,並對 Spark SQL 的全面了解。
  • 透過廣播變數和累加器在 Apache Spark 叢集上的不同節點之間共享資訊。
  • 透過 partitioning,caching 和 persisting RDD來優化和調整 Apache Spark 作業的進階技術。
  • 使用 Apache Spark 在該領域的最佳實踐。

課程網址 ♥找優惠折扣碼?

spark

Sponsored by Udemy

也許你會有興趣

喜歡我們的分享嗎?使用以下的社群分享按鈕分享給你的朋友吧!

DevOps 和開發者的完整 Docker 課程

以前在部署 Web 應用程式往往要準備兩台以上的機器,一台是開發使用,一台是測試用,另一台則是最後上線使用,如何確保這幾台伺服器的環境一致是一項難題,因為開發出來的程式可能因為不同作業系統中安裝的公用程式庫版本而產生問題。如果你問我這幾年在這方面技術最大的巨變大概就是-容器化的技術,這項技術出現讓我的思維可要改變許多,例如 Autobuild 的結果也許不是一個執行檔,而是一個 Docker 映像檔案,裡面包含所有跟這個程式相依的部分,所以就不用擔心 QA 人員因為作業系統環境的問題與開發人員來回的溝通,可以將省下的時間專注於解決需求的問題,所以 IT 人員或是開發者要跟上時代,Docker 容器技術可是必學課程。

Continue reading “DevOps 和開發者的完整 Docker 課程”

Powered by WordPress.com.

Up ↑