fbpx

使用 Java 整合 Apache Spark 課程

通過10多個動手做實例,了解如何使用 Apache Spark 分析大型資料集。 把你的大數據技能提升到一個新的水平。

課程長度 3.5 個小時,你會學到

  • Apache Spark 架構概述。
  • 使用 Apache Spark 的主要抽象層,彈性分散式資料集(RDD) 來處理和分析大型資料集。
  • 使用 RDD transformations 和 actions 以及 Spark SQL 開發 Apache Spark 2.0 應用程 式。
  • 透過 Amazon 的 Elastic MapReduce 服務在 Hadoop YARN 叢集上擴展 Spark 應用程式。
  • 使用 Datasets 和 DataFrames 分析結構化和半結構化資料,並對 Spark SQL 的全面了解。
  • 透過廣播變數和累加器在 Apache Spark 叢集上的不同節點之間共享資訊。
  • 透過 partitioning,caching 和 persisting RDD來優化和調整 Apache Spark 作業的進階技術。
  • 使用 Apache Spark 在該領域的最佳實踐。

課程網址 ♥找優惠折扣碼?

spark

Sponsored by Udemy

也許你會有興趣

喜歡我們的分享嗎?使用以下的社群分享按鈕分享給你的朋友吧!

DevOps 和開發者的完整 Docker 課程

以前在部署 Web 應用程式往往要準備兩台以上的機器,一台是開發使用,一台是測試用,另一台則是最後上線使用,如何確保這幾台伺服器的環境一致是一項難題,因為開發出來的程式可能因為不同作業系統中安裝的公用程式庫版本而產生問題。如果你問我這幾年在這方面技術最大的巨變大概就是-容器化的技術,這項技術出現讓我的思維可要改變許多,例如 Autobuild 的結果也許不是一個執行檔,而是一個 Docker 映像檔案,裡面包含所有跟這個程式相依的部分,所以就不用擔心 QA 人員因為作業系統環境的問題與開發人員來回的溝通,可以將省下的時間專注於解決需求的問題,所以 IT 人員或是開發者要跟上時代,Docker 容器技術可是必學課程。

Continue reading “DevOps 和開發者的完整 Docker 課程”

開發者和 DevOps 工程師的完整 Jenkins 課程

Jenkins 最令人激賞的應該就是它支援許多 plugin ,可以使用第三方開發的 plugin 來擴充 Jenkins 的功能,這堂課還包含了 Jenkins 2.0 最新的 pipelines 功能,Pipelines 是 Jenkins 2.0的精髓所在,是幫助Jenkins實現Continuous Integration 到 Continuous Delivery 的關鍵推手。Pipeline 可以將將原本獨立運行於單個或者多個的任務連接起來,實現單個任務難以完成的複雜發佈流程。

简体中文课程介绍

Continue reading “開發者和 DevOps 工程師的完整 Jenkins 課程”

Powered by WordPress.com.

Up ↑