使用 Java 整合 Apache Spark 課程

Contents

通過10多個動手做實例，了解如何使用 Apache Spark 分析大型資料集。把你的大數據技能提升到一個新的水平。

課程長度 3.5 個小時，你會學到

Apache Spark 架構概述。
使用 Apache Spark 的主要抽象層，彈性分散式資料集（RDD) 來處理和分析大型資料集。
使用 RDD transformations 和 actions 以及 Spark SQL 開發 Apache Spark 2.0 應用程式。
透過 Amazon 的 Elastic MapReduce 服務在 Hadoop YARN 叢集上擴展 Spark 應用程式。
使用 Datasets 和 DataFrames 分析結構化和半結構化資料，並對 Spark SQL 的全面了解。
透過廣播變數和累加器在 Apache Spark 叢集上的不同節點之間共享資訊。
透過 partitioning，caching 和 persisting RDD來優化和調整 Apache Spark 作業的進階技術。
使用 Apache Spark 在該領域的最佳實踐。

要求

運行 Windows、OSX 或 Linux 的電腦
以前的 Java 程式技能
Java 8 經驗是首選，但不是必需的

課程說明

這門課程是關於什麼的：

本課程涵蓋有關使用 Java 的 Apache Spark 的所有基礎知識，並教授您使用 Java 開發 Spark 應用程式所需的一切知識。在本課程結束時，您將深入了解 Apache Spark 以及一般的大數據分析和操作技能，以幫助您的公司採用 Apache Spark 來構建大數據處理管道和數據分析應用程式。

本課程涵蓋 10 多個實踐大數據示例。您將學到有關如何將數據分析問題構建為 Spark 問題的寶貴知識。我們將一起學習示例，例如聚合來自不同來源的 NASA Apache 網路日誌；我們將通過查看加州的房地產數據來探索價格趨勢；我們會編寫Spark應用程式，通過Stack Overflow調查數據找出不同國家開發者的工資中位數；我們將開發一個系統來分析創客空間在英國不同地區的分佈情況。還有更多。

你將從本次講座中學到什麼：

特別是，您將學習：

Apache Spark 架構概述。
使用 RDD 轉換和操作以及 Spark SQL 使用 Java 開發 Apache Spark 2.0 應用程式。
使用 Apache Spark 的主要抽象、彈性分佈式資料集 (Resilient Distributed Datasets，RDD) 來處理和分析大型資料集。
深入研究通過分區、緩存和持久化 RDD 來優化和調整 Apache Spark 作業的高級技術。
通過 Amazon 的 Elastic MapReduce 服務在 Hadoop YARN 叢集上擴展 Spark 應用程式。
使用數據集和數據幀分析結構化和半結構化資料，並深入了解 Spark SQL。
通過廣播變量和累加器在 Apache Spark 叢集上的不同節點之間共享資訊。
在現場使用 Apache Spark 的最佳實踐。
大數據生態系統概述。

我們為什麼要學習 Apache Spark：

Apache Spark 賦予我們構建尖端應用程式的無限能力。就其對大數據世界的破壞而言，它也是過去十年中最引人注目的技術之一。

Spark 提供記憶體內叢集計算，極大地提高了迭代演算法和互動式資料探勘任務的速度。

Apache Spark 是下一代大數據處理引擎。

大量公司正在採用 Apache Spark 從海量資料集中提取意義，今天您可以直接在桌面上訪問相同的大數據技術。

Apache Spark 正在成為大數據工程師和數據科學家的必備工具。

關於作者：

自 2015 年以來，James 一直在幫助他的公司採用 Apache Spark 來構建他們的大數據處理管道和數據分析應用程式。

James 的公司通過在生產中採用 Apache Spark 獲得了巨大的收益。在本課程中，他將與您分享他多年在實際領域使用 Spark 的知識和最佳實踐。

為什麼選擇這門課程？

這門課程非常實用，James 付出了很多努力，不僅為您提供理論，還為您提供開發 Spark 應用程式的實際示例，您可以在自己的筆記本電腦上試用這些應用程式。

James 已將所有原始碼上傳到 Github，您可以在 Windows、MAC OS 或 Linux 上進行操作。