運用 Scala 和 Apache Spark 2 親手做大數據分析

Contents

本課程的講師曾於 Amazon 和 IMDb 9 年，開發和管理過自動向億萬客戶提供產品和電影推薦的技術，且擁有分散式計算、資料探勘和機器學習等領域擁有 17 項專利。本課程將帶你深入 20多個案例(如電影評等來查找彼此相似的電影)，由簡到繁，在自己的系統或使用 Amazon 的 Elastic MapReduce 雲端服務，運用 Scala、Apache Spark、Hadoop 親手分析大數據！

從這 9 小時的課程，你會學到

將大數據分析問題框架架構為 Apache Spark 腳本
使用 Scala 程式語言開發分散式程式
通過切割( partitioning )、快取( caching )和其它技術優化 Spark 作業
在 Hadoop 叢集上建構、佈署和運行 Spark 腳本
使用 Spark Streaming 處理持續的資料流
使用 SparkSQL 和 DataFrames 轉換結構化資料
使用 GraphX 走訪和分析圖形結構

需求

需有一些程式設計或寫腳本的經驗。本課程有包含 Scala 的快速上手課程，但你需要有程式設計的基礎才能跟得上。
你將需要一台桌上型電腦和網路連接。本課程是在 Windows 上操作，但你如果喜歡 MacOS 或 Linux ，可以使用相同的工具做到。
該課程所需的軟體是免費提供的，我將引導你下載並安裝它。

課程說明

最新! 已就 Spark 3.0 更新!

“大數據”分析是一項非常有價值的技術，本課程將教你大數據中最熱門的技術：Apache Spark。包括 Amazon、EBay、NASA JPL 和 Yahoo等的雇主都使用 Spark 跨越容錯的Hadoop叢集快速從大量數據集中擷取出意義。你將學習相同的技術，在家中使用自己的 Windows 系統。這將比你想像的容易些，且你將跟 Amazon 和 IMDB 的前任工程師和高級經理學習。

使用 Scala 程式語言時，Spark 工作效率最佳，本課程包含 Scala 的快速上手課程，讓你加速進入狀況。對於那些更熟悉 Python 的人來說，也有同樣主題的 Python 版課程：“Taming Big Data with Apache Spark and Python – Hands On!”。

透過本課程中 20 多個動手做實例，然後將其擴展到雲端服務上，學習並精通將資料分析問題框架為 Apache Spark腳本的藝術。

了解 Spark 的彈性分佈式資料儲存的概念
獲得 Scala 程式語言的快速上手課程
使用 Scala 快速開發和執行 Spark 任務
將復雜的分析問題轉化為迭代或多階段 Spark 腳本
使用 Amazon 的 Elastic MapReduce服務擴展到更大的數據集
了解Hadoop YARN如何在計算叢集之間分配 Spark
練習使用其他 Spark 技術，如 Spark SQL、DataFrames、DataSet、Spark Streaming 和 GraphX

在本課程結束時，你將在幾分鐘內運行程式碼，在雲端分析數十億字節 (gigabytes) 的資訊。

我們一路上有一些好玩的案例。你將從一些簡單的例子熱身，使用 Spark 來分析電影評分數據和一本書上的文字。一旦你掌握了基礎知識，我們將轉移到一些更複雜和有趣的任務。我們將使用一百萬部電影評級來查找彼此相似的電影，甚至你可能會發現一些喜歡的新電影！我們將分析一個超級英雄的社交圖，並了解最“流行”的超級英雄是誰 – 並開發一個系統來找到超級英雄之間的“分離度”。所有 Marvel 超級英雄和 SpiderMan 間的連接都在幾度內呢？你會找到答案。

本課程非常實際; 大部分時間你都會跟著老師一起編寫、分析和執行真實的程式碼，不管在自己的系統或使用 Amazon 的 Elastic MapReduce雲端服務。課程包括 7.5 小時的影視內容，超過20個逐漸複雜的真實案例，讓你親手做、執行和自我學習。你可按自己的節奏和時間表來學習。本課程最後還介紹了其他基於 Spark 的技術，包括 Spark SQL、Spark Streaming 和 GraphX。

現在就進來享受這堂課吧！

目標受眾

想要將技能擴展到叢集大數據處理領域的軟體工程師
如果你以前沒有寫過程式或腳本的經驗，最好先參加一個程式入門課程

講師介紹

Sundog Education by Frank Kane 為世界提供大數據和機器學習的培訓

Sundog Education 的使命是提供大數據、資料科學和機器學習方面的做出非常寶貴的職能讓全世界的每個人都能接觸學習。我們的專家教練團隊與你分享我們在這些新興領域的知識，以任何人都可以接受的價格。

Sundog Education 由 Frank Kane 領導，由 Frank 的公司 Sundog Software LLC 擁有。Frank 在 Amazon 和 IMDb 工作了9年，開發和管理自動向億萬客戶提供產品和電影推薦的技術。 Frank 在分佈式計算、數據採礦和機器學習等領域擁有17項專利。 2012年，弗蘭克離開了自己的成功公司Sundog Software，該公司專注於虛擬現實環境技術，並教他人大數據分析。

Frank Kane 創辦人, Sundog Education ( 更多講師課程介紹 )

Frank 在 Amazon 和 IMDb 工作了9年，開發和管理自動向億萬客戶提供產品和電影推薦的技術。 Frank在分佈式計算、資料探勘和機器學習等領域擁有17項專利。 2012年，Frank 離職並開始了自己的成功事業，創立 Sundog Software，該公司專注於虛擬現實環境技術，並教他人大數據分析。