運用 Scala 的 Apache Spark - 親手做大數據分析

本課程的講師曾於 Amazon 和 IMDb 9 年，開發和管理過自動向億萬客戶提供產品和電影推薦的技術，且擁有分散式計算、資料探勘和機器學習等領域擁有 17 項專利。本課程將帶你深入 20多個案例(如電影評等來查找彼此相似的電影)，由簡到繁，在自己的系統或使用 Amazon 的 Elastic MapReduce 雲端服務，運用 Scala、Apache Spark、Hadoop 親手分析大數據！

從這 9 小時的課程，你會學到

將大數據分析問題框架架構為 Apache Spark 腳本
使用 Scala 程式語言開發分散式程式
通過切割( partitioning )、快取( caching )和其它技術優化 Spark 作業
在 Hadoop 叢集上建構、佈署和運行 Spark 腳本
使用 Spark Streaming 處理持續的資料流
使用 SparkSQL 和 DataFrames 轉換結構化資料
使用 GraphX 走訪和分析圖形結構
在 Spark 上使用機器學習分析海量資料集

需求

需有一些程式設計或寫腳本的經驗。本課程有包含 Scala 的快速上手課程，但你需要有程式設計的基礎才能跟得上。
你將需要一台桌上型電腦和網路連接。本課程是在 Windows 上操作，但你如果喜歡 MacOS 或 Linux ，可以使用相同的工具做到。
該課程所需的軟體是免費提供的，我將引導你下載並安裝它。

課程說明

新的！針對 Spark 3、IntelliJ、結構化流進行了完全更新和重新錄製，並且更加關注 DataSet API。

“大數據”分析是一項非常有價值的技術，本課程將教你大數據中最熱門的技術：Apache Spark。包括 Amazon、EBay、NASA JPL 和 Yahoo等的雇主都使用 Spark 跨越容錯的Hadoop叢集快速從大量數據集中擷取出意義。你將學習相同的技術，在家中使用自己的 Windows 系統。這將比你想像的容易些，且你將跟 Amazon 和 IMDB 的前任工程師和高級經理學習。

使用 Scala 程式語言時，Spark 工作效率最佳，本課程包含 Scala 的快速上手課程，讓你加速進入狀況。對於那些更熟悉 Python 的人來說，也有同樣主題的 Python 版課程：“Taming Big Data with Apache Spark and Python – Hands On!”。

透過本課程中 20 多個動手做實例，然後將其擴展到雲端服務上，學習並精通將資料分析問題框架為 Apache Spark腳本的藝術。

了解 Spark 的彈性分佈式資料儲存的概念
獲得 Scala 程式語言的快速上手課程
使用 Scala 快速開發和執行 Spark 任務
將復雜的分析問題轉化為迭代或多階段 Spark 腳本
使用 Amazon 的 Elastic MapReduce服務擴展到更大的數據集
了解Hadoop YARN如何在計算叢集之間分配 Spark
練習使用其他 Spark 技術，如 Spark SQL、DataFrames、DataSet、Spark Streaming 和 GraphX

在本課程結束時，你將在幾分鐘內運行程式碼，在雲端分析數十億字節 (gigabytes) 的資訊。

我們一路上有一些好玩的案例。你將從一些簡單的例子熱身，使用 Spark 來分析電影評分數據和一本書上的文字。一旦你掌握了基礎知識，我們將轉移到一些更複雜和有趣的任務。我們將使用一百萬部電影評級來查找彼此相似的電影，甚至你可能會發現一些喜歡的新電影！我們將分析一個超級英雄的社交圖，並了解最“流行”的超級英雄是誰 – 並開發一個系統來找到超級英雄之間的“分離度”。所有 Marvel 超級英雄和 SpiderMan 間的連接都在幾度內呢？你會找到答案。

本課程非常實際; 大部分時間你都會跟著老師一起編寫、分析和執行真實的程式碼，不管在自己的系統或使用 Amazon 的 Elastic MapReduce雲端服務。課程包括 7.5 小時的影視內容，超過20個逐漸複雜的真實案例，讓你親手做、執行和自我學習。你可按自己的節奏和時間表來學習。本課程最後還介紹了其他基於 Spark 的技術，包括 Spark SQL、Spark Streaming 和 GraphX。

現在就進來享受這堂課吧！

目標受眾

想要將技能擴展到叢集大數據處理領域的軟體工程師
如果你以前沒有寫過程式或腳本的經驗，最好先參加一個程式入門課程

講師介紹

Sundog Education by Frank Kane 教授一百萬名學習者機器學習、人工智慧、AWS 和資料工程！

Sundog Education 的使命是讓世界各地的人們都能輕鬆掌握資料工程、資料科學、生成式 AI、AWS 和機器學習等領域極具價值的職業技能。我們匯集了一群專家講師，以人人都能負擔得起的價格，與您分享我們在這些新興領域的知識。

Sundog Education 由 Frank Kane 領導，隸屬於 Frank 的公司 Sundog Software LLC。 Frank 曾在 Amazon 和 IMDb 工作 9 年，負責開發和管理為數億用戶提供產品和電影推薦的自動化技術。作為 Amazon 的“標竿人物”，他擁有公司招聘決策的最終決定權，面試過 1000 多名候選人，並最終聘用和管理了數百名員工。他在分散式運算、資料探勘和機器學習領域擁有 26 項已授權專利。 2012 年，Frank 離開Amazon，創立了自己的公司 Sundog Software，該公司已為全球超過一百萬名學員提供機器學習、資料工程和工程師管理方面的培訓。

Frank Kane Sundog Education 創辦人

Frank 曾在 Amazon 和 IMDb 工作了9年，負責開發和管理為數億用戶提供產品和電影自動推薦的技術。作為Amazon 的“標竿人物”，他對公司所有招聘決策擁有最終決定權，面試過 1000 多名候選人，並最終招聘和管理了數百名員工。他在分散式運算、資料探勘和機器學習領域擁有17項已獲授權的專利。 2012年，Frank 離開 Amazon，創立了自己的公司 Sundog Software，該公司已為全球超過一百萬名學員提供機器學習、資料工程和工程師管理方面的培訓。

由於學員人數眾多，我無法回覆私訊；請在課程的問答區提問。感謝你的體諒。