使用 Apache Spark 和 Python 來處理大數據 – 實際動手做!

講師 Frank 在 Amazon 和 IMDb ( 電影影評網站 ) 共有 9 年工作經驗,而且在分散式計算,資料探勘和機器學習領域擁有17項專利,這堂課他會帶你動手做大數據分析,而且當然是使用 IMDb 的資料並且在 Amazon 的雲端上執行,共有 15 個實踐範例,上這堂課最好已經有 Python 基礎,如果你不要使用 Python,講師也有錄製另一個課程是使用 Scala 的版本

從這 5 小時的課程,你會學到

  • 將大數據分析問題架構為 Spark 問題
  • 使用 Amazon 的 Elastic MapReduce 服務在具有 Hadoop YARN 的叢集上運行你的工作
  • 在桌上型電腦或是叢集上安裝和運行 Apache Spark
  • 使用 Spark 的彈性分散式資料集,透過多個 CPU 來處理和分析大型資料集合
  • 實現迭代演算法,例如使用 Spark 的廣度優先搜索
  • 使用 MLLib 機器學習庫來回答常見的資料探勘問題
  • 學習 Spark SQL 如何讓你使用結構化資料
  • 理解 Spark Streaming 如何讓你的處理即時連續傳輸的資料流
  • 調整和解決叢集上運行的大型作業
  • 使用廣播變數和累加器在 Spark 叢集上的節點之間共享資訊
  • 了解 GraphX 程式庫如何幫助解決網路分析問題

規定為何?

  • 使用個人電腦。本課程使用Windows,但示範程式碼也可以在Linux上正常工作。
  • 有一些程式設計或是腳本編寫經驗。Python的經驗會幫助很多,但你可以在我們進行的時候學會。

課程說明

新訊息!為Spark 2.0.0更新

“大數據“分析是一個熱門和非常有價值的技能 – 本課程將教你大數據中最熱門的技術:Apache Spark。包括Amazon,使用公司包含 EBay,NASA JPL 和 Yahoo 都使用 Spark,透過一個可容錯 Hadoop 叢集快速從海量資料中提取有意義的資訊。你將學習這些相同的技術,在家裡使用自己的 Windows 系統。這比你想像的容易。

透過超過15個實踐示範,學習和掌握 Spark 建構數據分析問題的藝術,然後將其擴展與運行在本課程中介紹的雲端運算服務。你將從曾經在 Amazon 和 IMDb 工作的前工程師和資深經理學習

  • 了解 Spark 的彈性分散式資料儲存的概念
  • 使用 Python 快速開發和運行 Spark 作業
  • 將複雜的分析問題轉換為迭代或是多階段的 Spark 腳本
  • 使用 Amazon 的 Elastic MapReduce 服務擴展到更大的資料集
  • 了解 Hadoop YARN 如何在運算叢集上分散 Spark
  • 學習其它 Spark 技術,例如 Spark SQL,Spark Streaming 和 GraphX

在本課程結束時,你將運行程式碼,在雲端中幾分鐘內分析千兆字元的資訊。

本課程使用熟悉的 Python 程式設計語言;如果你想使用 Scala 從 Spark 獲得最佳性能,請參閱我的 “運用 Scala 和 Apache Spark 2.0 親手做大數據分析”課程。

我們的課程會有一些樂趣。你會從一些簡單的範例使用 Spark 分析電影評分資料和一本書中的文字得到熱身。一旦你已經掌握了基礎知識,我們將轉向一些更複雜和有趣的任務。我們將使用一百萬部電影評分來查找彼此相似的電影,你甚至可能會發現一些你可能喜歡的新電影!我們將分析超級英雄的社交圖,並了解誰是最受歡迎的超級英雄,並開發一個系統來找到超級英雄之間的“分離程度”。所有的 Marvel 超級英雄在幾個維度內會被連接到難以置信的綠巨人?你會找到答案。

本課程非常實用;在我們編寫,分析和運行實際程式碼(無論是在自己的系統上,還是在雲端中使用 Amazon 的 Elastic MapReduce 服務)時,你都會花費大部分時間跟隨教師。5小時的視訊內容包括在內,超過15個越來越複雜的真實的範例,你可以建立,運行和自己學習。根據自己的節奏,按照自己的時間表穿過它們。本課程概述了其他基於 Spark 的技術,包括 Spark SQL,Spark Streaming 和 GraphX。

享受這個課程吧!

講師簡介 

Frank Kane  Sundog Education 創辦人

Frank Kane 在Amazon和IMDb工作了9年,開發和管理技術,自動向數億客戶提供產品和電影推薦,每時每刻。Frank在分佈式計算,資料挖掘和機器學習領域擁有17項專利。2012年,Frank離開成立了自己的公司Sundog Software,該公司專注於虛擬實境環境技術,並教會他/她人如何進行大數據分析。

英文字幕:有

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

課程網址 ♥找優惠折扣碼?

Sponsored by Udemy

也許你會有興趣

喜歡我們的分享嗎?歡迎使用以下的社群分享按鈕分享給你的朋友吧!

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: