運用 MapReduce 和 Hadoop 馴服大數據 - 親手做!

Contents

通過使用 Python、MRJob 和亞馬遜的 Elastic MapReduce 服務建構超過 10 個實例，快速學習 MapReduce。

從這 5 小時的課程，你會學到

了解 MapReduce 如何用於分析大數據集
使用 Python 和 MRJob 編寫你自己的 MapReduce 作業
使用 Amazon Elastic MapReduce 在 Hadoop 群集上運行 MapReduce 作業
Chain MapReduce 作業共同分析更複雜的問題
使用 MapReduce 分析社交網路資料
使用 MapReduce 分析電影評級數據並使用它製作電影推薦。
了解其他基於 Hadoop 的技術，包括 Hive、Pig 和 Spark
了解 Hadoop 的用途以及工作原理

要求

你需要一個 Windows 系統，我們將引導你下載並安裝 Python 開發環境和你需要的工具，作為課程的一部分。如果你在 Linux 上，並且已經有一個你熟悉的 Python 開發環境，那也沒關係。同樣，確保你至少有一些程式語言或腳本經驗。您不需要成為 Python 專家就可以在本課程中取得成功，但你需要程式設計的基本概念才能掌握我們正在做的事情。

課程說明

“大數據”分析是一項熱門而且非常有價值的技能 – 本課程將向你快速介紹兩項對大數據很重要的技術：MapReduce 和 Hadoop。有沒有想過 Google 如何設法連續分析整個網繼網路資訊？你將學習這些相同的技術，在家使用自己的 Windows 系統即可執行。

通過 10 多個實踐例子，學習和掌握將資料分析問題劃分為 MapReduce 問題的藝術，然後將這些問題擴展到本課程中的雲端計算服務。你將從亞馬遜和 IMDb 的前工程師和高級經理那裡學習。

學習 MapReduce 的概念
使用 Python 和 MRJob 快速運行 MapReduce 作業
將復雜的分析問題轉換為多階段 MapReduce 作業
使用亞馬遜的 Elastic MapReduce 服務擴展到更大的資料集
了解 Hadoop 如何跨計算群集分佈 MapReduce
學習其他 Hadoop 技術，如 Hive、Pig 和 Spark

到本課程結束時，你將執行程式碼，在數分鐘內分析數千兆字節的資訊 – 在雲端 – 。

我們一路上的學習將很有趣。你將先從一些簡單的、採用 MapReduce 分析電影評級資料和一本書的文字等案例做暖身。一旦你掌握了基礎知識，我們就會更進一步到複雜些且有趣的任務。我們將使用一百萬部電影評級來查找彼此相似的電影，並且你甚至可以在此過程中發現一些你可能喜歡的新電影！我們將分析一個超級英雄的社交圖，並且了解誰是最受歡迎的超級英雄，並且開發一個系統來尋找超級英雄之間的“分離度”。所有的奇蹟超級英雄都在幾度之內被連接到難以置信的綠巨人( The Incredible Hulk )？你會自己找到答案。

這門課非常實用，當我們使用亞馬遜的 Elastic MapReduce 服務編寫、分析和執行實際程式碼時 – 無論是在自己的系統還是在雲端，你都將大部分時間與指導者一起度過。課程包含超過 5 小時的視訊內容，超過 10 個真實的日益複雜的例子，你可以親自建構、執行和研究。你可按照自己的節奏和時間表完成每個環節。本課程也概述了其他基於 Hadoop 的技術，包括 Hive、Pig 和非常熱門的 Spark 框架 – 你也將在 Spark 中完成一個工作範例。

不要光聽我說什麼 – 查看一些來自真實學生的自主評論：

“I have gone through many courses on map reduce; this is undoubtedly the best, way at the top.”
“This is one of the best courses I have ever seen since 4 years passed I am using Udemy for courses.”
“The best hands on course on MapReduce and Python. I really like the run it yourself approach in this course. Everything is well organized, and the lecturer is top notch.”

目標受眾

此課程適合具有一定程式設計或腳本編寫能力的學員。在談到 MapReduce 時，我們會把你當作初學者，且將一切都設定好以便你用 Python、MRJob 和 Amazon Elastic MapReduce 服務編寫 MapReduce 作業任務 – 但我們不會花大量時間教你如何編寫程式碼。我們將聚焦於將資料分析問題組織為 MapReduce 問題，並在本地或 Hadoop 群集上執行它們。如果你不了解 Python，你需要根據我們提供的範例來趕上進度。如果你不熟悉程式設計，那麼在學習本課程之前，你需要學習程式或腳本語言。

講師簡介

Frank Kane Sundog Education 創辦人 ( 更多講師主講課程介紹 )

Frank Kane 在 Amazon 和 IMDb 工作了9年，負責開發和管理技術，自動向數億客戶提供產品和電影推薦，每時每刻。Frank在分佈式計算，資料挖掘和機器學習領域擁有17項專利。2012年，Frank 成立了自己的公司Sundog Software，該公司專注於虛擬實境環境技術，並教會他/她人如何進行大數據分析。

Sundog Education by Frank Kane 為世界提供大數據和機器學習的培訓

Sundog Education 的使命是提供大數據、資料科學和機器學習方面的做出非常寶貴的職能讓全世界的每個人都能接觸學習。我們的專家教練團隊與你分享我們在這些新興領域的知識，以任何人都可以接受的價格。

Sundog Education 由 Frank Kane 領導，由 Frank 的公司 Sundog Software LLC 擁有。Frank 在 Amazon 和 IMDb 工作了9年，開發和管理自動向億萬客戶提供產品和電影推薦的技術。 Frank 在分佈式計算、數據採礦和機器學習等領域擁有17項專利。 2012年，Frank 離開了自己的成功公司Sundog Software，該公司專注於虛擬現實環境技術，並教他人大數據分析。