運用 MapReduce 和 Hadoop 馴服大數據 - 親手做!

通過使用 Python、MRJob 和 Amazon 的 Elastic MapReduce 服務建構超過 10 個實例，快速學習 MapReduce。

從這 5 小時的課程，你會學到

了解 MapReduce 如何用於分析大數據集
使用 Python 和 MRJob 編寫你自己的 MapReduce 作業
使用 Amazon Elastic MapReduce 在 Hadoop 群集上運行 MapReduce 作業
Chain MapReduce 作業共同分析更複雜的問題
使用 MapReduce 分析社交網路資料
使用 MapReduce 分析電影評級數據並使用它製作電影推薦。
了解其他基於 Hadoop 的技術，包括 Hive、Pig 和 Spark
了解 Hadoop 的用途以及工作原理

要求

你需要一個 Windows 系統，我們將引導你下載並安裝 Python 開發環境和你需要的工具，作為課程的一部分。如果你在 Linux 上，並且已經有一個你熟悉的 Python 開發環境，那也沒關係。同樣，確保你至少有一些程式語言或腳本經驗。您不需要成為 Python 專家就可以在本課程中取得成功，但你需要程式設計的基本概念才能掌握我們正在做的事情。

課程說明

“大數據”分析是一項熱門而且非常有價值的技能 – 本課程將向你快速介紹兩項對大數據很重要的技術：MapReduce 和 Hadoop。有沒有想過 Google 如何設法連續分析整個網繼網路資訊？你將學習這些相同的技術，在家使用自己的 Windows 系統即可執行。

通過 10 多個實踐例子，學習和掌握將資料分析問題劃分為 MapReduce 問題的藝術，然後將這些問題擴展到本課程中的雲端計算服務。你將從亞馬遜和 IMDb 的前工程師和高級經理那裡學習。

學習 MapReduce 的概念
使用 Python 和 MRJob 快速運行 MapReduce 作業
將復雜的分析問題轉換為多階段 MapReduce 作業
使用亞馬遜的 Elastic MapReduce 服務擴展到更大的資料集
了解 Hadoop 如何跨計算群集分佈 MapReduce
學習其他 Hadoop 技術，如 Hive、Pig 和 Spark

到本課程結束時，你將執行程式碼，在數分鐘內分析數千兆字節的資訊 – 在雲端 – 。

我們一路上的學習將很有趣。你將先從一些簡單的、採用 MapReduce 分析電影評級資料和一本書的文字等案例做暖身。一旦你掌握了基礎知識，我們就會更進一步到複雜些且有趣的任務。我們將使用一百萬部電影評級來查找彼此相似的電影，並且你甚至可以在此過程中發現一些你可能喜歡的新電影！我們將分析一個超級英雄的社交圖，並且了解誰是最受歡迎的超級英雄，並且開發一個系統來尋找超級英雄之間的“分離度”。所有的奇蹟超級英雄都在幾度之內被連接到難以置信的綠巨人( The Incredible Hulk )？你會自己找到答案。

這門課非常實用，當我們使用亞馬遜的 Elastic MapReduce 服務編寫、分析和執行實際程式碼時 – 無論是在自己的系統還是在雲端，你都將大部分時間與指導者一起度過。課程包含超過 5 小時的視訊內容，超過 10 個真實的日益複雜的例子，你可以親自建構、執行和研究。你可按照自己的節奏和時間表完成每個環節。本課程也概述了其他基於 Hadoop 的技術，包括 Hive、Pig 和非常熱門的 Spark 框架 – 你也將在 Spark 中完成一個工作範例。

不要光聽我說什麼 – 查看一些來自真實學生的自主評論：

“我上過很多 MapReduce 的課程；這門課無疑是最好的，絕對是頂尖的。”

“這是我在 Udemy 上學習四年以來見過的最好的課程之一。”

“這是 MapReduce 和 Python 方面最好的實作課程。我非常喜歡這門課的自主學習模式。課程安排得井井有條，講師也非常優秀。”

目標受眾

此課程適合具有一定程式設計或腳本編寫能力的學員。在談到 MapReduce 時，我們會把你當作初學者，且將一切都設定好以便你用 Python、MRJob 和 Amazon Elastic MapReduce 服務編寫 MapReduce 作業任務 – 但我們不會花大量時間教你如何編寫程式碼。我們將聚焦於將資料分析問題組織為 MapReduce 問題，並在本地或 Hadoop 群集上執行它們。如果你不了解 Python，你需要根據我們提供的範例來趕上進度。如果你不熟悉程式設計，那麼在學習本課程之前，你需要學習程式或腳本語言。

講師簡介

Sundog Education by Frank Kane 教授一百萬名學習者機器學習、人工智慧、AWS 和資料工程！

Sundog Education 的使命是讓世界各地的人們都能輕鬆掌握資料工程、資料科學、生成式 AI、AWS 和機器學習等領域極具價值的職業技能。我們匯集了一群專家講師，以人人都能負擔得起的價格，與您分享我們在這些新興領域的知識。

Sundog Education 由 Frank Kane 領導，隸屬於 Frank 的公司 Sundog Software LLC。 Frank 曾在 Amazon 和 IMDb 工作 9 年，負責開發和管理為數億用戶提供產品和電影推薦的自動化技術。作為 Amazon 的“標竿人物”，他擁有公司招聘決策的最終決定權，面試過 1000 多名候選人，並最終聘用和管理了數百名員工。他在分散式運算、資料探勘和機器學習領域擁有 26 項已授權專利。 2012 年，Frank 離開Amazon，創立了自己的公司 Sundog Software，該公司已為全球超過一百萬名學員提供機器學習、資料工程和工程師管理方面的培訓。

Frank Kane Sundog Education 創辦人

Frank 曾在 Amazon 和 IMDb 工作了9年，負責開發和管理為數億用戶提供產品和電影自動推薦的技術。作為Amazon 的“標竿人物”，他對公司所有招聘決策擁有最終決定權，面試過 1000 多名候選人，並最終招聘和管理了數百名員工。他在分散式運算、資料探勘和機器學習領域擁有17項已獲授權的專利。 2012年，Frank 離開 Amazon，創立了自己的公司 Sundog Software，該公司已為全球超過一百萬名學員提供機器學習、資料工程和工程師管理方面的培訓。

由於學員人數眾多，我無法回覆私訊；請在課程的問答區提問。感謝你的體諒。