透過範例學習：Hadoop、MapReduce 解決大數據問題

Hadoop、MapReduce 的實踐練習和「平行」思維的藝術

從這 13.5 小時的課程，你會學到

您需要一個 IDE，可以在其中編寫 Java 程式碼或開啟共享的原始程式碼。 IntelliJ 和 Eclipse 都是不錯的選擇。
您需要具備一些物件導向程式設計的背景，最好是 Java。所有原始碼都是 Java 語言，我們直接進入，無需深入物件( objects )、類別( classes )等
接觸一點 Linux/Unix shell 會有幫助，但不會成為阻礙

授課團隊由 4 人組成，其中包括 2 名史丹佛大學畢業生、前谷歌員工和 2 名前 Flipkart 首席分析師。該團隊擁有數十年使用 Java 和處理數十億行資料的實務經驗。

本課程是涉及 Hadoop、MapReduce 和平行思維藝術的放大、縮小和實踐練習。

讓我們來分析一下。

放大，縮小( Zoom-in, Zoom-Out )：本課程既廣泛又深入。它詳細介紹了 Hadoop 的各個元件，並且還為您提供了它們如何相互作用的更高層次的圖景。

涉及 Hadoop、MapReduce 的實作練習：本課程將讓您很早就開始實踐 Hadoop。您將學習如何使用虛擬機器和雲端來設定自己的叢集。涵蓋了 MapReduce 的所有主要功能 – 包括總體排序和二次排序等高級主題。

平行思維的藝術：MapReduce 徹底改變了人們處理大數據的思考方式。將任何問題分解為可平行化的單元是一門藝術。本課程中的範例將訓練您「平行思維」。

涵蓋的內容：

很多很酷的東西…

運用 MapReduce
- 在社群網站上推薦好友：使用協同過濾演算法產生前 10 個好友推薦。
- 為搜尋引擎建立倒排索引：使用 MapReduce 並行執行為搜尋引擎建立倒排索引的艱鉅任務。
- 從文字產生二元詞組：產生二元詞組並計算它們在文本語料庫中的頻率分佈。

建立您的 Hadoop 叢集：
- 以獨立、偽分散式和完全分散式模式安裝 Hadoop
- 使用 Linux VM 設定 Hadoop 叢集。
- 使用 Cloudera Manager 在 AWS 上設定雲端 Hadoop 叢集。
- 了解 HDFS、MapReduce 和 YARN 及其互動

自訂您的 MapReduce 工作：
- 將多個 MR 工作連結在一起
- 編寫您自己的自訂分區器
- 總體排序：透過對輸入檔進行採樣，對大量資料進行全域排序
- 二次排序
- 使用 MR Unit 進行單元測試
- 使用 Hadoop Streaming API 與 Python 整合

..當然還有所有基礎知識：

MapReduce：Mapper、Reducer、排序/合併、分區( Partitioning )、Shuffle 和排序
HDFS 和 YARN：Namenode、Datanode、資源管理器、節點管理器、MapReduce 應用程式的結構、YARN 調度、配置 HDFS 和 YARN 以調整叢集效能。