用 Spark Streaming 和 Scala 馴服大數據 - 動手做！

Contents

大數據分析有兩種，一種是收集了很多資料後再進行分析，或是分析程式使用排程的方式，在晚上執行然後隔天看結果，另一種就是本課程要教你的-即時分析，當資料不斷產生的時候馬上進行分析，並用這些即時的串流資料做機器學習訓練模型與預測

可以想像一下什麼樣的應用會不斷的產生數據並需要做即時分析？物聯網的感測器產生的資訊，股市資訊，網站點擊與訪問日誌資訊，如果你剛好在以上相關產業，並想處理這些每天產生龐大的資料分析，可以考慮這位 Amazon 前工程師所教授的課程

從這 6 小時的課程，你會學到

使用 Spark Streaming 處理大量即時資料
使用 Scala 程式設計語言開發 Spark 應用程式
將 Spark Streaming 與資料來源整合，包括 Kafka，Flume和 Kinesis
將即時資料轉換輸出到 Cassandra 或是檔案系統
將 Spark Streaming 與 Spark SQL 整合，即時查詢串流資料
使用串流資料訓練機器學習模型，並使用這些模型進行即時預測
獲取 Apache 訪問日誌資料並將它轉換成串流
接收 Twitter 供應的即時串流資料
通過連續的輸入資料串流維護狀態化的資料
在時間的滑動視窗中查詢串流資料

需求

為了跟隨這些範例，你需要一台個人電腦。該課程使用 Windows 10 拍攝，但我們安裝的工具也適用於 Linux 和 MacOS。
我們將在第一個講座中介紹安裝所需的軟體：Scala IDE，Spark 和JDK。
我的“使用 Apache Spark 馴服大數據 – 動手做！” 課程將會對 Spark 有幫助的一般介紹，但這不是參加本課程前所必需的。課程包含有 Spark 的快速介紹。
如果你是 Scala 新手，本課程包括 Scala 程式設計語言中的一個快速上手課程; 或是如果你已經知道Scala，那麼也很棒。

說明

“大數據”分析是一種非常有價值的技術。事實是，“大數據” 從不停止流動！ Spark Streaming 是一種新的快速開發的技術，它們被創造用於處理大量資料集( data sets ) – 為什麼等待一些夜間分析運行結果，當你可以一直即時不斷更新你的分析？無論是來自大型網站的點擊串流資料，來自大量“物聯網”部署，傳感器數據，財務數據或是其它內容 – Spark Streaming 是為了一直即時轉換和分析資料所創造的強大技術。

你將從 Amazon 和 IMDb 的前工程師和資深經理學習這項技術。

本課程讓你掌握一些真的實況 Twitter 資料，模擬 Apache 訪問日誌串流，甚至用於訓練機器學習模型的資料！你將在家中自己的 PC 上編寫和運行真正的 Spark Streaming 工作，並且在課程結束時，我們將向你展示如何將這些工作轉移到真正的 Hadoop 叢集 (cluster)，並在已上線的環境中運行它們。

在 30 多個講座和近6小時的視訊內容中，你將：

獲得 Scala 程式設計語言的速成課程
學習 Apache Spark 如何在叢集上運行
使用 Spark Streaming 設置離散化的串流，並在接收到資料時進行轉換
通過時間滑動視窗分析資料串流
在資料流之間維護狀態資訊
連接 Spark Streaming 與高度可擴展的資料來源，包括 Kafka，Flume 和 Kinesis
將資料流即時轉存到 NoSQL 資料庫，例如 Cassandra
對資料串流即時執行 SQL 查詢
使用串流資料即時訓練機器學習模型，並使用它們進行預測，隨著時間的推移越來越好
使用 Amazon Elastic MapReduce 包裝，部署和運行獨立的 Spark Streaming 程式碼到真正的Hadoop 叢集。

本課程是非常實務的，充滿了可實現的活動和練習，以加強學習。在本課程結束之後，你將自信地使用 Scala 建構 Spark Streaming 腳本，並準備以全新的方式處理大量的資料串流。你會驚訝於 Spark Streaming 如何輕鬆實現！

目標受眾

以前具備一些程式設計或腳本編寫的能力的學生應該參加這個課程。
如果你正在為一個持續產生“大數據”的公司工作，或希望能為之工作，本課程是為你設計的。
沒有先前的軟體工程或程式設計經驗的學生應該首先尋找介紹性的程式設計課程。

講師介紹

Frank Kane 創辦人, Sundog Education ( 更多講師課程介紹 )

Frank Kane 在Amazon和IMDb工作了9年，開發和管理技術，自動向數億客戶提供產品和電影推薦，每時每刻。Frank在分佈式計算，資料挖掘和機器學習領域擁有17項專利。2012年，Frank離開成立了自己的公司Sundog Software，該公司專注於虛擬實境環境技術，並教會他/她人如何進行大數據分析。