AWS 資料架構師訓練營 - 43 項服務 500 個常見問題解答 20 多種工具

Contents

AWS 資料庫、EMR、SageMaker、IoT、Redshift、Glue、QuickSight、RDS、Aurora、DynamoDB、Kinesis、Rekognition 等等

從這 30.5 小時的課程，你會學到

自信地為攝取( ingestion )、遷移( migration )、串流傳輸( streaming )、儲存( storage )、大數據( big data 0、分析( analytics )、機器學習( machine learning )、認知( recognitive )解決方案等構建 AWS 解決方案
了解 40 多種 AWS 服務的用例、整合和成本，以設計符合各種要求的經濟高效的解決方案
回答你的設計和開發團隊關於實施和建構的詳細技術問題
在複雜的 AWS 服務上練習動手實驗室，例如 IoT、EMR、SageMaker、Redshift、Glue、Comprehend 等等

要求

具有管理員訪問權限、網際網路和 AWS 帳戶的電腦，用於練習實驗室。一些實驗室可能要花費 $$。
AWS 的基本工作知識，如 AWS 控制台、S3、EC2、VPC 和類似的基本概念。
使用至少一個資料庫的經驗，基本的 SQL，對複製、串流、備份、鍵值、索引等主題的概念理解。
以上需求並非必備，但擁有這些知識將使你的在課程學習課程中更順暢，問題更少

課程說明

你好！歡迎來到 AWS 資料架構師訓練營課程，這是你唯一需要了解 AWS 上的資料架構並扮演企業資料架構師角色的課程。這是市場上與 AWS 資料架構相關的最全面的 AWS 課程。原因如下：

這是唯一由企業雲端架構師教授的線上課程，他領導著現實世界中的大型初級架構師團隊，在 IT 行業擁有近 20 年的行業經驗，他是一名出版作家，並領導技術架構為跨國客戶提供 XXX 百萬美元的雲端專案。資料架構師的平均工資在 15 萬美元到 25 萬美元之間。本課程培訓你從事這項工作！這是我關於 Udemy 的第 10 門課程，關於 AWS 主題的第 3 門課程（前 2 門是暢銷書）。
典型的 AWS 資料架構課堂培訓包含本課程所涵蓋主題的一小部分，費用為 3000 至 5000 美元。而且本課程教給你的主題比 AWS 培訓（40 多項 AWS 服務）多出 5 到 7 倍的價值。
本課程涵蓋的所有內容都是最新的。本課程已經介紹了處於 Beta 版並在 Re-invent（去年 11 月）中推出的服務。 AWS 以非常快的速度進行創新並向其堆棧添加功能，並且我會根據這些更改不斷更新我的課程。將此課程視為架構更新訂閱。
開發人員有問題，架構師有問題，客戶有問題 – 所有對技術感興趣的人都有問題。本課程還包含來自 AWS 常見問題的 500 多個問題和答案 (FAQ)，可根據你的架構師角色提供你盡可能多的現成答案。

整個課程由40多個服務組成。每個服務都由以下列出的部分組成，它們在每個部分/服務中的比例。

架構 (12%) – 圖表、整合、術語
用例 (6%) – 是否以及何時使用 AWS 服務
定價 (2%) – 評估整體解決方案成本的成本估算方法
實驗室 (75%) – 用於架構理解的重點實驗室，涵蓋所有主要和重要功能
常見問題 (5%) – AWS 常見問題中的精選問題簡明扼要地解釋。（總計 500+）

除了 AWS 服務之外，我們還將使用一些客戶端工具在 AWS 服務、資料庫和其他技術堆棧上進行操作。以下是我們將使用的工具列表：

1 EC2 2. Putty 3. Cloud9 4. HeidiSQL 5. MySQL Workbench 6. Pgadmin 7. SSMS

8. Oracle SQL Developer 9. Aginity Workbench for Redshift 10. SQL Workbench / J

11 WinSCP 12. AWS CLI 13. FoxyProxy 14. Oracle Virtualbox 15. Linux Shell 命令

16 FastGlacier 17. Rstudio 18. Redis 客戶端 19. Telnet 20. S3 瀏覽器

21 Juypter 筆記本

以下是作為 AWS 服務的課程的詳細描述，我們將學習了解它們如何適應 AWS 上的整體雲端資料架構並解決各種用例。如果你有任何問題，請隨時與我聯繫。

AWS Transfer for SFTP（2018 年 11 月發布） – 我們將在本課程中使用此服務開始我們的旅程，並學習如何使用 AWS 上的 sFTP 服務器和本地 sFTP 工具以自助方式攝取文件，以攝取基於文件的數據AWS。
AWS Snowball – 跨越數百 TB 的大量資料不適合通過網路進行攝取。使用這項服務，我們將學習如何使用基於設備的離線資料傳輸機制將海量資料攝取到 AWS 雲端。
AWS Kinesis Data Firehose – 資料攝取機制之一是流式傳輸。我們將學習如何使用此服務將串流資料從 Kinesis Data Streams 傳輸到 AWS 資料儲存和分析儲存庫，例如 S3、Redshift、ElasticSearch 等。
AWS Kinesis Data Streams – 客戶可以擁有流式傳輸基礎設施，甚至可以擁有可以連續流式傳輸資料的設備 (IoT)。使用此服務，我們將學習如何收集串流資料並將其儲存在 AWS 上。
AWS Managed Streaming for Kafka (MSK)（2018 年 11 月發布）– AWS 最近將 Kafka 添加到他們的技術堆棧中，這與 Kinesis 有很多相似之處。學習比較特性以及在 AWS 上建立 Kafka 集群以接受 AWS 中的串流資料的方法。
AWS Schema Conversion Tool – 資料庫遷移是一個複雜的過程，可以是同構的（例如，本地 SQL Server 到 AWS 上的 SQL Server）或異構的（例如，從 MySQL 到 PostgreSQL）。我們將使用此離線工具來了解評估遷移複雜性、生成遷移評估報告，甚至執行架構遷移。
AWS Database Migration Service (DMS) – 資料庫遷移/複製是任何關聯資料解決方案的常見需求。我們將使用此服務來了解如何將本地資料從資料庫遷移和/或複製到 AWS RDS 上的 AWS 託管關聯資料庫。
AWS Data Sync（2018 年 11 月發布）– 在資料生成或變化非常快的環境中，將資料從本地持續同步到雲端託管資料儲存庫成為一項關鍵要求。我們將使用此服務來了解它如何解決這個需求。
AWS Storage Gateway – 該服務與 AWS Data Sync 有著驚人的相似之處，並且是在 AWS 上建立快取捲和存儲卷以在本地資料儲存和 AWS 之間架起一座橋樑的替代方案之一。我們將簡要了解 AWS Data Sync 和 AWS Storage Gateway 之間的相似之處。
AWS ElastiCache ( Memcached ) – 在介紹了大部分資料攝取機制之後，我們將把重點轉移到快取資料上，然後再轉向資料庫。我們將開始學習使用此服務的 Memcached 風格進行快取，該服務為更簡單的資料類型提供強大的快取功能。
AWS ElastiCache ( Redis ) – 我們將學習 Memcached 和 Redis 在緩存方面的比較差異，並學習如何使用 Redis 風格的緩存來構建緩存集群並託管複雜的數據類型。
AWS S3 (Advanced) – AWS S3 是 AWS 中資料儲存和資料湖的基礎。我們將學習高級策略，例如鎖定資料以確保合規性、跨區域全局複製、使用 S3 Select 功能進行資料查詢、將資料移至冷儲存的生命週期管理等。
AWS Glacier – 資料在雲端不斷積累，可能會顯著增加儲存成本。不經常使用的資料適用於冷儲存，該服務在其中發揮作用。我們將使用該服務學習檔案、檔案檢索和檔案查詢。
AWS 關聯資料庫服務 (MariaDB) – 我們將重點關注 AWS 服務，它由 6 種不同類型的資料庫組成。我們將使用 MariaDB 學習 AWS RDS 的基本概念，建立一個實例並使用客戶端工具對其進行查詢。
AWS 關聯資料庫服務 (SQL Server) – 需要在資料中心和雲端託管資料庫實例之間導入和輸出資料。我們將學習使用 RDS 上的 SQL Server 資料庫和客戶端工具處理跨雲端備份和恢復的策略。
AWS 關聯資料庫服務 (Oracle) – 我們將花一些時間來學習如何在 AWS RDS 上支持 Oracle，尤其是對於 Oracle 專業人士。
AWS Relational Database Service (MySQL) – 在使用 AWS RDS 上的 MySQL 資料庫練習基本概念後，我們將開始練習高可用性和性能的高級概念，例如只讀副本和性能洞察功能。
AWS 關聯資料庫服務 (PostgreSQL) – 在某些用例中，可能需要將一個資料庫轉換為雲端的另一個資料庫，例如將 PostgreSQL 轉換為 MySQL。我們將了解一些兼容性功能，我們可以從 PostgreSQL 實例創建 MySQL 只讀副本並將只讀副本作為獨立資料庫。
AWS 關聯資料庫服務 (Aurora) – AWS RDS 上的 Aurora 是 AWS 的本機資料庫服務。它有兩種風格——集群託管和無伺服器，適用於不同的用例。此外，Aurora 的儲存架構由 AWS Neptune 和 DocumentDB 等各種其他 AWS 服務共享。我們將深入學習這項服務。
AWS Neptune – 關係數據庫只是業內以及 AWS 上的數據庫類型之一。圖是非常密集連接數據的特殊用例，其中關係的值遠高於正常值。我們將學習 RDF 與 Property Graph 的圖論，並了解 Neptune 如何適應這張圖片，建立 Neptune 伺服器和客戶端，並使用 Gremlin (Tinkerpop) 和 SPARQL 等查詢語言對其進行操作。
AWS DocumentDB（2018 年 11 月發布）– MongoDB 是 NoSQL 文件資料庫的行業領導者之一。 AWS 最近推出了這項新服務，它是 AWS 的原生實現，可提供與 MongoDB 兼容的等效資料庫。我們將了解相同的細節。
AWS DynamoDB – 鍵值( key-value )資料庫對於容納大量資料（通常是日誌、令牌等）很重要。我們將深入學習文件資料庫的實現以及串流、快取、資料過期等高級功能。
AWS API Gateway – REST API 是當今資料攝取的標準機制。我們將學習如何使用此服務和 AWS DynamoDB 來構建資料攝取和訪問管道。
AWS Lambda – 微服務通常與 API 相關聯，並且是與 AWS 服務（通常是 AWS 的人工智慧和機器學習服務）進行任何程序整合的基石。我們將學習開發 Lambda 函數
AWS CloudWatch – 系統日誌記錄是所有程序邏輯執行的中心，它與各種 AWS 服務的微服務和指標日誌記錄密切相關。我們將學習如何在 CloudWatch 日誌中訪問和記錄來自微服務的資料。
AWS 物聯網 (IoT) – 今天，物聯網是發展最快的領域之一，從資料的角度來看，它是最有價值的資料來源之一。企業階段的第一個挑戰是從設備獲取資料然後對其進行處理的機制。主要關注攝取，我們將學習如何使用端到端的實際示例來解決這個問題，該示例從設備讀取資料並在手機上發送短信。
AWS 資料管道——由於資料湖已經充滿了資料，在雲端儲存庫中移動資料以及從本地到 AWS 需要一個編排引擎，該引擎可以通過一些處理來移動資料。我們將學習如何使用此服務解決此用例。
Amazon Redshift 和 Redshift Spectrum – 需要分析和存儲所有以關聯或非關聯格式儲存的資料。我們將學習如何使用此服務來滿足 PB 級大規模並行資料倉庫的需求。
AWS ElasticSearch – ElasticSearch 是搜索框架及其替代品 Apache Solr 的市場領導者之一。 AWS 提供了自己的 ElasticSearch 託管實施，可用作從不同儲存庫中搜索資料的選項之一。我們將學習如何使用該服務來解決搜索用例，並了解 Logtash 和 Kibana 等工具如何適合整體解決方案。
AWS CloudSearch – 建立 AWS ElasticSearch 需要對 ElasticSearch 有一定的了解。對於需要更多託管解決方案的用例，AWS 提供了另一種基於 Apache Solr 的搜索打包解決方案。我們將學習如何以明確的方式支持這項服務並使用 if 來支持搜索解決方案。
AWS Elastic MapReduce (EMR) – 在攝取、遷移、儲存、資料庫、搜索和處理方面花費了足夠的時間之後，現在我們將進入大數據分析的世界，我們將花費大量時間學習如何建立基於 Hadoop 的集群並使用 Spark、Hive、Oozie、EMRFS、Tez、Jupyter Notebooks、EMR Notebooks、動態端口轉發、EMR 上的 RStudio、在 EMR 中從 S3 讀取和處理資料、將 Glue 與 Hive 整合、將 DynamoDB 與 Hive 整合等框架處理資料更多的。
AWS Backup（2018 年 11 月發布）– 創建各種資料儲存庫的備份例程是生產環境的標準操作程序。 AWS 通過這項全新的服務讓支持團隊的這項工作變得更輕鬆。我們將了解這項服務的詳細資訊。
AWS Glue – AWS 使用此服務為 AWS 中的所有資料儲存庫提供集中式資料編目和 ETL。我們將學習如何使用爬蟲、資料目錄、serde（序列化反序列化庫）、Extract-Transform-Load (ETL) 作業等功能以及解決此服務的各種用例的更多功能。
AWS Athena – 無伺服器資料湖是使用四種主要服務形成的：S3、Glue、Redshift、Athena 和 QuickSight。該服務位於流程的最後，其作用類似於資料湖的查詢引擎。我們將了解它如何服務於該目的並完成圖片。
AWS QuickSight – AWS 在 2017 年推出了這項服務，填補了雲原生報告服務的空白。我們將了解它如何適應無伺服器資料湖圖並允許創建報告和儀表板。
AWS Rekognition – 我們將通過這項服務開始進入由人工智慧驅動的認知服務世界。圖像和視訊是重要的資料源，從這些資料源中提取資訊並以程式編輯的方式處理該資料做各種應用。我們將學習如何使用 Rekognition 執行此整合。
AWS Textract（2018 年 11 月發布）– 光學字符識別是另一個重要的資料來源，例如。我們非常習慣於掃描條形碼、稅單、電子書等。我們將學習如何使用這種人工智慧驅動的全新服務表單 AWS 從文件中提取文本。
AWS Comprehend – 自然語言處理 (NLP) 是一個非常大的資料分析實踐領域，通常使用 R 和 Python 等資料科學語言執行。 AWS 通過封裝 AI 驅動的 NLP 服務使 NLP 的工作變得更容易。我們將學習該服務的使用，並了解它如何補充 Textract 和 Rekognition 等服務。
AWS Transcribe – 迄今為止我們尚未觸及的一個主要資料來源是 Speech to Text。我們將學習如何使用這個基於 AP 的服務從語音中提取文本，以及如何將它有效地用於許多用例。
AWS Polly – 我們將涵蓋許多將文本資料從一種形式處理到另一種形式的用例，但是將文本處理成語音，這與 Transcribe 的功能完全相反，我們將學習使用 AWS 提供的這種 AI 支持的服務來執行該操作。我們還將學習使用語音合成語言來控制生成的語音的細節。
AWS SageMaker – 在舒適地使用人工智慧驅動的服務（從最終用戶那裡抽像出機器學習模型的複雜性）之後，我們現在將使用這項服務進入機器學習的世界。我們將端到端執行機器學習模型，並學習如何從 S3 訪問資料、創建模型、創建筆記本以執行程式碼來探索和處理資料、訓練-建構-部署機器學習模型、調整超參數、最後使用 API 端點從負載平衡的基礎設施訪問它。
AWS Personalize – 推薦引擎需要構建強化的深度學習神經網路。幾十年來，亞馬遜一直致力於向客戶推薦產品。他們將推薦方法打包為產品，並作為服務推出，並以個性化的形式首次亮相。我們將執行端到端的練習，以了解如何使用此服務生成建議。
AWS Lake Formation（2018 年 11 月發布）– 由於形成資料湖是一個繁瑣的過程，AWS 以服務的形式引入了一組編排步驟，以加快資料湖的生成。由於該服務處於早期預覽（Beta）階段並且可能會發生變化，我們將在結束本課程的課程之前查看該服務的 GUI 預覽。

如果你不確定本課程是否適合你，請隨時給我留言，我將很樂意回答你有關本課程是否適合你的問題。希望你能報名參加課程。我希望很快能在課堂上見到你！

目標受眾

剛開始使用 AWS 平台或希望學習各種 AWS 服務以擴展知識的資料庫專業人員
初學者或經驗豐富的資料架構師，他們希望擴大他們在 AWS 上的知識廣度以開始更高級別的工作
希望快速評估任何給定 AWS 服務對其用例的適用性的技術主管
正在準備大數據專業認證或準備技術面試的 AWS 專業人員

講師簡介

Siddharth Mehta 企業雲架構師、出版作者、雲極客

Udemy 的前 10% 最具吸引力的講師

我的名字是 Siddharth Mehta。我在 IT 行業擁有超過 15 年的職業經驗，目前擔任企業雲端架構師。我是許多在線和印刷媒體出版物的作者。我在 Udemy 上教過數千名學生，並開設了許多關於資料和分析的課程。

你會考慮跟任何懂程式的業餘愛好者學，或只教程式卻沒有在現實世界中實際使用的人學 ?還是跟有在全球數百萬美元的大型專案中，真正有現實世界裡使用該技術的經驗的人學習？我將根據我在 BI、資料、分析、雲端和資料科學領域的多年實踐經驗，將我所知道的一切都教給你。

如果你有興趣了解更多關於我的資訊，以下是我的一些職業亮點：

我擁有超過 15 年的職業經驗，目前在紐約都會區擔任生命科學專有多租戶產品技術組合的企業架構師，管理 ISV 和租戶的生態系統。以下是我的一些職業亮點：

-|- 在銀行、物流、政府、媒體娛樂、產品、生命科學和其他領域為跨國客戶提供跨地域（美國、英國、新加坡）工作的國際經驗

-|- 數百萬美元投資組合的主要架構，包含雲端、Web、行動、BI、分析、資料倉庫、報告、協作、CMS、NoSQL 和其他類別的應用程式。

-|- 專利申請的官方發明人

-|- Microsoft MSDN Library、Manning 出版物、Packt 出版物等白皮書的出版作者/審稿人。

-|- 認證：AWS 認證解決方案架構師、TOGAF 9、CITA-F、HCAHD 等

在我目前的職位上，我仍然負責 AO、IO、SI、IC 和安全、架構設計、技術堆棧選擇、基礎設施設計、第 3 方產品評估和採購以及性能工程等估計。以下技術的實踐技術經驗：

-|- 作業系統：Win，Linux

-|- 雲：GCP、Azure、AWS

-|- 資料庫：Neo4j、AWS Neptune、Redis、Memcached、MongoDB、Cassandra、HBase、SQL Server、MariaDB、Postgres、Aurora、MySQL、SSAS、AWS Redshift、Google BigQuery、Azure Data Lake、AWS RDS、DynamoDB、Athena、 AWS 彈性疼痛

-|- 大數據：Google DataProc、AWS EMR、Kafka、Spark、Hive、Oozie

-|- 搜索：AWS Elasticsearch

-|- Web：Node.JS、Angular、jQuery、REST API、React

-|- ESB/ETL：AWS Lambda、Step Functions、AWS Kinesis、AWS Glue、Mulesoft、SSIS、AWS 資料管道

-|- 資料科學：R、Python、GGPlot 2、Numpy、Seaborn、Pandas、Skikit-learn、Spark ML、資料探勘、迴歸和分類演算法

-|- 報告/儀表板：Tableau、Qlikview、SSRS、AWS Quicksight、D3