掌握 Apache Airflow 的完整實踐課程

Contents

學習使用 Apache Airflow 編寫、排程和監視資料管道 ( data pipelines )

從這 5 小時的課程，你會學到

建立外掛為 Apache Airflow 新增功能
以 Airflow 和不同的執行器使用 Docker
掌握核心功能，如 DAGs、操作元( Operators )、任務、工作流程等
理解和應用 Apache Airflow 的先進概念，例如 XCOMs、分支和 SubDAGs
順序執行器、本地執行器和 Celery 執行器之間的區別，它們如何工作以及如何使用它們
在大數據生態系統中使用 Apache Airflow，包括 Hive、 PostgreSQL、 Elasticsearch 等
安裝和配置 Apache Airflow
思考、回答和實現利用 Airflow 來解決實際資料處理問題的解決方案

要求

存取已安裝 VirtualBox 的個人電腦，你必須下載 VM (5Go)
以前有些程式設計或指令碼經驗將有幫助。 Python 經驗會有很大的幫助，但是因為它是一種非常容易學習的語言，所以如果你不熟悉程式設計，應該也不會太難瞭解

課程說明

Apache Airflow 是一個開源平台，可以通過程式設計方式編寫、排程和監控工作流程。如果你有很多 ETL ( Extract-Transform-Load )要管理，Airflow 是必須的工具。

在本課程中，你將由理論和實踐的影片課程學習如何掌握 Apache Airflow。從非常基本的概念開始，比如什麼是 Airflow 以及它如何運作的，我們將深入研究進階的概念，比如，如何建立外掛以及製作真正的動態管道。

目標受眾

對資料工程很好奇人
想要學習關於 Apache Airflow 的基本和先進概念的人
喜歡親自動手做的人

講師簡介

Marc Lamberti 大數據工程師

你好！

我叫 Marc Lamberti，今年 27 歲，我很高興能夠喚起你們的好奇心！我目前在法國最大的線上銀行做全職的大數據工程師，處理超過 150 萬的客戶。 3年多以來，我建立了不同的 ETL( Extract-Transform-Load ，將資料從來源端經過萃取extract、轉置 transform、載入 load 至目的端的過程 )，以解決銀行每天都會遇到的問題，例如，一個實時監控資訊系統的平台，以檢測異常並減少客戶的電話數量，一個實時檢測任何可疑交易或潛在詐欺者的工具，一個注入 Cassandra 大量資料的 ETL，等等。

當你是一個大數據工程師的時候，最大的問題是要處理越來越多的可用的開源工具。你必須知道如何使用它們，何時使用它們，以及它們如何相互連線，以便構建健壯、安全和可執行的系統，解決你的潛在業務需求。

我堅信，學習和理解一項新技能的最佳方式是採取實踐的方法，只要有足夠的理論來解釋概念，並在生產環境中做大量的實踐以準備好實戰。這就是為什麼在我的每一門課程中，你總能找到與理論說明相關的實際例子。

祝你學習愉快！