掌握 Apache Airflow 的完整實踐課程

透過使用 Apache Airflow 的實際範例，學習編寫、調度和監控資料管道

從這 3.5 小時的課程，你會學到

建立外掛為 Apache Airflow 新增功能
以 Airflow 和不同的執行器使用 Docker
掌握核心功能，如 DAGs、操作元( Operators )、任務、工作流程等
理解和應用 Apache Airflow 的先進概念，例如 XCOMs、分支和 SubDAGs
順序執行器、本地執行器和 Celery 執行器之間的區別，它們如何工作以及如何使用它們
在大數據生態系統中使用 Apache Airflow，包括 Hive、 PostgreSQL、 Elasticsearch 等
安裝和配置 Apache Airflow
思考、回答和實現利用 Airflow 來解決實際資料處理問題的解決方案

要求

必須安裝 VirtualBox – 必須下載 3Gb 的虛擬機
至少 8 GB 記憶體
以前有些編寫程式設計或腳本經驗將有幫助。 Python 經驗會有很大的幫助，但是因為它是一種非常容易學習的語言，所以如果你不熟悉程式設計，應該也不會太難瞭解

課程說明

Apache Airflow 是一個開源平台，可以通過程式設計方式編寫、排程和監控工作流程。如果你有很多 ETL ( Extract-Transform-Load )要管理，Airflow 是必須的工具。

在本課程中，你將由理論和實踐的影片課程學習如何掌握 Apache Airflow。從非常基本的概念開始，比如什麼是 Airflow 以及它如何運作的，我們將深入研究進階的概念，比如，如何建立外掛以及製作真正的動態管道。

目標受眾

對資料工程很好奇人
想要學習關於 Apache Airflow 的基本和先進概念的人
喜歡親自動手做的人

講師簡介

Marc Lamberti Apache Airflow 專家、大數據工程師

你好！

我叫 Marc Lamberti，今年 27 歲，我很高興能夠喚起你們的好奇心！我目前在法國最大的線上銀行做全職的大數據工程師，處理超過 150 萬的客戶。 3年多以來，我建立了不同的 ETL( Extract-Transform-Load ，將資料從來源端經過萃取extract、轉置 transform、載入 load 至目的端的過程 )，以解決銀行每天都會遇到的問題，例如，一個實時監控資訊系統的平台，以檢測異常並減少客戶的電話數量，一個實時檢測任何可疑交易或潛在詐欺者的工具，一個注入 Cassandra 大量資料的 ETL，等等。

當你是一個大數據工程師的時候，最大的問題是要處理越來越多的可用的開源工具。你必須知道如何使用它們，何時使用它們，以及它們如何相互連線，以便構建健壯、安全和可執行的系統，解決你的潛在業務需求。

我堅信，學習和理解一項新技能的最佳方式是採取實踐的方法，只要有足夠的理論來解釋概念，並在生產環境中做大量的實踐以準備好實戰。這就是為什麼在我的每一門課程中，你總能找到與理論說明相關的實際例子。

祝你學習愉快！