fbpx

掌握 Apache Airflow 的完整實踐課程

學習使用 Apache Airflow 編寫、排程和監視資料管道 ( data pipelines )

報名參加課程 

從這 5 小時的課程,你會學到

  • 建立外掛為 Apache Airflow 新增功能
  • 以 Airflow 和不同的執行器 使用 Docker
  • 掌握核心功能,如 DAGs、操作元( Operators )、任務、工作流程等
  • 理解和應用 Apache Airflow 的先進概念,例如 XCOMs、分支和 SubDAGs
  • 順序執行器、本地執行器和 Celery 執行器之間的區別,它們如何工作以及如何使用它們
  • 在大數據生態系統中使用 Apache Airflow,包括 Hive、 PostgreSQL、 Elasticsearch 等
  • 安裝和配置 Apache Airflow
  • 思考、回答和實現利用 Airflow 來解決實際資料處理問題的解決方案

要求

  • 存取已安裝 VirtualBox 的個人電腦,你必須下載 VM (5Go)
  • 以前有些程式設計或指令碼經驗將有幫助。 Python 經驗會有很大的幫助,但是因為它是一種非常容易學習的語言,所以如果你不熟悉程式設計,應該也不會太難瞭解

課程說明

Apache Airflow 是一個開源平台,可以通過程式設計方式編寫、排程和監控工作流程。 如果你有很多 ETL ( Extract-Transform-Load )要管理,Airflow 是必須的工具。

在本課程中,你將由理論和實踐的影片課程學習如何掌握 Apache Airflow。 從非常基本的概念開始,比如什麼是 Airflow 以及它如何運作的,我們將深入研究進階的概念,比如,如何建立外掛以及製作真正的動態管道。

目標受眾

  • 對資料工程很好奇人
  • 想要學習關於 Apache Airflow 的基本和先進概念的人
  • 喜歡親自動手做的人

講師簡介

Marc Lamberti 大數據工程師

你好!

我叫 Marc Lamberti,今年 27 歲,我很高興能夠喚起你們的好奇心! 我目前在法國最大的線上銀行做全職的大數據工程師,處理超過 150 萬的客戶。 3年多以來,我建立了不同的 ETL( Extract-Transform-Load ,將資料從來源端經過萃取extract、轉置 transform、載入 load 至目的端的過程 ),以解決銀行每天都會遇到的問題,例如,一個實時監控資訊系統的平台,以檢測異常並減少客戶的電話數量,一個實時檢測任何可疑交易或潛在詐欺者的工具,一個注入 Cassandra  大量資料的 ETL,等等。

當你是一個大數據工程師的時候,最大的問題是要處理越來越多的可用的開源工具。 你必須知道如何使用它們,何時使用它們,以及它們如何相互連線,以便構建健壯、安全和可執行的系統,解決你的潛在業務需求。

我堅信,學習和理解一項新技能的最佳方式是採取實踐的方法,只要有足夠的理論來解釋概念,並在生產環境中做大量的實踐以準備好實戰。 這就是為什麼在我的每一門課程中,你總能找到與理論說明相關的實際例子。

祝你學習愉快!

英文字幕:有

  • 想要了解如何將英文字幕自動翻譯成中文? 請參考這篇 How-To

報名參加課程 

Sponsored by Udemy

也許你會有興趣

 歡迎使用 e-mail 訂閱 Soft & Share 

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: