完整的 GCP 資料工程專案 - 零售商領域

使用 GCS、BigQuery、Dataproc、Composer、GitHub、CICD 等 GCP 服務的零售領域行業標準專案

從這 6 小時的課程，你會學到

了解零售商領域的端到端資料工程專案
設計和實施可擴展的醫療保健資料 ETL 管道
實作增量資料、SCD2、元資料驅動方法、Medallion Arch、錯誤處理、CDM、CICD 等關鍵技術
利用 CI/CD 實踐開發和部署資料解決方案

要求

Python 與 SQL 基礎知識

課程說明

本專案致力於在 Google Cloud Platform (GCP) 上為零售商領域建立資料湖。

目標是集中、清理和轉換來自多個來源的數據，使零售商、供應商和保險公司能夠簡化計費、索賠處理和收入追蹤流程。

使用的 GCP 服務：

Google Cloud Storage (GCS)：儲存原始資料檔案和處理後的資料檔案。
BigQuery：用作儲存和查詢結構化資料的分析引擎。
Dataproc：用於與 Apache Spark 配合進行大規模資料處理。
Cloud Composer (Apache Airflow)：自動化 ETL 管線和工作流程編排。
Cloud SQL (MySQL)：儲存事務性電子病歷 (EMR) 資料。
GitHub 和 Cloud Build：支援版本控制和 CI/CD 實作。
CICD（Continuous Integration & Continuous Deployment，持續整合和持續部署）：自動化資料處理和 ETL 工作流程的部署管線。

涉及的技術：

元資料驅動方法
SCD 類型 2 實現
通用資料模型 (Common Data Model，CDM)
Medallion 架構
日誌記錄和監控
錯誤處理
最佳化
CICD 實現
更多最佳實踐

資料來源

MySQL 零售商資料庫
MySQL 供應商資料庫
API 審核 (api-reviews)

預期成果

高效率的資料管道：自動提取和轉換 RCM 資料。
結構化資料倉儲：BigQuery 中用於分析查詢的黃金表。
分析完成後，使用 Looker BI 基於黃金層表產生儀表板和報表。
所有流程（資料擷取、載入到 GCS、在 BigQuery 中轉換）均使用 Apache Airflow 進行管理，確保自動化、排程和監控。

目標受眾

有志成為資料工程師或資料專業人士的求職者
面試準備指南

講師簡介

Saidhul Shaik 企業培訓師

我是一位經驗豐富的雲端資料工程師，精通 GCP、Azure 和 AWS，專注於資料工程、分析和 DevOps。憑藉著多年建立可擴展資料管道、優化 Apache Spark 和管理雲端遷移的實務經驗，我熱衷於幫助學習者彌合理論與實際應用之間的差距。作為 Skill Vane 軟體學院的創始人，我指導有抱負的資料工程師，指導他們完成行業標準的最佳實踐、實踐專案和麵試準備。我的目標是讓專業人士掌握在雲端運算和大數據生態系統中蓬勃發展所需的技能。