DuckDB - 終極指南 - Soft & Share

精通 DuckDB：未來的分析資料庫。掌握 DuckDB Python、Streamlit、CLI 和 Docker 的 7 個實作專案+理論

從這 5 小時的課程，你會學到

架構和實作使用 DuckDB 作為資料庫的分析解決方案
你將學習使 DuckDB 在任何機器上都如此快速的基本原理（理論）
你將學習在 Python 環境中使用 DuckDB（實作）
你將學習從 CLI（命令列）環境使用 DuckDB（練習）
使用 DuckDB 作為 Streamlit Python 分析應用程式的後端資料庫（練習）
將 DuckDB 與 dbt（資料建構工具）結合以簡化分析資料倉儲開發（實務）
你將學習如何在 MotherDuck 中工作：DuckDB 的雲端原生環境 (SaaS)（練習）
你將了解 DuckDB 與其他資料庫的不同之處：分析資料庫（Clickhouse、Redshift、Cassandra）和 OLTP（PostgreSQL、SQLITE）

要求

基本 SQL 很有幫助，但不是必需的（我們將使用提供的指南）
基礎 Python
筆記型電腦或個人電腦

課程說明

我為什麼要學 DuckDB？

過去 2 年內 1200% 的搜索
它的受歡迎程度正在迅速增長！
資料湖和龐大的大數據基礎架構（如 Apache Hadoop 和 Spark）並不是所有資料問題的最佳解決方案 DuckDB 是一個很棒的解決方案，用於運行與 PostgreSQL 非常相似的資料庫，但具有巨大的分析能力，在本地沒有任何麻煩
100% 免費並支援數十種不同的整合 duckdb Python、duckdb dbt、duckdb Streamlit、duckdb s3 & wasm & Docker + 更多：你幾乎可以用它做任何事情。此外，您還可以輕鬆進行資料匯出：duckdb csv、duckdb parquet、duckdb json 都是立即共享分析結果的方法！ Python 整合就像執行「pip install duckdb」一樣簡單，你就可以開始了！我們將在其中一個案例中深入探討 duckdb Python 整合。
使用方便
你可以設定配置來產生 DuckDB 的記憶體實例，而不是為團隊中的每個開發人員配備 PostgreSQL/Mariadb。如果你需要從網際網路獲取資料，也沒有問題：Duckdb Httpfs 是我們還將研究的一個套件。
大數據本地分析
如果你想在相當大的資料上本地運行列式資料庫，那麼確實沒有其他類似的資料庫。你可以在本地運行 PySpark，但這會更令人頭疼。 Duckdb Pivot 甚至可以幫助你建立類似電子表格的表格。
SQLite之後易於學習
這是從 SQLite 向分析領域邁出的一步。 DuckDB 在有限列上執行聚合查詢時表現出色，而 SQLite 在使用篩選器取得一行或多行時表現出色。在本課程中，我們將比較和對照 duckdb 與 Sqlite 以及 duckdb 與 Clickhouse。
比 Pandas 快 300% 以上
Pandas 將所有資料載入到記憶體中並在單一執行緒上運行。因此，它無法在大於記憶體的資料集上運行，也不會使用所有 CPU 核心。而 DuckDB 可以操作大於記憶體的資料集。此外，它可以在所有 CPU 核心之間分配負載。所有這些都預設使用 SQL 語言！

本課程不僅僅是一個 duckdb 教程：它是一個用於掌握這種快速發展的新技術的打包解決方案。

預期成果

本課程結束後：

你將學習如何建置和實施使用 duck db 作為資料庫的分析解決方案
你將學習使 DuckDB 在任何機器上都如此快速的基本原理（理論）
你將了解 DuckDB 與其他資料庫的不同之處：分析資料庫（Clickhouse、Redshift、Cassandra）和 OLTP（PostgreSQL、SQLite）
你將學習在 Python 環境中使用 DuckDB（實作）
你將學習從 CLI（命令列）環境使用 DuckDB（練習）
使用 DuckDB 作為 Streamlit Python 分析應用程式的後端資料庫（練習）
使用 DuckDB dbt（資料建構工具）組合簡化分析資料倉儲開發（實務）
你將學習如何在 MotherDuck 中工作：鴨子資料庫的雲端原生環境 (SaaS)（練習）。你可以把它想像成在 CLI 中你可能會錯過的 DuckDB GUI
學習在 Docker 環境中與 DuckDB 互動
了解 DuckDB 如何融入分析服務的微服務架構
使用 Rill：一個由 DuckDB 支援的 BI 即程式碼「最後一哩 ETL」平台，可實現極快的儀表板