databend:一個彈性和可靠的雲端資料倉儲

什麼是 Databend?

Databend 旨在成為一個開源的彈性和可靠的雲端倉儲,它提供極快的查詢,並結合了彈性、簡單、低成本的雲端運算,使資料雲端變得簡單。

Databend的設計原則:

  • 彈性 :在 Databend 中,儲存和運算資源可以根據需要動態地增加和減少
  • 安全 :Databend 的所有資料檔案和網路流量都是端到端加密的,並在 SQL 級別提供基於角色的訪問控制
  • 使用者友好: Databend是一個符合 ANSI SQL 標準的雲端倉庫,它很容易被資料科學家和工程師使用
  • 成本效益高: Databend 以高效能處理查詢,使用者只需為實際使用的內容付費

設計概覽

Databend 受到 ClickHouse 的啟發,其運算模型是基於 apache-arrow

Databend由三個部分組成:元服務層( Meta Service Layer ),以及解耦合的運算( Compute Layer )和儲存層( Storage Layer )

元服務層( Meta Service Layer )

元服務是一個為多個租戶提供服務的層。在目前的實現中,元服務有一些元件

  • 元資料 – 管理資料庫、表、叢集、交易等的所有元資料。
  • 管理 – 儲存使用者資訊、使用者管理、訪問控制資訊、使用統計等
  • 安全 – 執行授權和認證以保護使用者資料的隱私

運算層( Compute Layer )

運算層是執行運算工作負載的叢集,每個叢集有許多節點,每個節點都有元件

  • 規劃器 – 從使用者的 SQL 語句中建立執行計劃
  • 最佳化器–最佳化器規則,如 predicate 下推或修剪未使用的列
  • 處理器 – 基於向量的查詢執行管道,由規劃器指令建立
  • 快取 – 基於版本的資料和索引的快取


許多叢集可以附加相同的資料庫,因此它們可以為不同使用者的查詢提供並行服務

儲存層( Storage Layer )

Databend 以高效的柱狀格式將資料儲存為 Parquet 檔案。為了有效地修剪,Databend 還為每個 Parquet 檔案建立索引以加快查詢速度。

Databend 可以使用 Docker 映像檔來部署到雲端

專案網址

也許你會有興趣

找相關課程?試看看 Soft & Share 網站搜尋引擎

✍ 搜尋結果太多?可參考 Soft & Share 搜尋引擎使用技巧

追蹤 Soft & Share

幫我們個小忙!

Comments are closed.

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: