2023 DTC數據技術嘉年華湖倉技術創新論壇現場，GBASE南大通用8a產品總工程師張紹勇分享了《GBase GCDW云原生實時邏輯數倉支持湖倉一體》的主題演講。本篇文章帶大家深入解讀GBase GCDW云原生數倉是如何支持和實現湖倉一體。

數據倉庫不同于數據庫與數據湖，數據庫主要面向業務系統，數據湖則負責存儲所有原始數據。數據倉庫的誕生得益于企業對數據價值挖掘需求的涌現，傳統 OLTP 事務型數據庫跨部門數據難以打通，易產生數據孤島，數據倉庫將不同源的數據聚合到集中且一致的數據存儲系統中，解決傳統數據庫無法跨庫操作的問題，并結合數據挖掘、人工智能 （AI） 和機器學習等技術發掘數據價值，以支持企業經營決策；并使其作為 BI 的技術底座，滿足客戶的數據分析和決策支持。

張紹勇談及：傳統企業級數據倉庫伴隨著應用場景的極速拓展以及數據規模和類型攀升正面臨著六類挑戰。

數據倉庫技術演進趨勢

數據倉庫技術由來已久，從上世紀八十年代獨立出單獨產品后，不斷演進發展，經歷了若干發展階段。

云原生實時邏輯數倉 構筑湖倉一體的新支點

因數據倉庫產不支持非結構化數據、成本高、不靈活等局限，數據湖也存在查詢性能低下、實時性、可靠性差的問題。將兩者融合的技術方案即湖倉一體融合雙方優點，逐步發展起來。GBase GCDW應運而生。

云數倉GBase Cloud Data Warehouse（簡稱GCDW）是GBASE自主研發的一款基于行列混合存儲的海量分布式大規模并行處理的彈性云原生數據倉庫。滿足客戶企業級彈性數據倉庫系統應用場景需求。GCDW有兩個核心特性。

• GCDW既支持本地部署（私有云下的計算與存儲分離模式）也支持云上部署，具備彈性資源擴展能力，用戶可以根據自身的需要隨時彈性擴展計算單元或者存儲單元。

• GCDW在云上提供SaaS能力，為客戶提供企業級彈性數據倉庫系統，讓用戶能夠在云中更輕松地設置、操作。

GCDW的虛擬集群（物理隔離）和資源管理（邏輯隔離）實現了資源的彈性和混合負載；支持多源的、實時高效的數據集成，并提供向量化計算、硬件加速的能力來實時響應用戶的數據處理需求，讓業務從單一離線跑批走向實時；

其新一代向量計算引擎結合經典火山模型與塊（Block）處理，充分利用CPU，提高 Cache 利用率，減少不必要的存儲和內存訪問；同時，基于第四代至強 可擴展處理器大幅提高性能與壓縮率，顯示更高的壓縮比并改善單位數字性能。

案例

• GCDW某行集市應用

項目中試點了三類業務場景：風險集市、監管報送、歷史數據重跑。

利用GCDW彈性資源、多租戶能力，針對每個集市應用建立一個子租戶，實現資源隔離、彈性擴展、資源快速供給，以及未來的湖倉一體。

風險集市：50+日作業，日增數據1TB，4~8節點WH，性能和GBase8a集群基本持平；

監管報送臨時業務：界面配置WH計算資源立即可得，數據已在庫內，立即進入開發測試；

歷史數據重跑：數據湖中歸檔數據無需“升溫”，湖倉一體直接從湖中讀取數據重跑；多租戶特性，誰需要誰操作，而不需要依賴主庫。

GBase GCDW作為具有綜合處理能力的大數據平臺重要組件，具備、多租戶數據開放能力和跨中心操作能力，結合大數據應用的復雜化融合化等特點，能夠集成管理各類平臺，融入機器學習的智能計算能力，關系計算與非關系型計算的融合計算能力以及數據的實時接入、處理的實時能力，同時集成數據湖，支持數據的安全傳輸和數據統一存儲，依靠計算存儲分離的架構來實現分析域私有云和公有云對接的DaaS服務部署和開放能力。依靠這些能力在云上構筑湖倉一體。