日前，由GBASE南大通用承辦的第二十五屆中國國際軟件博覽會·中國數(shù)據(jù)庫產(chǎn)業(yè)峰會在天津召開。會上，中國移動信息技術(shù)有限公司數(shù)據(jù)庫內(nèi)核架構(gòu)師王小玉發(fā)表題為“中國移動大數(shù)據(jù)平臺實踐分享”的主題演講。

演講梳理了中國移動大數(shù)據(jù)技術(shù)架構(gòu)和分析型數(shù)據(jù)庫技術(shù)架構(gòu)的演進歷史，分享了移動梧桐大數(shù)據(jù)平臺從湖倉并存，存算一體逐步演進到云原生數(shù)據(jù)湖底座，一湖多云的架構(gòu)，給出了中國移動解決成本、擴展性、數(shù)據(jù)孤島、數(shù)據(jù)搬遷、跨云協(xié)同管理等問題的最佳實踐。

隨著數(shù)字經(jīng)濟發(fā)展，中國移動的數(shù)據(jù)規(guī)模呈現(xiàn)爆發(fā)式增長，并且數(shù)據(jù)形態(tài)、類型越來越豐富，各種數(shù)據(jù)應(yīng)用也更加廣泛，深入到內(nèi)部服務(wù)、生產(chǎn)經(jīng)營管理全鏈條。同時，傳統(tǒng)數(shù)據(jù)倉庫和大數(shù)據(jù)平臺技術(shù)已逐漸顯露出瓶頸，易產(chǎn)生數(shù)據(jù)孤島，數(shù)據(jù)搬遷共享成本高、效率低，數(shù)據(jù)開發(fā)、治理、算法門檻高。

基于這樣的現(xiàn)狀，云原生、存算分離和湖倉一體等新一代大數(shù)據(jù)和數(shù)據(jù)倉庫架構(gòu)被提出。中國移動通過采用存算分離架構(gòu)，解決成本和擴展性問題；并通過湖倉融合的統(tǒng)一數(shù)據(jù)底座，解決數(shù)據(jù)孤島及數(shù)據(jù)搬遷問題；正在從湖倉并存、存算一體逐步演進到以數(shù)據(jù)湖為底座，云原生數(shù)據(jù)倉庫為引擎的一湖多云架構(gòu)，以解決成本、擴展性、數(shù)據(jù)孤島、數(shù)據(jù)搬遷、跨云協(xié)同管理等關(guān)鍵問題。

大數(shù)據(jù)平臺的數(shù)據(jù)倉庫則規(guī)劃了接口層、明細層、資產(chǎn)層、服務(wù)層、應(yīng)用層五個層次，根據(jù)數(shù)據(jù)處理流程和需求特點，建設(shè)四個數(shù)據(jù)倉庫，設(shè)計了多倉、多集群的數(shù)倉架構(gòu)，基礎(chǔ)數(shù)倉和資產(chǎn)數(shù)倉數(shù)據(jù)統(tǒng)一由數(shù)據(jù)湖存儲管理。

作為中國移動長期的合作伙伴，GBASE系列數(shù)據(jù)庫在中國移動大數(shù)據(jù)平臺建設(shè)中發(fā)揮了重要作用。

分布式邏輯數(shù)倉GBase 8a MPP Cluster實現(xiàn)了大數(shù)據(jù)域全量數(shù)據(jù)倉庫云化，按照業(yè)務(wù)邏輯拆分Hadoop集群，并提供透明訪問能力，實現(xiàn)了數(shù)據(jù)的高效流通。通過應(yīng)用實踐，驗證了存算分離架構(gòu)對中國移動業(yè)務(wù)的支撐能力。采用湖倉融合，實現(xiàn)數(shù)據(jù)統(tǒng)采統(tǒng)用，顯著提高了模型處理效率，大大節(jié)省了存儲成本和計算成本。

云原生數(shù)據(jù)倉庫GCDW，是整個大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)湖倉一體的基礎(chǔ)，使用S3、HDFS構(gòu)建統(tǒng)一的數(shù)據(jù)存儲，提供任意規(guī)模的彈性計算集群。

在架構(gòu)方面，實現(xiàn)了存算分離、服務(wù)和計算節(jié)點無狀態(tài)的彈性擴展、多個異構(gòu)存儲同時接入、跨存儲聯(lián)合查詢；在性能方面，通過內(nèi)核優(yōu)化實現(xiàn)了向量化執(zhí)行引擎、C++原生HDFS接入、數(shù)據(jù)緩存、算子下推等技術(shù)；在生態(tài)方面，可以支持多種云基礎(chǔ)設(shè)施，并支持云化、虛擬機、物理機等多種部署方式，成功適配多款國產(chǎn)服務(wù)器及操作系統(tǒng)。

面向未來，中國移動將在大數(shù)據(jù)平臺的統(tǒng)一存儲和統(tǒng)一數(shù)倉兩個維度推進架構(gòu)落地，與GBASE南大通用等合作伙伴共同構(gòu)建湖倉一體的大數(shù)據(jù)創(chuàng)新生態(tài)，實現(xiàn)數(shù)據(jù)要素資產(chǎn)應(yīng)用效能最大化。