項(xiàng)目概況

項(xiàng)目背景

流量經(jīng)營(yíng)已是河北聯(lián)通戰(zhàn)略轉(zhuǎn)型的重點(diǎn),原有的傳統(tǒng)小型機(jī)+Oracle 的經(jīng)分系統(tǒng)由于其成本與性能的限制，無法滿足當(dāng)前河北聯(lián)通的數(shù)據(jù)處理性能要求。

河北聯(lián)通采用 GBase 8a MPP Cluster 數(shù)據(jù)庫(kù)作為底層數(shù)據(jù)平臺(tái)，用 GBase 8a 建設(shè)核心數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)河北聯(lián)通全域的高價(jià)值結(jié)構(gòu)化數(shù)據(jù)，并通過對(duì)全域數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算，向平臺(tái)應(yīng)用層以及外圍系統(tǒng)數(shù)據(jù)接口提供高度匯總的結(jié)果數(shù)據(jù)，同時(shí)直接支撐前臺(tái)頁(yè)面的報(bào)表查詢和即席查詢。

業(yè)務(wù)需求

傳統(tǒng)小型機(jī)+Oracle 的經(jīng)分系統(tǒng)由于其成本與性能的限制，無法滿足當(dāng)前河北聯(lián)通的數(shù)據(jù)處理性能要求，隨著后續(xù)更多業(yè)務(wù)平臺(tái)的接入，省級(jí)經(jīng)分的數(shù)據(jù)規(guī)模將達(dá)到PB級(jí)別，現(xiàn)有平臺(tái)完全無法承載。為了實(shí)現(xiàn)對(duì)用戶的精準(zhǔn)畫像業(yè)務(wù)，數(shù)據(jù)內(nèi)容、互聯(lián)網(wǎng)數(shù)據(jù)都將納入統(tǒng)一數(shù)據(jù)平臺(tái)中。在上述問題亟待解決的背景下，河北聯(lián)通秉承“高效低成本”的指導(dǎo)原則，兼顧海量數(shù)據(jù)的存儲(chǔ)及管理能力和海量數(shù)據(jù)的處理及分析能力，采用 GBase 8a MPP Cluster 數(shù)據(jù)庫(kù)作為底層數(shù)據(jù)平臺(tái)，建立起公司業(yè)務(wù)融合運(yùn)營(yíng)、能力對(duì)外服務(wù)的大數(shù)據(jù)平臺(tái)。

解決方案

本項(xiàng)目使用二十余節(jié)點(diǎn) GBase 8a MPP Cluster 數(shù)據(jù)庫(kù)構(gòu)建核心數(shù)據(jù)倉(cāng)庫(kù)，采用 GBase 8a 快速加載工具，將數(shù)據(jù)快速的加載到數(shù)據(jù)倉(cāng)庫(kù)中。用 GBase 8a 建設(shè)核心數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)河北聯(lián)通全域的高價(jià)值結(jié)構(gòu)化數(shù)據(jù)，并通過對(duì)全域數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算，向平臺(tái)應(yīng)用層以及外圍系統(tǒng)數(shù)據(jù)接口提供高度匯總的結(jié)果數(shù)據(jù)，同時(shí)直接支撐前臺(tái)頁(yè)面的報(bào)表查詢和即席查詢。

河北聯(lián)通大數(shù)據(jù)平臺(tái)架構(gòu)圖

應(yīng)用效果

實(shí)施情況

平臺(tái)已部署數(shù)十節(jié)點(diǎn)（管理節(jié)點(diǎn)+數(shù)據(jù)節(jié)點(diǎn)），數(shù)據(jù)總量達(dá)數(shù)百TB ，庫(kù)內(nèi)數(shù)萬(wàn)張數(shù)據(jù)表。

效果及價(jià)值

高效低成本：通過使用廉價(jià) X86 設(shè)備建立分布式集群，提供比小型機(jī)更高的處理性；

擴(kuò)展更靈活：完全不受數(shù)據(jù)量與設(shè)備能力的限制，集群從8節(jié)點(diǎn)到12、24節(jié)點(diǎn)再到36節(jié)點(diǎn)，隨需擴(kuò)展；

數(shù)據(jù)更融合：全面融入省內(nèi)各業(yè)務(wù)支撐系統(tǒng)的數(shù)據(jù)，數(shù)據(jù)保存周期更久；

遷移更安心：原廠工程師全面保障 Oracle 到 GBase 8a MPP 的數(shù)據(jù)與應(yīng)用遷移，原系統(tǒng)零改動(dòng)直接在 GBase 8a MPP上運(yùn)行。