重慶聯(lián)通BSS詳單歷史庫(kù)改造——列存高壓縮支撐歷史數(shù)據(jù)存儲(chǔ)
項(xiàng)目背景
隨著語(yǔ)音和流量業(yè)務(wù)量的增大,重慶聯(lián)通以往的詳單系統(tǒng)逐漸無(wú)法支撐不斷增長(zhǎng)的詳單數(shù)據(jù)的存儲(chǔ)壓力。重慶聯(lián)通原詳單項(xiàng)目由Oracle 9i進(jìn)行數(shù)據(jù)的存儲(chǔ)和查詢支持,由于數(shù)據(jù)量逐漸增大,目前的存儲(chǔ)系統(tǒng)已經(jīng)不能滿足要求,從而尋求可以實(shí)現(xiàn)更大數(shù)據(jù)量存儲(chǔ)的歷史庫(kù)解決方案。
需求分析
根據(jù)客戶提出的具體需求,期望新建歷史庫(kù)系統(tǒng)能滿足如下的要求:
存儲(chǔ)一年的數(shù)據(jù),并保證六個(gè)月的數(shù)據(jù)是可查詢的;
查詢3秒左右響應(yīng);
壓縮比做到10倍以上;
需要在有限的預(yù)算條件下實(shí)現(xiàn)歷史庫(kù)系統(tǒng)建設(shè)。
解決方案
新建歷史庫(kù)系統(tǒng)能實(shí)現(xiàn)在Oracle系統(tǒng)中保持2個(gè)月的數(shù)據(jù),GBase 8a MPP Cluster保存從當(dāng)月以前的所有歷史數(shù)據(jù)。每個(gè)月1次將從Oracle把最近1個(gè)月的數(shù)據(jù)通過(guò)GBase的數(shù)據(jù)分發(fā)服務(wù)器加載數(shù)據(jù)到GBase 8a MPP Cluster,并同時(shí)在Oracle上刪除1個(gè)月前的數(shù)據(jù)。
上層應(yīng)用根據(jù)檢索期間控制訪問(wèn)至目標(biāo)數(shù)據(jù)庫(kù),最近1個(gè)月的數(shù)據(jù)從Oracle上檢索取得,最近1個(gè)月前的歷史的數(shù)據(jù)從GBase 8a MPP Cluster上檢索取得。
價(jià)值體現(xiàn)
存期延長(zhǎng)一倍:利用GBase 8a MPP Cluster數(shù)據(jù)庫(kù)優(yōu)異的列式存儲(chǔ)和壓縮功能,新系統(tǒng)下可以承載的詳單數(shù)據(jù)存儲(chǔ)周期由原來(lái)的6個(gè)月增長(zhǎng)至1年;
高性能低風(fēng)險(xiǎn):通過(guò)與現(xiàn)有的Oracle數(shù)據(jù)庫(kù)的集成和應(yīng)用層根據(jù)期間的數(shù)據(jù)訪問(wèn)控制,滿足了在數(shù)據(jù)存儲(chǔ)周期增長(zhǎng)的前提下詳單查詢性能不會(huì)下降的基本需求,并且降低了詳單歷史庫(kù)遷移時(shí)的系統(tǒng)風(fēng)險(xiǎn);
高可用低成本:通過(guò)安全組構(gòu)成,設(shè)置1副本的數(shù)據(jù)冗余,保證歷史庫(kù)系統(tǒng)的高可用。由于系統(tǒng)基于戴爾的X86 PC Server的廉價(jià)服務(wù)器平臺(tái)建設(shè),在保證系統(tǒng)對(duì)海量數(shù)據(jù)支撐的同時(shí),實(shí)現(xiàn)了使用廉價(jià)方式構(gòu)建高可用的運(yùn)營(yíng)商核心數(shù)據(jù)平臺(tái)的預(yù)期目標(biāo)。