成都農(nóng)商銀行數(shù)據(jù)中臺建設(shè)項(xiàng)目
項(xiàng)目背景
成都農(nóng)商銀行在已制定的“一三五”發(fā)展戰(zhàn)略目標(biāo)中強(qiáng)調(diào),堅(jiān)定實(shí)施三農(nóng)金融數(shù)字化策略,讓金融服務(wù)為數(shù)字鄉(xiāng)村建設(shè)增加底氣。但隨著成都農(nóng)商銀行業(yè)務(wù)快速,多元化的發(fā)展,原有系統(tǒng)已經(jīng)不能支撐當(dāng)下銀行業(yè)務(wù)的發(fā)展需求。在此契機(jī)下,成都農(nóng)商銀行啟動(dòng)了數(shù)據(jù)中臺項(xiàng)目。而數(shù)據(jù)倉庫作為整個(gè)數(shù)據(jù)中臺的重要組成部分,需要高效,準(zhǔn)確對全行海量數(shù)據(jù)進(jìn)行整合加工,為數(shù)據(jù)應(yīng)用提供及時(shí)的數(shù)據(jù)支撐,是整個(gè)中臺運(yùn)行的心臟。為此需要將數(shù)據(jù)倉庫運(yùn)行在高效,穩(wěn)定的計(jì)算引擎上。通過對先進(jìn)同業(yè)進(jìn)行調(diào)研,及結(jié)合行業(yè)頭部廠商經(jīng)驗(yàn),MPP數(shù)據(jù)庫是適用于成都農(nóng)商銀行數(shù)據(jù)倉庫計(jì)算引擎的最佳選擇。
需求分析
提升數(shù)據(jù)庫性能:支撐海量數(shù)據(jù)及復(fù)雜分析和處理,實(shí)現(xiàn)高性能并行計(jì)算。
采用列式存儲(chǔ):提升數(shù)據(jù)查詢效率,并通過數(shù)據(jù)壓縮技術(shù)節(jié)省存儲(chǔ)設(shè)備開銷。
提升數(shù)據(jù)裝載效率:滿足海量數(shù)據(jù)的及時(shí)入庫。
可提供標(biāo)準(zhǔn)化接口和良好兼容性:與主流中間件、ETL、報(bào)表工具均可對接。
解決方案
采用南大通用GBase 8a MPP Cluster分布式并行數(shù)據(jù)庫集群作為數(shù)據(jù)中臺項(xiàng)目中數(shù)據(jù)倉庫,準(zhǔn)確對全行海量數(shù)據(jù)進(jìn)行整合加工,為數(shù)據(jù)應(yīng)用提供及時(shí)準(zhǔn)確的數(shù)據(jù)支撐。項(xiàng)目于2022年上線。采用SharedNothing架構(gòu)、列存儲(chǔ)、高性能數(shù)據(jù)壓縮等技術(shù),幫助成都農(nóng)商銀行實(shí)現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)加載、數(shù)據(jù)并發(fā)查詢等應(yīng)用,實(shí)現(xiàn)系統(tǒng)的高性能、高并發(fā),保證系統(tǒng)最大響應(yīng)時(shí)間在3秒以內(nèi),使終端客戶得到滿意的操作體驗(yàn)。下圖所示的系統(tǒng)架構(gòu)中,GBase 8a MPP Cluster由四個(gè)計(jì)算節(jié)點(diǎn)組成,應(yīng)用服務(wù)層通過查詢接口對用戶提供查詢服用戶查詢請求經(jīng)數(shù)據(jù)分發(fā)服務(wù)器被分片發(fā)送至集群的幾個(gè)節(jié)點(diǎn)上并行執(zhí)行。
價(jià)值體現(xiàn)
滿意度高: 增加了從數(shù)據(jù)到業(yè)務(wù)的賦能,大幅提升客戶滿意度
性能提升:采用MPP數(shù)據(jù)庫,使用高性能的并行計(jì)算,大幅提升了系統(tǒng)的查詢響應(yīng)時(shí)間
擴(kuò)展性強(qiáng):支持在線性擴(kuò)展,集群性能隨節(jié)點(diǎn)數(shù)增加而線性提升
性價(jià)比高:采用PCServer開放硬件平臺,在成本上遠(yuǎn)低于小型機(jī)+傳統(tǒng)數(shù)據(jù)庫,且性能遠(yuǎn)勝傳統(tǒng)架構(gòu)