浙江移動大數據基礎平臺——挑戰大數據、高并發
項目背景
隨著移動互聯網和智能終端的發展，電信行業遇到了巨大的挑戰：
首先是市場需求的變化。客戶需求日益多樣化和小眾化，產品規模呈現爆發式增長，客戶的接觸渠道漸趨快速豐富。傳統大眾化、規模化的營銷模式，已經越來越難以適應現有的市場情況；
其次是競爭方面帶來的挑戰。移動互聯網時代的到來，加劇了市場競爭。運營商所要面臨的競爭不僅來自同質企業，也來自異質企業。移動互聯網時代的到來使得互聯網公司風起云涌，電信運營商過去在整個產業中的主導權正逐步被分化，生態環境的改變使得競爭更加激烈；
最后是來自技術方面的挑戰。移動互聯網的快速發展使得業務支撐系統的數據處理量激增，數據類型不斷擴展，涵蓋大量的網絡數據、業務數據、用戶數據和位置信息等。面對海量互聯網數據，傳統數據處理技術成為系統發展的瓶頸。
面對挑戰，浙江移動需要把握大數據時代的機遇，順應需求多樣化、行為碎片化以及海量應用等變化趨勢，轉變傳統營銷思路，以“大數據、超細分、微營銷”為核心，驅動資費、渠道、營銷、傳播能力轉型，建立適合移動互聯網時代的服務體系。
需求分析
浙江公司企業級大數據基礎平臺建設需要支撐5-10個內部應用和5-10個外部應用上線的業務需求，實現數據變現產生收入；
構建MPP資源池集群，主要包括核心數據倉庫和數據集市；
主數據倉庫MPP集群，主要承擔B域、O域的數據建模與基礎數據存儲運算；
數據集市MPP集群，主要承擔內部應用和對外變現應用。VGOP、ESOP、創新應用孵化平臺等傳統數據集市專題類應用也逐步遷移到數據集市MPP集群。
解決方案
本期大數據基礎平臺整體架構：
MPP集群與外部系統的數據交互全部通過云化ETL平臺完成。 MPP集群應用開發基于DACP（數據管理子系統）進行。云管理執行中心采集MPP集群相關指標，并提供給云資源管理平臺；
數據倉庫MPP集群主要承擔數據建模與基礎數據存儲的任務，業務上線后原數據倉庫業務下線；GBase 8a MPP Cluster數據庫平臺采用3+12*3模式，包括3個主機的數據加載節點，12個數據分片組，每組做3份冗余數據，目前數據量是168TB。集群內部采用萬兆網絡進行高速連接；
數據集市MPP集群主要搭載內部應用和對外變現應用。GBase 8a MPP Cluster數據庫平臺采用3+24*2模式，包括3個主機的數據加載節點，24個數據分片組，每個組做2份冗余數據。
價值體現
低成本：GBase 8a MPP Cluster數據庫運行于低成本的X86 PC Server，有效節省硬件投入成本，新系統整體成本降為原來的1/10左右；
動態擴展：GBase 8a MPP Cluster數據庫能夠有效處理PB級數據，滿足基礎數據及應用數據的存儲需求；將原有服務器的垂直縱向擴展模式改為依據數據量的水平橫向擴展模式，動態擴展無須停止服務，保證服務連貫性；
高可用：通過合理配置能夠有效實現均衡負載，充分發揮每一個節點的計算能力，提升整個系統的協同效率；基于冗余的備份策略能夠保證節點在發生故障時，不影響系統對外提供服務的連續性；
高性能：提升對外提供數據服務的能力，實現數據變現產生收入；高效的數據運算與查詢性能，滿足各類專題分析與創新類應用需求。