1. 項目概況

   • 具備一體化業務管理平臺采集數據實時入庫的能力；

1、項目背景

集中運營平臺（IOP）中的源數據屬于為大數據分析而做準備。根據目前IOP源數據并發查詢及加載的特點，隨著電信業務的發展，會有更多的源數據要更大并發地加載到IOP前置庫中，對于這種超大規模并發處理，GBase8s產品更擅長，因此把這部分工作從原有的IOP中剝離出來，形成新的IOP前置系統，為IOP提供更好地數據支撐服務。為了提高IOP前置業務系統的高可用和方便今后業務發展后前置系統的橫向擴展，用GBase8s數據庫集群技術來支持IOP前置業務系統。分離出來的IOP前置業務系統數據量大約在10T左右，處理數大約是5百左右并發。

2、關注問題

在10TB以上級別數據量，超大規模并發查詢和加載入庫的實時處理能力。

3、建設要求

• 具備高穩定性，保障一體化業務管理平臺7×24業務需求；

• 具備基于共享存儲集群架構的高可用集群。

• 滿足高峰時段500及以上并發量的處理需求，數據量超過10TB；

• 提供可自動切換節點的高可用方案，無需手動干預；

• 提供數據庫服務器間的雙向復制，實現特定表數據的雙向實時復制。

• 億行級表響應時間為毫秒級，滿足平臺業務高峰時期的處理能力；

• 數據庫具備負載均衡的能力，可以支撐未來數據量的巨大增長；

提供從服務器、存儲到數據庫的全國產化平臺解決方案，要求數據庫對國產

硬件平臺的全適配能力。

1. 解決方案

四川移動數據應用與服務系統，業務系統的指標源數據主要通過批量方式進行加載，業務查詢主要是把相關業務指標數據的查詢出來并展示，并發查詢規模大約有500，系統總體數據量大約有10T左右。采用GBase8s非共享存儲集群來支持運行。根據系統當前并發查詢規模和總體數據量，先建設2節點數據庫集群；隨并發查詢規模增大或總體數據量增大，系統性能無法滿足用戶標準要求時，再增加集群節點。在2節點集群中，其中1個節點作為主節點來支持批量的數據加載工作，并發數據查詢操作可同時利用集群中的2個節點共同來完成，且可做到系統總負載在2節點間的均衡；

系統的應用是通過CM管理器與數據庫集群進行連接的，當主節點發生故障（如斷電、斷網或主節點CPU、內存發生故障或操作系統、數據庫軟件發生故障等）時，原連接到主節點上的應用會自動連接到輔節點上去，輔節點這時會升級為主節點；節點切換時間長短將受到主節點當時事務處理量的影響，最快的節點切換時間為小于10秒。當輔節點發生故障時，原連接到輔節點上的應用會自動連接到主節點上去，主節點對所有業務應用繼續提供支持服務。對于批量加載數據操作，可利用GBase8s外部表的功能，快速地將數據加載到數據庫中。為了更好地支持查詢的并發操作，所有表的鎖粒度應設為行級鎖；對于系統中較大表，為了更好地并行操作、提高操作的效率和方便數據管理，要進行分片處理；對于相關表，要按照查詢條件或相關表關聯字段創建索引，以加快相關數據的查詢速度，另外，對于大表的索引也可以進行分片處理，以對大表索引操作利用到并行處理技術，以加快索引數據的查詢。在加載大量數據或對大表創建索引時，可把PDQ（并行數據處理）打開，以加快數據的裝載或索引的創建。

1、主節點和輔節點不共享數據儲存，有各自的獨立的數據庫存儲空間，可預防集群系統中數據存儲單點故障的風險；兩節點之間除了用光纖網連接或在一個局域網內以外，還要設置心跳網絡，以互相檢測對方的工作狀態，防止節點的故障。

2、所有應用不是直連數據庫集群中的數據庫節點，而是通過連接管理器CM來連接數據庫節點，CM的功能包括讀寫分離、負載均衡和主節點故障時的節點切換，最短的切換時間為不到10秒，時間長短與主節點當時的工作負載有關。為了保障系統的全面高可用，建議CM也部署在多個應用節點上，不與數據庫節點在一起。

3、除了數據庫集群外，還提供了許多數據庫管理、應用開發、安全管理及數據庫遷移等工具，以方便用戶使用。

• 應用效果

  自主可控戰略實現：為金融業全面推進“去IOE”戰略，為全面加快國產化“安全可控”監管落地施行，為促進行業技術架構發展，起到了積極的表率作用；

  全兼容、全適配的OLTP國產數據庫：實現了從服務器、存儲到數據庫的全國產化金融業務平臺解決方案，為客戶業務系統的數據安全提供有力保障；

  滿足用戶系統建設的業務需求：滿足了用戶應對高并發數據處理系統建設需求，提升了系統高可用，和滿足日后隨業務擴大進行系統擴展的要求。