中科院CNGI國家重大信息化項目——高并發、大流量
中國下一代互聯網示范工程(CNGI)是國家級戰略項目,六個主干網絡之一中國科技網(CSTNET)由中國科學院負責運營。中國科技網是由北京、上海等十三
價值體現
l 海量數據存儲:實現了對TB級數據的壓縮存儲和管理,壓縮比達到1:3,有效節約磁盤空間和硬件投入成本;
l 高并發:1000并發下的秒級查詢;
l 統計分析查詢:支持復雜統計分析查詢秒級響應;
l 高擴展:支持在線線性擴展,且保證性能隨著節點的增加而線性提升,滿足未來PB級業務的擴展需求。
解決方案
如下圖所示,南大通用采用GBase 8a MPP Cluster作為中國科技網運行維護和管理的后臺數據庫集群系統,將來自于CSTNET的運維管理、互聯網接入服務、科研數據中心等數據源高速加載至GBase 8a MPP Cluster中,進行按指定的源端IP計算流量、按指定的協議計算流量、按目的端IP計算流量,并進行統計訪問次數等查詢工作,同時生成網絡監測分析數據。GBase 8a MPP Cluster通過Shared Nothing集群架構,采用列存儲、高效壓縮、智能索引等核心技術,為全網網絡監測等復雜查詢分析提供技術保障。
需求分析
滿足大規模網絡監測分析系統等應用,需要對百TB級流量數據進行高效壓縮存儲、管理;需滿足支持1000以上高并發查詢,且響應時間在秒級;需要對流量數據進行復雜統計查詢分析。
項目背景
中國下一代互聯網示范工程(CNGI)是國家級戰略項目,六個主干網絡之一中國科技網(CSTNET)由中國科學院負責運營。中國科技網是由北京、上海等十三家地區分中心組成的國內骨干網,擁有多條通往不同國家的國際出口,并與多個國內主要互聯網運營商實現高速互聯,其業務包括CSTNET的運維管理、互聯網接入服務、科研數據中心等。目前數據流量已經達到百TB,且數據量呈爆炸型增長,現有數據庫系統已經很難有效支撐海量的互聯網信息存儲和網絡流量監控等分析型應用工作。