國家海洋大數據中心-綜合數據庫解決方案
建設意義
海洋綜合數據庫(二期)基于海洋環境綜合數據庫(一期)建設成果和各類海洋專題數據庫建設基礎,通過整合集成海洋綜合數據庫,實現各類海洋環境、海洋地理信息、海洋專題信息數據的動態匯集、處理、管理、分析與共享服務功能。
架構設計
海洋綜合數據庫(二期)基于一期已建設完成的“多種架構支持多類應用”的海洋環境平臺體系架構,采用混搭模式進行設計。整個平臺從邏輯上自下而上分基礎支撐平臺層、數據資源層、數據管理層、數據應用層,系統技術架構如下圖所示。
圖 一 2國家海洋綜合數據庫(二期)總體架構圖
基礎支撐層:由服務器資源、數據庫服務器集群和存儲服務器資源組成,分別部署于涉密網、海洋專網和互聯網區域;
數據資源層:數據資源層是實現國家海洋地理信息、各類專題信息、海洋環境信息等相關各異構系統數據信息集成的核心組成部分。通過采用統一的海洋大數據匯集、傳輸、轉換標準等一系列數據處理標準,將各海洋地理、專題源系統與海洋數綜合數據庫資源平臺相連,兼顧結構化和非結構化兩類數據的采集、傳輸和同步需求,在數據同步方式上提供豐富的全量/增量、同步/異步、定時/及時、手動/自動等數據提取方式以滿足海洋地理、專項各類業務數據提取要求,通過將多個不同業務系統的數據源抽取、轉換、裝載數據到海洋綜合數據庫,實現海洋綜合數據的匯集、集成,形成海洋地理基礎庫和海洋專題基礎庫,并在此基礎上形成海洋自然資源數據庫、海洋綜合分析數據庫,實現海洋地理、專題數據的無縫交換和共享訪問,并對數據進行細粒度多周期的調度、更新和管理,監控和管理數據采集流程。為上層應用提供統一規范的海洋自然資源數據和海洋綜合業務數據。
數據管理層:數據管理層開展海洋環境清單數據管理、ETL調度管理、數據管理、統計分析以及海洋數據資產管理,結合一期已完成建設的海洋環境相關數據管理功能,實現對海洋綜合數據庫的數據全流程、數據溯源、數據質量、數據安全及數據績效與審計等統一管理,從底層技術上保證各類海洋數據的有效協同,從整體上提高海洋綜合數據庫資源平臺運作效率和安全性。
數據應用層:數據應用層提供海洋綜合數據監控與展示、數據查詢與服務兩大類應用,實現海洋實時數據的監控預警以及各類海洋綜合數據的使用管理、大屏展示、統計分析、查詢服務等內容,為各相關部門使用海洋大數據提供統一的標準數據服務。
項目介紹
為實現國家海洋大數據中心建設目標,海洋綜合數據庫(二期)需在海洋環境綜合數據庫(一期)項目搭建完成的海洋專網海洋環境綜合數據庫平臺基礎上,擴展涉密網及互聯網數據庫平臺及海洋目標和極地數據建設,完成相關部門/行業涉海數據以及國際交換合作和網絡海洋熱點輿情等海洋信息資源的匯集,建立與經濟、海域、海島、環保、觀測、維權執法等現有業務體系數據庫之間的標準接口,逐步實現現有海洋業務數據庫與海洋綜合數據庫的定期更新,并對各類海洋數據進行抽取轉換整合,實現海洋專題數據的統一標準建設、采集、處理,形成海洋綜合數據庫、海洋自然資源數據庫,面向國家海洋安全、海洋權益維護、海洋綜合管理、海洋開發利用、海洋環境認知和海洋生態文明以及海洋公眾服務和海洋國際合作等需求,提供海洋大數據信息資源和應用服務支撐,為海洋自然資源、海洋經濟統計、海洋管理、預報減災、權益維護等提供綜合的數據服務。