GBase新聞
GBase 8a MPP Cluster V9功能特性解析
GBASE南大通用自主研發的GBase 8a MPP Cluster是大數據時代成熟的分析型MPP數據庫,最新GBase 8a MPP Cluster V9版本虛擬集群具有聯邦構架、大規模并行計算、海量數據壓縮、高效存儲結構、智能索引、虛擬集群及鏡像、靈活的數據分布、完善的資源管理、在線快速擴展、在線節點替換、高并發、高可用性、高安全性、易維護、高效加載等技術特征。能滿足各個數據密集型行業日益增大的數據分析、數據挖掘、數據備份和即席查詢等需求的能力。
GBase 8a MPP Cluster V9虛擬集群新特性
高可用進一步增強
GBase 8a MPP Cluster擁有多級別的高可用技術,包括:核心進程級別高可用技術,GCMonit組件實時監測服務程序的運行狀態, 保證服務程序健康運行;節點級別高可用技術,保證數據一致性。
新版本在集群具有多級別高可用技術的基礎上,使用虛擬集群鏡像技術,實現鏡像集群間的實時數據一致性,在數據庫側實現雙活及更強高可用性,為集群災備、數據倉庫+數據集市的讀寫分離提供了可選方案。
虛擬集群
GBase 8a MPP Cluste虛擬集群極大提升集群可管理性,單套集群規模可達上千節點。以大規模集群為基礎開發,一個集群中包含多個VC。各VC在整個集群范圍內獨立運行,共享統一的入口。權限許可的情況下,各虛擬集群間可以相互訪問。
統一管理
在集群內部進行虛擬集群劃分,在增強集群的擴展能力同時,提供統一的管理視圖,集群可以達到千節點規模。
統一入口
用戶選擇Coordinator cluster中的任意一個Coordinator node作為集群入口。Coordinator node根據用戶確定默認VC。
業務隔離
GBase 8a MPP Cluste虛擬集群對集群進行垂直資源隔離,在實際的業務場景中,可以實現不同業務的資源物理隔離;
透明訪問
提供統一的訪問入口(能夠實現對倉庫和集市的統一訪問入口),應用對多個物理集群的訪問對應用是透明的,對應用來說就是一個統一的集群。
數據安全進一步提升
GBase 8a MPP Cluster數據加密是提供對數據庫落地數據的加密功能,用來滿足用戶的安全需求,提高系統的安全性。數據加密按照數據文件中的DC數據塊為最小單位進行,可以實現表級或者列級不同粒度的加密要求。
數據加密
動態數據脫敏
動態數據脫敏并不會真正改動表中存儲的實際數據,只是在查詢的時候應用該特性控制查詢返回的數據;動態數據脫敏是否啟用受當前用戶權限影響,擁有unmask權限的用戶不受脫敏規則影響可以訪問實際數據,沒有unmask權限的用戶受脫敏規則影響只能訪問到脫敏后的數據。
動態數據脫敏
非root用戶安裝部署、運行
為了方便用戶處理,提供一鍵部署腳本SetSysEnv.py,通過該腳本來處理root下一系列操作。在集群部署前,用戶需要將該腳本拷貝到集群所有節點(復合節點僅需執行一次),然后,在各個節點的root用戶下執行該腳本即可。非root用戶安裝、運行功能,滿足系統級的安全要求。
非root用戶安裝部署、運行
GBase 8a MPP Cluster V9其他新功能及改進
支持多列哈希分布
實際應用中有使用多列哈希作為主鍵的情況,針對這種情況,表遷移到GBase 8a之后,可以使用這些主鍵的列作為HASH列。當主鍵與外鍵進行連接的時候,也是多列全部進行連接,可以在各個節點上直接進行。
多列哈希分布可以解決數據分布不均勻問題,進一步規避單節點的數據存儲和運算傾斜造成單點瓶頸。
支持GB18030、UTF8MB4字符集
新版本提供了對GB18030的四字節編碼部分、UTF8MB4編碼的擴充支持,能夠解決客戶系統中遇到的一些生、偏、難字的問題,以及適應多行業迫切需要的人名、地名用字問題。
性能提升
新版本在以下方面進行了優化,使性能得以大幅提升:
● 批量小文件數據加載性能優化
● OLAP函數并行優化
● 元數據合并
分區表
分區是數據庫領域中處理大數據量的一種有效的技術手段,通過使用分區,可增強數據庫的可用性、降低維護成本、均衡磁盤I/O,并有效改善查詢性能。
表空間
GBase 8a的表空間功能實現了Express引擎表的數據存儲路徑用戶可配置,一個表空間表示一個數據存儲路徑。表空間的創建規則是每個庫可以存在多個表空間,只有一個默認表空間,一個表空間可以多個表使用,但一個表只能屬于一個表空間。
自增列
自增列是指定auto_increment屬性的列,自增列的列值單調遞增(不保證連續)。自增列支持在以下數據類型的列上使用:tinyint、smallint、int、bigint。自增列可以唯一識別表中每一條記錄,可方便用于查詢、修改、刪除等操作。自增列可以唯一識別表中每一條記錄,可方便用于查詢、修改、刪除等操作。