GBase新聞
湖倉(cāng)一體的優(yōu)選:GBase 8a MPP + XEOS
近日,天津南大通用數(shù)據(jù)技術(shù)股份有限公司(以下簡(jiǎn)稱:GBASE南大通用)分布式分析型數(shù)據(jù)庫(kù)GBase 8a MPP完成了與北京星辰天合科技股份有限公司(以下簡(jiǎn)稱:XSKY星辰天合)全協(xié)議支持的企業(yè)級(jí)對(duì)象存儲(chǔ)XEOS的對(duì)接測(cè)試,通過(guò)功能測(cè)試、性能測(cè)試,各項(xiàng)測(cè)試結(jié)果總體正常達(dá)到測(cè)試預(yù)期,兩款產(chǎn)品兼容性良好,滿足功能需求。
數(shù)據(jù)倉(cāng)庫(kù)遭遇存儲(chǔ)性能及兼容性問(wèn)題
隨著國(guó)產(chǎn)化進(jìn)程的推進(jìn),國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商勵(lì)精圖治,經(jīng)過(guò)多年對(duì)產(chǎn)品的打磨,國(guó)產(chǎn)數(shù)據(jù)庫(kù)系統(tǒng)已逐漸成熟,并積累了大量的客戶案例。隨著國(guó)產(chǎn)數(shù)據(jù)庫(kù)的推廣及越來(lái)越多的被投入到生產(chǎn)環(huán)境中,數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)被逐漸應(yīng)用起來(lái),而相關(guān)的存儲(chǔ)性能及兼容性問(wèn)題接踵而至。
數(shù)據(jù)倉(cāng)庫(kù)是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下,為了進(jìn)一步挖掘數(shù)據(jù)資源、為了決策需要而產(chǎn)生的。數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)目的,是為前端查詢和分析作為基礎(chǔ),由于有較大的冗余,所以需要的存儲(chǔ)也較大。數(shù)據(jù)倉(cāng)庫(kù)通常有以下幾個(gè)特點(diǎn):
數(shù)據(jù)量過(guò)大:數(shù)據(jù)倉(cāng)庫(kù)包含了由歷史數(shù)據(jù)、詳細(xì)數(shù)據(jù)和各種各樣類型的數(shù)據(jù)組成的數(shù)據(jù)。數(shù)據(jù)量龐大,對(duì)于數(shù)據(jù)的管理、索引、持久化保存都是巨大的挑戰(zhàn)。
文件格式多:數(shù)據(jù)倉(cāng)庫(kù)其數(shù)據(jù)來(lái)源于不同外部系統(tǒng),其數(shù)據(jù)也是開(kāi)放給各個(gè)外部應(yīng)用系統(tǒng)使用。因此的數(shù)倉(cāng)中的數(shù)據(jù),是按照不同的主題區(qū)分的,根據(jù)各個(gè)主題的不同會(huì)產(chǎn)生大量不同格式的文件。
需要長(zhǎng)期保留:數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后,一般情況下將被長(zhǎng)期保留,也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的加載、刷新。數(shù)據(jù)倉(cāng)庫(kù)中包括了大量的歷史數(shù)據(jù)。
文件并發(fā)讀寫(xiě)頻繁:由于數(shù)據(jù)倉(cāng)庫(kù)是面向各個(gè)外部應(yīng)用系統(tǒng)的,面對(duì)不同的業(yè)務(wù)系統(tǒng),因此文件大小不一,并且文件需要被頻繁的訪問(wèn)與讀取,頻繁的文件讀寫(xiě)需要底層存儲(chǔ)系統(tǒng)提供高性能的能力。
基于以上需求,GBASE南大通用與XSKY星辰天合建立戰(zhàn)略合作,本次進(jìn)行深度適配,根據(jù)各類業(yè)務(wù)場(chǎng)景,雙方對(duì)產(chǎn)品進(jìn)行了大量的兼容性及性能測(cè)試,GBase 8a MPP數(shù)據(jù)庫(kù)側(cè)參照標(biāo)準(zhǔn)AWS S3協(xié)議規(guī)范進(jìn)行商業(yè)化開(kāi)發(fā)改造,XEOS對(duì)象存儲(chǔ)完美支持此協(xié)議,經(jīng)過(guò)雙方技術(shù)人員多輪測(cè)試驗(yàn)證后,達(dá)到性能及兼容性等預(yù)期目標(biāo)。
XEOS對(duì)象存儲(chǔ)與GBASE數(shù)據(jù)庫(kù)對(duì)接說(shuō)明
本次對(duì)接測(cè)試根據(jù)中移動(dòng)總部云數(shù)倉(cāng)項(xiàng)目實(shí)際需求進(jìn)行制定,為后期平臺(tái)建設(shè)提供決策參考與支持。本次測(cè)試內(nèi)容包括功能測(cè)試、性能測(cè)試,各項(xiàng)測(cè)試結(jié)果總體正常達(dá)到測(cè)試預(yù)期。
功能測(cè)試:涵蓋標(biāo)準(zhǔn)SQL、數(shù)據(jù)加載、表數(shù)據(jù)存儲(chǔ)分布方式、開(kāi)發(fā)接口4個(gè)方面,共15個(gè)測(cè)試小項(xiàng),所有功能測(cè)試項(xiàng)完全支持,全部通過(guò),具體測(cè)試結(jié)果,詳細(xì)如下所示:
通過(guò)本次對(duì)功能和性能的測(cè)試,都達(dá)到了預(yù)期目標(biāo),GBase 8a MPP數(shù)據(jù)庫(kù)與XSKY企業(yè)級(jí)對(duì)象存儲(chǔ)XEOS相融合,系統(tǒng)可靠穩(wěn)定運(yùn)行,性能表現(xiàn)優(yōu)異。
XEOS對(duì)象存儲(chǔ)產(chǎn)品優(yōu)勢(shì)
XEOS對(duì)象存儲(chǔ),是XSKY公司擁有自主知識(shí)產(chǎn)權(quán)、獨(dú)立開(kāi)發(fā)面向多業(yè)務(wù)場(chǎng)景的企業(yè)級(jí)軟件定義存儲(chǔ)產(chǎn)品,其基于國(guó)產(chǎn)CPU、國(guó)產(chǎn)操作系統(tǒng)及應(yīng)用進(jìn)行了深度的適配及優(yōu)化,通過(guò)對(duì)AWS S3、HDFS、NFS及S3生態(tài)體系等各類協(xié)議的支持,在穩(wěn)定性、可靠性、易用性及性能等方面滿足企業(yè)各類復(fù)雜應(yīng)用的需求。
GBase 8a MPP產(chǎn)品優(yōu)勢(shì)
GBase 8a MPP是GBASE南大通用自主研發(fā)的,面向海量數(shù)據(jù)查詢分析應(yīng)用領(lǐng)域的一款高性能?chē)?guó)產(chǎn)分析型型數(shù)據(jù)庫(kù)產(chǎn)品,用于滿足各個(gè)數(shù)據(jù)密集型行業(yè)日益增大的數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)備份等數(shù)據(jù)存儲(chǔ)、管理和處理需求,可用做數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)的承載數(shù)據(jù)庫(kù)。主要應(yīng)用在金融、電信、能源等擁有海量業(yè)務(wù)數(shù)據(jù)的行業(yè)得到規(guī)模化應(yīng)用,在商業(yè)分析和商業(yè)智能市場(chǎng)領(lǐng)域表現(xiàn)突出。