當(dāng)前，以O(shè)racle、DB2等為代表的國際主流數(shù)據(jù)庫軟件產(chǎn)品，已經(jīng)長期、廣泛應(yīng)用于國內(nèi)各行業(yè)的核心業(yè)務(wù)系統(tǒng)中。當(dāng)用戶業(yè)務(wù)系統(tǒng)面臨替換改造時，需要解決異構(gòu)數(shù)據(jù)庫在整個切換過程中數(shù)據(jù)遷移、應(yīng)用兼容、新系統(tǒng)穩(wěn)定性等各種問題，以降低用戶進(jìn)行數(shù)據(jù)庫管理系統(tǒng)架構(gòu)遷移的風(fēng)險。

下面根據(jù)GBase 8s的遷移經(jīng)驗，對整體遷移方案做一介紹：

遷移流程是整個遷移工作的指導(dǎo)框架，可有效組織遷移工作的有序開展，主要流程步驟如下圖：

本階段主要進(jìn)行遷移前的調(diào)研評估，以及用來指導(dǎo)形成遷移落地執(zhí)行的方案。內(nèi)容包括如下幾點：

1、遷移前期調(diào)研內(nèi)容及要點

調(diào)研的重點是了解客戶需求和當(dāng)前的痛點，遷移后要有針對性的給客戶提供改善的方案！遷移前期調(diào)研是遷移項目的重要工作環(huán)節(jié)，此部分為項目實施不可省略環(huán)節(jié)。調(diào)研根據(jù)項目階段的推進(jìn)情況可能在簽約前進(jìn)行也可以在簽約后進(jìn)行。

1.1遷移前期調(diào)研的目標(biāo)

• 了解項目遷移實施范圍

• 評估遷移工作量、實施工期、人員數(shù)量及能力要求

• 評估遷移技術(shù)難點、項目主要風(fēng)險

1.2遷移前期調(diào)研的內(nèi)容

• 遷移系統(tǒng)現(xiàn)狀：原數(shù)據(jù)庫系統(tǒng)架構(gòu)拓?fù)鋱D、相關(guān)配置、上下游情況、原庫版本

• 系統(tǒng)運行狀況：應(yīng)用場景、重要性級別評估、應(yīng)用部署架構(gòu)、業(yè)務(wù)類型、業(yè)務(wù)場景中增刪改查各占的大致比例、并發(fā)情況、業(yè)務(wù)系統(tǒng)總用戶數(shù)

• 系統(tǒng)指標(biāo)要求：業(yè)務(wù)高峰時期的響應(yīng)時延要求，批處理并發(fā)數(shù)，處理數(shù)據(jù)量、處理耗時、業(yè)務(wù)數(shù)據(jù)生命周期等

• 接口情況：應(yīng)用開發(fā)語言，開發(fā)環(huán)境ORM框架版本信息、訪問數(shù)據(jù)庫接口協(xié)議、連接池配置、長連接/短連接等、第三方工具支持要求

2、遷移方案設(shè)計

遷移方案需根據(jù)遷移前期調(diào)研結(jié)果，并針對客戶對該系統(tǒng)使用需求和痛點制定項目替換改造實施方案，主要包括:

• 遷移系統(tǒng)的硬件配置和部署方案；

• 針對客戶需求和痛點提供的針對性解決方案；

• 遷移實施的步驟和工作內(nèi)容；

• 實施計劃和里程碑。

3、硬件資源評估

GBase 8s集群的硬件配置評估方式采用倒推的方法，即首先需要獲取原庫的詳細(xì)配置信息，之后再根據(jù)CPU整體核數(shù)、內(nèi)存容量、磁盤容量并結(jié)合業(yè)務(wù)數(shù)據(jù)量趨勢評估GBase 8s集群單臺服務(wù)器的配置以及配置服務(wù)器的臺數(shù)。原則上GBase 8s集群所有服務(wù)器的CPU整體核數(shù)、內(nèi)存容量和磁盤容量及盤片數(shù)量應(yīng)不得小于原庫配置。對于倒推法不適應(yīng)的場景，也可以參考GBase 8s集群推薦的硬件配置。

GBase 8s提供平滑遷移整體解決方案，可使替換過程中GBase 8s數(shù)據(jù)庫應(yīng)用上線過程風(fēng)險總體可控、系統(tǒng)運行平滑。整個過程分為三個階段：在第一階段，需要在完成全量備份恢復(fù)的基礎(chǔ)上，通過數(shù)據(jù)同步工具實現(xiàn)當(dāng)前主源數(shù)據(jù)庫向備用GBase 8s數(shù)據(jù)庫的實時數(shù)據(jù)同步；第一階段平穩(wěn)運行一段時間后，數(shù)據(jù)庫側(cè)進(jìn)行主、備份角色互換后進(jìn)入第二階段：由GBase 8s集群數(shù)據(jù)庫支撐業(yè)務(wù)系統(tǒng)運行，業(yè)務(wù)數(shù)據(jù)實時向源數(shù)據(jù)庫同步；最后階段，原數(shù)據(jù)庫系統(tǒng)割接下線，完成平滑遷移過程。

接下來需要通過對全量、增量數(shù)據(jù)的遷移、遷移前后數(shù)據(jù)的比對方式等技術(shù)難點進(jìn)行提前規(guī)劃。

全量數(shù)據(jù)遷移方案評估及要點

遷移全量數(shù)據(jù)，其遷移的時間窗口很大程度的決定全量遷移是一次性還是分批遷移。主要有以下幾個方面的因素影響，需要重點考慮：

• 源數(shù)據(jù)庫遷移數(shù)據(jù)量【需要實測以評估源庫內(nèi)數(shù)據(jù)的壓縮比】；

• 業(yè)務(wù)允許的停機時間窗口【此過程中源庫需要處于只讀狀態(tài)，且負(fù)載要輕，往往是硬約束條件】；

• 源數(shù)據(jù)庫數(shù)據(jù)導(dǎo)出性能【需要實測已確定能力】；

• 遷移工具服務(wù)器臺數(shù)、IO性能、與8s集群網(wǎng)絡(luò)帶寬【遷移環(huán)境制約因素】；

• 8s集群節(jié)點的加載性能【IO性能和網(wǎng)絡(luò)帶寬綜合考慮】。

對于遷移時間窗口的預(yù)估，需按照如下的公式進(jìn)行估算：

遷移整體時間 = 源庫導(dǎo)出時間 + GBase 8s加載時間 + 數(shù)據(jù)校驗時間

數(shù)據(jù)遷移需要還需要注意：

• 源庫數(shù)據(jù)導(dǎo)出的性能需要實測；

• 評估萬兆帶寬的使用率時要給出一定的冗余度，一般計算需要乘以1/2系數(shù)；

• 整體時間窗口按照導(dǎo)出和加載串行方式評估，保證一定冗余度應(yīng)對突發(fā)情況，而實際執(zhí)行時可以按照多并發(fā)方式設(shè)計遷移的實際執(zhí)行方式。

數(shù)據(jù)校對采用的方法是通過比對原系統(tǒng)和遷移系統(tǒng)對相同數(shù)據(jù)的加工結(jié)果，通過結(jié)果是否一致來推斷過程是否遷移的正確。

數(shù)據(jù)校對常用方法：

總量校對：count值、sum值、avg值對比；

分量校對：對表內(nèi)各維度進(jìn)行g(shù)roup by后對這個維度的一個指標(biāo)值進(jìn)行count、sum、avg核對；

錯誤對比：在發(fā)現(xiàn)不一致的表時，將對比的表拉到一個環(huán)境上進(jìn)行詳細(xì)分析，如進(jìn)行minus運算，找出差數(shù)據(jù)再進(jìn)一步分析；

校對報告：校對報告是校對工作輸出物，對數(shù)據(jù)一致性問題進(jìn)行記錄和分析，對之前解決的問題進(jìn)行追溯，形成數(shù)據(jù)校對工作常見問題的知識體系。