概要
對象存儲數據災備主要解決對象存儲相關的數據同步場景。幫助用戶將海量非結構化數據同步至對象存儲中,進而提高非結構化數據的檢索與訪問性能。既降低了運營的成本,又提高了數據的安全性。文件歸檔功能使得數據歸檔管理更加靈活方便,能夠及時將本地存儲符合歸檔條件的數據同步至對象存儲中,從而釋放本地存儲資源;所有歸檔記錄可以通過管理界面快速查詢和恢復,十分適合有海量數據存儲的場景。
對象存儲數據災備的使用場景主要有:
本地/NAS存儲上的數據同步至對象存儲,詳情見本地到對象存儲規則、文件比較與同步規則兩章節;
對象存儲上的數據同步至本地/NAS存儲,詳情見對象存儲到本地規則章節;
對象存儲到對象存儲之間的數據同步,詳情見文件比較與同步規則章節。
針對以上場景:對象存儲數據災備可以實現間隔為秒級的數據定期同步。
網絡配置
1)云內:租戶需手動配置其需同步資源所在的虛擬私有云(VPC),并通過部署VPC終端節點(VPCEP)實現MDR網絡代理與目標VPC的安全互聯。
登錄天翼云,進入。
單擊管理控制臺左上角的

,選擇資源所在區域。在服務列表選擇“網絡”-“VPC終端節點”,進入網絡控制臺。
點擊右上角“創建終端節點”按鈕,進入創建VPC終端節點頁面。
在進行節點添加之前,需要把云主機所在的VPC,進行終端節點連接配置,截圖如下:
服務類型選擇“按服務實例ID查找服務”。其中,可用服務處填寫MDR在不同資源池內的代理VPC終端節點服務ID(為MDR側提供固定ID,不同資源池ID不同)。不同資源池對應的代理VPC終端節點服務ID如下:
資源池名稱 終端節點服務ID 華東1 endpser-bjs8nmhm5m 西南1 endpser-fnc13o1uao 華南2 endpser-x6xhocvz79 西南2 endpser-ikzxim4cpv 華北2 endpser-lmmnp90xgx 虛擬私有云選擇需要添加的ECS節點所在的VPC。
注意:此鏈接對于租戶側不收費,費用都在終端節點服務端側(MDR)結算。
租戶配置終端節點成功后,點擊詳情頁可查看節點IP。此節點IP就是后續安裝drnode客戶端時,需要進行配置填寫的IP。
2)云下、其他
云下或者其他場景,需要聯系技術專家針對客戶實際場景進行方案解決。
主要網絡打通方案參考:
云下通過公網與MDR打通
安裝部署
一、安裝DTO同步主機
1)軟硬件環境要求
同步主機需要安裝DTO程序,用于讀取本地存儲及對象存儲數據并進行傳輸。DTO同步主機至少具備以下配置:
硬件環境要求:
下表列出了安裝DTO軟件程序應具備的最低硬件配置。在實際業務中,硬件配置的規劃需考慮數據規模及所期望的響應速度。
| 項目 | 配置說明 |
|---|---|
| 服務器架構 | 支持X86、arm架構。 |
| 硬盤 | 至少預留50GB。 |
| CPU | 至少4核8線程及其以上。 |
| 內存 | 至少8G內存及其以上。 |
| 網絡要求 | 百兆以上以太網。 |
說明:
DTO主機不同的硬件配置可以同時運行的DTO規則數量不同,可以使用如下方式進行估算:
CPU核數:與DTO主機同時運行規則/傳輸線程數有關,計算公式:CPU核數*100≥DTO主機所有規則傳輸線程數。
內存大小:與規則傳輸的大文件數量有關系,判斷標準:
默認全部小文件時,一條規則占用內存100MB;
當規則傳輸文件包含大文件時,會額外占用內存,計算方式:傳輸線程數*對象大文件分片大小*2(默認文件大小≥1GiB,可通過對象存儲·分片大小進行調整);按照默認配置計算,則最多額外占用4GB內存(分片大小200MiB,傳輸線程數10個,假設所有傳輸線程都傳輸大文件分片)。
文件是否為大文件判斷方式:按照對象存儲配置頁面·分片大小配置項數值的5倍劃分,默認分片大小為200MiB,則默認的大文件大小為200MiB*5=1GiB。
如果客戶在同步大文件場景時,發現DTO主機現有內存不足以滿足日常大文件同步所需內存要求,可以通過調大對象存儲的“分片文件大小”數值,來減少需要分片傳輸的大文件數量,可以一定程度上緩解同一時刻規則負責傳輸的大文件的傳輸線程數量,從而減少同一時刻DTO主機的內存占用。(此方式對于大、小文件混合場景時會有緩解作用,如果全部是大文件場景,則無法緩解)
軟件環境要求:
部署DTO軟件程序對操作系統的要求如下:
支持的操作系統(x86架構):Windows Server 2008及其以上、CentOS/Red Hat Enterprise Linux 7.2及其以上等。
注意:DTO有關軟件程序的安裝必須在Linux的root用戶或其他具有超級權限的用戶下進行。
2)RHEL/CentOS(Linux)系統安裝DTO
a)安裝DTO
當安裝DTO的同步主機操作系統為el7.2及以上版本時,可以采用軟件包方式安裝DTO。
DTO軟件程序可以部署在物理主機或虛擬機上,在Linux操作系統下安裝DTO,用戶需要準備適配的操作系統,支持的Linux操作系統版本詳見上方4.1.1“軟硬件環境要求”章節,安裝步驟如下:
將DTO安裝包上傳到服務器,執行DTO安裝包的安裝命令進行安裝:
# rpm -ivh info2soft-dto-<version>.<os-version>.rpm
安裝完成后,確認當前DTO版本信息與安裝包名的版本是否一致:
# rpm -qa | grep dto
編輯system.conf文件(安裝包安裝的默認位置為:/usr/drbksoft/dto/conf/)來指定與控制機通信的DTO主機IP地址,具體添加內容如下:
rpcip = 0.0.0.0
說明:如果要求必須指定具體IP地址,則需要填寫DTO主機網卡的實際IP地址;如果DTO主機有多個IP地址時,則需要配置控制機(Webconsole主機)能夠訪問的DTO主機IP地址。
進入到DTO的安裝路徑下,本例為默認安裝路徑:
# cd /usr/drbksoft/dto/
DTO安裝后需要使用命令如下設置密碼(exampleuser用戶的密碼),在控制臺上注冊DTO主機認證時使用:
# /usr/drbksoft/dto/jdk/bin/java -jar /usr/drbksoft/dto/lib/dto.jar --resetPasswd
若在內網隔離的情況下使用,需要生成對應的認證碼用于在控制臺上注冊。
# /usr/drbksoft/dto/jdk/bin/java -jar /usr/drbksoft/dto/lib/dto.jar --ccproxyConfig
填寫代理主機地址(nodeproxy-mdr),提示success說明連接成功。
使用# /usr/drbksoft/dto/jdk/bin/java -jar /usr/drbksoft/dto/lib/dto.jar --ccproxyConfig命令后,需要重啟drdto:
# systemctl restart drdto
b)DTO啟動與停止
DTO有兩種啟停方式:服務方式和腳本方式,選擇其中一種方式進行啟/停操作即可,推薦使用腳本方式。不同方式的適用場景如下:
服務方式:備份服務器和DTO在同一臺機器上,如本地/NAS存儲與對象存儲間數據同步場景。
腳本方式:備份服務器和DTO在不同機器上,如對象存儲與對象存儲間數據同步場景。
服務方式:DTO和備份服務器在一起時,配置內存建議是16~24G。服務方式使用系統命令進行DTO的啟動和停止,相關命令如下:
進入到dto的安裝路徑下,本例為默認安裝路徑:
# cd /usr/drbksoft/dto/。修改start-synchost.sh文件,將腳本中的Xmx值修改為DTO主機實際內存大小或略小于內存大小(如:64G內存則可以修改為-Xmx64g),修改后保存退出。
啟動DTO:
# systemctl start drdto。開即自動啟動DTO:
# systemctl enable drdto。停止DTO:
# systemctl stop drdto。查看DTO服務狀態:
# systemctl status drdto。重啟DTO:
# systemctl restart drdto。
腳本方式:DTO單獨主機時,配置建議是8G以上。腳本方式進行DTO的啟動和停止,相關命令如下:
進入到dto的安裝路徑下,本例為默認安裝路徑:
#cd /usr/drbksoft/dto/。修改start-synchost.sh文件,將腳本中的Xmx值修改為DTO主機實際內存大小或略小于內存大小(如:64G內存則可以修改為-Xmx64g),修改后保存并退出。
執行啟動腳本文件:
# ./start-synchost.sh。查詢DTO進程:
#ps -ef | grep dto。關閉DTO進程:
#kill (上一步查詢出來DTO的pid)。重新運行DTO程序(先進入DTO啟動腳本所在路徑):
# ./start-synchost.sh。
二、租戶許可申請
登錄天翼云,進入。
單擊管理控制臺左上角的

,選擇區域。在服務列表選擇“計算”-“多活容災服務”,進入。
點擊左側菜單欄-“資源同步”-“資源同步管理”,進入資源管理模塊頁面。
點擊左側菜單欄-“對象存儲數據災備”,點擊“許可”,進入許可頁面。
點擊右上角“購買對象存儲數據災備”按鈕,彈出購買許可彈窗。按需購買許可。
填寫購買數量和時長,勾選已閱讀并同意相關協議后,點擊“購買”按鈕,完成許可支付。