科普 | 流式備份,又快又穩(wěn)又便捷的數(shù)據(jù)備份模式!
發(fā)布人:Marketing 發(fā)布日期:2025-04-22 11:03:14 點擊數(shù):97
用戶在數(shù)據(jù)備份技術(shù)上的核心訴求從未改變:既要速度快,又要運行穩(wěn),管理更簡單。要同時體驗到這三方面的優(yōu)勢,與備份方式密切相關(guān)——你使用的是中轉(zhuǎn)備份,還是流式備份?本文我們將用通俗的方式帶你深入了解這兩種備份的本質(zhì)區(qū)別。
1 技術(shù)原理對比,路徑?jīng)Q定效率
一、中轉(zhuǎn)備份
流程:
① 啟用預(yù)置在業(yè)務(wù)服務(wù)器的備份腳本,從源端讀取備份數(shù)據(jù)。
② 生成臨時備份文件,寫入業(yè)務(wù)服務(wù)器本地的中轉(zhuǎn)存儲空間/中轉(zhuǎn)硬盤。
③ 從中轉(zhuǎn)存儲空間中讀出臨時備份文件。
④ 傳輸至遠端備份目標。
解讀:
? ? ?備份數(shù)據(jù)在中轉(zhuǎn)節(jié)點來回傳輸,消耗大量的磁盤 IO,擠占業(yè)務(wù) IO,成為系統(tǒng)的性能瓶頸。
? ? ?臨時備份文件占用大量存儲空間,容易導致本地硬盤空間不足,引發(fā)業(yè)務(wù)故障及備份失敗。
? ? ?需要根據(jù)應(yīng)用類型編寫對應(yīng)的備份腳本,難以迭代升級,人工運維工作量大,出錯概率高。
? ? ?有些實現(xiàn)方式需要“掛盤”,不僅傳輸效率低、暴露更多系統(tǒng)端口、且不支持源端去重壓縮。
? ? ?對于數(shù)據(jù)量大的應(yīng)用,不僅備份速度慢,而且中轉(zhuǎn)存儲空間大,難以通過這種模式來備份。
二、流式備份
流程:
① 實時獲取已生成的備份數(shù)據(jù),如:數(shù)據(jù)文件 / binlog / redo log 等。
② 將采集到的備份數(shù)據(jù),通過網(wǎng)絡(luò)發(fā)送到備份系統(tǒng),寫入到目標存儲。
在此備份過程中,支持斷點續(xù)傳、多線程上傳、源端重刪、壓縮、加密等,確保備份數(shù)據(jù)的一致性和高性能傳輸。
解讀:
? ? ?備份數(shù)據(jù)全程在應(yīng)用服務(wù)器內(nèi)存中處理,無需本地中轉(zhuǎn)落盤。
? ? ?策略配置在管理端預(yù)置,下發(fā)到備份 Agent 中按時自動執(zhí)行。
? ? ?無需定制任何備份腳本,有利于應(yīng)用系統(tǒng)和備份系統(tǒng)的版本迭代更新。
? ? ?支持多種類型的數(shù)據(jù)傳輸安全機制,確保數(shù)據(jù)的安全性和可靠性。
? ? ?備份數(shù)據(jù)的處理效率更高,支持豐富的備份高級特性,運維管理簡單。
| 類比說明,以倉庫中的貨物出站為例:
中轉(zhuǎn)備份如同一個老式倉庫,需要開辟臨時堆場,用推車將一件件貨物從倉庫中取出,臨時暫存到堆場中,再用推車裝上發(fā)貨車輛,發(fā)往目的地。工作節(jié)點多、易出錯、占用空間大、運營成本高。
流式備份則是一個高科技倉庫,使用自動化傳送帶,貨物從倉庫直達發(fā)貨車輛,貨物直接裝車,發(fā)往目的地。不額外占用空間,工作節(jié)點少、不等待、效率高、鏈路短、運營成本低。
2 實現(xiàn)流式備份,需要跨越技術(shù)鴻溝
表面上看,“邊傳邊備份”很理想,但要真正做到“流式”,其實背后挑戰(zhàn)重重:
總結(jié)來說:開發(fā)一套高效的流式備份功能,不僅需要強大的研發(fā)實力支撐,還需要長期的技術(shù)投入,在已有流式框架的基礎(chǔ)上,適配更多的應(yīng)用類型,才能保持產(chǎn)品的市場競爭力。
3 鼎甲 DBackup,流式備份的踐行者
對于流式備份的實現(xiàn)方式,也存在不同的認知和解讀。如果在實際使用中發(fā)現(xiàn):仍需要基于腳本、手動配置存儲路徑、各種繁瑣的調(diào)參、本地空間經(jīng)常爆滿等。大概率是通過封裝第三方類似 Rsync 工具來實現(xiàn)的偽流式方案。
偽流式備份方案,基于低效的校驗算法、低效的壓縮算法、且難以實現(xiàn)多線程/多通道備份,性能整體表現(xiàn)低下。采用這種實現(xiàn)模式,無非是不想精心研究和鉆研技術(shù),而是想快速適配應(yīng)用。看似提供了應(yīng)用的備份能力,實則是半成品,后續(xù)維護的成本會大大增加。
作為國產(chǎn)數(shù)據(jù)保護的頭部廠商,鼎甲早已落地成熟的流式備份方案,并廣泛應(yīng)用于政企、金融、電信等關(guān)鍵行業(yè)。我們不是“腳本 + 緩存 + 中轉(zhuǎn)”的偽流式,而是真正實現(xiàn)了:
鼎甲核心技術(shù)實力包括:
? XBSA:連接應(yīng)用與備份存儲,提升新應(yīng)用的適配效率。
? EOBS:提供標準化的對象存儲接口,無縫對接新興應(yīng)用。
? EPFS:基于文件系統(tǒng) Native 接口,多線程高速傳輸。
? 自研框架:保障全鏈路的效率和可靠性,保證版本迭代和版本升級。
? 流式重刪:流式備份過程中即實現(xiàn)重刪,減少備份鏈路帶寬占比。我們在文檔和 PPT 中寫明的每一項功能,都是經(jīng)過真實場景驗證的——真正做到“所見即所得”。