當前位置:首頁 » 數據倉庫 » 資料庫備份體系及容災方案
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

資料庫備份體系及容災方案

發布時間: 2023-05-31 02:12:54

1. 數據容災的三級體系

目前比較完善的容災系統設計一般為三級體系結構的容災系統,整套系統包括存儲、備份和災難恢復部分。以下使用惠普生產的備份伺服器,模塊化磁碟陣列,備份磁帶庫和相關容災軟體舉例三級體系結構的容災系統的建立。
1、數據存儲子系統
正常情況下,業務系統運行在主中心伺服器上,業務數據存儲在主中心存儲磁碟陣列EMA12000中。EMA12000具有從12個磁碟驅動器到最多126個磁碟驅動器的擴展能力,能跨越多個大型主機和混合的UNIX、多廠商的Windows NT、Windows 2000以及其他開放系統的平台。
惠普為EMA12000系統設計的ASC陣列控制軟體,實現了對跨多伺服器平台數據的集中式控制,使數據不管在何時、在何地、以及何種方式需要,其可用性都能以真正的零停機時間得到成分保證。
2、數據備份子系統
為了實現業務數據的實時災難備份功能,關鍵應用可設置兩個數據中心,分別是主中心和備份中心。主中心系統配置主機包括兩台或多台HP ALPHA伺服器以及其他相關伺服器,通過構成SCSI CLUSTER組成多機高可靠性環境。主中心通過ATM/E3/WDM與備份中心連接。
在容災系統解決方案中,正常情況下,業務系統運行在主中心伺服器上,業務數據存儲在主中心存儲磁碟陣列EMA12000中,同時在備份中心配置EMA12000存儲磁碟陣列。主中心存儲磁碟陣列通過ATM/E3/WDM連接到備份中心磁碟陣列,DRM(數據復制管理器)使主中心存儲數據與備份中心數據保持實時完全一致。
3、災難恢復子系統
方案中,備份數據的磁帶庫安置在備份中心,利用備份伺服器直接連接到存儲陣列EMA12000和磁帶庫TL895,通過EBS(企業數據備份)和Legato NetWorker數據存儲管理系統控制系統的備份。萬一主數據中心出現意外災難,系統可以自動切換到備份數據中心,在保持連續運行的基礎上,快速恢復主數據中心的業務數據。
該套三級體系容災方案具有高度的可用性。第一級,為了避免系統單點失敗而影響整個系統的情況出現,採用了冗餘的手段,大到主機,存儲設備,小到光纖適配器,均具備冗餘容錯功能;第二級,無論是主機或存儲設備出現故障,均可通過主/備份中心光纖交換機之間的連接來保證通信和數據的完整性;第三級,萬一主數據中心出現意外災難,系統可以自動切換到備份數據中心。三級體系的科學設計保證了數據容災系統的高度可用性和可靠性。
不僅如此,惠普獨有的HP OpenView網路設備管理軟體從根本上將系統管理人員解脫出來。整個系統的設備雖然很多,但不論是主機系統,存儲設備,還是光纖交換機,光纖卡,均能通過一台工作站進行集中的管理和監控,從另一個方面保證了整個業務系統的連續不斷地運行。除正常的計劃性停機外,該系統可以做到365×24的可用性。

2. 如何實現數據中心異地容災備份

異地容災,顧名思義就是在不同的地方(異地:可以是同城的兩個不同的機房或者是兩座不同的城市),構建一套或者多套相同的應用或者資料庫,進一步提高了數據抵抗各種可能安全因素的容災能力,可以對企業應用和資料庫起到安全性、連續性等方面的作用。
兩大分類
考慮到不同企事業單位對數據安全和業務連續性的要求不盡相同,我們將異地容災分為兩大類:數據級容災和應用級容災。
數據級容災:就是指建立一個異地的數據系統,該系統是本地關鍵應用數據的一個可用復制。在本地數據及整個應用系統出現災難時,至少在異地保存有一份可用的關鍵業務的數據。該數據可以是與本地生產數據的完全實時復制,也可以比本地數據略微落後,但一定是可用的。
應用級容災:在數據級容災基礎上,在異地建立一套與本地生產系統相當的備份環境,包括主機、網路、應用、IP等資源均有配套,當本地系統發生災難時,異地系統可以提供完全可用的生產環境。
CDP異地容災VS傳統異地容災
傳統的異地容災方案大多基於遠程復制技術。遠程復制是指運用復制技術將數據以同步或者非同步的方式存儲到異地災備中心中,其主要實現方式有三種:1.利用主機遠程復制軟體或硬體 。2.利用存儲自身的復制軟體。3.利用資料庫軟體產品。遠程復制的方式可以實現數據級的容災,但是一旦發生災難,無法保證業務的連續性。此外,一旦出現資料庫邏輯錯誤或人為誤刪除的情況,遠程復制不能修復數據錯誤,也不能找回誤刪除的數據,更談不上100%恢復數據並保障數據的可用性了。
和力記易的異地容災方案以CDP持續數據保護技術為核心,可以構建異地桌面端或伺服器端的文件、資料庫和應用的全需求平台,能夠防範數據丟失、修復數據錯誤,還能保障業務連續,全方位滿足客戶不同的數據安全和業務連續性要求。

3. 數據容災的實現方式

一.數據備份 所謂備份,就是通過特定的辦法,將講資料庫的必要文件復制到轉儲設備的過程。其中,轉儲設備是指用於放置資料庫拷貝的磁帶或磁碟。
選擇備份的依據是:丟失數據的代價與確保數據不丟失的代價之比.還有的時候,硬體的備份有時根本就滿足不了現實需要,比如誤刪了一個表,又想恢復該表的時候,資料庫備份就變得重要了。
Oracle提供了強大的備份與恢復策略,包括常規資料庫備份(邏輯備份,冷備份與熱備份)和高可用性資料庫(如備用資料庫與並行資料庫),以下的備份主要指資料庫的常規備份。
1.備份的重要性
備份是系統中需要考慮的最重要的事項,雖然他們在系統的整個規劃,開發和測試過程中甚至占不到1%,看似不太重要且默默無聞的工作只有到恢復的時候才能真正體現出其重要性,任何數據的丟失與嘗試見的數據down機,都是不可以被接收的。如果備份不能提供恢復的必要信息,使得恢復過程不能進行或長時間的進行(如一個沒有經過嚴格測試的備份方案),這樣的備份都不算或不是一個好的備份。
如果出現系統崩潰的災難,資料庫就必須進行恢復,恢復是否成功取決於兩個因素,精確性和及時性。能夠進行什麼樣的恢復依賴於有什麼樣的備份。作為DBA,有責任從以下三個方面維護資料庫的可恢復性:
(1)使資料庫的失效次數減到最少,從而使資料庫保持最大的可用性。
(2)當資料庫失效後,使恢復時間減到最少,從而使恢復的效益達到最高。
(3)當資料庫失效後,確保盡量少的數據丟失或根本不丟失,從而使數據具有最大的可恢復性。
數據備份是容災的基礎,是指為防止系統出現操作失誤或系統故障導致數據丟失,而將全部或部分數據集合從應用主機的硬碟或陣列復制到其它的存儲介質的過程。傳統的數據備份主要是採用內置或外置的磁帶機進行冷備份。但是這種方式只能防止操作失誤等人為故障,而且其恢復時間也很長。隨著技術的不斷發展,數據的海量增加,不少的企業開始採用網路備份。網路備份一般通過專業的數據存儲管理軟體結合相應的硬體和存儲設備來實現。
2.常見的備份方式
(1)定期磁帶備份數據。
(2)遠程磁帶庫、光碟庫備份。即將數據傳送到遠程備份中心製作完整的備份磁帶或光碟。
(3)遠程關鍵數據+磁帶備份。採用磁帶備份數據,生產機實時向備份機發送關鍵數據。
遠程資料庫備份。就是在與主資料庫所在生產機相分離的備份機上建立主資料庫的一個拷貝。
(4)網路數據鏡像。這種方式是對生產系統的資料庫數據和所需跟蹤的重要目標文件的更新進行監控與跟蹤,並將更新日誌實時通過網路傳送到備份系統,備份系統則根據日誌對磁碟進行更新。
(5)遠程鏡像磁碟。通過高速光纖通道線路和磁碟控制技術將鏡像磁碟延伸到遠離生產機的地方,鏡像磁碟數據與主磁碟數據完全一致,更新方式為同步或非同步。
數據備份必須要考慮到數據恢復的問題,包括採用雙機熱備、磁碟鏡像或容錯、備份磁帶異地存放、關鍵部件冗餘等多種災難預防措施。這些措施能夠在系統發生故障後進行系統恢復。但是這些措施一般只能處理計算機單點故障,對區域性、毀滅性災難則束手無策,也不具備災難恢復能力。
二.數據復制

SAN專注於企業級存儲的特有問題,主要用於存儲量大的工作環境。當前企業存儲方案所遇到問題的兩個根源是:數據與應用系統緊密結合所產生的結構性限制,以及目前小型計算機系統介面(SCSI)標準的限制。大多數分析都認為SAN是未來企業級的存儲方案,這是因為SAN便於集成,能改善數據可用性及網路性能,而且還可以減輕存儲管理作業。
SAN是目前人們公認的最具有發展潛力的存儲技術方案,而未來SAN的發展趨勢將是開放、智能與集成。NAS是目前增長最快的一種存儲技術,然而就二者的發展趨勢而言,在應用層面上SAN和NAS將實現充分的融合。可以說,NAS和SAN技術已經成為當今數據容災備份的主流技術,關鍵在於如何在此基礎上開發完善全方位、多層次的數據容災備份系統,在分布式網路環境下,通過專業的數據存儲管理軟體,結合相應的硬體和存儲設備,來對全網路的數據備份進行集中管理,從而實現自動化的備份、文件歸檔、數據分級存儲以及災難恢復等功能。

4. 常用Oracle 備份方案 容災方案都有哪些

eXP和IMP是Oracle提供的一種邏輯備份工具。邏輯備份創建資料庫對象的邏輯拷貝並存入一個二進制轉儲文件。這種邏輯備份需要在資料庫啟動的情況下使用, 其導出實質就是讀取一個資料庫記錄集(甚至可以包括數據字典)並卜顫將這個記錄集寫入一個文件,這些記錄的導出與其物理位置無關,導入實質就是讀取轉儲文件並執行其中的命令。此備份方式是通過Oracle的實用工具export和import來實施的, export是把資料庫中的數據導出,import是把export卸出的數據導入資料庫中。通過此工具可以衍生出多種功能, 比如整個資料庫的備份、表結構重建、數據的傳輸、用戶的改變等等。
也可以採用專業的容災備份軟體對ORACLE數據進行備份。實時數據備份的軟體現在很多,CDP容災備份方案(備特嫌源佳備份軟體)在RPO和RTO兩項指標上優勢明顯,可以實現數據芹弊態的實時備份,保障業務系統的連續性。有數據級和應用級兩種容災方案。

5. 大數據時代,企業安全如何做好容災備份

一、數據保護

在雲與大數據時代,海量增長的數據容量,給數據的存儲和保護帶來新的挑戰,從傳統熟悉的IT架構到以雲架構、虛擬化、超融合為代表的技術升級迭代,使得數據保護的技術手段也要加速。

1、數據保護的重要性

數據是企業重要的生產資料,關鍵數據的丟失可能會給企業致命一擊。比如在911事件中,Bank NewYork在數月後因數據的丟失被迫破產清盤。

為什麼後果如此嚴重?因為數據是計算機系統存在的原因和基礎,數據往往是不可再生的。一旦發生數據丟失,企業就會陷入困境:技術文件、財務賬目等客戶、交易、生產數據可能被破壞得面目全非。

2、數據丟失的可能性

概括起來,數據丟失分三個層次。一是邏輯錯誤,包括軟體存在的bug、病毒攻擊、數據塊被破壞等;二是物理損壞,包括伺服器、磁碟損壞等;三是自然災害對數據中心的摧毀等。

數據的危害時刻都在發生,比如,曾經發生過的「刪庫跑路、漏洞後門、系統本身脆弱性、雲服務商故障、誤操作配置、數據中心火災」等事故,都是數據丟失方面最沉痛的教訓。

3、數據復制技術

為了應對數據丟失造成的損失,必須對數據進行復制保護,並且企業信息化程度越高,相關的恢復措辭就越重要。一般數據從生產到存儲,主要經過應用、中間件、資料庫、操作系統、存儲或者磁碟驅動、伺服器硬體、網路、存儲交換機到存儲。在傳統的數據備份恢復基礎上,通過數據復制技術提供多數據副本,保證副本數據的可用性從而實現數據保護。

從技術角度看,分為中間件和應用層復制、資料庫層復制、主機操作系統及存儲層復制。

中間件和應用層的數據復制:是中間件或者應用層面的雙寫,根據業務需求,通過應用架構設計實現數據主本和副本的更新;根據需要進行強一致性、弱一致性、最終一致性設計,來保證主本和副本之間的一致性、完整性、時效性。

資料庫層復制:不管是開放的資料庫還是大機的資料庫,都提供相關的數據復制軟體,實現資料庫數據的物理復制和邏輯復制。主要技術流派包括邏輯復制和物理復制兩種。前者利用資料庫的重做日誌、歸檔日誌,將主本所在站點的日誌傳輸到副本所在站點,通過重做sql的方式實現數據復制。邏輯復制只提供非同步復制,主副本數據的最終一致性,無法保證實時一致性;後者通過Redo日誌或者歸檔日誌在副本站點的同步或者非同步持久化寫、Redo Apply來實現復制功能,同時,副本站點的數據可以提供只讀功能。

主機操作系統層、存儲層復制:基於系統的I/O、底層物理卷、數據塊,通過存儲硬體、備份恢復、存儲虛擬化等技術實現數據復制,與上層的應用和邏輯無關。主要技術流派包括磁碟鏡像技術、操作系統層基於卷管理的數據復制技術、存儲層的存儲虛擬化技術、優化的備份恢復技術及網路數據存儲集中管理技術等。

二、容災備份

這實際上是兩個獨立的概念,備份不等於容災,備份是保護數據,容災是確保業務連續性。在災備一體機出現後,這兩個概念所代表的功能往往被包含在裡面,所以,也造成在一些用戶在采購純軟體產品時,將備份與容災產品混為一談,以至於廠商不知道用戶到底需要備份產品還是容災產品,或者是備份+容災的產品。

目前,災備雲、熱備雲、大數據一體機、超融合架構等12大雲計算、大數據產品線,完美覆蓋容災備份方案的1—6級,貼心解決客戶「數據零丟失」、「數據任意點回退」、「保障業務連續」3大需求點。

6. 兩個oracle資料庫如何設計容災方案

在企業災備預算中,最常見的問題就是按原套設備去做預算,費用往往高得嚇人,所以很多企業想做災備,最後都會卡在預算上。今天,英方工程師分享一個案例,如何將災備預算成倍下降,提升企業的災備幸福感。

1、AIX+Oracle雙機要做災備
 
案例需求:客戶AIX+Oracle雙機規劃災備建設,確保業務數據安全與業務連續。
 
災備規劃方案一:在本地災備中心按照生產環境AIX+Oracle雙機的配置進行規劃,價格太高,超出了預算范圍。主要原因是客戶相當於花雙倍價錢,買兩套同樣的設備,但是只有一套設備在生產,性價比太低,並且後續的運維成本也很高,所以方案被斃掉。
 
災備規劃方案二:利用雲計算的資源,將災備中心寄託於雲計算上。私有雲造價昂貴,對客戶體量不適合;公有雲是很好的選擇,但是經過計算,客戶發現在資料庫采購、服務費用、雲設施按需購買等綜合費用也比方案一少不了幾個錢,並且公有雲的安全性沒有私有雲的高,方案整體的穩定性、可控性差,所以方案也被斃掉。
 
2、方案涉及到的操作系統的知識點
 
本案涉及生產環境的操作系統與資料庫配置,我們先簡單介紹AIX、UNIX、Linux的知識點。
 
首先是AIX,它是IBM基於AT&TUnixSystemV開發的一套「類UNIX」操作系統,運行在IBM專有的Power系列晶元設計的小型機硬體系統之上。那麼,什麼是UNIX操作系統呢?
 
UNIX操作系統是一個強大的多用戶、多任務操作系統,支持多種處理器架構,按照操作系統的分類,屬於分時操作系統,最早由KenThompson、DennisRitchie和DouglasMcIlroy於1969年在AT&T的貝爾實驗室開發。目前它的商標權由國際開放標准組織所擁有,只有符合單一UNIX規范的UNIX系統才能使用UNIX這個名稱,否則只能稱為類UNIX(UNIX-like)。
 
Linux是一套免費使用和自由傳播的「類Unix」操作系統,是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。它能運行主要的UNIX工具軟體、應用程序和網路協議,支持32位和64位硬體。
 
3、簡單跨平台,Linux+i2輕松災備
 
針對上面客戶提到的災備需求,很顯然,理想與現實的距離總是那麼遙遠。但是不要灰心,英方工程師有辦法。針對這種情況,我們首先需要跳出傳統容災備份的思路,特別是英方新災備技術方案對於操作系統與資料庫等進行跨平台災備的創新,在窄帶寬、長距離、平台異構(操作系統與存儲方式)、低成本、安全性、穩定性等方面有諸多的優勢。

7. 有哪些mysql資料庫容災備份方案推薦

以mysql為列:

規劃容災備份時,有兩個參考依據,1:恢復點目標(PRO),2:恢復時間目標(RTO)。他們定義了可以容忍丟失多少數據,以及恢復數據需要多少時間。而且一定要走出一個誤區,復制就是備份,只有備份才能滿足滑中滑備份的要求。

個人認為備份方案類型如下:

1:在線備份或者離線備份,通常關閉mysql做離線備份是最簡單最安全的,伺服器不提供應用訪問服務,可以更快完成備份,但是,這樣會導致服務中斷,同時,重啟mysql也需要一定的時間成本,對於已經上線的系統,基本不可取。在線備份的最大一個問題是,mysql可能鎖住大量的表,除非鎖被釋放,否則會有大量的io請求被阻塞。

綜上所述,我們在規劃備份的時候需要考慮一下幾點:

a:鎖時間。

b:備份時間。

c:備份負載對伺服器的影響有多大。

d:恢復備份時間需要多久。

2:邏輯備份還是物理備份。

(1):邏輯備份有以下優點:

a:邏輯備份文件恢復非常簡單。只需要使用mysqlimport即可。

b:在我們只想查看數據,不想恢復的時候可以使用grep或者sed命令查看。

c:邏輯備份與存儲引擎沒有關系,我們可以跨存儲引擎恢復數據,比如:從InnoDB表中備份,用很小的工作量就可以把數據恢復到MyISAM中。

邏輯備份也會有以下缺點:

a:必須有資料庫伺服器完成備份工作,增加伺服器工作負荷。

b:邏輯備份文件某些場景比資料庫本身文件還大。

c:無法保證導入導出的數據是一樣的,比如浮點型數據。

d:恢復的時候需要重建索引,速度會慢。

(2):物理備份有以下優點:

a:基於文件的物理備份,只需要培鄭復制操作到目標目錄即可。

b:恢復的時候只需要將文件到要恢復的目錄即可。InnoDB可能需要停止服務和其他一些操作。

c:物理備份中恢復速度塊,而且容易垮平台和操作系統和mysql資料庫版本。

物理備份信臘也會有以下缺點:

a:文件名大小寫敏感,浮點格式數據可能會遇到麻煩。

b:物理備份通常包含很多未使用的空間。

3:增量備份和差異備份。增量備份和差異備份只是局部備份,主要是思想就是不備份沒有改變的表,但是會減少伺服器的開銷,備份時間等。

4:二進制日誌備份。通常數據小,我們可以頻繁的備份,同時,基於時間點的恢復,二進制日誌備份是一個很有效的手段。

5:文件系統快照,通過創建鏡像達到恢復的目的。

對於一個好的開發人員來說,有好的備份容災規劃和計劃是必不可少的。這樣可以提高我們在線系統的持續運行能力。更好的服務我們系統的用戶。我個人最喜歡的備份方式就是從文件系統快照中直接復制數據文件。

以上是個人的見解,希望對你有一定的幫助。謝謝。