当前位置:首页 » 数据仓库 » 数据库备份体系及容灾方案
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

数据库备份体系及容灾方案

发布时间: 2023-05-31 02:12:54

1. 数据容灾的三级体系

目前比较完善的容灾系统设计一般为三级体系结构的容灾系统,整套系统包括存储、备份和灾难恢复部分。以下使用惠普生产的备份服务器,模块化磁盘阵列,备份磁带库和相关容灾软件举例三级体系结构的容灾系统的建立。
1、数据存储子系统
正常情况下,业务系统运行在主中心服务器上,业务数据存储在主中心存储磁盘阵列EMA12000中。EMA12000具有从12个磁盘驱动器到最多126个磁盘驱动器的扩展能力,能跨越多个大型主机和混合的UNIX、多厂商的Windows NT、Windows 2000以及其他开放系统的平台。
惠普为EMA12000系统设计的ASC阵列控制软件,实现了对跨多服务器平台数据的集中式控制,使数据不管在何时、在何地、以及何种方式需要,其可用性都能以真正的零停机时间得到成分保证。
2、数据备份子系统
为了实现业务数据的实时灾难备份功能,关键应用可设置两个数据中心,分别是主中心和备份中心。主中心系统配置主机包括两台或多台HP ALPHA服务器以及其他相关服务器,通过构成SCSI CLUSTER组成多机高可靠性环境。主中心通过ATM/E3/WDM与备份中心连接。
在容灾系统解决方案中,正常情况下,业务系统运行在主中心服务器上,业务数据存储在主中心存储磁盘阵列EMA12000中,同时在备份中心配置EMA12000存储磁盘阵列。主中心存储磁盘阵列通过ATM/E3/WDM连接到备份中心磁盘阵列,DRM(数据复制管理器)使主中心存储数据与备份中心数据保持实时完全一致。
3、灾难恢复子系统
方案中,备份数据的磁带库安置在备份中心,利用备份服务器直接连接到存储阵列EMA12000和磁带库TL895,通过EBS(企业数据备份)和Legato NetWorker数据存储管理系统控制系统的备份。万一主数据中心出现意外灾难,系统可以自动切换到备份数据中心,在保持连续运行的基础上,快速恢复主数据中心的业务数据。
该套三级体系容灾方案具有高度的可用性。第一级,为了避免系统单点失败而影响整个系统的情况出现,采用了冗余的手段,大到主机,存储设备,小到光纤适配器,均具备冗余容错功能;第二级,无论是主机或存储设备出现故障,均可通过主/备份中心光纤交换机之间的连接来保证通信和数据的完整性;第三级,万一主数据中心出现意外灾难,系统可以自动切换到备份数据中心。三级体系的科学设计保证了数据容灾系统的高度可用性和可靠性。
不仅如此,惠普独有的HP OpenView网络设备管理软件从根本上将系统管理人员解脱出来。整个系统的设备虽然很多,但不论是主机系统,存储设备,还是光纤交换机,光纤卡,均能通过一台工作站进行集中的管理和监控,从另一个方面保证了整个业务系统的连续不断地运行。除正常的计划性停机外,该系统可以做到365×24的可用性。

2. 如何实现数据中心异地容灾备份

异地容灾,顾名思义就是在不同的地方(异地:可以是同城的两个不同的机房或者是两座不同的城市),构建一套或者多套相同的应用或者数据库,进一步提高了数据抵抗各种可能安全因素的容灾能力,可以对企业应用和数据库起到安全性、连续性等方面的作用。
两大分类
考虑到不同企事业单位对数据安全和业务连续性的要求不尽相同,我们将异地容灾分为两大类:数据级容灾和应用级容灾。
数据级容灾:就是指建立一个异地的数据系统,该系统是本地关键应用数据的一个可用复制。在本地数据及整个应用系统出现灾难时,至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制,也可以比本地数据略微落后,但一定是可用的。
应用级容灾:在数据级容灾基础上,在异地建立一套与本地生产系统相当的备份环境,包括主机、网络、应用、IP等资源均有配套,当本地系统发生灾难时,异地系统可以提供完全可用的生产环境。
CDP异地容灾VS传统异地容灾
传统的异地容灾方案大多基于远程复制技术。远程复制是指运用复制技术将数据以同步或者异步的方式存储到异地灾备中心中,其主要实现方式有三种:1.利用主机远程复制软件或硬件 。2.利用存储自身的复制软件。3.利用数据库软件产品。远程复制的方式可以实现数据级的容灾,但是一旦发生灾难,无法保证业务的连续性。此外,一旦出现数据库逻辑错误或人为误删除的情况,远程复制不能修复数据错误,也不能找回误删除的数据,更谈不上100%恢复数据并保障数据的可用性了。
和力记易的异地容灾方案以CDP持续数据保护技术为核心,可以构建异地桌面端或服务器端的文件、数据库和应用的全需求平台,能够防范数据丢失、修复数据错误,还能保障业务连续,全方位满足客户不同的数据安全和业务连续性要求。

3. 数据容灾的实现方式

一.数据备份 所谓备份,就是通过特定的办法,将讲数据库的必要文件复制到转储设备的过程。其中,转储设备是指用于放置数据库拷贝的磁带或磁盘。
选择备份的依据是:丢失数据的代价与确保数据不丢失的代价之比.还有的时候,硬件的备份有时根本就满足不了现实需要,比如误删了一个表,又想恢复该表的时候,数据库备份就变得重要了。
Oracle提供了强大的备份与恢复策略,包括常规数据库备份(逻辑备份,冷备份与热备份)和高可用性数据库(如备用数据库与并行数据库),以下的备份主要指数据库的常规备份。
1.备份的重要性
备份是系统中需要考虑的最重要的事项,虽然他们在系统的整个规划,开发和测试过程中甚至占不到1%,看似不太重要且默默无闻的工作只有到恢复的时候才能真正体现出其重要性,任何数据的丢失与尝试见的数据down机,都是不可以被接收的。如果备份不能提供恢复的必要信息,使得恢复过程不能进行或长时间的进行(如一个没有经过严格测试的备份方案),这样的备份都不算或不是一个好的备份。
如果出现系统崩溃的灾难,数据库就必须进行恢复,恢复是否成功取决于两个因素,精确性和及时性。能够进行什么样的恢复依赖于有什么样的备份。作为DBA,有责任从以下三个方面维护数据库的可恢复性:
(1)使数据库的失效次数减到最少,从而使数据库保持最大的可用性。
(2)当数据库失效后,使恢复时间减到最少,从而使恢复的效益达到最高。
(3)当数据库失效后,确保尽量少的数据丢失或根本不丢失,从而使数据具有最大的可恢复性。
数据备份是容灾的基础,是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障,而且其恢复时间也很长。随着技术的不断发展,数据的海量增加,不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。
2.常见的备份方式
(1)定期磁带备份数据。
(2)远程磁带库、光盘库备份。即将数据传送到远程备份中心制作完整的备份磁带或光盘。
(3)远程关键数据+磁带备份。采用磁带备份数据,生产机实时向备份机发送关键数据。
远程数据库备份。就是在与主数据库所在生产机相分离的备份机上建立主数据库的一个拷贝。
(4)网络数据镜像。这种方式是对生产系统的数据库数据和所需跟踪的重要目标文件的更新进行监控与跟踪,并将更新日志实时通过网络传送到备份系统,备份系统则根据日志对磁盘进行更新。
(5)远程镜像磁盘。通过高速光纤通道线路和磁盘控制技术将镜像磁盘延伸到远离生产机的地方,镜像磁盘数据与主磁盘数据完全一致,更新方式为同步或异步。
数据备份必须要考虑到数据恢复的问题,包括采用双机热备、磁盘镜像或容错、备份磁带异地存放、关键部件冗余等多种灾难预防措施。这些措施能够在系统发生故障后进行系统恢复。但是这些措施一般只能处理计算机单点故障,对区域性、毁灭性灾难则束手无策,也不具备灾难恢复能力。
二.数据复制

SAN专注于企业级存储的特有问题,主要用于存储量大的工作环境。当前企业存储方案所遇到问题的两个根源是:数据与应用系统紧密结合所产生的结构性限制,以及目前小型计算机系统接口(SCSI)标准的限制。大多数分析都认为SAN是未来企业级的存储方案,这是因为SAN便于集成,能改善数据可用性及网络性能,而且还可以减轻存储管理作业。
SAN是目前人们公认的最具有发展潜力的存储技术方案,而未来SAN的发展趋势将是开放、智能与集成。NAS是目前增长最快的一种存储技术,然而就二者的发展趋势而言,在应用层面上SAN和NAS将实现充分的融合。可以说,NAS和SAN技术已经成为当今数据容灾备份的主流技术,关键在于如何在此基础上开发完善全方位、多层次的数据容灾备份系统,在分布式网络环境下,通过专业的数据存储管理软件,结合相应的硬件和存储设备,来对全网络的数据备份进行集中管理,从而实现自动化的备份、文件归档、数据分级存储以及灾难恢复等功能。

4. 常用Oracle 备份方案 容灾方案都有哪些

eXP和IMP是Oracle提供的一种逻辑备份工具。逻辑备份创建数据库对象的逻辑拷贝并存入一个二进制转储文件。这种逻辑备份需要在数据库启动的情况下使用, 其导出实质就是读取一个数据库记录集(甚至可以包括数据字典)并卜颤将这个记录集写入一个文件,这些记录的导出与其物理位置无关,导入实质就是读取转储文件并执行其中的命令。此备份方式是通过Oracle的实用工具export和import来实施的, export是把数据库中的数据导出,import是把export卸出的数据导入数据库中。通过此工具可以衍生出多种功能, 比如整个数据库的备份、表结构重建、数据的传输、用户的改变等等。
也可以采用专业的容灾备份软件对ORACLE数据进行备份。实时数据备份的软件现在很多,CDP容灾备份方案(备特嫌源佳备份软件)在RPO和RTO两项指标上优势明显,可以实现数据芹弊态的实时备份,保障业务系统的连续性。有数据级和应用级两种容灾方案。

5. 大数据时代,企业安全如何做好容灾备份

一、数据保护

在云与大数据时代,海量增长的数据容量,给数据的存储和保护带来新的挑战,从传统熟悉的IT架构到以云架构、虚拟化、超融合为代表的技术升级迭代,使得数据保护的技术手段也要加速。

1、数据保护的重要性

数据是企业重要的生产资料,关键数据的丢失可能会给企业致命一击。比如在911事件中,Bank NewYork在数月后因数据的丢失被迫破产清盘。

为什么后果如此严重?因为数据是计算机系统存在的原因和基础,数据往往是不可再生的。一旦发生数据丢失,企业就会陷入困境:技术文件、财务账目等客户、交易、生产数据可能被破坏得面目全非。

2、数据丢失的可能性

概括起来,数据丢失分三个层次。一是逻辑错误,包括软件存在的bug、病毒攻击、数据块被破坏等;二是物理损坏,包括服务器、磁盘损坏等;三是自然灾害对数据中心的摧毁等。

数据的危害时刻都在发生,比如,曾经发生过的“删库跑路、漏洞后门、系统本身脆弱性、云服务商故障、误操作配置、数据中心火灾”等事故,都是数据丢失方面最沉痛的教训。

3、数据复制技术

为了应对数据丢失造成的损失,必须对数据进行复制保护,并且企业信息化程度越高,相关的恢复措辞就越重要。一般数据从生产到存储,主要经过应用、中间件、数据库、操作系统、存储或者磁盘驱动、服务器硬件、网络、存储交换机到存储。在传统的数据备份恢复基础上,通过数据复制技术提供多数据副本,保证副本数据的可用性从而实现数据保护。

从技术角度看,分为中间件和应用层复制、数据库层复制、主机操作系统及存储层复制。

中间件和应用层的数据复制:是中间件或者应用层面的双写,根据业务需求,通过应用架构设计实现数据主本和副本的更新;根据需要进行强一致性、弱一致性、最终一致性设计,来保证主本和副本之间的一致性、完整性、时效性。

数据库层复制:不管是开放的数据库还是大机的数据库,都提供相关的数据复制软件,实现数据库数据的物理复制和逻辑复制。主要技术流派包括逻辑复制和物理复制两种。前者利用数据库的重做日志、归档日志,将主本所在站点的日志传输到副本所在站点,通过重做sql的方式实现数据复制。逻辑复制只提供异步复制,主副本数据的最终一致性,无法保证实时一致性;后者通过Redo日志或者归档日志在副本站点的同步或者异步持久化写、Redo Apply来实现复制功能,同时,副本站点的数据可以提供只读功能。

主机操作系统层、存储层复制:基于系统的I/O、底层物理卷、数据块,通过存储硬件、备份恢复、存储虚拟化等技术实现数据复制,与上层的应用和逻辑无关。主要技术流派包括磁盘镜像技术、操作系统层基于卷管理的数据复制技术、存储层的存储虚拟化技术、优化的备份恢复技术及网络数据存储集中管理技术等。

二、容灾备份

这实际上是两个独立的概念,备份不等于容灾,备份是保护数据,容灾是确保业务连续性。在灾备一体机出现后,这两个概念所代表的功能往往被包含在里面,所以,也造成在一些用户在采购纯软件产品时,将备份与容灾产品混为一谈,以至于厂商不知道用户到底需要备份产品还是容灾产品,或者是备份+容灾的产品。

目前,灾备云、热备云、大数据一体机、超融合架构等12大云计算、大数据产品线,完美覆盖容灾备份方案的1—6级,贴心解决客户“数据零丢失”、“数据任意点回退”、“保障业务连续”3大需求点。

6. 两个oracle数据库如何设计容灾方案

在企业灾备预算中,最常见的问题就是按原套设备去做预算,费用往往高得吓人,所以很多企业想做灾备,最后都会卡在预算上。今天,英方工程师分享一个案例,如何将灾备预算成倍下降,提升企业的灾备幸福感。

1、AIX+Oracle双机要做灾备
 
案例需求:客户AIX+Oracle双机规划灾备建设,确保业务数据安全与业务连续。
 
灾备规划方案一:在本地灾备中心按照生产环境AIX+Oracle双机的配置进行规划,价格太高,超出了预算范围。主要原因是客户相当于花双倍价钱,买两套同样的设备,但是只有一套设备在生产,性价比太低,并且后续的运维成本也很高,所以方案被毙掉。
 
灾备规划方案二:利用云计算的资源,将灾备中心寄托于云计算上。私有云造价昂贵,对客户体量不适合;公有云是很好的选择,但是经过计算,客户发现在数据库采购、服务费用、云设施按需购买等综合费用也比方案一少不了几个钱,并且公有云的安全性没有私有云的高,方案整体的稳定性、可控性差,所以方案也被毙掉。
 
2、方案涉及到的操作系统的知识点
 
本案涉及生产环境的操作系统与数据库配置,我们先简单介绍AIX、UNIX、Linux的知识点。
 
首先是AIX,它是IBM基于AT&TUnixSystemV开发的一套“类UNIX”操作系统,运行在IBM专有的Power系列芯片设计的小型机硬件系统之上。那么,什么是UNIX操作系统呢?
 
UNIX操作系统是一个强大的多用户、多任务操作系统,支持多种处理器架构,按照操作系统的分类,属于分时操作系统,最早由KenThompson、DennisRitchie和DouglasMcIlroy于1969年在AT&T的贝尔实验室开发。目前它的商标权由国际开放标准组织所拥有,只有符合单一UNIX规范的UNIX系统才能使用UNIX这个名称,否则只能称为类UNIX(UNIX-like)。
 
Linux是一套免费使用和自由传播的“类Unix”操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议,支持32位和64位硬件。
 
3、简单跨平台,Linux+i2轻松灾备
 
针对上面客户提到的灾备需求,很显然,理想与现实的距离总是那么遥远。但是不要灰心,英方工程师有办法。针对这种情况,我们首先需要跳出传统容灾备份的思路,特别是英方新灾备技术方案对于操作系统与数据库等进行跨平台灾备的创新,在窄带宽、长距离、平台异构(操作系统与存储方式)、低成本、安全性、稳定性等方面有诸多的优势。

7. 有哪些mysql数据库容灾备份方案推荐

以mysql为列:

规划容灾备份时,有两个参考依据,1:恢复点目标(PRO),2:恢复时间目标(RTO)。他们定义了可以容忍丢失多少数据,以及恢复数据需要多少时间。而且一定要走出一个误区,复制就是备份,只有备份才能满足滑中滑备份的要求。

个人认为备份方案类型如下:

1:在线备份或者离线备份,通常关闭mysql做离线备份是最简单最安全的,服务器不提供应用访问服务,可以更快完成备份,但是,这样会导致服务中断,同时,重启mysql也需要一定的时间成本,对于已经上线的系统,基本不可取。在线备份的最大一个问题是,mysql可能锁住大量的表,除非锁被释放,否则会有大量的io请求被阻塞。

综上所述,我们在规划备份的时候需要考虑一下几点:

a:锁时间。

b:备份时间。

c:备份负载对服务器的影响有多大。

d:恢复备份时间需要多久。

2:逻辑备份还是物理备份。

(1):逻辑备份有以下优点:

a:逻辑备份文件恢复非常简单。只需要使用mysqlimport即可。

b:在我们只想查看数据,不想恢复的时候可以使用grep或者sed命令查看。

c:逻辑备份与存储引擎没有关系,我们可以跨存储引擎恢复数据,比如:从InnoDB表中备份,用很小的工作量就可以把数据恢复到MyISAM中。

逻辑备份也会有以下缺点:

a:必须有数据库服务器完成备份工作,增加服务器工作负荷。

b:逻辑备份文件某些场景比数据库本身文件还大。

c:无法保证导入导出的数据是一样的,比如浮点型数据。

d:恢复的时候需要重建索引,速度会慢。

(2):物理备份有以下优点:

a:基于文件的物理备份,只需要培郑复制操作到目标目录即可。

b:恢复的时候只需要将文件到要恢复的目录即可。InnoDB可能需要停止服务和其他一些操作。

c:物理备份中恢复速度块,而且容易垮平台和操作系统和mysql数据库版本。

物理备份信腊也会有以下缺点:

a:文件名大小写敏感,浮点格式数据可能会遇到麻烦。

b:物理备份通常包含很多未使用的空间。

3:增量备份和差异备份。增量备份和差异备份只是局部备份,主要是思想就是不备份没有改变的表,但是会减少服务器的开销,备份时间等。

4:二进制日志备份。通常数据小,我们可以频繁的备份,同时,基于时间点的恢复,二进制日志备份是一个很有效的手段。

5:文件系统快照,通过创建镜像达到恢复的目的。

对于一个好的开发人员来说,有好的备份容灾规划和计划是必不可少的。这样可以提高我们在线系统的持续运行能力。更好的服务我们系统的用户。我个人最喜欢的备份方式就是从文件系统快照中直接复制数据文件。

以上是个人的见解,希望对你有一定的帮助。谢谢。