当前位置:首页 » 数据仓库 » oracle数据库读写分离方案
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

oracle数据库读写分离方案

发布时间: 2022-12-18 19:37:52

❶ 为什么数据库读写分离能提高数据库的性能

读写分离主要目的是提高系统吞吐量。某些网站同一时间有大量的读操作和较少的写操作。同时,读操作对数据的实时性要求并没有那么高。在此前提下,可以这么设计解决方案。
所以你问题里“数据仍然需要同步”这个理解是不对的。事实上,正是由于允许用户读到几秒钟甚至几分钟前的数据,才可以使用读写分离的。

所以这种方案其实就是以数据的时效性,换取了读操作的吞吐率。

❷ 什么叫读写分离读是RAID几写又是RAID几

读写分离(Read/Write Splitting)”,基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同

步到集群中的从数据库。

对于大访问量的网站,一般会采用读写分离,比如ebay的读写比率是260:1,也就是大型的电子商务网站的。

网上看到说采用读写分离有如下工具:
1,oracle的logical standby
2, Quest公司的SharePlex
3, DSG公司的RealSync
如果你是网吧类应用:强烈建议你不要用无盘!!!!
必须有一名专业人员维护!三天两头的小问题 软件游戏更新要你的命!

无盘服务器的读写分离,很早就被提出来了。几乎所有的商业无盘系统都会将读写分离作为提高无盘运行速度的有效途径。可即使做了读写分离,系统性能也并

没有得到显着的提升。为什么?因为他们分离错了!该分离的没有分离,而不该分离的却又分离了!
现在市面上的无盘读写分离,都是将系统分区同游戏分区分开二个磁盘。殊不知,系统分区的磁盘读写负荷不知要大过游戏分区多少倍!为什么这么说呢

?程序员都知道,程序一运行就会将自身完全载入内存了。虽然现在的游戏几乎没有不超过G大小的,但是,游戏主程序加上其需要调用的DLL文件,可能加起来

也就才几十M而已,甚至更少!(大家可以运行一个大型游戏来看看它的内存使用量)。那另外那些几乎超过游戏总大小百分之九十九的东西是什么呢?不用说

大家都知道,是游戏必不可少的资源文件,比如:地图、图像、声音等等。而游戏一般进去都会有等待载入的画面,这里等待载入的东西,就是那些资源文件。

而这些资源文件载入后放在哪里了?即使你系统有NG的内存容量,也不要指望游戏会将它放全部放在内存里。(不信你现在又可以看看游戏所占用内存使用量)

。那是放哪里了?那么多宠大的游戏资源文件是放在哪里了?去问个游戏程序员吧(问我也行啊,俺也是。。)。他会告诉你,放在页面文件里了!!! 千

万不要以为,游戏是边运行边从硬盘读取文件的,游戏为了加快运行速度,都是将需要运行的文件预先加载入内存或是虚拟内存中的!而更多的是加载到虚拟内

存即页面文件中,即使是几G的内存,也是摆设。
感觉到恐怖吧!你以为你的系统分区磁盘几乎没做什么事,其实它是最累的!游戏的读取只需要进行一次,就是说载入一次,但是载入以后的东西是放在页

面文件中的,游戏对页面文件的读取是非常频繁的!可现在的无盘全弄反了,将系统分区磁盘弄成个普通IDE,将游戏分区弄成阵列。好武器没有用到该用的地

方。
玩游戏会卡?几乎每一种技术的无盘系统,玩游戏都会觉得有卡的时候。看看你客户机的页面文件大小吧,最小都有二三百M吧,几十台机每台都来个几百M

的读写量,呵呵,你想想,你那个又要做系统又要放页面文件而且“待遇又不好”的磁盘,它磁头会忙成什么样子!

我已经分析的很清楚了,该分离的应该是页面文件!而游戏可以分,也可以不分。对于本身带有缓冲功能的无盘系统,大型游戏应该都放在无盘服务器上。

而不常用的硬盘游戏,网络游戏就可以放在网络的其它机上面。(共享或是虚拟磁盘方式)。

打开多个IE卡,最小化IE卡,启动QQ卡,退出游戏还是卡。这些都是对页面文件大量读写的时候。将页面文件分离出来吧!专门弄个硬盘提供页面文件的读

写。这样,系统更稳定、游戏更流畅!

怎么解决这个恼人的页面文件?暂时的方法,你可以升级您的系统分区的磁盘硬件,会有点改善,但解决不了根本。因为页面文件是同系统分区放在一个磁

盘里面的,而用户与操作系统的交互是非常频繁的,就是说,依现在的磁盘读写速度,又要满足页面文件的读写,又要不影响用户同系统的交互,是做不到的。

另外一个解决方法,就是使用SetPageFile.exe软件。

RAID是英文Rendant Array of Independent Disks的缩写,翻译成中文意思是“独立磁盘冗余阵列”,有时也简称磁盘阵列(Disk Array)。
简单的说,RAID是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数

据备份技术。组成磁盘阵列的不同方式成为RAID级别(RAID Levels)。数据备份的功能是在用户数据一旦发生损坏后,利用备份信息可以使损坏数据得以恢复

,从而保障了用户数据的安全性。在用户看起来,组成的磁盘组就像是一个硬盘,用户可以对它进行分区,格式化等等。总之,对磁盘阵列的操作与单个硬盘一

模一样。不同的是,磁盘阵列的存储速度要比单个硬盘高很多,而且可以提供自动数据备份。

RAID技术的两大特点:一是速度、二是安全,由于这两项优点,RAID技术早期被应用于高级服务器中的SCSI接口的硬盘系统中,随着近年计算机技术的发展

,PC机的CPU的速度已进入GHz 时代。IDE接口的硬盘也不甘落后,相继推出了ATA66和ATA100硬盘。这就使得RAID技术被应用于中低档甚至个人PC机上成为

可能。RAID通常是由在硬盘阵列塔中的RAID控制器或电脑中的RAID卡来实现的。
RAID技术经过不断的发展,现在已拥有了从 RAID 0 到 6 七种基本的RAID 级别。另外,还有一些基本RAID级别的组合形式,如RAID 10(RAID 0与RAID 1

的组合),RAID 50(RAID 0与RAID 5的组合)等。不同RAID 级别代表着不同的存储性能、数据安全性和存储成本。但我们最为常用的是下面的几种RAID形式。

(1) RAID 0
RAID 0又称为Stripe(条带化)或Striping,它代表了所有RAID级别中最高的存储性能。RAID 0提高存储性能的原理是把连续的数据分散到多个磁盘上存取

,这样,系统有数据请求就可以被多个磁盘并行的执行,每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽,显着提

高磁盘整体存取性能。
例如系统向三个磁盘组成的逻辑硬盘(RADI 0 磁盘组)发出的I/O数据请求被转化为3项操作,其中的每一项操作都对应于一块物理硬盘。我们可以清楚的看

到通过建立RAID 0,原先顺序的数据请求被分散到所有的三块硬盘中同时执行。从理论上讲,三块硬盘的并行操作使同一时间内磁盘读写速度提升了3倍。 但由

于总线带宽等多种因素的影响,实际的提升速率肯定会低于理论值,但是,大量数据并行传输与串行传输比较,提速效果显着显然毋庸置疑。
RAID 0的缺点是不提供数据冗余,因此一旦用户数据损坏,损坏的数据将无法得到恢复。
RAID 0具有的特点,使其特别适用于对性能要求较高,而对数据安全不太在乎的领域,如图形工作站等。对于个人用户,RAID 0也是提高硬盘存储性能的绝

佳选择。

(2) RAID 1
RAID 1又称为Mirror或Mirroring(镜像),它的宗旨是最大限度的保证用户数据的可用性和可修复性。 RAID 1的操作方式是把用户写入硬盘的数据百分之

百地自动复制到另外一个硬盘上。
当读取数据时,系统先从RAID 0的源盘读取数据,如果读取数据成功,则系统不去管备份盘上的数据;如果读取源盘数据失败,则系统自动转而读取备份

盘上的数据,不会造成用户工作任务的中断。当然,我们应当及时地更换损坏的硬盘并利用备份数据重新建立Mirror,避免备份盘在发生损坏时,造成不可挽回

的数据损失。
由于对存储的数据进行百分之百的备份,在所有RAID级别中,RAID 1提供最高的数据安全保障。同样,由于数据的百分之百备份,备份数据占了总存储空间

的一半,因而Mirror(镜像)的磁盘空间利用率低,存储成本高。
Mirror虽不能提高存储性能,但由于其具有的高数据安全性,使其尤其适用于存放重要数据,如服务器和数据库存储等领域.

( 3) RAID 0+1
正如其名字一样RAID 0+1是RAID 0和RAID 1的组合形式,也称为RAID 10。
以四个磁盘组成的RAID 0+1为例,其数据存储方式:RAID 0+1是存储性能和数据安全兼顾的方案。它在提供与RAID 1一样的数据安全保障的同时,也提供

了与RAID 0近似的存储性能。
由于RAID 0+1也通过数据的100%备份功能提供数据安全保障,因此RAID 0+1的磁盘空间利用率与RAID 1相同,存储成本高。
RAID 0+1的特点使其特别适用于既有大量数据需要存取,同时又对数据安全性要求严格的领域,如银行、金融、商业超市、仓储库房、各种档案管理等。

(4) RAID 3
RAID 3是把数据分成多个“块”,按照一定的容错算法,存放在N+1个硬盘上,实际数据占用的有效空间为N个硬盘的空间总和,而第N+1个硬盘上存储的数

据是校验容错信息,当这N+1个硬盘中的其中一个硬盘出现故障时,从其它N个硬盘中的数据也可以恢复原始数据,这样,仅使用这N个硬盘也可以带伤继续工作

(如采集和回放素材),当更换一个新硬盘后,系统可以重新恢复完整的校验容错信息。由于在一个硬盘阵列中,多于一个硬盘同时出现故障率的几率很小,所

以一般情况下,使用RAID3,安全性是可以得到保障的。与RAID0相比,RAID3在读写速度方面相对较慢。使用的容错算法和分块大小决定RAID使用的应用场合,

在通常情况下,RAID3比较适合大文件类型且安全性要求较高的应用,如视频编辑、硬盘播出机、大型数据库等.

(5) RAID 5
RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案。 以四个硬盘组成的RAID 5为例,其数据存储方式:,P0为D0,D1和D2的奇偶校验信

息,其它以此类推。由图中可以看出,RAID 5不对存储的数据进行备份,而是把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信

息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据发生损坏后,利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。
RAID 5可以理解为是RAID 0和RAID 1的折衷方案。RAID 5可以为系统提供数据安全保障,但保障程度要比Mirror低而磁盘空间利用率要比Mirror高。RAID

5具有和RAID 0相近似的数据读取速度,只是多了一个奇偶校验信息,写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信

息,RAID 5的磁盘空间利用率要比RAID 1高,存储成本相对较低。
RAID级别的选择有三个主要因素:可用性(数据冗余)、性能和成本。如果不要求可用性,选择RAID0以获得最佳性能。如果可用性和性能是重要的而成

本不是一个主要因素,则根据硬盘数量选择RAID 1。如果可用性、成本和性能都同样重要,则根据一般的数据传输和硬盘的数量选择RAID3、RAID5。

❸ Oracle的读写分离在应用程序层面上应该怎么做

oracle数据库本身就是读写分离的。如果是防止脏读,那么直接用一个库就可以了。
如果你是想把大查询放到从库,实时业务放主库,防止查询影响主库效率,那最简单的就是把你的查询链接数据库连到从库上,甚至可以配一个server,先尝试连从库,从库连不上连主库。

❹ 数据库的读写分离数据库是怎么同步的

mysql
最常用的主从复制就是读写分离的功能
数据有修改,会通过网络将执行的内容传输到从库,追加到从库的重做日志(replay-bin),然后再通过重做日志还原主库的操作以达到同步的效果
---------------------------------------
oracle
常用的读写分离方案有DG(备库可读)
操作写入archivelog,再通过网络传输到备库,备库再用archivelog还原数据,已到达同步的目的。

❺ 分布式系统中应用程序怎么实现数据库读写分离

本文实例分析了Yii实现MySQL多数据库和读写分离的方法。分享给大家供大家参考。具体分析如下: Yii Framework是一个基于组件、用于开发大型 Web 应用的高性能 PHP 框架。Yii提供了今日Web 2.0应用开发所需要的几乎一切功能,也是最强大的框架之一,下文我们来介绍Yii实现MySQL多库和读写分离的方法 前段时间为SNS产品做了架构设计,在程序框架方面做了不少相关的压力测试,最终选定了YiiFramework,至于为什么没选用公司内部的 PHP框架,其实理由很充分,公司的框架虽然是"前辈"们辛苦的积累,但毕竟不够成熟,没有大型项目的历练,犹如一个涉世未深的年轻小伙。Yii作为一个 颇有名气开源产品,必定有很多人在使用,意味着有一批人在维护,而且在这之前,我也使用Yii开发过大型项目,Yii的设计模式和它的易扩展特性足以堪当重任。 SNS同一般的社交产品不同的就是它最终要承受大并发和大数据量的考验,架构设计时就要考虑这些问题, web分布式、负载均衡、分布式文件存储、MySQL分布式或读写分离、NoSQL以及各种缓存,这些都是必不可少的应用方案,本文所讲的就是MySQL 分库和主从读写分离在Yii的配置和使用。 Yii默认是不支持读写分离的,我们可以利用Yii的事件驱动模式来实现MySQL的读写分离。 Yii提供了一个强大的CActiveRecord数据库操作类,通过重写getDbConnection方法来实现数据库的切换,然后通过事件 beforeSave、beforeDelete、beforeFind 来实现读写服务器的切换,还需要两个配置文件dbconfig和modelconfig分别配置数据库主从服务器和model所对应的数据库名称,附代码 DBConfig.php文件如下: 复制代码 代码如下:<?php return array( 'passport' => array( 'write' => array( 'class' => 'CDbConnection', 'connectionString' => 'mysql:host=10.1.39.2;dbname=db1′, 'emulatePrepare' => true, //'enableParamLogging' => true, 'enableProfiling' => true, 'username' => 'root', 'password' => '', 'charset' => 'utf8′, 'schemaCachingDuration'=>3600, ), 'read' => array( array( 'class' => 'CDbConnection', 'connectionString' => 'mysql:host=10.1.39.3;dbname=db1, 'emulatePrepare' => true, //'enableParamLogging' => true, 'enableProfiling' => true, 'username' => 'root', 'password' => '', 'charset' => 'utf8′, 'schemaCachingDuration'=>3600, ), array( 'class' => 'CDbConnection', 'connectionString' => 'mysql:host=10.1.39.4;dbname=db3′, 'emulatePrepare' => true, //'enableParamLogging' => true, 'enableProfiling' => true, 'username' => 'root', 'password' => '', 'charset' => 'utf8′, 'schemaCachingDuration'=>3600, ), ), ), ); ModelConfig.php如下: 复制代码 代码如下:<?php return array( //key为数据库名称,value为Model 'passport' => array('User','Post'), 'microblog' => array('…'), ); ?> ActiveRecord.php如下: 复制代码 代码如下:/** * 基于CActiveRecord类的封装,实现多库和主从读写分离 * 所有Model都必须继承些类. * */ class ActiveRecord extends CActiveRecord { //model配置 public $modelConfig = ''; //数据库配置 public $dbConfig = ''; //定义一个多数据库集合 static $dataBase = array(); //当前数据库名称 public $dbName = ''; //定义库类型(读或写) public $dbType = 'read'; //'read' or 'write' /** * 在原有基础上添加了一个dbname参数 * @param string $scenario Model的应用场景 * @param string $dbname 数据库名称 */ public function __construct($scenario='insert', $dbname = '') { if (!empty($dbname)) $this->dbName = $dbname; parent::__construct($scenario); } /** * 重写父类的getDbConnection方法 * 多库和主从都在这里切换 */ public function getDbConnection() { //如果指定的数据库对象存在则直接返回 if (self::$dataBase[$this->dbName]!==null) return self::$dataBase[$this->dbName]; if ($this->dbName == 'db'){ self::$dataBase[$this->dbName] = Yii::app()->getDb(); }else{ $this->changeConn($this->dbType); } if(self::$dataBase[$this->dbName] instanceof CDbConnection){ self::$dataBase[$this->dbName]->setActive(true); return self::$dataBase[$this->dbName]; } else throw new CDbException(Yii::t('yii','Model requires a "db" CDbConnection application component.')); } /** * 获取配置文件 * @param unknown_type $type * @param unknown_type $key */ private function getConfig($type="modelConfig",$key="){ $config = Yii::app()->params[$type]; if($key) $config = $config[$key]; return $config; } /** * 获取数据库名称 */ private function getDbName(){ if($this->dbName) return $this->dbName; $modelName = get_class($this->model()); $this->modelConfig = $this->getConfig('modelConfig'); //获取model所对应的数据库名 if($this->modelConfig)foreach($this->modelConfig as $key=>$val){ if(in_array($modelName,$val)){ $dbName = $key; break; } } return $dbName; } /** * 切换数据库连接 * @param unknown_type $dbtype */ protected function changeConn($dbtype = 'read'){ if($this->dbType == $dbtype && self::$dataBase[$this->dbName] !== null) return self::$dataBase[$this->dbName]; $this->dbName = $this->getDbName(); if(Yii::app()->getComponent($this->dbName.'_'.$dbtype) !== null){ self::$dataBase[$this->dbName] = Yii::app()->getComponent($this->dbName.'_'.$dbtype); return self::$dataBase[$this->dbName]; } $this->dbConfig = $this->getConfig('dbConfig',$this->dbName); //跟据类型取对应的配置(从库是随机值) if($dbtype == 'write'){ $config = $this->dbConfig[$dbtype]; }else{ $slavekey = array_rand($this->dbConfig[$dbtype]); $config = $this->dbConfig[$dbtype][$slavekey]; } //将数据库配置加到component中 if($dbComponent = Yii::createComponent($config)){ Yii::app()->setComponent($this->dbName.'_'.$dbtype,$dbComponent); self::$dataBase[$this->dbName] = Yii::app()->getComponent($this->dbName.'_'.$dbtype); $this->dbType = $dbtype; return self::$dataBase[$this->dbName]; } else throw new CDbException(Yii::t('yii','Model requires a "changeConn" CDbConnection application component.')); } /** * 保存数据前选择 主 数据库 */ protected function beforeSave(){ parent::beforeSave(); $this->changeConn('write'); return true; } /** * 删除数据前选择 主 数据库 */ protected function beforeDelete(){ parent::beforeDelete(); $this->changeConn('write'); return true; } /** * 读取数据选择 从 数据库 */ protected function beforeFind(){ parent::beforeFind(); $this->changeConn('read'); return true; } /** * 获取master库对象 */ public function dbWrite(){ return $this->changeConn('write'); } /** * 获取slave库对象 */ public function dbRead(){ return $this->changeConn('read'); } } 这是我写好的类,放在components文件夹里,然后所有的Model都继承ActiveRecord类就可以实现多库和主从读写分离了,至于如何支持原生的SQL也同时使用读写分离,此类都已经实现。 希望本文所述对大家基于Yii框架的PHP程序设计有所帮助。

❻ 数据库读写分离同步延时问题怎么解决

业务发展初期,数据库的压力相对较小,这时候使用单独一个库就可以。

引出的问题:如果数据库出现故障,我们的业务就不能使用,只能说是停机重启修复故障。

由于单体带出的问题,这时候我们就需要加一个备用库,紧急情况可以用备库顶上,相当于加一个替补队员。

通过MySQL自带的主从同步机制,就可以放我们的替补队员上线。

当正式队员(主库)发生故障,我们就可以人工让其下线,让替补队员(备库)顶上。

引出的问题:随着业务大规模爆发,主库的压力过大,我们就想让备库承担起更大的责任来。

读写分离架构本质也就是主备架构,与主备架构没有本质区别,就是在主备架构的基础上,增加一层对读写请求的处理,使其能够更大程度上利用备用库为我们分担一些读的压力。

读写分离架构,需要在中间加一层控制读写请求的路由

分库分表的本质上是切分数据,是由于数据量级的提升,不对数据切分会严重影响数据库读写性能。

甚至是如果不切分,磁盘、内存、CPU无法承载这样的压力,数据库随时在奔溃的边缘。

分库分表与前三者是有本质区别的,分库分表后每一个库分片都可以采取以上三种方式的任意一种,可以是单体分片,也可以是主备分片,也可以是做了读写分离的分片。

分库分表和前三者中的一种是共生的关系。

不知道如何进行分库分表设计的可以读我之前的这篇文章《收好这份武林秘籍,让你分库分表再无烦恼》

在应用程序和数据库之间增加代理层,代理层接收应用程序对数据库的请求,根据不同请求类型转发到不同的实例,实现读写分离的同时还可以实现负载均衡(读请求按照负载均衡的规则传入各个从节点)。

代理也就是借助中间件的方式,控制不同类型请求,进入不同的数据库。

目前常用的mysql的读写分离中间件有:

在程序中进行控制,我们利用持久层框架的拦截器实现,动态路由不同数据源。

利用Sharding-JDBC也可以实现

实现思路:

主从复制模式,一般都是异步写数据到从库,当然这个异步也可以设置为同步,只有当从库写完成,主库上的写请求才能返回。

这种方案是最佳单也是最有效的一种,但也是性能最差的一种,尤其是有大量从库的情况下,严重影响请求效率。

写请求时缓存记录一个key,这个key的失效时间设置为主从同步的延时,读请求的时候先去缓存中确认是否存在key,如果key存在说明发生了写请求,数据未同步到从库,这时走主库即可,若不存在这个key,直接走从库的查询即可。

中间件应该也是可以判断是否同步完成,与使用缓存记录类似。

这种方案最大的弊端是引入了缓存,系统复杂度上升。

对于一些特殊的业务场景,采用强制读主库。

弊端,需要把每一个这种情况都找出来,设置成强制走主库。

MySQL 在执行完事务后,会将该事务的 GTID 会给客户端,然后客户端可以使用该命令去要执行读操作的从库中执行,等待该 GTID,等待成功后,再执行读操作;如果等待超时,则去主库执行读操作,或者再换一个从库执行上述流程。

MariaDB 的 MaxScale 就是使用该方案,MaxScale 是 MariaDB 开发的一个数据库智能代理服务(也支持 MySQL),允许根据数据库 SQL 语句将请求转向目标一个到多个服务器,可设定各种复杂程度的转向规则。

有延迟就有延迟,对数据强一致性要求不高的场景可以放任不管。