⑴ cache和虚拟存储器在原理和功能上有何相同点和不同点
首先,他们都是存储器,这是他们主要的相同点。
通常人们所说的Cache就是指缓存SRAM。 SRAM叫静态内存,“静态”指的是当我们将一笔数据写入SRAM后,除非重新写入新数据或关闭电源,否则写入的数据保持不变。由于CPU的速度比内存和硬盘的速度要快得多,所以在存取数据时会使CPU等待,影响计算机的速度。SRAM的存取速度比其它内存和硬盘都要快,所以它被用作电脑的高速缓存(Cache)。
有了高速缓存,可以先把数据预写到其中,需要时直接从它读出,这就缩短了CPU的等待时间。高速缓存之所以能提高系统的速度是基于一种统计规律,主板上的控制系统会自动统计内存中哪些数据会被频繁的使用,就把这些数据存在高速缓存中,CPU要访问这些数据时,就会先到Cache中去找,从而提高整体的运行速度。一般说来,256K的高速缓存能使整机速度平均提高10%左右
所谓虚拟存储器就是 把内外存统一起来使用,起基本思想是把正在是用的部分保留在内存中。把暂时不用的部分防在外村中,使用时调入内存,虚拟存储器的容量与cpu的地址结构有关,如奔腾的地址位是32位,那么他的寻址空间就是2的32次方,4GB,就是说他的最大寻址空间是4GB。
⑵ 什么叫虚拟存储器怎么样确定虚拟存储器的容量
随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不光是在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。
为达到这些要求,一种新兴的技术正越来越受到大家的关注,即虚拟存储技术。
其实虚拟化技术并不是一件很新的技术,它的发展,应该说是随着计算机技术的发展而发展起来的,最早是始于70年代。由于当时的存储容量,特别是内存容量成本非常高、容量也很小,对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制,人们就采用了虚拟存储的技术,最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展,人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现,比如磁盘性能越来越好、容量越来越大。但是在大量的大中型信息处理系统中,单个磁盘是不能满足需要,这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集(RAID,可带容错)技术,将多个物理磁盘通过一定的逻辑关系集合起来,成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高,又一种新的存储技术应运而生,那就是存储区域网络(SAN)技术。SAN的广域化则旨在将存储设备实现成为一种公用设施,任何人员、任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI、FC Over IP 等技术,由于一些相关的标准还没有最终确定,但是存储设备公用化、存储网络广域化是一个不可逆转的潮流。
一、虚拟存储的概念
所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。
二、虚拟存储的分类
目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下:
1.对称式虚拟存储
图1对称式虚拟存储解决方案的示意图
在图1所示的对称式虚拟存储结构图中,存储控制设备 High Speed Traffic Directors(HSTD)与存储池子系统Storage Pool集成在一起,组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(指定某一个LUN能被哪些端口所见),主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时,用户只需要将数据写入位置指定为自己映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点:
(1)采用大容量高速缓存,显着提高数据传输速度。
缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把多次调用的数据保留在缓存中;当主机读数据时,在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速),因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时,先把数据写入缓存中,待主机端写入动作停止,再从缓存中将数据写入硬盘,同样高于直接写入硬盘的速度
(2)多端口并行技术,消除了I/O瓶颈。
传统的FC存储设备中控制端口与逻辑盘之间是固定关系,访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN;在光纤通道100MB/带宽的大前提下,并行工作的端口数量越多,数据带宽就越高。
(3)逻辑存储单元提供了高速的磁盘访问速度。
在视频应用环境中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为主机提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如大块的I/O block会真正被存储系统所接受,有效提高数据传输速度;并且由于没有带区集的处理过程,主机CPU可以解除很大负担,提高了主机的性能。
(4)成对的HSTD系统的容错性能。
在对称式虚拟存储系统中,HSTD是数据I/O的必经之地,存储池是数据存放地。由于存储池中的数据具有容错机制保障安全,因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样,在成熟的对称式虚拟存储系统中,HSTD是成对配制的,每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。
(5)在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。
因为系统保持了标准的SAN结构,为系统的扩展和互连提供了技术保障,所以在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。
2.非对称式虚拟存储系统
图2非对称式虚拟存储系统示意图
在图2所示的非对称式虚拟存储系统结构图中,网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列,其中主机的数据路径通过FC交换设备到达磁盘阵列;虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作,将各存储阵列中的LUN虚拟为逻辑带区集(Strip),并对网络上的每一台主机指定对每一个Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时,首先要访问虚拟存储设备,读取Strip信息和访问权限,然后再通过交换设备访问实际的Strip中的数据。在此过程中,主机只会识别到逻辑的Strip,而不会直接识别到物理硬盘。这种方案具有如下特点:
(1)将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽。
(2)在交换机端口数量足够的情况下,可在一个网络内安装两台虚拟存储设备,实现Strip信息和访问权限的冗余。
但是该方案存在如下一些不足:
(1)该方案本质上是带区集——磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失。
(2)由于该方案的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。
(3)由于各种品牌、型号的磁盘阵列其性能不完全相同,如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同,这就意味着原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。
3.数据块虚拟与虚拟文件系统
以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同,实际从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。
数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。
虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。
三、虚拟存储技术的实现方式
目前实现虚拟存储主要分为如下几种:
1.在服务器端的虚拟存储
服务器厂商会在服务器端实施虚拟存储。同样,软件厂商也会在服务器平台上实施虚拟存储。这些虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上,除了分配数据外,对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储技术。逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需要处理逻辑卷,而不用管理存储设备的物理参数。
用这种构建虚拟存储系统,服务器端是一性能瓶颈,因此在多媒体处理领域几乎很少采用。
2.在存储子系统端的虚拟存储
另一种实施虚拟的地方是存储设备本身。这种虚拟存储一般是存储厂商实施的,但是很可能使用厂商独家的存储产品。为避免这种不兼容性,厂商也许会和服务器、软件或网络厂商进行合作。当虚拟存储实施在设备端时,逻辑(虚拟)环境和物理设备同在一个控制范围中,这样做的益处在于:虚拟磁盘高度有效地使用磁盘容量,虚拟磁带高度有效地使用磁带介质。
在存储子系统端的虚拟存储设备主要通过大规模的RAID子系统和多个I/O通道连接到服务器上,智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权,而且通过与服务器系统分开,可以将存储的管理与多种服务器操作系统隔离,并且可以很容易地调整硬件参数。
3.网络设备端实施虚拟存储
网络厂商会在网络设备端实施虚拟存储,通过网络将逻辑镜像映射到外围存储设备,除了分配数据外,对外围存储设备没有任何控制。在网络端实施虚拟存储具有其合理性,因为它的实施既不是在服务器端,也不是在存储设备端,而是介于两个环境之间,可能是最“开放”的虚拟实施环境,最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲,在网络端实施虚拟存储的结构形式有以下两种:即对称式与非对称式虚拟存储。
从目前的虚拟存储技术和产品的实际情况来看,基于主机和基于存储的方法对于初期的采用者来说魅力最大,因为他们不需要任何附加硬件,但对于异构存储系统和操作系统而言,系统的运行效果并不是很好。基于互联设备的方法处于两者之间,它回避了一些安全性问题,存储虚拟化的功能较强,能减轻单一主机的负载,同时可获得很好的可扩充性。
不管采用何种虚拟存储技术,其目的都使为了提供一个高性能、安全、稳定、可靠、可扩展的存储网络平台,满足节目制作网络系统的苛刻要求。根据综合的性能价格比来说,一般情况下,在基于主机和基于存储设备的虚拟存储技术能够保证系统的数据处理能力要求时,优先考虑,因为这两种虚拟存储技术构架方便、管理简单、维护容易、产品相对成熟、性能价格比高。在单纯的基于存储设备的虚拟存储技术无法保证存储系统性能要求的情况下,我们可以考虑采用基于互连设备的虚拟存储技术。
四、虚拟存储的特点
虚拟存储具有如下特点:
(1)虚拟存储提供了一个大容量存储系统集中管理的手段,由网络中的一个环节(如服务器)进行统一管理,避免了由于存储设备扩充所带来的管理方面的麻烦。例如,使用一般存储系统,当增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作,才可以使这个“新成员”加入到存储系统之中。而使用虚拟存储技术,增加新的存储设备时,只需要网络管理员对存储系统进行较为简单的系统配置更改,客户端无需任何操作,感觉上只是存储系统的容量增大了。
(2)虚拟存储对于视频网络系统最有价值的特点是:可以大大提高存储系统整体访问带宽。存储系统是由多个存储模块组成,而虚拟存储系统可以很好地进行负载平衡,把每一次数据访问所需的带宽合理地分配到各个存储模块上,这样系统的整体访问带宽就增大了。例如,一个存储系统中有4个存储模块,每一个存储模块的访问带宽为50MBps,则这个存储系统的总访问带宽就可以接近各存储模块带宽之和,即200MBps。
(3)虚拟存储技术为存储资源管理提供了更好的灵活性,可以将不同类型的存储设备集中管理使用,保障了用户以往购买的存储设备的投资。
(4)虚拟存储技术可以通过管理软件,为网络系统提供一些其它有用功能,如无需服务器的远程镜像、数据快照(Snapshot)等。
五、虚拟存储的应用 由于虚拟存储具有上述特点,虚拟存储技术正逐步成为共享存储管理的主流技术,其应用具体如下:
1.数据镜像
数据镜像就是通过双向同步或单向同步模式在不同的存储设备间建立数据复本。一个合理的解决方案应该能在不依靠设备生产商及操作系统支持的情况下,提供在同一存储阵列及不同存储阵列间制作镜像的方法。
2.数据复制
通过IP地址实现的远距离数据迁移(通常为异步传输)对于不同规模的企业来说,都是一种极为重要的数据灾难恢复工具。好的解决方案不应当依赖特殊的网络设备支持,同时,也不应当依赖主机,以节省企业的管理费用。
3.磁带备份增强设备
过去的几年,在磁带备份技术上鲜有新发展。尽管如此,一个网络存储设备平台亦应能在磁带和磁盘间搭建桥路,以高速、平稳、安全地完成备份工作。
4.实时复本
出于测试、拓展及汇总或一些别的原因,企业经常需要制作数据复本。
5.实时数据恢复
利用磁带来还原数据是数据恢复工作的主要手段,但常常难以成功。数据管理工作其中一个重要的发展新方向是将近期内的备分数据(可以是数星期前的历史数据)转移到磁盘介质,而非磁带介质。用磁盘恢复数据就象闪电般迅速(所有文件能在60秒内恢复),并远比用磁带恢复数据安全可靠。同时,整卷(Volume)数据都能被恢复。
6.应用整合
存储管理发展的又一新方向是,将服务贴近应用。没有一个信息技术领域的管理人员会单纯出于对存储设备的兴趣而去购买它。存储设备是用来服务于应用的,比如数据库,通讯系统等等。通过将存储设备和关键的企业应用行为相整合,能够获取更大的价值,同时,大大减少操作过程中遇到的难题。
7.虚拟存储在数字视频网络中的应用
现在我着重介绍虚拟存储在数字视频网络中的应用。
数字视频网络对广播电视行业来说已经不是一个陌生的概念了,由于它在广播电视技术数字化进程中起到了重要的作用,国内各级电视台对其给予极大的关注,并且开始构造和应用这类系统,在数字视频网的概念中完全打破了以往一台录象机、一个编辑系统、一套播出系统的传统结构,而代之以上载工作站、编辑制作工作站、播出工作站及节目存储工作站的流程,便于操作和管理。节目上载、节目编辑、节目播出在不同功能的工作站上完成,可成倍提高工作效率。同时,由于采用非线性编辑系统,除了采集时的压缩损失外。信号在制作、播出过程中不再有任何损失,节目的技术质量将大大提高。
在现有的视频网络系统中,虽然电脑的主频、网络的传输速率以及交换设备的性能,已经可以满足绝大多数应用的要求,但其中存储设备的访问带宽问题成为了系统的一个主要性能瓶颈。视频编辑、制作具有数据量存储大、码流高、实时性强、安全性重要等特点。这就要求应用于视频领域的存储技术和产品必须具有足够的带宽并且稳定性要好。
在单机应用时,为了保证一台编辑站点有足够的数据带宽,SCSI技术、本地独立磁盘冗余阵例RAID(Rendant Array of Independent Disks)技术(包括软件和硬件)被广泛应用,它通过把若干个SCSI硬盘加上控制器组成一个大容量,快速响应,高可靠性的存储子系统,从用户看可作为一个逻辑盘或者虚拟盘,从而大大提高了数据传输率和存储容量,同时利用纠错技术提高了存储的可靠性,并可满足带宽要求。
随着节目制作需求的发展,要求2—3台站点共享编辑数据。这时可利用SCSI网络技术实现这一要求。几台编辑站点均配置高性能的SCSI适配器,连接至共享的SCSI磁盘阵列,既可以实现几个站点共享数据,又可以保证每一台单机的工作带宽。
光纤通道技术的成熟应用对视频网络的发展具有里程碑的意义,从此主机与共享存储设备之间的连接距离限制从几米、十几米,扩展到几百米、几千米,再配合光纤通道交换设备,网络规模得到几倍、十几倍的扩充。这时候的FC(Fibre Channel光纤通道)磁盘阵列——RAID容错技术、相对SCSI的高带宽、大容量,成为视频网络中的核心存储设备。
随着电视台规模的发展,全台级大规模视频网络的应用被提出。在这种需求下,就必须将更先进的存储技术与产品引入视频领域。存储区域网(SAN)的发展目前正处于全速上升期,各种概念层出不穷。其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列,主机通过硬件层直接访问阵列中的硬盘的SAN结构,虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来,使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量,从而简化用户和系统管理人员的工作难度。
在设计一个视频网络系统的时候,对存储系统的选用,主要考虑如下几个因素:(1)总体带宽性能;(2)可管理性;(3)安全性;(4)可扩展性;(5)系统成本。
当然,这些因素之间有时是相互制约的,特别是系统成本与性能和安全性的关系。如何在这些因素之间寻求合理的、实用的、经济的配合,是一个需要解决的课题。虚拟存储技术的出现,为我们在构建视频网络系统时提供了一个切实可行的高性能价格比的解决方案。
从拓扑结构来讲,对称式的方案具有更高的带宽性能,更好的安全特性,因此比较适合大规模视频网络应用。非对称式方案由于采用了虚拟文件原理,因此更适合普通局域网(如办公网)的应用。
⑶ 如何解决服务器虚拟化中的存储问题
但也因为虚拟化的特性,为承载环境中不断增长的虚拟机,需要扩容存储以满足性能与容量的使用需求。IT经理们已经发现,那些因服务器虚拟化所节省的资金都逐渐投入存储购买的方案上了。 服务器虚拟化因虚拟机蔓延、虚拟机中用于备份与灾难恢复软件配置的问题,让许多组织彻底改变了原有的数据备份与灾难恢复策略。EMC、Hitachi Data System、IBM、NetApp和Dell等都致力于服务器虚拟化存储问题,提供包括存储虚拟化、重复数据删除与自动化精简配置等解决方案。 服务器虚拟化存储问题出现在数据中心虚拟化环境中传统的物理存储技术。导致虚拟服务器蔓延的部分原因,在于虚拟服务器可能比物理服务器多消耗约30%左右的磁盘空间。还可能存在虚拟机“I/O 搅拌机”问题:传统存储架构无法有效管虚拟机产生的混杂模式随机I/O。虚拟化环境下的虚拟存储管理远比传统环境复杂——管理虚拟机就意味着管理存储空间。解决服务器虚拟化存储问题 作为一名IT经理,你拥有解决此类服务器虚拟化存储问题的几个选项,我们从一些实用性较低的方案开始介绍。其中一项便是以更慢的速度部署虚拟机。你可以在每台宿主上运行更少的虚拟机,降低“I/O混合器”问题出现的可能性。另外一个方法则是提供额外存储,但价格不菲。 一个更好的选择是在采购存储设备时,选择更智能的型号并引入诸如存储虚拟化,重复数据删除与自动化精简配置技术。采用这一战略意味着新技术的应用,建立与新产商的合作关系,例如Vistor、DataCore与FalconStor。将存储虚拟化作为解决方案 许多分析师与存储提供商推荐存储虚拟化,作为服务器虚拟化存储问题的解决方案。即使没有出现问题,存储虚拟化也可以减少数据中心开支,提高商业灵活性并成为任何私有云的重要组件之一。 概念上来说,存储虚拟化类似服务器虚拟化。将物理存储系统抽象,隐藏复杂的物理存储设备。存储虚拟化将来自于多个网络存储设备的资源整合为资源池,对外部来说,相当于单个存储设备,连同虚拟化的磁盘、块、磁带系统与文件系统。存储虚拟化的一个优势便是该技术可以帮助存储管理员管理存储设备,提高执行诸如备份/恢复与归档任务的效率。 存储虚拟化架构维护着一份虚拟磁盘与其他物理存储的映射表。虚拟存储软件层(逻辑抽象层)介于物理存储系统与运行的虚拟服务器之间。当虚拟服务器需要访问数据时,虚拟存储抽象层提供虚拟磁盘与物理存储设备之间的映射,并在主机与物理存储间传输数据。 只要理解了服务器虚拟化技术,存储虚拟化的区别仅在于采用怎样的技术来实现。容易混淆的主要还是在于存储提供商用于实现存储虚拟化的不同方式,可能直接通过存储控制器也可能通过SAN应用程序。同样的,某些部署存储虚拟化将命令和数据一起存放(in-band)而其他可能将命令与数据路径分离(out-of-band)。 存储虚拟化通过许多技术实现,可以是基于软件、主机、应用或基于网络的。基于主机的技术提供了一个虚拟化层,并扮演为应用程序提供单独存储驱动分区的角色。基于软件的技术管理着基于存储网络的硬件设施。基于网络的技术与基于软件的技术类似,但工作于网络交换层。 存储虚拟化技术也有一些缺陷。实现基于主机的存储虚拟化工具实际上就是卷管理器,而且已经流传了好多年。服务器上的卷管理器用于配置多个磁盘并将其作为单一资源管理,可以在需要的时候按需分割,但这样的配置需要在每台服务器上配置。此解决方式最适合小型系统使用。 基于软件的技术,每台主机仅需要通过应用软件查询是否有存储单元可用,而软件将主机需求重定向至存储单元。因为基于软件的应用通过同样的链路写入块数据与控制信息(metadata),所以可能存有潜在瓶颈,影响主机数据传输的速度。为了降低延迟,应用程序通常需要维护用于读取与写入操作的缓存,这也增加了其应用的价格。服务器虚拟化存储创新:自动化精简配置与重复数据删除 存储技术的两个创新,自动化精简配置与重复数据删除,同样是减少服务器虚拟化环境对存储容量需求的解决方案。这两项革新可以与存储虚拟化结合,以提供牢固可靠的存储容量控制保障。 自动精简配置让存储“走的更远”,可减少已分配但没有使用的容量。其功能在于对数据块按需分配,而不是对所有容量需求进行预先分配。此方法可以减少几乎所有空白空间,帮助避免利用率低下的情况出现,通常可以降低10%的磁盘开销,避免出现分配大量存储空间给某些独立服务器,却一直没有使用的情况。 在许多服务器部署需求中,精简配置可通过普通存储资源池提供应用所需的存储空间。在这样的条件下,精简配置可以与存储虚拟化综合应用。 重复数据删除从整体上检测与删除位于存储介质或文件系统中的重复数据。检测重复数据可在文件、字节或块级别进行。重复数据删除技术通过确定相同的数据段,并通过一份简单的拷贝替代那些重复数据。例如,文件系统中有一份相同的文档,在50个文件夹(文件)中,可以通过一份单独的拷贝与49个链接来替代原文件。 重复数据删除可以应用与服务器虚拟化环境中以减少存储需求。每个虚拟服务器包含在一个文件中,有时文件会变得很大。虚拟服务器的一个功能便是,系统管理员可以在某些时候停下虚拟机,复制并备份。其可以在之后重启,恢复上线。这些备份文件存储于文件服务器的某处,通常在文件中会有重复数据。没有重复数据删除技术支持,很容易使得备份所需的存储空间急剧增长。改变购买存储设备的观念 即使通过存储虚拟化,重复数据删除与精简配置可以缓解存储数容量增长的速度,组织也可能需要改变其存储解决方案购买标准。例如,如果你购买的存储支持重复数据删除,你可能不再需要配置原先规划中那么多的存储容量。支持自动化精简配置,存储容量利用率可以自动提高并接近100%,而不需要管理员费心操作维护。 传统存储购买之前,需要评估满足负载所需的存储能力基线、三年时间存储潜在增长率、存储扩展能力与解决存储配置文件,还有拟定相关的采购合同。以存储虚拟化与云计算的优势,购买更大容量的传统存储将越来越不实际,尤其在预算仍是购买存储最大的限制的情况下。以下是一些简单的存储购买指导: 除非设计中明确说明,不要购买仅能解决单一问题的存储方案。这样的做法将导致购买的存储架构无法与其他系统共享使用。 ·关注那些支持多协议并提供更高灵活性的存储解决方案。 ·考虑存储解决方案所能支持的应用/负载范围。 ·了解能够解决存储问题的技术与方案,例如重复数据删除与自动化精简配置等。 ·了解可以降低系统管理成本的存储管理软件与自动化工具。 许多组织都已经在内部环境中多少实施了服务器虚拟化,并考虑如何在现有存储硬件与服务器上实现私有云。存储预算应用于购买合适的硬件或软件,这点十分重要。不要将仅将注意力集中在低价格上。相反,以业务问题为出发点,提供解决问题最有价值的存储解决方案才是王道。
⑷ 虚拟存储的特点分析
一提起虚拟化,大家第一时间就会想到节约,绿色。因为它的使用可以为我们减少设备上的资金投入,降低成本压力。一段时间以来,不同版本的虚拟存储(Storage Virtulization)概念相继涌现,有从软件角度诠释的,也有从硬件角度进行例证的。每个厂商都有根据对虚拟技术的理解向用户提供的实用产品。在虚拟存储方面真可谓百家争鸣,所以很难对虚拟存储技术的概念给出一个清晰而准确的描述。
尽管如此,总结一些虚拟存储的共同特性可以看出,所谓虚拟存储,就是把多个存储介质模块(如磁盘、磁盘阵列)通过一定的手段集中管理起来,所有的存储模块在一存储池(Storage Pool)中得到统一管理。在虚拟存储环境下,无论后台物理存储是什么设备,服务器及工作站看到的都是其熟悉的存储设备的逻辑镜像。即使物理存储发生了变化,这种逻辑镜像也不会改变,系统管理员不必关心后台存储,只需专注于管理存储空间,所有的存储管理操作,例如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等都比以前容易的多,存储管理变得轻松简单。
从用户的角度来看,可以用一句更简单的话来概括虚拟存储--使用存储空间而不是使用物理存储硬件(磁盘、磁带),管理存储空间而不是管理物理存储硬件。
虚拟存储技术具有以下几个特点:
1、虚拟存储可以大大提高存储系统的整体访问带宽,这也是其对于视频网络系统来说最有价值的一个特点。我们知道,视频网络的存储系统一般是由多个存储模块组成,而虚拟存储系统可以很好地进行负载平衡,把每一次数据访问所需要的带宽合理地分配到各个存储模块上,这样系统的整体访问带宽就增大了。例如,一个存储系统中有4个存储模块,每一个存储模块的访问带宽为50MB/s,则这个存储系统的总访问带宽就可以接近各存储模块带宽之和,即200MB/s。
2、虚拟存储技术提供了一个大容量存储系统的集中管理手段,由网络中的一个环节 (如服务器)进行统一管理,避免了由于存储设备扩充而带来的管理方面的麻烦。例如,使用一般的存储系统,当在增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作,这样才可以使这个新成员加入到存储系统中。而使用虚拟存储技术,在增加新的存储设备时,只需要网络管理员对存储系统进行较为简单的系统配置更改,客户端无需任何操作、只是感到存储系统的容量增大了。
3、虚拟存储技术为存储资源管理提供了更好的灵活性。它可以将不同类型的存储设备集中管理使用,保障了用户以往购买存储设备的投资。
⑸ 存储虚拟化的目前状况
存储的虚拟化技术自本世纪初诞生以来,历经了十余年的技术演进与市场考验。发生变化的不仅是技术本身,而更多的是用户的实际应用需求。早期存储虚拟化技术出现的主要目的是为了帮助用户对异构存储资源进行池化和整合,提高使用和管理效率,合理降低TCO。而近年来基于SAN的存储虚拟化技术越来越多被应用于有效提升核心生产系统的业务连续性,数据安全性以及平滑的跨存储阵列的数据迁移能力
尽管关于虚拟化的宣传铺天盖地,企业界采用虚拟存储技术的脚步还是颇为缓慢。根据IDC对269名来自不同规模的公司的IT经理的调查,仅仅只有8%的企业正在应用任何一种形式的虚拟化。并且仅有平均23%的企业表示计划将在未来12个月里尝试实施一定程度的存储虚拟化。
中端存储用户主要期望用于对数据迁移进行管理,减轻管理负担;大型企业则主要期望将虚拟存储中的数据复制、卷管理用于存储预备。不管是哪个虚拟化阵营的厂商都面临着不同的压力,并有待在真实环境中接受考验。
用户在对存储子系统升级扩容时,不仅把性能与容量指标作为首要考虑对象,对于整个生产存储系统的高可用性,以及业务连续性保障能力的要求也逐渐成为规划建设初期进行考虑的重点!为了有效实现业务连续性保障目标,解决存储子系统的单点故障问题,合理引入存储虚拟化技术已经成为最为行之有效的手段之一,比如通过存储虚拟化技术实现不同品牌型号阵列间的实时镜像,帮助用户实现存储子系统的冗余能力。这一点在VMware虚拟化环境中几乎变成唯一可行的存储系统高可用性解决方案;又比如通过精简带宽的远程复制,数据录像或密集时间点的可恢复快照功能,来有效实现对于逻辑故障的防御,控制运维成本投入等。最终,通过一套统一的系统功能来实现对生产系统的业务连续性保障,方便,简单,大大减少了运维人员的压力。
近来,兼容异构存储 ,同时具备完整数据保护和管理功能的成熟存储虚拟化产品也被广泛应用于两地三中心容灾以及双活数据中心的建设当中,作为一种积极的,可靠的技术手段有效提升用户原有生产系统对各类型灾难的防御能力。
目前而言没有任何一家已经稳固占领了市场,迄今为止,IBM似乎有最高的销售记录,但也仅仅只是接近于领导地位。IBM SVC于2004年左右上市,从某种维度上看SVC 似乎与飞康的NSS形态和设计都很类似,都是基于Linux内核和x86工业标准服务器。IBM基于SVC的I/O GROUP引擎开发出了其目前整个V系列的存储产品线,比如常见的v7000系列存储系统 。SVC早起存储虚拟化功能较为单一,仅支持对异构存储的基本管理和池化,所以IBM曾经视图收购飞康,未果后也与2010年左右升级了其SVC 软件版本,逐渐提供了一些相应的高级功能。
另一个就是飞康 NSS,作为存储虚拟化技术的先驱之一,飞康的IPStor/NSS 存储虚拟化产品在2001年就已经出现在市场上,截止2014年已经正式发布了其第七代存储虚拟化产品,技术成熟度和广泛的应用范围都具备良好的可参考性。自创立以来,一直坚持开放硬件的态度,获得众多用户和第三方存储厂商的青睐,很多国内外存储厂商的技术人员都曾经接触过该产品。飞康官方宣称,以OEM方式或自主品牌销售的NSS产品安装量已超过数万套。丰富而实用的功能设计以及长期经受市场考验的产品稳定性和可靠性,应该是飞康IPStor/NSS产品的主要特点。
根据企业策略集团公司(ESG)的建立人,高级分析师SteveDuplessie的报告,SVC已完成1500多套系统的售出。该数据还被英国一家调研公司所证实。Cisco系统公司最近收购了ToPSPin公司,于是也拥有了把服务器虚拟化、存储虚拟化和网络虚拟化连接起来的能力。Topsin的虚拟化核心技术能够给Cisco带来大笔的技术财富,如果Cisco公司在收购它之后选择全力实现虚拟性能,结果势必令人瞩目。尽管已经取得了不小的成就和地位,但在存储领域Cisco仍然是一个玩票性质的参与者。Cisco面临的挑战在于所有的数据复制,存储预备以及其他核心存储功能的知识产权都在存储供应商手中,Cisco要想占优势,除了自身产品的研发与市场以外,还需要加强和这些主流存储系统厂商的合作与沟通。
在这场大赛中还有一个低调的实力派就是微软。微软在过去的两年里已默默地把自身建设成一支存储领域的强大军队,并且最近还克服了一些阻碍发展虚拟化的许可证等问题。在这场虚拟化的混战中,微软也许有些姗姗来迟,但凭借微软在软件领域的绝对地位,微软很可能会爆出一些惊人的技术,也许会把虚拟化变为服务器操作系统的一部分。
eG Innovations创始人兼总裁兼首席执行官Srinivas Ramanathan表示从存储虚拟化格局改变的角度来看,他认为存储虚拟化将走服务器虚拟化所走过的路。Ramanathan解释道:几年前,服务器虚拟化的焦点还在虚拟机管理器。现在,虚拟机管理器已经变成商品。所有的虚拟化公司都在关注管理性,以便为虚拟化客户提供成本节约和灵敏性。在我看来,几年后,存储虚拟化也将接着服务器虚拟化进入成熟期。
尽管服务器虚拟化已经成为主流,但是Ramanathan表示存储虚拟化离主流还有一定距离。他表示:现在的主要焦点是证明这个技术是有效的。几年后,管理性将更加重要--如何充分利用现有的硬件,如何在不同主机上动态迁移VM(虚拟机)等。
Infortrend Technology副总监Galvin Chang表示存储虚拟化的第一阶段是要能够整合和处理来自不同厂商的存储硬件的I/O命令。Chang表示,在存储虚拟化的下一阶段,下列这些问题将变得更加重要:向外扩展存储,分层和虚拟化存储,针对云数据中心的虚拟化存储,以及负载均衡。
根据Chang的说法,在虚拟化环境中使用向上扩展存储只会增加容量和导致不必要的资源浪费;只有向外扩展架构可以提高存储性能和获取来自虚拟化的好处。Chang还表示虚拟化存储可以提供不同层次的存储管理服务,包括SSD、SAS、SATA甚至VTL(虚拟磁带库)。
至于云服务要求,Chang认为虚拟化的存储可以提供不同的好处,包括可扩展性、无宕机数据管理以及更低的成本。他表示另一个关键问题将是当多个存储控制器引入一个虚拟化存储池的时候如何平衡控制器工作负荷和主机带宽。Chang指出:厂商们可以部署智能主机代理端或利用网络层协议来进行负载共享。