‘壹’ 虚拟化有哪些应用
服务器虚拟化主要的有三种
Citrix XenServer
微软 Windows Server 2008 Hyper-V
VMware ESX Server 这是最常用的
总特点:
将服务器物理资源抽象成逻辑资源,让一台服务器变成几台甚至上百台相互隔离的虚拟服务器,或者让几台服务器变成一台服务器来用,我们不再受限于物理上的界限,而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”,从而提高资源的利用率,简化系统管理,实现服务器整合,让IT对业务的变化更具适应力
VMware ESX ServerESX Server
运行在服务器裸机上,是基于硬件之上的架构。属于企业级应用。用同一台服务器底层硬件,划分出若干虚机,集中管理,很方便的做集群,负载均衡,热迁移等功能。
XenCenter是Citrix的虚拟化图形接口管理工具,可在同一界面,管理多台的XenServer服务器。管理上,通常会先在XenCenter建立一个服务器群组(Pool),然后将位于同一机房内的XenServer服务器加入。
和大多数服务器半虚拟化产品相同的是,当数台XenServer服务器连接到同一台共享磁盘驱动器,且将虚拟档案放置于此的前提下,可以通过Xen-Motion这项功能,将虚拟机以手动方式在线转移到其它的XenServer服务器,从事主机的维护,或者降低硬件资源的消耗。
我是从IT号外知道的。
‘贰’ 云存储的核心技术:虚拟化存储,究竟虚拟是怎样实现的
虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机(VM:Virtual Machine)一样,物理存储设备也被抽象成虚拟磁盘(Virtual Disk)。今天我们就来聊聊虚拟化存储(Storage Virtualization)技术,究竟虚拟磁盘是怎样实现的?
虚拟磁盘的实现
我们知道,服务器扩展存储的手段主要有直连存储(DAS)、存储区域网络(SAN)和网络附加存储(NAS)这三种类型。那么哪种存储类型可以用来实现虚拟磁盘呢?
在虚拟化环境中,类似VMWare这样的虚拟机管理程序hypervisor,要同时给很多VM分配存储空间。这个过程中,我们需要先把物理存储资源重新划分成虚拟磁盘,然后再分配给VM。
显然我们不能用DAS方式把物理磁盘直连到VM上,如果这样,需要的物理磁盘就太多了。SAN是以逻辑单元(LUN:Logic Unit)的形式提供存储资源,但是虚拟环境中VM的数量是很大的,而且伦的数量不足以支持这么多虚拟磁盘。
更重要的是,虚拟磁盘是为大量VM共享的,由于VM需要随时创建、删除或迁移,所以需要在迁移VM时共享存储空间,只有原始数据不会丢失。DAS还是SAN,都不适合共享存储。
考虑到资源分配以及共享的问题,虚拟机管理程序以NAS的方式实现虚拟磁盘。VMware通常使用VMFS(虚拟机文件系统)或NFS协议实现虚拟磁盘,VMFS文件系统是专门针对虚拟机环境协议。
每一个虚拟机的数据实际上是一堆文件,及最重要的文件的虚拟磁盘文件(VMDK文件),也有交换分区文件(VSWP文件,等价交换),非易失性存储器(NVRAM的文件相当于BIOS),等等。每个VM对虚拟磁盘的IO操作实际上是对虚拟磁盘文件的读写操作。
设计、施工、和虚拟服务器环境和优化,允许多个虚拟机访问集成的集群存储池,从而大大提高了资源的利用率。使用和实现资源共享,管理员可以直接从更高的效率和存储利用率中获益。
那么我们如何在云计算中使用虚拟磁盘呢?
实例存储
最主要的一种使用虚拟磁盘的方式就是实例存储,每个VM都是虚拟机的一个实例,虚拟机管理程序在每个实例中提供一个仿真硬件环境,它包括CPU、内存和磁盘。这样,虚拟磁盘就是虚拟机实例的一部分,就像物质世界。删除VM后,虚拟磁盘也将被删除。
在这个实例存储模型中,虚拟磁盘与虚拟机之间的存储关系,事实上,它是DAS存储。但是虚拟磁盘的底层实现,我们说,它是以NAS的方式实现的。虚拟机管理程序的作用是存储VM层的存储模型,这是从实施协议分离(VMFS或NFS)的虚拟机的低层。
VMFS协议实现了存储资源的虚拟化,再分配各VMs
卷存储
实例存储有它的限制,开发人员通常希望分离实例数据,例如OS和安装的一些服务器应用程序和用户数据,这样重建VM的时候可以保留用户的数据。
这个需求衍生出另外一种存储模型:卷存储。卷是存储的主要单元,相当于虚拟磁盘分区。它不是虚拟机实例的一部分,它可以被认为是虚拟机的外部存储设备。
该卷可以从一个VM卸载,然后附加到另一个VM。通过这种方式,我们实现了实例数据与用户数据的分离。OpenStack的煤渣是一个体积存储的实现。
除了实例存储和卷存储之外,最后我们还提到另一种特殊的虚拟存储:对象存储。
对象存储
很多云应用需要在不同的VM之间共享数据,它常常需要跨越多个数据中心,而对象存储可以解决这个问题。在前一篇文章中的云计算IaaS管理平台的基本功能是什么?》中曾经提到过对象存储。
在对象存储模型中,数据存储在存储段(bucket)中,桶也可以被称为“水桶”,因为它字面意思。我们可以用硬盘来类推,对象像一个文件,而存储段就像一个文件夹(或目录)。可以通过统一资源标识符(URI:统一资源标识符)找到对象和存储段。
对象存储的核心设计思想实际上是虚拟化,它是文件的物理存储位置,如卷、目录、磁盘等,虚拟化是木桶,它将文件虚拟化为对象。对于应用层,简化了对数据访问的访问,屏蔽了底层存储技术的异构性和复杂性。
对象存储模型
NAS与对象存储各有所长
当然你也许会问,NAS存储技术也是一个可以解决数据共享的问题吗?由于对象存储的大小和成本优势,许多云环境使用对象存储而不是NAS。
因为对象存储将跨多个节点传播,最新数据并不总是可用的 因此,对象存储的数据一致性不强。如果有强一致性的要求,然后你可以使用NAS。目前,在云计算环境中,NAS和对象存储是共存的。
和NAS一样,对象存储也是软件体系结构,而不是硬件体系结构。应用程序通过REST API直接访问对象存储。公共对象存储包括:Amazon S3和OpenStack的Swift。
结语
在实际的云平台应用中,我们需要根据自己的实际情况来合理运用不同的虚拟化存储技术。
对于非结构化的静态数据文件,如音视频、图片等,我们一般使用对象存储。
对于系统镜像以及应用程序,我们需要使用云主机实例存储或者卷存储。
对于应用产生的动态数据,我们一般还需要利用云数据库来对数据进行管理。
‘叁’ 什么是云储存有什么优点呢
云存储是一种网络在线存储(Onlinestorage)的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。托管(hosting)公司营运大型的数据中心,需要数据存储托管的人,则通过向其购买或租赁存储空间的方式,来满足数据存储的需求。数据中心营运商根据客户的需求,在后端准备存储虚拟化的资源,并将其以存储资源池(storagepool)的方式提供,客户便可自行使用此存储资源池来存放文件或对象。主要有下面几点优势:
1、存储管理可以实现自动化和智能化,所有的存储资源被整合到一起,客户看到的是单一存储空间。
2、提高了存储效率,通过虚拟化技术解决了存储空间的浪费,可以自动重新分配数据,提高了存储空间的利用率,同时具备负载均衡、故障冗余功能。
3、云存储能够实现规模效应和弹性扩展,降低运营成本,避免资源浪费。隐患与缺点:1、对于较为机密的数据,云存储服务提供商如何保证用户数据的安全性。2、由于带宽和其他因素,云端访问性能可能比本地端储存设备的性能低。
3、当用户有特殊的数据使用记录追踪需求时(如公务部门依据规章和条例的要求,而需留存某些电磁记录时),使用云计算及云存储将使工作复杂度增加。
4、虽然可以一次提供给多人数据,或是传递数据给位于不同地方的人,但单人在转移数据的时候(例如文件由手机发送至电脑,或是由电脑发送至手机)因为需要重新“上传”与“下载”,会像是在绕远路一般,不如使用传输线的来的快。
‘肆’ 【重识云原生】第2.3节——主流虚拟化技术之Xen
Xen知识地图:
Xen是由剑桥大学计算机实验室开发的一个开源项目,是一个开源的可直接运行于硬件层之上的虚拟化软件,它属于type-I型虚拟化系统,支持万贯虚拟化和超虚拟化,以高性能、占用资源少着称,赢得了IBM、AMD、HP、Red Hat和Novell等众多世界级软硬件厂商的高度认可和大力支持,已被国内外众多企事业用户用来搭建高性能的虚拟化平台。
Xen仅对CPU和Memory直接接管,而其它IO硬件驱动则由其上运行的第一个虚拟机来提供支持,它能够在计算机硬件上并发的运行多个客户操作系统(Guest OS)。支持x86、x86-64、安腾( Itanium)、Power PC和ARM多种处理器,因此Xen可以在大量的计算设备上运行,目前Xen支持Linux、NetBSD、FreeBSD、Solaris、 Windows和其他常用的操作系统作为客户操作系统在其管理程序上运行。
Xen默认认为自己是直接运行于硬件层之上的虚拟化软件(即Xen Hypervisor层),并且可以直接驱动CPU和内存,需注意CPU和内存是所有想要运行的操作系统必须能直接支持的,但Xen为保证自身的小巧,它并没有提供虚拟机的管理接口,因此它采用了一种独特的方式,先运行一台特权虚拟机(即Domain 0),且这台VM必须支持Kernel的修改,因此选择开源的Linux做为特权VM是最合适的,这样也可方便采用Linux所支持的方式来开发虚拟机管理接口,实现与Xen Hypervisor层直接交互来完成为VM分配CPU和内存资源及创建、删除、停止、启动VM的管理接口。通常这台特权虚拟机一定会采用当前比较流行的Linux发行版,因为它能支持更多IO硬件设备,如:网卡,磁盘,显卡,声卡等;到目前为止,NetBSD,GNU/Linux,FreeBSD和Plan 9,OpenSolaris等系统已经支持已半虚拟化方式运行在Xen的DomU中。目前Xen已经支持x86、x86_64和ARM等平台,并正在向IA64、PPC移植。移植到其他平台从技术上是可行的,未来有可能会实现。
Xen虚拟机支持在不停止的情况下在多个物理主机之间实时迁移。在操作过程中,虚拟机在没有停止工作的情况下内存被反复地复制到目标机器。虚拟机在最终目的地开始执行之前,会有一次60-300毫秒的非常短暂的暂停以执行最终的同步化,给人无缝迁移的感觉。类似的技术被用来暂停一台正在运行的虚拟机到磁盘,并切换到另外一台,第一台虚拟机在以后可以恢复。
如上图所示,Xen虚拟环境由三部分组件组成:
XEN Hypervisor
Xen Hypervisor 是介于操作系统和硬件之间的一个软件抽象层。它负责在各个虚拟机之间进行CPU调度和内存分配。Xen Hypervisor不仅抽象出虚拟机的硬件,同时还控制着各个虚拟机的执行。Xen Hypervisor不会处理网络、存储设备、视频以及其他 I/O。
Domain 0 Guest
Domain 0是特权域,是一个修改过的Linux kernel,是唯一运行在 Xen Hypervisor之上的虚拟机,它拥有访问物理 I/O 资源的权限,同时和系统上运行的其他虚拟机(Domain U: PV and HVM Guest)进行交互。Domain 0需要在其它Domain启动之前启动。
Domain 0 中有两个驱动 Network Backend Driver 和 Block Backend Driver,它们分别用来处理来自 Domain U 的网络和本地磁盘请求。 Network Backend Driver与本地网络硬件直接通信,以此来处理来自于Domain U所有虚拟机访问网络设备的请求;Block Backend Drive与本地存储设备进行通信,以此来处理来自于Domain U的磁盘数据读写的请求。
Domain U Guest(Dom U)
Domain U没有直接访问物理硬件的权限(Domain U的"U"是来自于英文单词 unprivileged,是指没有权限的),但Domain 0有。
运行在 Xen Hypervisor 上的所有半虚拟化(paravirtualized)虚拟机被称为“Domain U PV Guests”,其上运行着被修改过内核的操作系统,如 Linux、Solaris、FreeBSD 等其它 UNIX 操作系统。
所有的全虚拟化虚拟机被称为“Domain U HVM Guests”,其上运行着不用修改内核的操作系统,如 Windows 等。
Domain U PV Guest 中也包括两个驱动“PV Network Driver”和“PV Block Driver”,它们分别也是用来处理发送网络和本地磁盘请求用的,这与 Domain 0 中的两个驱动是相对应的。
Xen对虚拟机的虚拟化分为两大类,半虚拟化(Para virtualization)和完全虚拟化(Hardware VirtualMachine)。
半虚拟化(Paravirtualization)有些资料称为“超虚拟化”,简称为PV,是Xen主导的虚拟化技术。这种技术允许虚拟机操作系统感知到自己运行在Xen Hypervisor上而不是直接运行在硬件上,同时也可以识别出其他运行在相同环境中的客户虚拟机。
在Xen Hypervisor上运行的半虚拟化的操作系统,为了调用系统管理程序(Xen Hypervisor),要有选择地修改操作系统,然而却不需要修改操作系统上运行的应用程序。由于 Xen 需要修改操作系统内核,所以您不能直接让当前的 Linux 内核在 Xen 系统管理程序中运行,除非它已经移植到了Xen 架构。不过,如果当前系统可以使用新的已经移植到 Xen 架构的Linux 内核,那么您就可以不加修改地运行现有的系统。
完全虚拟化(Hardware Virtual Machine)又称“硬件虚拟化”,简称HVM,是指运行在虚拟环境上的虚拟机在运行过程中始终感觉自己是直接运行在硬件之上的,并且感知不到在相同硬件环境下运行着其他虚拟机的虚拟技术。此种虚拟化需要借助于Intel的VT-x 或 AMD的AMD-v 等硬件辅助虚拟化技术(详细技术原理参见1.5.1节)及Qemu的IO硬件模拟技术,才能支持GuestOS的kernel不修改,就可直接被DomU支持。
在Xen Hypervisor运行的完全虚拟化虚拟机,所运行的操作系统都是标准的操作系统,即:无需任何修改的操作系统版本。同时也需要提供特殊的硬件设备。
值的注意的是,在Xen上虚拟的Windows虚拟机必须采用完全虚拟化技术。
为了提高性能,完全虚拟化的Guests可以使用特殊的半虚拟设备驱动程序(PVHVM或PV-on-HVM驱动)。这些驱动程序在HVM环境下优化你的 PV驱动,模拟的磁盘和网络IO旁路运行,从而让你的PV在HVM中有更好的性能。这意味着你在用户窗口操作方面可以得到最佳的性能。
注意,Xen项目PV(半虚拟化)的Guest自动使用PV驱动,因此不需要这些驱动程序,因为你已经自动使用优化的驱动程序。PVHVM只会在HVM(全虚拟化)guest虚拟机中需要。
Xen 的 VMM ( Xen Hypervisor ) 位于操作系统和硬件之间,负责为上层运行的操作系统内核提供虚拟化的硬件资源,负责管理和分配这些资源,并确保上层虚拟机(称为域 Domain)之间的相互隔离。Xen采用混合模式,因而设定了一个特权域用以辅助Xen管理其他的域,并提供虚拟的资源服务,该特权域称为Domain 0,而其余的域则称为Domain U。
Xen向Domain提供了一个抽象层,其中包含了管理和虚拟硬件的API。Domain 0内部包含了真实的设备驱动(原生设备驱动),可直接访问物理硬件,负责与 Xen 提供的管理 API 交互,并通过用户模式下的管理工具来管理 Xen 的虚拟机环境。
Xen2.0之后,引入了分离设备驱动模式。该模式在每个用户域中建立前端(front end)设备,在特权域(Dom0)中建立后端(back end)设备。所有的用户域操作系统像使用普通设备一样向前端设备发送请求,而前端设备通过IO请求描述符(IO descripror ring)和设备通道(device channel)将这些请求以及用户域的身份信息发送到处于特权域中的后端设备。这种体系将控制信息传递和数据传递分开处理。
在Xen体系结构设计中,后端设备运行的特权域被赋予一个特有的名字---隔离设备域(Isolation Device Domain, IDD),而在实际设计中,IDD 就处在Dom0中。所有的真实硬件访问都由特权域的后端设备调用本地设备驱动 (native device driver)发起。前端设备的设计十分简单,只需要完成数据的转发操作,由于它们不是真实的设备驱动程序,所以也不用进行请求调度操作。而运行在IDD中的后端设备,可以利用Linux的现有设备驱动来完成硬件访问,需要增加的只是IO请求的桥接功能---能完成任务的分发和回送。
1)半虚拟化技术实现原理
采用半虚拟化技术的虚拟机操作系统能够识别到自己是运行在Xen Hypervisor而非直接运行于硬件之上,并且也可以识别到在相同的机器上运行的其他虚拟机系统。而且运行的操作系统都需要进行相应的修改。
半虚拟化客户机(Domain U PV Guests)包含两个用于操作网络和磁盘的驱动程序,PV Network Driver 和PV Block Driver。
PV Network Driver负责为Domain U提供网络访问功能。PV Block Driver负责为Domain U提供磁盘操作功能。
2)完全虚拟化技术实现原理
完全虚拟化客户机(Domain U HVM Guests)运行的是标准版本的操作系统,因此其操作系统中不存在半虚拟化驱动程序(PV Driver),但是在每个完全虚拟化客户机都会在Domain 0中存在一个特殊的精灵程序,称作:Qemu-DM,Qemu-DM帮助完全虚拟化客户机(Domain U HVM Guest)获取网络和磁盘的访问操作。
完全虚拟化客户机必须和在普通硬件环境下一样进行初始化,所以需要在其中加入一个特殊的软件Xen virtual firmware,来模拟操作系统启动时所需要的BIOS。
开源社区中将一系列的Linux精灵程序分类为“管理”和“控制”两大类。这些服务支撑着整个虚拟环境的管理和控制操作,并且存在于Domain 0虚拟机中。
下面将对直接服务进行详细的描述。
注:为了清晰的描述Xen的运行流程,画图时将精灵程序放在Domain 0外部来描述,但事实上所有精灵程序都存在于Domain 0 之中。
1)Xend
Xend精灵线程是一个Python应用程序,它作为Xen环境的系统管理员。它利用Libxenctrl类库向Xen Hypervisor发出请求。
所有Xend处理的请求都是由XM工具使用XML RPC接口发送过来的。
2)Xm
用于将用户输入通过XML RPC接口传递到Xend中的命令行工具。
3)Xenstored
Xenstored精灵程序用于维护注册信息,这些信息包括内存和在连接Domain 0和所有其他Domain U之间的事件通道。Domain 0虚拟机利用这些注册信息来与系统中其他虚拟机建立设备通道,即帮助Domain U虚拟机访问硬件资源。
4)Libxenctrl
Libxenctrl是C程序类库,用于让Xend具有通过Domain 0与Xen Hypervisor进行交互的能力。在Domain 0中存在一个特殊的驱动程序称作privcmd,它将请求发送给Hypervisor。
5)Qemu-DM
在Xen环境下,每个完全虚拟化虚拟机都需要拥有自己的Qemu精灵程序。Qemu-DM处理在Xen环境下完全虚拟化客户机所能允许执行的所有关于网络 和磁盘请求和操作。Qemu程序必须存在于Hypervisor之外同时又需要访问网络和I/O,所以Qemu-DM必须存在于Domain 0 中(参见前面章节对Domain 0 的描述)。
未来版本的Xen中,一种新的工具Stub-DM将会提供一系列对所有完全虚拟化客户机都可用的服务,以此来替代需要在每个虚拟机上都生成一个Qemu的逻辑。
6)Xen Virtual Firmware
Xen Virtual Firmware是被嵌入到所有完全虚拟化客户机中的虚拟BIOS系统,来确保所有客户操作系统在正常启动操作中接收到标准的启动指令集并提供标准的软件兼容环境。
根据前几章节所述,Xen Hypervisor不负责处理网络和磁盘请求,因此半虚拟化客户机(Domain U PV)必须通过Domain 0 与Xen Hypervisor进行通信,从而完成网络和磁盘的操作请求。下面以半虚拟化客户机(Domain U PV)执行向本地磁盘写入数据为例描述Domain 0与Domain U PV的交互过程。
半虚拟化客户机(Domain U PV)的PV Block Driver接收到要向本地磁盘写入数据的请求,然后通过Xen Hypervisor将与Domain 0共享的本地内存中的数据写入到本地磁盘中。在Domain 0 和半虚拟化Domain U之间存在事件通道,这个通道允许它们之间通过存在于Xen Hypervisor内的异步中断来进行通信。Domain 0将会接收到一个来自于Xen Hypervisor的系统中断,并触发Domain 0中的Block Backend驱动程序去访问本地系统内容,并从与半虚拟化客户机的共享内存中读取适合的数据块。从共享内存中读取的数据随后被写入到本地磁盘的指定位置中。
上图中所显示的事件通道是直接连接Domain 0 和Domain U PV是为了清晰和简单的描述系统是如何运行的。但事实上,事件通道(Event Channel)运行于Xen Hypervisor中,并在Xenstored中注册特定的系统中断,以此来让Domain 0 和Domain U PV能够通过本地内存快速的共享信息。
Xen在给VM提供CPU的虚拟化时,它采用的也是在Xen hypervisor层启动一个线程,并将这些线程映射到某个物理核心上,当然通过DomU的配置文件中的cpus可以指定将这些模拟CPU的线程绑定到某几个物理核心上;而内存的虚拟化则是内存页的映射,将物理内存上多个连续或不连续的内存页映射给VM,让VM看来这就是一个完整的连续的内存空间。
当启动一个用户VM(DomU)时,该VM所需的CPU和内存都由Xen Hypervisor提供,而它若需要使用IO设备时,则向特权VM(即Dom0)发起请求,特权VM会为该用户VM创建一个模拟的硬件设备线程,并运行于特权VM的用户空间,当用户VM向该IO硬件发起调用时,特权VM上相应的模拟设备接收请求并将其转化为特权VM对IO硬件的操作,交给特权VM的内核来代为完成其操作。这里需注意这些虚拟IO硬件需要由Qemu来模拟,Xen本身并没有提供相应的模拟功能。(注:特权VM的CPU和内存也是有Xen Hypervisor提供)
1)Qemu模拟IO设备(完全虚拟化方式)
Qemu模拟IO设备(完全虚拟化方式):假如用户VM向特权VM请求磁盘,特权VM可以将一个分区、文件等,通过Qemu将其模拟成一个磁盘设备,就拿文件来说,特权VM先创建一个映像文件,再通过Qemu为该文件模拟一个磁盘控制器芯片;然后,将其映射到用户VM上,当然模拟的这个磁盘控制器芯片一定是一个最常见的,用户VM的Kernel一定支持的,但需注意:模拟的磁盘可能会与实际的物理磁盘不同,因为要尽可能兼容。这样一来用户VM假如要写数据到磁盘的过程如下:
用户VM-APP--->用户VM-Kernel调用虚拟磁盘的驱动进行写数据前的准备(如:数据写入到磁盘中的扇区位置/数据编码等)--->
用户VM-Kernel将编码后的信息发给特权VM的模拟磁盘进程--->
特权VM的模拟磁盘进程再将编号信息还原后发给特权VM-kernel--->
特权VM-kernel调用真实物理磁盘的驱动对数据进行写前准备--->最后磁盘驱动调度磁盘完成写入
摘录补充:( http://my.oschina.net/davehe/blog/94039?fromerr=mOuCyx6W )
Xen向Domain提供了一个抽象层,其中包含了管理和虚拟硬件的API。Domain 0内部包含了真实的设备驱动(原生设备驱动),可直接访问物理硬件,Xen 提供的管理 API 可与其交互,并通过用户模式下的管理工具(如:xm/xend、xl等)来管理 Xen 的虚拟机环境。
2)半虚拟化IO设备
半虚拟化的IO设备:它与模拟最大不同是DomU知道自己是运行在虚拟化环境中的,并且知道这个磁盘不是真正的磁盘,它只是Xen模拟的一个磁盘前端驱动(Disk Frontend),它要写数据时,直接将数据交给Disk Frontend,而不再去调用磁盘驱动进行数据编码,当特权VM端的Disk backend收到来自DomU的数据时,也是直接转给特权VM-Kernel,由其直接调用物理磁盘驱动来对这些原始数据进行处理并写入磁盘。
摘录补充:( http://my.oschina.net/davehe/blog/94039?fromerr=mOuCyx6W )
Xen2.0之后,引入了分离设备驱动模式。该模式在每个用户域中建立前端(front end)设备,在特权域(Dom0)中建立后端(back end)设备。所有的用户域操作系统像使用普通设备一样向前端设备发送请求,而前端设备通过IO请求描述符(IO descripror ring)和设备通道(device channel)将这些请求以及用户域的身份信息发送到处于特权域中的后端设备。这种体系将控制信息传递和数据传递分开处理(类似云计算中常说的控制面与数据面分离设计)。
半虚拟化客户机(Domain U PV)的PV Block Driver接收到要向本地磁盘写入数据的请求,然后通过Xen Hypervisor将自己与Domain 0共享的本地内存中的数据写入到本地磁盘中。在Domain 0 和半虚拟化Domain U之间存在事件通道,这个通道允许它们之间通过存在于Xen Hypervisor内的异步中断来进行通信。Domain 0将会接收到一个来自于Xen Hypervisor的系统中断,并触发Domain 0中的Block Backend驱动程序去访问本地系统内容,并从自己与半虚拟化客户机的共享内存中读取适合的数据块后,随即被写入到本地磁盘的指定位置中。
但无论采用模拟或半虚拟化最终都是对物理磁盘的操作,假如当前只有一个物理磁盘,众多用户VM都在进行大量的读写请求,此时,为了避免用户VM无限制的向特权VM发起请求,特权VM中采用一个环状缓存区,每到一个IO请求,就先将其塞入这个环状缓冲区的槽位中,若缓冲区满了,就会告诉用户VM IO设备繁忙。当然其它各种IO设备大致都采用这种机制来控制。
在虚拟化环境中虚拟网络是十分重要但又比较难,需要特别注意;
在Linux中实现虚拟网络的方法中比较常用的工具有两个:bridge-utils 和 openvswitch,它们创建的虚拟网络设备是不能相互使用的,比如:bridge-utils创建的桥设备,openvswitch是无法识别的。
用下图来做简单说明:
1)Bridge模式
Xend启动时流程:
1、创建虚拟网桥 xenbr0;
2、停止物理网卡 eth0;
3、物理网卡 eth0 的 MAC 地址和 IP 地址被复制到虚拟网卡 veth0;
4、物理网卡 eth0 重命名为 peth0;
5、Veth0 重命名为 eth0;
6、Peth0 的 MAC 地址更改( FE:FF:FF:FF:FF:FF ),ARP 功能关闭;
7、连接 peth0、vif0.0 到网桥 xenbr0
8、启动 peth0、vif0.0、xenbr0
Domain U 启动时的流程:
1、vif<domainID>.0 连接到 xenbr0
2、启动vif<domainID>.0
2)Route 模式
Xend启动时的流程:
1、开启Domain 0的IP Forward。
Domain U启动时的流程:
1、创建 vif<domainID>.0 ,dom U eth0的IP地址被拷贝到vif<domainID>。
2、启动 vif<domainID>.0。
3、为domU的配置文件中指向虚拟接口vif.0分配的IP地址增加静态路由。
3)NAT模式
NAT 模式会使用虚拟局域网 virbr0
安装了Xen的Linux机器,在Dom 0中能看到以下几类网卡(网络接口设备 ):
(X ,Y都为数字)
pethY
ethY
xenbrY
virbrY
vifX.Y(X为DomaiID,Y表示该虚拟网卡是该Domain的第几块虚拟网卡)
vethY (一般在Xend启动完成以后就不存在了)
xend : 这是Xen Hypervisor的Dom0上运行的服务,此服务用来监控xm命令发来的指令,并完成相应的动作。
xm : Xen Management,用来管理VM的创建、删除、启动、快照、删除、停止等的管理工具。
xl : 这是一个基于libxenlight库的一个轻量级VM管理工具,它从Xen4.1开始出现,从4.3以后,它被作为主要的VM管理工具,而xm这个重量级管理工具开始被提示废弃.以下为xm、xl的对比图:
xl 和 xm都需要调用libxenlight,但xl不需要运行任何服务,它可直接调用libxenlight完成相关操作。
xe/XAPI,是xend的一个API管理接口,通常用于Xen Cloud环境中:Xen Server, XCP
virsh/ libvirt : 这是Redhat发起开发的一套用于管理众多不同类别的VM的管理工具。
virsh : 这是一个命令行工具
libvirt: 则是一个lib库, libvirtd守护进程用于监听virsh命令操作,并调用lbvirt完成相关操作.
10年4月Xen4.0.0发布,改进后Xen的DomU最大可支持虚拟CPU 64颗,Xen主机可支持1TB内存和128颗物理CPU,磁盘可支持快照和克隆;HVM客户机支持虚拟内存页共享;
11年4月发布的Xen4.1版后,xm/xend开始被提示废弃,xl这个更轻量级的Xen VM管理工具逐渐成为主流。
15年为止已经发布Xen4.5版本,目前yum源可用的最新版Xen是4.6.1版的(http://mirrors.skyshe.cn/centos/6.7/virt/x86_64/xen-46/)。
Linux2.6.37:kernel开始对Xen进行支持,并加其加入到Kernel中。
Linux3.0:Kernel开始对Xen的关键部分进行优化。
RHEL对Xen的支持概况:
Redhat系列对Xen的支持情况:
RHEL5.7 ~ 及以前版本:默认的企业虚拟化技术为Xen。
但Redhat提供了两种内核:
kernel-... :这是仅允许RHEL系统的内核,不能运行在DomU中。
kernel-xen.. :这是需要部署XenServer时,使用的Kernel版本。
RHEL6 ~ 及以后版本:默认支持KVM(收购自以色列的一款虚拟化工具),并且不在对Xen做任何支持,但允许自己运行在DomU中。
Linux内核态、用户态简介与IntelCPU特权级别--Ring0-3_weixin_30784501的博客-CSDN博客
云计算技术 — 云计算技术发展编年史_烟云的计算-CSDN博客_云计算编年史
虚拟化技术原理(CPU、内存、IO)_joneslee的博客-CSDN博客_虚拟化原理
五种主流的虚拟化技术_远有青山-CSDN博客_虚拟化技术
Xen原理
Xen原理 - 张朝锋 - 博客园
Xen虚拟化技术原理_IT人生活的技术博客_51CTO博客
Xen虚拟化基本原理详解
Xen虚拟化基本原理详解 - stardsd - 博客园
Xen工作原理_为幸福写歌的博客-CSDN博客_xen原理
Xen_网络
‘伍’ 用户在程序中试图读某文件的第100个逻辑块,使用操作系统的什么接口
1 虚拟存储技术产
虚拟化技术并件新技术,发展,应该说随着计算机技术发展发展起,早始于70代.由于存储容量,特别内存容量本非高,容量,于型应用程序或程序应用受限制.克服限制,采用虚拟存储技术,典型应用虚拟内存技术.随着计算机技术及相关信息处理技术断发展,存储需求越越.需求刺激各种新技术现,比磁盘性能越越,容量越越.量型信息处理系统,单磁盘能满足需要,情况存储虚拟化技术发展起.发展程由几阶段几种应用.首先磁盘条带集(RAID,带容错)技术,物理磁盘通定逻辑关系集合起,容量虚拟磁盘.随着数据量断增加数据用性要求断提高,种新存储技术应运,存储区域网络(SAN)技术.SAN广域化则旨存储设备实现种公用设施,任何员,任何主机都随随获取各自想要数据.目前讨论比较包括iSCSI,FC Over IP 等技术,由于些相关标准没终确定,存储设备公用化,存储网络广域化逆转潮流.
2 虚拟存储概念
所谓虚拟存储,存储介质模块(硬盘,RAID)通定手段集管理起,所存储模块存储池(Storage Pool)统管理,主机工作站角度,看硬盘,区或者卷,象超容量(1T)硬盘.种种,存储设备统管理起,使用者提供容量,高数据传输性能存储系统,称虚拟存储.
虚拟存储类
目前虚拟存储发展尚统标准,虚拟化存储拓扑结构讲主要两种式:即称式与非称式.称式虚拟存储技术指虚拟存储控制设备与存储软件系统,交换设备集整体,内嵌网络数据传输路径;非称式虚拟存储技术指虚拟存储控制设备独立于数据传输路径外.虚拟化存储实现原理讲两种式;即数据块虚拟与虚拟文件系统.具体:
A.称式虚拟存储
图1
图1称式虚拟存储解决案示意图
图1所示称式虚拟存储结构图,存储控制设备 High Speed Traffic Directors(HSTD)与存储池系统Storage Pool集起,组SAN Appliance.看该案存储控制设备HSTD主机与存储池数据交换程起核作用.该案虚拟存储程:由HSTD内嵌存储管理系统存储池物理硬盘虚拟逻辑存储单元(LUN),并进行端口映射(指定某LUN能哪些端口所见),主机端各见存储单元映射操作系统识别盘符.主机向SAN Appliance写入数据,用户需要数据写入位置指定自映射盘符(LUN),数据经HSTD高速并行端口,先写入高速缓存,HSTD存储管理系统自完目标位置由LUN物理硬盘转换,程用户见虚拟逻辑单元,关每LUN具体物理组织结构.该案具主要特点:
(1)采用容量高速缓存,显着提高数据传输速度.
缓存存储系统广泛采用位于主机与存储设备间I/O路径间介质.主机存储设备读取数据,与前数据存储位置相连数据读缓存,并调用数据保留缓存;主机读数据,几率能够缓存找所需要数据.直接缓存读.缓存读取数据速度受电信号传播速度影响(等于光速),高于硬盘读数据盘片机械转速度.主机向存储设备写入数据,先数据写入缓存,待主机端写入作停止,再缓存数据写入硬盘,同高于直接写入硬盘速度
(2)端口并行技术,消除I/O瓶颈.
传统FC存储设备控制端口与逻辑盘间固定关系,访问块硬盘能通控制控制器端口.称式虚拟存储设备,SAN Appliance存储端口与LUN关系虚拟,说台主机通存储端口(8)并发访问同LUN;光纤通道100MB/带宽前提,并行工作端口数量越,数据带宽越高.
(3)逻辑存储单元提供高速磁盘访问速度.
视频应用环境,应用程序读写数据固定数据块单位(512byte1MB间).存储系统保证应用程序带宽需求,往往设计传输512byte数据块才能达其佳I/O性能.传统SAN结构,容量需求增,唯解决办块磁盘(物理或逻辑)绑定带区集,实现容量LUN.称式虚拟存储系统,主机提供真超容量,高性能LUN,用带区集式实现性能较差逻辑卷.与带区集相比,Power LUN具优势,块I/O block真存储系统所接受,效提高数据传输速度;并且由于没带区集处理程,主机CPU解除负担,提高主机性能.
(4)HSTD系统容错性能.
称式虚拟存储系统,HSTD数据I/O必经,存储池数据存放.由于存储池数据具容错机制保障安全,用户自想HSTD否容错保护.象许型存储系统,熟称式虚拟存储系统,HSTD配制,每HSTD间通SAN Appliance内嵌网络管理服务实现缓存数据致相互通信.
(5)SAN Appliance便连接交换设备,实现超规模Fabric结构SAN.
系统保持标准SAN结构,系统扩展互连提供技术保障,所SAN Appliance便连接交换设备,实现超规模Fabric结构SAN.
B.非称式虚拟存储系统
图2
图2非称式虚拟存储系统示意图
图2所示非称式虚拟存储系统结构图,网络每台主机虚拟存储管理设备均连接磁盘阵列,其主机数据路径通FC交换设备达磁盘阵列;虚拟存储设备网络连接磁盘阵列进行虚拟化操作,各存储阵列LUN虚拟逻辑带区集(Strip),并网络每台主机指定每Strip访问权限(写,读,禁止访问).主机要访问某Strip,首先要访问虚拟存储设备,读取Strip信息访问权限,再通交换设备访问实际Strip数据.程,主机识别逻辑strip,直接识别物理硬盘.种案具特点:
(1)同物理硬盘阵列容量进行逻辑组合,实现虚拟带区集,阵列控制器端口绑定,定程度提高系统用带宽.
(2)交换机端口数量足够情况,网络内安装两台虚拟存储设备,实现Strip信息访问权限冗余.
该案存些足:
(1)该案本质带区集——磁盘阵列结构,旦带区集某磁盘阵列控制器损坏,或者阵列交换机路径铜缆,GBIC损坏,都导致虚拟LUN离线,带区集本身没容错能力,LUN损坏意味着整Strip面数据丢失.
(2)由于该案带宽提高通阵列端口绑定实现,普通光纤通道阵列控制器效带宽仅40MB/S左右,要达几百兆带宽意味着要调用十几台阵列,占用几十交换机端口,两台交换机型网络,实现.
(3)由于各种品牌,型号磁盘阵列其性能完全相同,于虚拟化目同品牌,型号阵列进行绑定,带问题:即数据写入或读各并发数据流速度同,意味着原数据包顺序传输完毕打乱,系统需要占用间资源重新进行数据包排序整理,严重影响系统性能.
4 数据块虚拟与虚拟文件系统
拓扑结构角度析称式与非称式虚拟存储案异同,实际虚拟化存储实现原理讲两种式;即数据块虚拟与虚拟文件系统.
数据块虚拟存储案着重解决数据传输程冲突延问题.交换机组型Fabric结构SAN,由于台主机通交换机端口访问存储设备,延数据块冲突问题非严重.数据块虚拟存储案利用虚拟端口并行技术,台客户机提供极高带宽,限度减少延与冲突发,实际应用,数据块虚拟存储案称式拓扑结构表现形式.
虚拟文件系统存储案着重解决规模网络文件共享安全机制问题.通同站点指定同访问权限,保证网络文件安全.实际应用,虚拟文件系统存储案非称式拓扑结构表现形式.
虚拟存储技术门课结合点
本期门课,所涉及虚拟存储技术,实际虚拟存储技术面,特指CPU间外存空间换取昂贵内存空间操作系统资源转换技术
基本思想:程序,数据,堆栈超内存,操作系统程序前使用部保留内存,其部保存磁盘,并需要内存磁盘间态交换,虚拟存储器支持道程序设计技术
目:提高内存利用率
管理式
A 请求式页存储管理
进程始运行前,装入全部页面,装入或零页面,根据进程运行需要,态装入其页面;内存空间已满,需要装入新页面,则根据某种算淘汰某页面,便装入新页面
B 请求式段存储管理
能实现虚拟存储,段式逻辑址空间程序段运行并全部装入内存,同请求式页存储管理,首先调入或若干程序段运行,运行程调用哪段,根据该段度内存配连续区给使用.若内存没足够空闲区,则考虑进行段紧凑或某段或某些段淘汰,种存储管理技术称请求式段存储管理
现团IDC网45元/美空间团购,便宜口碑
2.批处理、操作系统、实操作系统各特征 3.道程序设计与重处理何区别 4.讨论操作系统哪些角度发何统起 5.现代操作系统运行环境何要求 3 2 1.说进程由伪处理机执行程序 2.比较进程与程序联系区别 3.我说程序并发执行导致终结失封闭性所程序都立试举例说明 4.临界区举临界区例 5.线程线程进程何区别 6.某高校计算机系设网络课并安排机实习假设机房共2m台机器2n 名选该课规定: ① 每2 组组各占台机器协同完机实习; ② 组2 齐并且机房空闲机器该组才能进入机房; ③ 机实习由名教师检查检查完毕组同离机房 试用P、V操作模拟机实习程 7.今三并发进程RMP共享循环使用缓冲区B缓冲区B 共N单元进程R 负责输入设备读信息每读字符存放缓冲区B 单元;进程M负责处理读入字符若发现读入字符空格符则改;进程P负责处理字符取并打印输缓冲区单元字符进程P 取则用存放读入字符请用PV操作同步机制写能确并发执行程序 8.写Reader-Writer 问题算避免由于断Reader 现使Writer 限期等待 9. 设计C 程序(嵌入汇编语言)忙等待式实现信号量P、V操作 10. 设计C 程序实现产者-消费者问题 说明:8-10 课外实践练习 4 3 1.进程调度功能哪些 2.进程调度机哪几种 3.说进程文切换程文切换程序能破坏进程文结构 4.比较用几种调度算 5.假设四道作业进入刻与执行间所示: 作业号 进入刻() 执行间() 1 10.00 0.4 2 10.10 1.0 3 10.20 0.6 4 10.30 0.2 单道程序环境别采用先先服务短作业优先调度算试说明调度顺序及平均周转间 5 4 1.虚拟存储器其特点 2.态区管理用内存配算哪几种比较各自优缺点 3.页式管理静态页式管理实现虚存 4.请求页式管理哪几种用页置换算比较优缺点 5.段式管理与页式管理何区别 6.请求页系统采用LRU 页面置换算假进程页面访问顺序4 32143543215配给该进程物理块数M 别3 4 请计算访问程发缺页数缺页率比较所结 7.设计算机4 页框装入间、近访问间每页访问位、修改位所示(间钟周期单位): 页 装入间 近访问间 访问位A 修改位M 0 126 279 0 0 1 230 260 1 0 2 120 272 1 1 3 160 280 1 1 1)NRU 置换哪页 2)LRU 置换哪页 3)FIFO 置换哪页 8.已知段表: 段号 基址 度 合(0)/非(1) 0 219 600 0 1 2300 14 0 2 90 100 1 3 1327 580 0 4 1952 96 0 段存储管理系统运行列逻辑址物理址 (1)0430 (2)110 (3)111 (4)2500 (5)3400 (6)4112 6 5 1.系统调用系统调用与般程调用何区别 2.Linux 操作系统引起进程调度机哪些 3.简述 shell 命令Linux 实现程 4.Linux 系统进程候处理接收软断信号进程接收软断信号放 5.Windows 2000/xp 哪些情况进行线程优先级提升 6.试描述使用Win32 API 实现线程同步般 7 6 1.文件、文件系统文件系统哪些功能 2.文件物理结构哪几种说串联文件结构适合随机存取 3.文件目录文件目录包含哪些信息 4.实现文件系加快文件目录检索速度利用文件控制块解假设目录文件存放磁盘每盘块512 字节文件控制块占64 字节其文件名占8 字节通文件控制块解两部第部占10 字节(包括文件名文件内部号)第二部占 56 字节(包括文件内部号文件其描述信息) ① 假设某目录文件共254 文件控制块试别给采用解前解查找该目录文件某文件控制块平均访问磁盘数 ② 般若目录文件解前占用 n 盘块解改用 m 盘块存放文件名文件内部号部请组访问磁盘数减少条件 5.创建文件能发哪几种情况应何处理 6.文件存取控制式哪几种比较优缺点 7.文件系统采用级索引结构搜索文件内容设块512 字节每块号3 字节考虑逻辑块号物理块所占位置别求二级索引三级索引寻址文件度 8 7 1.设备管理目标功能 2.I/O 缓冲要引入I/O 缓冲 3.设备驱程序要设备驱程序用户进程使用设备驱程序 4.单缓冲与双缓冲情况系统块数据处理间别 max(C,T)+M max(C,T)其C:CPU 计算间T:数据I/O 控制器缓冲区传输间M:数据缓冲区用户工作区传输间 5.要引入设备独立性何实现设备独立性 6.某移臂磁盘柱面由外向顺序编号假定前磁停100 号柱面且移臂向向现表1 所示请求序列等待访问磁盘: 表1 访问磁盘请求序列 请求序 1 2 3 4 5 6 7 8 9 10 柱面号 190 10 160 80 90 125 30 20 140 25 答面问题: ① 写别采用短查找间优先算电梯调度算实际处理述请求序 ② 针本题比较述两种算移臂所花间(忽略移臂改向间)言哪种算更合适简要说明 9 8 1.ext2 文件系统磁盘I 节点内存I 节点 2.Linux 系统用于打文件系统调用open 格式 fd = open( pathname, flags) 其pathname 欲打文件路径名flags 指示打式(读、写)open 返值文件描述符 1)给open 实现算 2)说明用户文件描述符表、系统打文件表与I 节点表作用及三者间关系 3.Linux 系统文件共享哪两种式 4.说明Linux 虚拟文件系统VFS 工作原理 5.说明Linux 虚拟文件系统VFS 查找文件程 6.块设备驱程序 7.别给文件磁盘索引节点与内存索引节点引用数能于1情况 10 9 1.死锁给产死锁必要条件 2.三进程P1、P2 P3 并发工作进程P1 需用资源S3 S1;进程P2 需用资源S1 S2;进程P3 需用资源S2 S3答: (1) 若资源配加限制发情况?? (2) 保证进程确工作应采用资源配策略?? 3.某系统R1R2R3 三种资源T0 刻P1P2P3P4 四进程资源占用需求情况表1 所示刻系统用资源向量(2, 1, 2)问题: ① 系统各种资源总数刻各进程各资源需求数目用向量或矩阵表示; ② P1 P2 均发资源请求向量Request(1, 0, 1)保持系统安全性应该何配资源给两进程说明所采用策略原; ③ ②两请求立刻满足系统刻否处于死锁状态 表1 T0 刻P1P2P3P4 四进程资源占用需求情况表 Maximum demand Current allocation R1 R2 R3 R1 R2 R3 P1 3 2 2 1 0 0 P2 6 1 3 4 1 1 P3 3 1 4 2 1 1 P4 4 2 2 0 0 2 4.解决死锁问题几种哪种容易实现哪种使资源利用率高