① 简述存储管理的主要功能
1、寻址空间
操作系统让系统看上去有比实际内存大得多的内存空间。虚拟内存可以是系统中实际物理空间的许多倍。每个进程运行在其独立的虚拟地址空间中。
这些虚拟空间相互之间都完全隔离开来,所以进程间不会互相影响。同时,硬件虚拟内存机构可以将内存的某些区域设置成不可写。这样可以保护代码与数据不会受恶意程序的干扰。
2、存储管理内存映射
内存映射技术可以将映象文件和数据文件直接映射到进程的地址空间。在内存映射中,文件的内容被直接连接到进程虚拟地址空间上。
3、存储管理物理内存分配
内存管理子系统允许系统中每个运行的进程公平地共享系统中的物理内存。
4、存储管理共享虚拟内存
尽管虚拟内存允许进程有其独立的虚拟地址空间,但有时也需要在进程之间共享内存。 例如有可能系统中有几个进程同时运行BASH命令外壳程序。为了避免在每个进程的虚拟内存空间内都存在BASH程序的拷贝,较好的解决办法是系统物理内存中只存在一份BASH的拷贝并在多个进程间共享。
(1)存储协议的基础扩展阅读:
相关延伸:存储管理存储知识结构
1、系统管理:UNIX/Linux/Windows操作系统管理。
2、开发技术:C/C++,网络编程,多进程/多线程,进程间通信。
3、存储基础:磁盘、RAID阵列、文件系统等存储相关硬件和软件的安装、配置、调试。
4、存储系统:RAID,DAS,SAN,NAS, CAS等。
5、存储协议:TCP/IP,SCSI,iSCSI,NFS/CIFS等。
6、文件系统:VFS, EXTx/NTFS/FAT32等磁盘文件系统,NFS/CIFS网络文件系统,Lustre/GFS/AFS等分布式文件系统。
7、存储技术:Deplication,SSD,HSM,Virtualization,Snapshot,Replication,CDP, VTL,Thin Provision等等。
8、存储架构:掌握不同行业的存储需求,能够根据实际需求提出存储解决方案,并进行存储系统架构、设计和实现
② 光纤线的光纤通道
在高端的服务器/工作站硬盘中,还会采用光纤通道作为SCSI硬盘接口。光纤通道是高性能的连接标准,用于服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯。对于需要有效地在服务器和存储介质之间传输大量资料而言,光纤通道提供远程连接和高速带宽。它是适于存储局域网、集群计算机和其它资料密集计算设施的理想技术。其接口传输速度分为1GB和2GB等等。
一、光纤通道技术起源信息时代数据量的爆炸增长给存储技术的发展提供了良好的机遇,现在信息主管们更多考虑的事情是,如何对数据进行安全的存储、管理及使用。因此,人们不仅对存储设备容量、性能等方面的需求越来越高,同时对存储系统也提出了高性能、高可靠性、并能够长距离传输的技术要求。光纤通道(Fiber Channel)技术正是在这一需求的驱动下诞生的。目前,在存储系统的设计中,凡是涉及到对大型关系数据库进行操作,对海量数据进行读取的业务系统,一般都倾向于采用存储区域网络(Storage Area Networks,)架构。存储区域网络(以下简称“SAN”)是建立在网络化的I/O存储协议基础之上,可使服务器与存储设备之间进行“any to any”连接通信的网络系统。SAN的发展带动了光纤通道技术的发展,而光纤通道体系结构的发展,为SAN的技术构想铺平了道路。光纤通道技术是一种基于光纤通道的协议体系结构,始于1989年,于1994年10月制定了相应的ANSI标准。光纤通道技术的传输介质除光缆之外,还有铜缆等其他传输载体,但是国际上通常将其称为光通道。光纤通道技术能得以迅速发展、广泛应用(体现在主流采用FC技术的SAN系统大量出现),不仅仅因为光纤通道具有更高的带宽、更长的连接距离、更好的安全性和扩展性,更重要的是光纤通道技术融合了通道技术和网络技术的优势,利用光纤通道网络可以创造一个有别于我们所熟知的局域网(LAN)甚至城域网(MAN)的存储区域网络(SAN)。 SAN不是一种产品,而是配置网络化存储的一种方法,其主要思路是将传统网络上的数据交换转换到主要由存储设备和数据库服务器组成的SAN上。借助于光纤通道技术,SAN支持远距离通信,并且将数据存储与应用服务彻底分开,使得存储设备能够成为所有接入SAN的服务器可高速、安全、可靠访问的共享资源;同时,SAN也允许各个存储设备,如磁盘阵列和磁带库,无需通过专用的中间服务器即可协同工作。SAN解决了在传统LAN中一旦出现大量数据访问会大幅度降低网络性能的问题,使得数据的访问、备份和恢复不影响LAN的性能,从根本上保证了应用系统的服务质量,并可大幅度地减少管理费用支出。二、光纤通道协议和分层模型光纤通道是一种技术标准,是由美国国家标准协会(ANSI)委托的几个委员会共同开发的一组集成标准的通用名称,是为提高多硬盘存储系统的速度和灵活性而设计的高性能接口标准。它独立于介质,支持同时传输多种不同协议,如IPI、IP、FICON、FCP(SCSI)等协议,适用于服务器、海量存储子网络、外设之间通过集线器、交换机和点对点连接进行双向、串行数据通讯。正如在以太网中IP、NetBIOS和SNA等协议均可在单一以太网适配器上同时使用,是因为所有这些协议在以太网中都被得到映射一样,各种网络层的通讯协议也可以通过协议映射在光纤通道上得以实现。光纤通道技术的优点主要体现在:(1)高带宽,目前已实现200MB/s数据传输率,400MB/s已通过测试;(2)高容量寻址能力及扩容能力,可接入1600万节点;(3)数据高度集中及存储能力的全局共享;(4)每对节点间的长连接距离,多模光缆达500米,单模光缆可达10公里;(5)模块化的扩容和连接方式;(6)利用光纤交换机及相关软件可建立高可用或容错服务系统;(7)可方便协助建立负载均衡及服务器集群系统。光纤通道技术是结合了“通道技术”和“网络技术”的优点而开发出来的新技术:通道技术是硬件密集型技术,是因为它是为了在缓存区间快速传输大量的数据而设计的,可以直接连接设备而不需要使用太多的逻辑;网络技术是软件密集型技术,是因为数据包需要在网络上被路由到许多设备中的某一个节点上,此外网络技术有操作大量节点的能力。光纤通道技术从设计之初就将通道技术和网络技术的上述优势融合在一起。 光纤通道协议中定义了五个独立层次,从物理介质到传输于光纤通道中的高层协议,包含了光纤通道技术的全貌。以下是这五层的功能模块: ① FC-0,物理层,定义了连接的物理端口特性,包括介质和连接器(驱动器、接收机、发送机等)的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。物理介质有光纤、双绞线和同轴电缆。该层定义了光如何在光纤上传输以及发送器与接收器之间如何在各种物理介质上工作。②FC-1,传输协议,FC-1根据ANSI X3 T11标准,规定了8B/10B的编码方式和传输协议,包括串行编码、解码规则、特殊字符和错误控制。传输编码必须是直流平衡以满足接收单元的电气要求。特殊字符确保在串行比特流中出现的是短字符长度和一定的跳变信号,以便时钟恢复。该层承担着取得一系列信号并将其编码成可用字符数据的责任。③ FC-2,帧协议,定义了传输机制、包括帧定位、帧头内容、使用规则以及流量控制等。光纤通道数据帧长度可变,可扩展地址。用于传输数据的光纤通道数据帧长度最多达到2K,因此非常适合于大容量数据的传输。帧头内容包括控制信息、源地址、目的地址、传输序列标识和交换设备等。64字节可选帧头用于其它类型网络在光纤通道上传输时的协议映射。光纤通道依赖数据帧头的内容来引发操作。④ FC-3,公共服务,提供高级特性的公共服务,即端口间的结构协议和流动控制,它定义了三种服务:条带化(Striping)、搜索组(Hunt Group)和多播(Multicast)。条带化的目的是为了利用多个端口在多个连接上并行传输,这样I/O传输带宽能扩展到相应的倍数;搜索组用于多个端口去响应一个相同名字地址的情况,它通过降低到达〃占线〃的端口的概率来提高效率;多播用于将一个信息传递到多个目的地址。⑤ FC-4,协议映射层,定义了光纤通道的底层跟高层协议(Upper Layer Protocol)之间的映射关系以及与现行标准的应用接口,这里的现行标准包括现有的所有通道标准和网络协议,如SCSI接口和IP、ATM、HIPPI等。?由此可见,光纤通道协议栈是多种高层数据协议的传输载体,尤其以传输SCSI和IP数据为主。作为载体传输高层数据协议的过程,实际上就是一个把高层数据协议映射到协议栈物理层传输服务的过程。其中,最常用到的光纤路径协议(Fibre Channel Protocol)就是SCSI数据、命令和状态信息到FC物理层传输服务的映射。FCP具有在所有光纤路径拓扑结构及所有类型服务上工作的独立性。以下是映射到光纤通道上的协议:① 小型计算机系统接口(SCSI),即光纤路径协议(FCP)的SCSI-3协议的映射,是映射到光纤路径的主要协议。② IP协议。③ 可视化接口结构(VIA)。④ 高性能并行接口(HIPPI)。⑤ IEEE 802逻辑链接控制层。⑥ 单字节指令代码集(SBCCS),SBCCS是在IBM大型系统中使用的ESCON存储I/O路径中指令和控制协议的实现。⑦ 异步传输模式适配层5(AAL5)。⑧ 光纤连接(FICON),FICON是将IBM S/390主机架构中的ESCON网络通信协议映射为光纤路径网络上的一个上层协议。1.光纤通道网络的物理层光纤通道网络的物理层由以下三个基本的物理单元组成:(1)端口:用于连接服务器系统与光纤交换机的接口、或用于连接存储设备与光纤交换机的接口。(2)网络设备:使用光纤协议进行通讯的光纤交换机。(3)线缆:用于服务器接口与光纤交换机接口之间的连线、或用于存储设备的接口与光纤交换机接口之间的连线。2.网络名字和地址元素 光纤网络中的网络名字和地址的基本元素如下:全局名、端口地址、仲裁环物理地址、简单名字服务器。(1)全局名 全局名World Wide Name(WWN)指分配给每个产品的一个8字节的标识符,可用于光纤网络中的一个端口。WWN被存储在非易失性的存储器中,其格式由IEEE定义,用以为每个产品在其安装网络中提供唯一的标识。在一个节点最初登陆到一台交换机上时,可以和该交换机交换一个N端口的完全的WWN,如果交换机上没有该N端口的信息,就会有一个注册过程,在此过程中,N端口发送自身信息给交换机,交换机将这些信息放到他的简单名字服务器中,从而使其它过程和应用能够访问它。(2)端口地址 在光纤网络中有两种端口地址:固定地址和动态地址。① 固定地址:每个光纤通道可识别设备都拥有一个固定光纤通道地址,这与每块以太网卡所拥有的MAC地址相似。该固定地址全球唯一,其他设备可以通过这一地址对其进行访问。② 动态地址:为支持高层编址,光纤通道在Fabric域内定义了一个24位动态标识地址。每一个N_Port都拥有一个在Fabric域内唯一的24位N_Port标识。N_Ports既可以通过协议获得其预设定的N_Port标识,也可以在由Fabric在设备登录时动态分配。(3)仲裁环物理地址 仲裁环物理地址(ALPA)为单字节,它唯一地标识了环网上的每一个端口。环网中的每个端口都存储了该环中所有其他端口的地址,从而提供了在环中通信的机制。通过端口地址可以判别一个环上的端口是公有的还是私有的。(4)简单名字服务器简单名字服务提供一种瘦目录服务。节点、交换式光纤网络和应用程序通过使用简单名字服务获取端口的访问信息。3.服务级别服务级别定义了在数据传输中采用何种机制,不同的服务级别用于不同的数据。服务级别分为五类:级别1:带确认的面向连接的服务;级别2:带确认的无连接服务;级别3:无确认的无连接的服务;级别4:面向连接的部分带宽服务;级别F:交换机间通信格式。 流控制就是一种定义于服务级别中的机制,分为端对端的流控制和缓存区到缓存区的流控制。(1)端对端的流控制,是接收端口传输一个返回帧给发送者来确认收到传输帧;当发送者收到了应答帧(ACK)的反馈,就会将信用值设为1,这样就可以发送下一帧了。(2)缓存区到缓存区的流控制,是用于fabric端口的节点端口之间的或者两个节点端口之间的用来保证设备能够接收到最大数量帧的机制。一个R-RDY(接收方就绪)原语信号发送出去,就表明接收者可以接受帧了;如果接收者发出一定数量的R-RDY信号,说明它有足够的缓存空间来接收这一数量的帧。除了流控制之外,服务级别还指明连接是否是专用的。对于一个连接型的传输过程,不能发送一个不是传送到专用接受者地址的帧。另外,不能在某个级别中发送不是同一级别的帧,这样才可以保证连接能够使用全部带宽。4.端口类型 光纤通道网络中的所有组件(即设备)都使用端口作为网络的连接。光纤通道网络中的端口包括以下几种基本类型:N-port 端口、F-port 端口、L-port 端口、NL-port 端口、FL-port 端口、E-port 端口、G-port 端口。其中N、L和NL端口被用于光纤通道网络中的终端结点,F、FL、E和G端口在光纤交换机中实现。①N-port 端口和F-port 端口 最初的光纤通道网络中包括两种类型的端口:一种是N-port端口的网络端口;另一种是F-port端口的交换光纤端口。N-port端口是访问光纤通道网络上的存储设备和计算机系统上的端口,任务是初始化及接收帧,如果没有N-port 端口,就不会有网络上的数据通信;F-port 端口是光纤交换机上的端口,作用是代表N-port 端口提供管理和连接服务,这些服务是为每对N-port 端口之间(主机系统与存储设备)的通信提供的。在N-port 端口和F-port 端口之间,是一对一的关系。在光纤存储局域网中的光纤交换机上,仅有一个N-port端口和F-port 端口相连接,光纤通道网络中其它N-port 端口和该N-port 端口之间的通信,通过其各自在交换机上的端口初始化进程和该N-port 端口的通信来实现。无论N-port 端口是发送还是接收数据,它总是和F-port 端口通信。在没有数据传输的时候,N-port 端口向交换机上对应的F-port 端口发送IDLE帧,在N-port 端口和F-port 端口之间建立一种“心跳”,从而能很快检测到可能发生的连接中的问题。②L-port 端口 L-port 端口存在于光纤通道环网中。和交换式网络不同,环状网络中的节点共享一个线缆带宽的结构。和交换式网络结构中的N-port 端口用来初始化以和F-port 端口通信相类似,L-port 端口被设计来初始化和该环中的其它L-port 端口的直接通信。但是,在光纤环网中没有和F-port 端口相对应的端口名称。因为光纤环网是一个逻辑环,被设计在没有网络集线器的环境下工作,因此,如果未被要求,集线器不能为环网提供既定的端口功能。光纤环网中的集线器仅仅起到连接以及防止失效的作用。③NL-port 端口和FL-port 端口 当光纤通道环路加入到光纤通道网络中时,必须允许N-port 端口节点和L-port 端口节点之间进行通信,为此定义了两个新的端口:FL-port 端口和NL-port 端口。FL-port 端口是光纤交换机上的端口,在光纤通道网络中允许其作为一个特殊的节点加入进来。光纤通道环网为FL-port 端口保留仅有的一个地址,即在同一时刻不可能同时有两个光纤交换机进行通信。NL-port 端口位于环网内的端口,具有N-port 端口和L-port 端口的双重能力,同时支持交换式光纤网和光纤环网,从而使得交换式光纤网和光纤环网之间的通信成为了可能。④E-port 端口和G-port 端口 在光纤交换机中,还有两种常见的端口,他们分别是E-port 端口和G-port 端口。G-port 端口是“万能”端口,它能用于交换机中如F-port 端口和FL-port 端口等的不同端口。E-port 端口是一种特别的端口,用于光纤交换机的级联。以上是光纤通道网络中能遇到的各种端口。我们在国土资源部的存储平台中使用的光纤交换机是Brocade光纤交换机。此光纤交换机的端口支持自配置功能。自配置端口能够检测到所有连接的另一端的端口模式,并自动配置成支持该模式的操作方式。5.线缆与介质 SAN的很多特征是由网络的物理布局规划来决定的,在SAN中选择的介质类型将会影响到SAN的扩展性和功能性。介质类型有两种选择:铜芯线和光纤。①铜芯线 铜芯线的优点在于它是连接SAN部件中最便宜的介质。铜芯线通常是150欧姆的铜芯双绞线。铜芯线的传输速率为100MB/S的千兆位传输,它的有效传输路径是在0到25米之内不会有任何衰减。铜芯线的两端通常使用HSSDC连接器或DB-9阳连接器。②多模光纤 多模光纤的直径通常有50和62.5微米两种规格,它们之间并没有速度上的差异。多模光纤的波长范围为850纳米和1300纳米两种。850纳米波长的光是可见的,对人眼无害。1300纳米波长是不可见的,而且对视网膜有害。多模光纤两端接头的类型很多,包括SC、LC和 MT-RJ等。多模光纤使用的是一种聚集的LED而不是真正的激光。③单模光纤 单模光纤适用于长距离的信号传输。它的波长是1300纳米,是不可视的,对人眼有害。单模光纤的直径为9微米,由于它的直径如此之小,使用它进行长距离传送信号时,光波不易被改变。所以在长距离的SAN中,单模光纤是最好的一种解决方式。由于单模光纤的直径很小,所以它的潜在发射速度也是最高的,理论极限速度是25Tb/s,而多模光纤的理论极限速度是10Gb/s。单模光纤本身并不比多模光纤或铜芯线贵出很多,价格的增加主要在于其收发器部件,因为它使用的是激光而不是LED。由于单模光纤的直径非常小,所以对光纤收发器的精确度要求很高。④光纤接头光纤接头有很多类型,在实际的使用中只要连接是干净的,那么使用那种接头对性能都不会有任何影响。在搭建SAN时应该尽量减少连接的数量,因为光会在其路径设备中质量不好的连接之间来回反射。所以连接数量越少,SAN中产生错误信号的概率就越低。现在许多HBA(光纤接口卡,插在服务器系统的PCI插槽中)卡中使用的铜芯接头是HSSDC铜芯接头。
③ 三大存储协议介绍与存储资源盘活系统
存储协议目前主流的有三种,AHCI、NVMe、SCSI。 HDD 磁盘和早期 SSD 磁盘的传输协议一般采用AHCI(高级主机控制器接口,Advanced Host Controller Interface)。AHCI 为单队列模式,主机和 HDD/SSD 之间通过单队列进行数据交互。对于 HDD 这种慢速设备来说,主要瓶颈在存储设备,而非 AHCI协议。不同于 HDD 的顺序读写特点,SSD 可以同时从多个不同位置读取数据,具有高并发性。因此对于 SSD,AHCI 的单队列模式成为了限制并发性的瓶颈。随着存储介质的演进,SSD 盘的 IO 带宽越来越大,访问延时越来越低。AHCI 协议已经不能满足高性能和低延时 SSD 的需求, NVMe(NVM Express 非易失性内存主机控制器接口规范)应运而生。
NVM(non-volatile memory)是固态硬盘(SSD)的常见的闪存形式。此规范主要是为基于闪存的存储设备提供一个低延时、内部并发化的原生界面规范,也为现代CPU、计算机平台及相关应用提供原生存储并发化的支持,令主机硬件和软件可以充分利用固态存储设备的并行化存储能力。相比此前机械硬盘驱动器(HDD)时代的AHCI,NVMe/NVMHCI降低了I/O操作等待时间、提升同一时间内的操作数、更大容量的操作队列等。基于 NVMe 的驱动器可实现高达 16Gbps 的吞吐量,且当前供应商正在推动 32Gbps 或更高的吞吐量产品的应用。在 IO 方面,许多基于 NVMe 的驱动器,其 IOPS 可以超过 50 万,部分可提供 150 万、200 万甚至1000 万 IOPS。与此同时,许多驱动器的延迟低于 20 微秒,部分低于 10 微秒。
SCSI即小型计算机接口(Small Computer System Interface),指的是一个庞大协议体系,到目前为止经历了SCSI-1/SCSI-2/SCSI-3变迁。 SCSI协议定义了一套不同设备(磁盘,磁带,处理器,光设备,网络设备等)利用该框架进行信息交互的模型和必要指令集。SCSI协议本质上同传输介质(SATA线,PCIE线,网线等)无关,SCSI可以在多种介质上实现,甚至是虚拟介质。例如基于光纤的FCIP(Fiber Channel over IP)链路协议,基于SAS(Serial Attached SCSI)的链路协议,基于虚拟IP链路的iSCSI协议。通俗点说SCSI协议就是一个存储设备与服务器之间接口通讯的一个规范。因为这种“兼容各种传输介质”的特性,存储网络都是以 SCSI协议为基础框架,前端传输网络层一直以 FC(光纤通道,Fiber Channel)网络为主,后端则以 SAS(串行 SCSI 技术,Serial Attached SCSI)网络为主,这构成了服务器间以 IP 为主要互联手段的 IP 存储网络。
iSCSI(Internet Small Computer System Interface,Internet 小型计算机系统接口)是一种由IBM公司研究开发的IP SAN技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,基于 TCP/IP的协议连接iSCSI服务端(Target)和客户端(Initiator),使得封装后的SCSI数据包可以在通用互联网传输,最终实现iSCSI服务端映射为一个存储空间(磁盘)提供给已连接认证后的客户端。
存储区域网络 iSCSI SAN 是一个基于 IP 的系统,允许 SAN 连接到常规的千兆以太网交换机和 IP 路由器,一般没有额外的硬件要求。实施iSCSI SAN有以下几个优势:
1.简化与整合:iSCSI SAN 可以将数据整合到一个分层系统中,该系统自动利用网络上的所有存储设备来平衡负载。这极大地简化了存储结构,消除了对日益繁琐的 IT 环境的需求,从而减轻了 IT 人员的负担。
2.更好的性能和可靠性:iSCSI SAN 消除了传统上由服务器磁盘执行的繁重数据存储工作。通过专用于存储数据的 iSCSI 阵列,可以显着减轻网络其余部分的负担。为最终用户提供更强大的吞吐、更好的可靠性和更快的速度。
3.数据保护、备份和恢复:随着数据的增长,传统的备份系统变得越来越复杂并且对网络造成负担。数据越多,备份所需的时间越长,停机时间越长。此外,灾难发生后,恢复数据可能需要数天时间。ISCSI SAN解决方案提供自动化、更快的备份过程,对现有业务运营无中断。灾难发生后,数据可以在短短几分钟内恢复。
4.节约成本:使用iSCSI SAN,组织可以通过多种方式立即降低成本:1) 通过简化网络架构并消除对昂贵存储扩展硬件的持续需求,2) 减轻管理网络的 IT 人员的人力成本,3) 通过性能更高的系统提高整个组织的生产力 4) 通过降低能耗的硬件来降低能源成本。
目前主要的 iSCSI SAN 产品包括 Equallogic、Compellent、HBlock等。EqualLogic建立在虚拟化对等存储架构之上,为小型到大型组织简化和自动化数据存储;Compellent是基于可扩展 SAN 架构和虚拟化的企业级存储解决方案,使用强大的数据移动引擎,帮助组织更有效地管理数据;HBlock是纯软件的绿色存储控制器,可以将商用服务器及其内部的硬盘驱动器(HDDs)和固态驱动器(SSDs)转换成高性能的虚拟存储阵列。
提到HBlock,一个更加普及的名字恐怕是存储资源盘活系统。没错,这个全新的革命性概念已经被中国电信天翼云所开发为现实产品了。存储资源盘活系统通过标准iSCSI协议提供虚拟Target和逻辑卷。它可以通过提高资源利用率,优化资源成本,助力企业用户实现绿色转型。它能够安装在任意Linux服务器上,可以把各服务器中分散的磁盘整合成高性能的存储资源池,通过分布式双控制器架构保证了低延迟、高可用、易拓展的特性;通过完善的控制台、命令行与API来统一调度管理所有存储资源;通过强大的兼容性和独特的硬件异构特性充分利用全部存储资源。存储资源盘活系统特别适用于边缘计算、混合云存储、次级存储(备份/视频监控)、提升硬件利用率等场景。如果部署在可靠的硬件环境中,还可以承载企业的重要工作负载。因此,无论使用哪种存储协议,存储资源盘活系统都可以将各种服务器、空闲磁盘整合为统一高性能资源池,灵活调度、分配、使用、上云,打造无缝融入现有业务的存储系统。
④ 什么是iSCsi
iSCSI:Internet小型计算机系统接口(iSCSI:)。
iSCSI(InternetSCSI)是2003年IETF(InternetEngineeringTaskForce,互联网工程任务组)制订的一项标准,用于将SCSI数据块映射成以太网数据包。
iSCSI(SmallComputerSystemInterface)是块数据传输协议,在存储行业广泛应用,是存储设备最基本的标准协议。从根本上说,iSCSI协议是一种利用IP网络来传输潜伏时间短的SCSI数据块的方法,ISCSI使用以太网协议传送SCSI命令、响应和数据。
ISCSI可以用我们已经熟悉和每天都在使用的以太网来构建IP存储局域网。通过这种方法,ISCSI克服了直接连接存储的局限性,使我们可以跨不同服务器共享存储资源,并可以在不停机状态下扩充存储容量。
(4)存储协议的基础扩展阅读
存储单位是一种计量单位。指在某一领域以一个特定量,或标准做为一个记录(计数)点。再以此点的某个倍数再去定义另一个点,而这个点的代名词就是计数单位或存储单位。如卡车的载重量是吨,也就是这辆卡车能存储货物的数量,吨就是它的单位量词。
二进制序列用以表示计算机、电子信息数据容量的量纲,基本单位为字节B,字节向上分别为KB、MB、GB、TB,每级为前一级的1024倍,比如1KB=1024B,1M=1024KB。
参考资料
存储单位-网络
⑤ vmware vsphere支持哪些存储方式
磁盘/lun(san、iscsi、本地磁盘)、网络文件系统NAS。
1、光纤通道(FC)。
优点:低延迟(非IP存储网络)、众所周知,可靠性高、支持虚拟机文件系统(VMFS)。
缺点:需要专用主机总线控制器(HBA);价格昂贵,需要存储区域网络(SAN)交换机和HBA;更多的管理工作(SAN交换机、换分zone等等)。
2、光纤以太网(FCOE)。
优点:可以将存储和其他网络流量融合到同一套网络当中;利用数据中心桥接功能提供基于以太网的无损存储协议;支持VMFS。
缺点:知名度和可靠性相对较低;需要最低10GB的无损以太网基础架构;无法进行路由;排错异常困难。
3、互联网小型计算机系统接口(iSCSI)。
优点:众所周知,可靠性高、价格低廉、可以依赖于现有的网络组件、使用vSphere自带的iSCSI软件控制器、支持多路径输入/输出(MPIO)负载均衡、正常情况下延迟较低、支持VMFS。
缺点:作为基于IP的存储协议,会产生更高的延迟;使用iSCSI接口绑定时不能路由;如果使用iSCCI接口卡,会产生更高的延迟;安全顾虑。
⑥ iscsi、cifs、nfs在存储上的区别。
iscsi、cifs、nfs区别为:对象不同、环境不同、方式不同。
一、对象不同
1、iscsi:iscsi是针对数据块存储的。
2、cifs:cifs是针对共享文件存储的。
3、nfs:nfs是针对共享文件存储的。
二、环境不同
1、iscsi:iscsi主要应用在Windows环境下,适用于TCP/IP通讯协议。
2、cifs:cifs主要应用在NT/Windows环境下。
3、nfs:nfs主要应用在UNIX环境下,广泛应用在FreeBSD、SCO、Solaris等等异构操作系统平台。
三、方式不同
1、iscsi:iscsi并不能用于在磁盘中存储和管理数据,是通过TCP/IP网络传输文件时的文件组织格式和数据传输方式。
2、cifs:cifs让协议运行于TCP/IP通信协议之上,让Unix计算机可以在网络邻居上被Windows计算机看到,并进一步传递存储数据。
3、nfs:nfs能够支持在不同类型的系统之间通过网络进行文件共享存储。
⑦ 几种存储接口协议全面比较(一)
硬盘接口是硬盘与主机系统间的连接部件,作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与控制器之间的连接速度,在整个系统中,硬盘接口的性能高低对磁盘阵列整体性能有直接的影响,因此了解一款磁盘阵列的硬盘接口往往是衡量这款产品的关键指标之一。存储系统中目前普遍应用的硬盘接口主要包括SATA、SCSI、SAS和FC等,此外ATA硬盘在SATA硬盘出现前也在一些低端存储系统里被广泛使用。 每种接口协议拥有不同的技术规范,具备不同的传输速度,其存取效能的差异较大,所面对的实际应用和目标市场也各不相同。同时,各接口协议所处于的技术生命阶段也各不相同,有些已经没落并面临淘汰,有些则前景光明,但发展尚未成熟。那么经常困扰客户的则是如何选择合适类型阵列,既可以满足应用的性能要求,又可以降低整体投资成本。现在,我们将带您了解目前常见的硬盘接口技术的差异与特点,从而帮助您选择适合自身需求的最佳方案。 ATA,在并行中没落 ATA (AT Attachment)接口标准是IDE(Integrated Drive Electronics)硬盘的特定接口标准。自问世以来,一直以其价廉、稳定性好、标准化程度高等特点,深得广大中低端用户的青睐,甚至在某些高端应用领域,如服务器应用中也有一定的市场。ATA规格包括了 ATA/ATAPI-6 其中Ultra ATA 100兼容以前的ATA版本,在40-pin的连接器中使用标准的16位并行数据总线和16个控制信号。 最早的接口协议都是并行ATA(Paralle ATA)接口协议。PATA接口一般使用16-bit数据总线, 每次总线处理时传送2个字节。PATA接口一般是100Mbytes/sec带宽,数据总线必须锁定在50MHz,为了减小滤波设计的复杂性,PATA使用Ultra总线,通过“双倍数据比率”或者2个边缘(上升沿和下降沿)时钟机制用来进行DMA传输。这样在数据滤波的上升沿和下降沿都采集数据,就降低一半所需要的滤波频率。这样带宽就是:25MHz 时钟频率x 2 双倍时钟频率x 16 位/每一个边缘/ 8 位/每个字节= 100 Mbytes/sec。 在过去的20年中,PATA成为ATA硬盘接口的主流技术。但随着CPU时钟频率和内存带宽的不断提升,PATA逐渐显现出不足来。一方面,硬盘制造技术的成熟使ATA硬盘的单位价格逐渐降低,另一方面,由于采用并行总线接口,传输数据和信号的总线是复用的,因此传输速率会受到一定的限制。如果要提高传输的速率,那么传输的数据和信号往往会产生干扰,从而导致错误。 PATA的技术潜力似乎已经走到尽头,在当今的许多大型企业中,PATA现有的传输速率已经逐渐不能满足用户的需求。人们迫切期待一种更可靠、更高效的接口协议来替代PATA,在这种需求的驱使下,串行(Serial)ATA总线接口技术应运而生,直接导致了传统PATA技术的没落。
⑧ NFS与磁盘阵列的区别 我问的可是本质层面的东西,单NFS(网络文件系统)和磁盘阵列,我们还是懂滴
既然懂就应该明白一点,磁盘阵列和NFS不是一个层面的东西,所以区别就很明显。磁盘阵列通常是指硬件设备,这个硬件设备通常具备冗余的硬件架构,包括双控制器、缓存镜像、RAID控制器等,有些也具有一些软件功能,包括快照保护、镜像和复制。磁盘阵列通常支持一种或者多种存储协议包括FC、iSCSI、FCoE、NFS、CIFS。这里提到了NFS,这只是存储协议的一种,是专门用于网络上文件共享的,实现的扩平台的多用户文件共享。其实现平台可以使服务器,也可以磁盘阵列。NFS与FC、iSCSI、FCoE是同等级别的,可以用来对比。FC、iSCSI、FCoE本质上都是基于对SCSI协议的打包,是解决SCSI协议传输的协议,其区别就是传输管道的区别。SCSI是小型计算机互通协议,是由IBM建立的一套标准和开放的计算机互通协议,是众多协议的基础。既然你说你们是懂的,我想不用多说。通过SCSI协议计算机可以看到硬盘空间,这个空间是数据块为单位的。因为不管是本地硬盘也好,还是通过其他协议转换过来的仿真的SCSI协议也好,都是给计算机提供这样数据块级别的存储空间。放入什么文件,放在哪些数据块上是由使用空间的计算机来决定的。回来说NFS,其本源是要解决文件共享问题,他给计算机的是什么?是一个文件夹,访问的计算机可以看到的是一个个的文件。至于文件存放在哪些硬盘和数据块上则是由NFS的承载体(服务器和磁盘阵列)来决定的。所以提供NFS协议支持的设备(通常称为NAS设备)通常具备较大的缓存,这是由其肩负着较重的文件管理负荷所决定的。
不知道这样说你是否明白。
⑨ Ziwa新一代分布式存储通信协议
ZiwaNetwork是由ziwa实验室开发的新一代分布式存储和通信协议,Ziwa主要基于以太坊的DApp代码、用户基础数据、区块链和状态数据,以及无法追踪的分散和冗余存储等问题提供解决方案,以太坊开发者可以直接通过ziwa完成数据去中心化存储的任务,而不是直接依赖IPFS、AR,BitTorrent等外部生态系统,构建自己的去中心化应用程序。
Ziwa的发展来源于以太坊需求的引导和启发。
Ziwa团队正在努力打造无停机、零故障、反审计的点对点存储和服务解决方案。在紫洼内部建立经济激励体系,将促进资源交换价值的支付和转移。该项目在以太坊区块链中使用了不同的协议和技术。 Ziwa 的存在使互联网再次去中心化。 Ziwa 的长期愿景是成为一个重新分布的互联网操作系统。它将为数据的供应链经济提供可扩展和自我维持的基础设施。
Ziwa实现了哪些功能
随着Web 2.0的席卷全球,P2P(P2P)的革命正在加速并同步悄然发展。事实上,P2P已经接管了大量的数据包。毫无疑问,所有用户最终都可以使用到目前为止尚未充分利用的上行带宽,这可以提供具有相同可用性和吞吐量的内容,而这只能在大公司及其数据中心的帮助下才能实现。依靠互联网骨干网最宽的带宽,可以以很小的成本实现。更重要的是,用户对其数据保留了更多的控制权和自由度。最后,即使面对关闭强大且资金充足的实体的暴力手段,这种数据分配方法也被证明具有显着的灵活性。然而,即使是最先进的 P2P 文件共享模式,没有跟踪器的 BitTorrent 也只是文件级别的共享。这根本不是 Web 2.0 上的 Web 应用程序所期望提供的那种交互式、响应式体验。此外,虽然BitTorrent已经变得非常流行,但它并没有考虑到经济学或博弈论的概念。
BitTorrent 的天才在于其巧妙的资源优化,它解决了旧的和中心化的超文本传输协议 (HTTP),这是主从设计中最困难和根深蒂固的问题。该协议是万维网的基础。它通过使用分层分段散列来防止作弊,但这种精致而简单的方法有五个相应的缺点,
例如:
*缺乏经济激励——没有内在的激励来传播下载的内容
*初始延迟 - 通常,下载开始缓慢且有一些延迟
*特殊性严重限制了BitTorrent在需要快速响应和高带宽的交互式应用程序中的使用。
*缺乏细粒度的内容寻址 - 小数据块只能作为它们包含的较大文件的一部分共享。
*没有隐私或歧义——攻击者可以轻松地发现托管他们想要删除的内容的对等点的 IP 地址,然后作为攻击者使用 DDoS 攻击。
*没有继续共享的动力——一旦节点达到其目标(即从对等方检索所有必需的文件),它将不会因其共享的工作(存储和带宽)而获得奖励。
然而,随着区块链技术的加入,我们最终将迎来真正的 Web 3.0:一个去中心化和反审查的设备,用于共享和集体创建内容,同时保持对其的完全控制。而且,利用和共享利用率低的计算机的强大功能,完全可以解决上述问题。 Ziwa 项目的目的是为未来的自主主权数字 社会 构建一个未经许可的存储和通信基础设施。
Ziwa 的主要目标是为以太坊公共记录提供完全去中心化和冗余的存储,特别是存储和分发 DAPP 代码和数据以及区块链数据。从经济的角度来看,它允许参与者有效地池化他们的存储容量和带宽资源,为网络中的所有参与者提供这些服务,并接受以太坊的激励。 Ziwa 更广泛的目标是为去中心化 Web 应用程序 (DAPP) 开发人员提供基础设施服务,尤其是:消息传递、数据流、点对点会计、可变资源更新、存储保险、监管扫描和修复、支付渠道和数据库服务。
以太坊对世界计算机的愿景构成了即将到来的数据场景的免信任(即完全信任)结构:支持数据存储、传输和处理的全球基础设施。
如果说以太坊区块链是世界计算机的 CPU,那么 Ziwa 最好被视为它的“硬盘”。当然,这个模型掩盖了Ziwa的复杂特性,其功能远不止简单的存储。Ziwa的范围和数据完整性在三个维度从开发人员的角度来看,Ziwa 最好被视为一种公共基础设施,它为 Web 2.0 时代熟悉的实时交互式 Web 应用程序提供动力。它为作为复杂应用程序构建块的原语提供低级 API,并为基于 Ziwa 的 Web 3.0 开发堆栈的工具和库提供基础。 API 和工具旨在允许从任何传统 Web 浏览器访问 Ziwa 网络。
⑩ 什么是SAN
SAN英文全称:Storage Area Network,即存储区域网络。它是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。 SAN由三个基本的组件构成:接口(如SCSI、光纤通道、ESCON等)、连接设备(交换设备、网关、路由器、集线器等)和通信控制协议(如IP和SCSI等)。这三个组件再加上附加的存储设备和独立的SAN服务器,就构成一个SAN系统。SAN提供一个专用的、高可靠性的基于光通道的存储网络,SAN允许独立地增加它们的存储容量,也使得管理及集中控制(特别是对于全部存储设备都集群在一起的时候)更加简化。而且,光纤接口提供了10 km的连接长度,这使得物理上分离的远距离存储变得更容易. SAN(存储区域网络)的优点: 1.可实现大容量存储设备数据共享 2.可实现高速计算机与高速存储设备的高速互联 3.可实现灵活的存储设备配置要求 4.可实现数据快速备份 5.提高了数据的可靠性和安全性 结合SAN技术特性及其在众多行业的成功应用,在具有以下业务数据特性的企业环境中适宜采用SAN技术。 1. 对数据安全性要求很高的企业 典型行业: 电信、金融和证券 典型业务: 计费 2. 对数据存储性能要求高的企业 典型行业: 电视台、交通部门和测绘部门 典型业务: 音频/视频、石油测绘和地理信息系统等 3.在系统级方面具有很强的容量(动态)可扩展性和灵活性的企业 典型行业: 各中大型企业 典型业务: ERP系统、CRM系统和决策支持系统 4.具有超大型海量存储特性的企业 典型行业: 图书馆、博物馆、税务和石油 典型业务: 资料中心和历史资料库。 5.具有本质上物理集中、逻辑上又彼此独立的数据管理特点的企业 典型行业: 银行、证券和电信 典型业务: 银行的业务集中和移动通信的运营支撑系统(BOSS)集中 6.实现对分散数据高速集中备份的企业 典型行业: 各行各业 典型业务: 企业各分支机构数据的集中处理 7.数据在线性要求高的企业 典型行业: 商业网站和金融 典型业务: 电子商务 8.实现与主机无关的容灾的企业 典型行业: 大型企业 典型业务: 数据中心]