‘壹’ 什么是分布式存储
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
(1)分布式存储服务器扩展阅读:
分布式存储,集中管理,在这个方案中,共有三级:
1、上级监控中心:上级监控中心通常只有一个,主要由数字矩阵、认证服务器和VSTARClerk软件等。
2、本地监控中心:本地监控中心可以有多个,可依据地理位置设置,或者依据行政隶属关系设立,主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成;音视频的数据均主要保存在本地监控中心,这就是分布式存储的概念。
3、监控前端:主要由摄像头、网络视频服务器组成,其中VE4000系列的网络视频服务器可以带硬盘,该硬盘主要是用于网络不畅时,暂时对音视频数据进行保存,或者需要在前端保存一些重要数据的情况。
‘贰’ 分布式存储与软件定义存储的区别
什么是分布式存储
关于分布式存储实际上并没有一个明确的定义,甚至名称上也没有一个统一的说法,大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是:分布式存储是一种计算机网络,它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是:分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
尽管各方对分布式存储的定义并不完全相同,但有一点是统一的,就是分布式存储将数据分散放置在多个节点中,节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
什么是软件定义存储
SDS 的全称是 Software Defined Storage ,字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会(Storage Networking Instry Association,SNIA),SNIA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。
SNIA 对软件定义存储(SDS) 的定义是:一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能,并可通过服务管理接口定义存储池的数据服务特征。另外 SNIA 还提出 软件定义存储(SDS) 应该具备以下特性:
自动化程度高 – 通过简化管理,降低存储基础架构的运维开销
标准接口 – 支持 API 管理、发布和运维存储设备和服务
虚拟化数据路径 – 支持多种标准协议,允许应用通过块存储,文件存储或者对象存储接口写入数据
扩展性 – 存储架构具备无缝扩展规模的能力,扩展过程不影响可用性以及不会导致性能下降
透明度 – 存储应为用户提供管理和监控存储的可用资源与开销
分布式存储与软件定义存储的区别与联系
软件定义存储(SDS) 的着重点在于存储资源虚拟化和软件定义,首先在形态上,软件定义存储(SDS)区别于传统的“硬件定义”存储,它不依赖专属的硬件,可以让存储软件运行在通用服务器上,可避免硬件绑定以及有效降低硬件采购成本;拥有标准 API 接口和自动化工具,有效降低运维难度。存储资源虚拟化,支持多种存储协议,可整合企业存储资源,提升存储资源利用率。但从定义上来说,但 软件定义存储(SDS) 从部署形式上来看,并不一定是分布式或者是集中式的,也就是说 SDS 不一定是分布式存储(虽然常见的 软件定义存储(SDS) 更多的是分布式的),SDS 存储内部有可能是单机运行的,不通过网络分散存放数据的,这种形式的软件定义存储(SDS) 的扩展性就可能有比较大的局限。
分布式存储,它的最大特点是多节点部署, 数据通过网络分散放置。分布式存储的特点是扩展性强,通过多节点平衡负载,提高存储系统的可靠性与可用性。与 软件定义存储(SDS)相反,分布式存储不一定是软件定义的,有可能是绑定硬件的,例如 IBM XIV 存储,它本质上是一个分布式存储,但实际是通过专用硬件进行交付的。那么就依然存在硬件绑定,拥有成本较高的问题。
‘叁’ 分布式存储系统是做什么的
一句话,是为了解决非分布式存储系统满足不了的存储瓶颈、性能瓶颈而产生的。
对了非分布式存储系统而言,数据量大、访问量大都会导致IO瓶颈,分布式存储通过把一个完整的数据集分片,存储到不同的节点中,每个节点都能对外提供服务来提高整个存储的存储能力、处理能力、快速响应能力。
‘肆’ 超融合和经常提到的分布式存储有什么关联
首先你必须了解什么是超融合?
超融合基础架构(Hyper-ConvergedInfrastructure,或简称“HCI”)也被称为超融合架构,是指在同一套单元设备(x86服务器)中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。
其次你必须了解什么是分布式存储
关于分布式存储实际上并没有一个明确的定义,甚至名称上也没有一个统一的说法,大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是:分布式存储是一种计算机网络,它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是:分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
尽管各方对分布式存储的定义并不完全相同,但有一点是统一的,就是分布式存储将数据分散放置在多个节点中,节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
区别与联系
超融合基础架构从定义中明确提出包含软件定义存储(SDS),具备硬件解耦的能力,可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似,计算与存储融合,通过全分布式的架构,有效提升系统可靠性与可用性,并具备易于扩展的特性。
由于很多读者对超融合构成还比较混淆,以下以 SmartX 的超融合软件 SMTX OS 为例说明分布式存储和其他模块的关系。
‘伍’ 分布式存储是什么东西
关于分布式存储实际上并没有一个明确的定义,甚至名称上也没有一个统一的说法,大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是:分布式存储是一种计算机网络,它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是:分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
尽管各方对分布式存储的定义并不完全相同,但有一点是统一的,就是分布式存储将数据分散放置在多个节点中,节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
‘陆’ nas是分布式存储吗
NAS(Network Attached Storage:网络附属存储)按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。目前国际着名的NAS企业有Netapp、EMC、OUO等。[1]
NAS被定义为一种特殊的专用数据存储服务器,包括存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件,可提供跨平台文件共享功能。NAS通常在一个LAN上占有自己的节点,无需应用服务器的干预,允许用户在网络上存取数据,在这种配置中,NAS集中管理和处理网络上的所有数据,将负载从应用或企业服务器上卸载下来,有效降低总拥有成本,保护用户投资。[2]
飞客数据恢复中心提供
NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等),而且能够支持各种操作系统。通过任何一台工作站,采用IE或Netscape浏览器就可以对NAS设备进行直观方便的管理。[3]
NAS将存储设备连接到现有的网络上来提供数据和文件服务。NAS服务器一般由存硬件、操作系统以及其上的文件系统等几个部分组成。NAS通过网络直接连接磁盘储存阵列,磁阵列具备了高容量、高效能、高可靠等特征。NAS将存储设备通过标准的网络拓扑结构连可以无需服务器直接上网,不依赖通用的操作系统,而是采用一个面向用户设计的,专门用于数据存储的简化操作系统,内置与网络连接所需的协议,从而使整个系统的管理和设置较为简单。[3]
技术特点
NAS解决方案通常配置为作为文件服务的设备,由工作站或服务器通过网络协议(如TCP/IP)和应用程序(如网络文件系统NFS或者通用Internet文件系统CIFS)来进行文件访问。大多数NAS连接在工作站客户机和NAS文件共享设备之间进行。这些连接依赖于企业的网络基础设施来正常运行。[4]
为了提高系统性能和不间断的用户访问,NAS采用了专业化的操作系统用于网络文件的访问,这些操作系统既支持标准的文件访问,也支持相应的网络协议,因此NAS技术能够满足特定的用户需求。例如当某些企业需要应付快速数据增长的问题,或者是解决相互独立的工作环境所带来的系统限制时,可以采用新一代NAS技术,利用集中化的网络文件访问机制和共享来解决这些问题,从而达到减少系统管理成本,提高数据备份和恢复功能的目的。[4]
‘柒’ 什么是分布式存储系统
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
(7)分布式存储服务器扩展阅读:
分布式存储,集中管理,在这个方案中,共有三级:
1、上级监控中心:上级监控中心通常只有一个,主要由数字矩阵、认证服务器和VSTARClerk软件等。
2、本地监控中心:本地监控中心可以有多个,可依据地理位置设置,或者依据行政隶属关系设立,主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成;音视频的数据均主要保存在本地监控中心,这就是分布式存储的概念。
3、监控前端:主要由摄像头、网络视频服务器组成,其中VE4000系列的网络视频服务器可以带硬盘,该硬盘主要是用于网络不畅时,暂时对音视频数据进行保存,或者需要在前端保存一些重要数据的情况。
‘捌’ 分布式存储物理服务器3副本配置是指的什么
服务器的优势是基于云计算技术的,相比独立服务器而言,有如下特征:1、从技术方面来讲:云服务器使用了云计算技术,而云计算技术,整合了计算、网络、存储等各种软件和硬件技术。独立服务器,就是独立的了,不会整合这些资源。2、从安全性方面来讲:云服务器具有天然防ARP攻击和MAC欺骗,快照备份,数据永久不丢失。而独立服务器则不具有这方面的功能;3、从可靠性来讲:云服务器是基于服务器集群的,因此硬件冗余度较高,故障率低;而独立服务器则相对来说硬件冗余较少,故障率较高;4、从灵活性方面来讲:用户可以在线实时增加自己的配置,可扩展空间较大;而独立服务器则有这方面的局限性,如果有新的应用,只能再买一台了。5、从性能的角度来看:云服务器是同等配置独立服务器计算能力的4倍,可满足高性能计算的要求;6、从稳定性上看,云服务器可以故障自动迁移,意思是如果一台云服务器出现故障,其上面的应用就自动迁移到其他云服务器上了。独立服务器就不存在这功能了,宕了就宕了。7、从节能上看,云服务器基于云计算的自动迁移技术,意即夜间,物理服务器的利用率不高,自动迁移技术会把应用集中到几台物理服务器上,其他的物理服务器就可以休眠了,这样就节能了
‘玖’ 分布式存储支持多节点,节点是什么,一个磁盘还是一个主控
节点是什么?
节点是存储节点的简称,一般来说1个节点是1个存储服务器。
其中一个存储节点坏了是否影响数据的访问?
这个主要取决于你采取的数据保护措施,主要有以下几种:
多副本:同一份数据会保存多份(通常设置为 2 副本或 3 副本),即使副本所在的节点宕机也不会造成数据丢失;
HA(高可用):节点宕机时,该节点上的虚拟机自动迁移至集群内其它节点,降低业务中断时间;
机架感知:根据机房物理拓扑结构,将副本分配在不同的机架、机箱、主机上,有效减少甚至避免物理硬件(电源、交换机等)故障导致的数据丢失。理论上,3 副本结合机架感知配置,系统可最多容忍 2 个机架上的主机全部失效;
快照:为虚拟机打快照,在其发生故障时将数据恢复至快照状态;
双活:同城双数据中心,灾难时无损快速恢复业务(RPO=0);
备份:异地主备数据中心,灾难时尽可能挽回数据损失。
‘拾’ 分布式存储的优点有哪些
分布式存储的六大优点
分布式存储往往采用分布式的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率,还易于扩展,将通用硬件引入的不稳定因素降到最低。优点如下:
1. 高性能
一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存,并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中,来提高系统响应速度;一旦这些区域不再是热点,那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能,按照一定的策略,先将数据写入高速存储,再在适当的时间进行同步落盘。
2. 支持分级存储
由于通过网络进行松耦合链接,分布式存储允许高速存储和低速存储分开部署,或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下,分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后,从冷池提取数据的粒度太大,导致延迟高,从而给造成整体的性能的抖动的问题。
3. 一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同,分布式存储采用了多副本备份机制。在存储数据之前,分布式存储对数据进行了分片,分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性,分布式存储通常采用的是一个副本写入,多个副本读取的强一致性技术,使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候,系统可以通过从其他副本读取数据,重新写入该副本进行恢复,从而保证副本的总数固定;当数据长时间处于不一致状态时,系统会自动数据重建恢复,同时租户可设定数据恢复的带宽规则,最小化对业务的影响。
4. 容灾性
在分布式存储的容灾中,一个重要的手段就是多时间点快照技术,使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是,多时间点快照技术支持同时提取多个时间点样本同时恢复,这对于很多逻辑错误的灾难定位十分有用,如果用户有多台服务器或虚拟机可以用作系统恢复,通过比照和分析,可以快速找到哪个时间点才是需要回复的时间点,降低了故障定位的难度,缩短了定位时间。这个功能还非
5. 扩展性
6. 存储系统标准化