❶ 分布式和集中式数据资源的调度有何不同
1)集中式数据处理
集中式计算机网络由一个大型的中央系统,其终端是客户机,数据全部存储在中央系统,由数据库管理系统进行管理,所有的处理都由该大型系统完成,终端只是用来输入和输出。终端自己不作任何处理,所有任务都在主机上进行处理。
集中式数据存储的主要特点是能把所有数据保存在一个地方,各地办公室的远程终端通过电缆同中央计算机(主机)相联,保证了每个终端使用的都是同一信息。备份数据容易,因为他们都存储在服务器上,而服务器是唯一需要备份的系统。这还意味这服务器是唯一需要安全保护的系统,终端没有任何数据。银行的自动提款机(ATM)采用的就是集中式计算机网络。另外所有的事务都在主机上进行处理,终端也不需要软驱,所以网络感染病毒的可能性很低。这种类型的网络总费用比较低,因为主机拥有大量存储空间、功能强大的系统,而使终端可以使用功能简单而便宜的微机和其他终端设备。
这类网络不利的一面是来自所有终端的计算都由主机完成,这类网络处理速度可能有些慢。另外,如果用户有各种不同的需要,在集中式计算机网络上满足这些需要可能是十分困难的,因为每个用户的应用程序和资源都必须单独设置,而让这些应用程序和资源都在同一台集中式计算机上操作,使得系统效率不高。还有,因为所有用户都必须连接到一台中央计算机,集中连接可能成为集中式网络的一个大问题。由于这些限制,如今的大多数网络都采用了分布式和协作式网络计算模型。
2)分布式数据处理
由于个人计算机的性能得到极大的提高及其使用的普及,使处理能力分布到网络上的所有计算机成为可能。分布式计算是和集中式计算相对立的概念,分布式计算的数据可以分布在很大区域。
分布式网络中,数据的存储和处理都是在本地工作站上进行的。数据输出可以打印,也可保存在软盘上。通过网络主要是得到更快、更便捷的数据访问。因为每台计算机都能够存储和处理数据,所以不要求服务器功能十分强大,其价格也就不必过于昂贵。这种类型的网络可以适应用户的各种需要,同时允许他们共享网络的数据、资源和服务。在分布式网络中使用的计算机既能够作为独立的系统使用,也可以把它们连接在一起得到更强的网络功能。
❷ 分布式存储和传统存储比较在哪些应用场景比较有优势
1、分布式存储优势
分布式存储可以使生产系统在线运行的情况下进行纵向扩展(Scale-Up)或横向扩展(Scale-Out),且存储系统在扩展后可以达到容量与性能均线性扩展的效果。其具有以下特性:
高性能
分布式存储系统能够将所有存储节点的处理器资源、硬盘资源、网络资源进行整合,将任务切分给多台存储节点,进行并发数据处理,避免了单个硬盘或设备造成的瓶颈,提升整个集群的处理能力。分布式存储系统具有良好的性能扩展能力,可以满足应用程序对存储性能不断增长的要求。
高扩展性
分布式存储系统通过扩展集群存储节点规模从而提高系统存储容量、计算和性能的能力,通过增加和升级服务器硬件,或者指通过增加存储节点数量来提升服务能力。分布式存储系统支持在线增加存储节点,对前端业务透明,系统整体性能与存储节点数量呈线性关系。
高可用性
分布式存储系统同时基于硬件及软件设计了高可用机制,在面对多种异常时(如存储节点宕机、网络中断、硬盘故障、数据损坏等)仍可提供正常服务,提高分布式存储系统硬件的可用性可以通过增加存储节点数量或者采用多种硬件冗余机制保证。分布式存储系统多采用副本机制或纠删码机制保证数据的高可用性,副本机制可以提供较高的数据冗余度,但会降低存储系统有效空间的利用率,纠删码机制可以在保证一定数据冗余度的情况下,大幅提高存储系统的有效空间利用率。
高安全性
分布式存储系统支持可靠的权限控制及互信确认机制,同时采用私有的数据切片及数据编码机制,可以从多重角度保证集群系统不受恶意访问和攻击,保护存储数据不被窃取。
2、分布式存储应用场景
分布式的“四高”特性,使得其在高性能计算、大数据视频云及大数据分析等应用场景中有着广泛的应用。
高性能计算场景
在如气象气候、地质勘探、航空航天、工程计算、材料工程等领域,基于集群的高性能计算,已成为必需的辅助工具。集群系统有极强的伸缩性,可通过在集群中增加或删减节点的方式,在不影响原有应用与计算任务的情况下,随时增加和降低系统的处理能力。根据不同的计算模式与规模,构成集群系统的节点数可以从几个到成千上万个。这些业务对后端的存储系统提出了新的需求,包括统一的存储空间、高效率的文件检索、高带宽的吞吐性能,高可靠的数据安全保障等。
大数据视频云应用场景
随着视频高清技术及超高清技术的普及,视频大数据应用场景,如雪亮工程、平安城市、广电媒资、影视制作、视频网站等领域,对存储设备提出了大容量、高读写性能、高可靠性、低延时及可扩展性等需求。针对这样大规模视频数据应用场景,就需要一个技术先进、性能优越的存储系统作为后端数据存储的支撑者。
大数据分析应用场景
伴随着互联网技术及人工智能的发展,各种基于海量用户/数据/终端的大数据分析及人工智能业务模式不断涌现,同样需要充分考虑存储功能集成度、数据安全性、数据稳定性,系统可扩展性、性能及成本各方面因素。
在数据爆发增长的“数字时代”,软件定义的分布式存储是存储技术高速发展的结晶,并具有着很大的成长空间,必将应用于更广泛的大数据业务场景。
❸ 分布式块存储和 分布式文件存储有是什么区别
分布式块存储和 分布式文件存储有是什么区别
分布式文件系统(dfs)和分布式数据库都支持存入,取出和删除。但是分布式文件系统比较暴力,可以当做key/value的存取。分布式数据库涉及精炼的数据,传统的分布式关系型数据库会定义数据元组的schema,存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system)。分布式数据库现在出名的有Hbase,oceanbase。其中Hbase是基于HDFS,而oceanbase是自己内部实现的分布式文件系统,在此也可以说分布式数据库以分布式文件系统做基础存储。
分布式存储是什么?选择什么样的分布式存储更好?
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
联想超融合ThinkCloud AIO超融合云一体机是联想针对企业级用户推出的核心产品。ThinkCloud AIO超融合云一体机实现了对云管理平台、计算、网络和存储系统的无缝集成,构建了云计算基础设施即服务的一站式解决方案,为用户提供了一个高度简化的一站式基础设施云平台。这不仅使得业务部署上线从周缩短到天,而且与企业应用软件、中间件及数据库软件完全解耦,能够有效提升企业IT基础设施运维管理的效率和关键应用的性能
MongoDB 适合做分布式图片文件存储么?
如果硬件上舍得投入(比如N台32GB起的大内存机),gridfs很合适海量小文件, 不过两台机我觉得还不如把静态文件这块外包给第三方云存储
软件定义存储和 分布式存储的区别
软件定义存储其实是个伪命题,你可以看下冬瓜哥的一篇文章。你也可以这么理解,分布式存储就是软件定义存储的一种方式。
集中式存储和分布式存储有什么区别
分布式 存储就是DAS ,就是服务器里面放着硬盘,多台服务器的话就是分布式存储,数据分散,不易于管理。
集中存储就是 NAS,SAN,将服务器和硬盘分开,数据都存放NAS设备中,NAS设备再级联磁盘阵列,然后多个服务器对这个NAS设备进行访问,操作,集中数据管理,提高利用率,解放服务器!
分布式存储与软件定义存储的区别?
分布式存储是一种存储的方式,其“分布式”的理念是软件定义存储的基础,从概念上来说,软件定义存储的范围更大,除了存储之外,还包括管理、计算、网络接口等相关概念。或者说,分布式存储就是一种链接方式,而软件定义存储就是类似元核云存储、华为等企业所研发的软件产品。
统一存储和融合存储以及分布式存储的区别
统一存储具体概念:
统一存储,实质上是一个可以支持基于文件的网络附加存储(NAS)以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储,因此也被称为多协议存储。
基本简介:
统一存储(有时也称网络统一存储或者NUS)是一个能在单一设备上运行和管理文件和应用程序的存储系统。为此,统一存储系统在一个单一存储平台上整合基于文件和基于块的访问,支持基于光纤通道的SAN、基于IP的SAN(iSCSI)和NAS(网络附加存储)。
工作方式:
既然是一个集中化的磁盘阵列,那么就支持主机系统通过IP网络进行文件级别的数据访问,或通过光纤协议在SAN网络进行块级别的数据访问。同样,iSCSI亦是一种非常通用的IP协议,只是其提供块级别的数据访问。这种磁盘阵列配置多端口的存储控制器和一个管理接口,允许存储管理员按需创建存储池或空间,并将其提供给不同访问类型的主机系统。最通常的协议一般都包括了NAS和FC,或iSCSI和FC。当然,也可以同时支持上述三种协议的,不过一般的存储管理员都会选FC或iSCSI中的一种,它们都提供块级别的访问方式,和文件级别的访问方式(NAS方式)组成统一存储。
什么是分布式数据存储
定义:
分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上,以获取更大的存储容量和更高的并发访问量。近年来,随着数据量的高速增长,分布式数据库技术也得到了快速的发展,传统的关系型数据库开始从集中式模型向分布式架构发展,基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下,从集中式存储走向分布式存储,从集中式计算走向分布式计算。
特点:
1.高可扩展性:分布式数据库必须具有高可扩展性,能够动态地增添存储节点以实现存储容量的线性扩展。
2 高并发性:分布式数据库必须及时响应大规模用户的读/写请求,能对海量数据进行随机读/写。
3. 高可用性:分布式数据库必须提供容错机制,能够实现对数据的冗余备份,保证数据和服务的高度可靠性。
❹ 分布式存储相对于单机存储的挑战是
1、分布式相比于传统存储系统的优点
①高性能:它通常可以高效地管理读缓存和写缓存,支持自动的分布式存储通过将热点区域2映射到高速缓存,提高响应速度。一旦不在是热点,那么存储系统将会把他们移除。写缓存技术可配合高速存储明显改变整体存储的性能,按照一定的策略先将数据写入高速存储,再在适当的时间进行同步落盘。
②支持分布式存储:通过网络进行松耦合链接,允许高速村塾和低速存储分开部署。一定条件下分层存储的优势可以发挥到最佳。解决了最大的问题是当性能池读不命中后,从冷池提取数据的粒度太大,导致延迟高,从而给造成整体的性能的抖动的问题。
③多副本一致性:他相比传统的存储框架使用RAID不同。它采用了多分本备份机制,存储之前进行分片,之后按照一定的规则存在集群的节点上,为了保证数据一致性,布式存储通常采用的是一个副本写入,多个副本读取的强一致性技术,读取数据失败,从其他副本获取,重新写入该副本恢复。
④容灾与备份:对于容灾采用最重要的手段就是快照,可以实现一定时间下的数据的保存。他有利于故障重现,有助于分析研究,避免灾难,备份就是为了数据的安全性。
⑤弹性扩展:分布式存储可预估并且弹性扩展计算、存储容量和性能,节点扩展后,旧数据自动迁移到新节点上,实现负载均衡,避免单点问题。水平扩展只需要将节点和原来的集群链接到同一网络,整个过程不会对业务造成影响,当加节点时,集群系统的容量和性能随之线性扩展,新节点资源会被平台接管,分配或吸收。
⑥存储系统标准化:随着分布式存储的发展,存储行业的标准化进程也不断推进,分布式存储优先采用行业标准接口(SMI-S或OpenStack Cinder)进行存储接入,在平台层面,通过将异构存储资源进行抽象化,将传统的存储设备级的操作封装成面向存储资源的操作,从而简化异构存储基础架构的操作,以实现存储资源的集中管理,并能够自动执行创建、变更、回收等整个存储生命周期流程。基于异构存储整合的功能,用户可以实现跨不同品牌、介质地实现容灾,如用中低端阵列为高端阵列容灾,用不同磁盘阵列为闪存阵列容灾等等,从侧面降低了存储采购和管理成本。
2、分布式相比于传统存储系统的缺点
首先,从部署与维护的角度来看,分布式存储部署过程较为复杂,需要专门的人才进行部署,维护与管理,需要一定的时间培养专门的人才。其次,从硬件设备角度来看,分布式存储使用的均为X86架构服务器,稳定性可能不如传统的硬件存储。尤其对于银行,金融,政府等重要行业,稳定永远大于一切,他们既是新技术的实践者但同时也需要最稳定的环境保持业务的良好运行。最后,对于数据保护技术,大部分都是通过副本技术实现数据保护机制,常见的有两副本三副本等,这样也会造成可用存储容量的降低。
❺ 分布式存储和超融合区别及优势
分布式存储是什么
关于分布式存储实际上并没有一个明确的定义,甚至名称上也没有一个统一的说法,大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是:分布式存储是一种计算机网络,它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是:分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
尽管各方对分布式存储的定义并不完全相同,但有一点是统一的,就是分布式存储将数据分散放置在多个节点中,节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
超融合是什么
参考维基网络中的超融合定义:
超融合基础架构(hyper-converged infrastructure)是一个软件定义的 IT 基础架构,它可虚拟化常见“硬件定义”系统的所有元素。HCI 包含的最小集合是:虚拟化计算(hypervisor),虚拟存储(SDS)和虚拟网络。HCI 通常运行在标准商用服务器之上。
超融合基础架构(hyper-converged infrastructure)与 融合基础架构(converged infrastructure)最大的区别在于,在 HCI 里面,无论是存储底层抽象还是存储网络都是在软件层面实现的(或者通过 hypervisor 层面实现),而不是基于物理硬件实现的。由于所有软件定义的元素都围绕 hypervisor 实现,因此在超融合基础架构上的所有实例可以联合共享所有受管理的资源。
分布式存储和超融合区别及优势?
分布式存储,它的最大特点是多节点部署, 数据通过网络分散放置。分布式存储的特点是扩展性强,通过多节点平衡负载,提高存储系统的可靠性与可用性。
超融合基础架构从定义中明确提出包含软件定义存储(SDS),具备硬件解耦的能力,可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似,计算与存储融合,通过全分布式的架构,有效提升系统可靠性与可用性,并具备易于扩展的特性。
SMTX ZBS 分布式块存储架构
除此之外,超融合基础架构有更进一步的扩展,它强调以虚拟化计算(hypervisor)为核心,以软件定义的方式整合包括虚拟化计算, 软件定义存储以及虚拟网络资源。从笔者来看超融合基础架构未来的可能性更多,可促进计算,存储,网络,安全,容灾等等 IT 服务大融合,降低IT 基础架构的复杂性,重新塑造”软件定义的数据中心”。
❻ 分布存储和集中存储有什么本质区别
分布式 存储就是DAS ,就是服务器里面放着硬盘,多台服务器的话就是分布式存储,数据分散,不易于管理。
集中存储就是 NAS,SAN,将服务器和硬盘分开,数据都存放NAS设备中,NAS设备再级联磁盘阵列,然后多个服务器对这个NAS设备进行访问,操作,集中数据管理,提高利用率,解放服务器!
❼ 集中式数据处理和分布式数据处理的优缺点
集中式数据处理优点:
1、部署结构简单。
2、数据容易备份,只需要把中央计算机上的数据备份即可。
3、不易感染病毒,只要对中央计算机做好保护,终端一般不需要外接设备,感染病毒的几率很低。
4、总费用较低,中央计算机的功能非常强大,终端只需要简单、便宜的设备。
缺点:
1、中央计算机需要执行所有的运算,当终端很多时,会导致响应速度变慢。
2、如果终端用户有不同的需要,要对每个用户的程序和资源做单独的配置,在集中式系统上做起来比较困难,而且效率不高。
分布式数据处理优点:
1、分布式网络中的每台机器都能存储和处理数据,降低了对机器性能的要求,所以不必购买昂贵的高性能机器,这大大降低了硬件投资成本。
2、扩展性极佳。在当前系统存储或计算能力不足时,可以简单地通过增加廉价PC机的方式来增加系统的处理和存储能力。
3、处理能力极强。庞大的计算任务可以在合理分割后由分布式网络中的机器并行地处理
缺点
1、计算程序全负荷运行时仍会对计算机的各个部件造成一定压力。
2、对项目方来说,参加分布式计算的志愿者不是项目方自己的人员,不是全体可信任,因此必须引入一定的冗余计算机制,才能防止计算错误、恶意作弊等。
(7)分布式存储和集中式存储性能对比扩展阅读
分布式计算为信息不只分布在一个软件或计算机上,而是分布于多个软件上,可以用多台或一台计算机同时运行若干个软件,通过网络实现信息的共享。与其他算法相比,分布式算法有明显的优势:
1、共享资源更加方便。
2、能够实现计算负载的平衡,用多台计算机同时处理任务。
3、可以根据实际需要合理选择适当的计算机运行该程序。计算机分布式计算的灵魂是平衡负载和共享资源。分布式计算具有高效、快捷、准确的优势
❽ 分布式数据库的分布式数据库相对传统集中式数据库的优点
大数据时代,面对日益增长的海量数据,传统的集中式数据库的弊端日益显现,分布式数据库相对传统的集中式数据库有如下优点。
● 更高的数据访问速度:分布式数据库为了保证数据的高可靠性,往往采用备份的策略实现容错,所以,在读取数据的时候,客户端可以并发地从多个
备份服务器同时读取,从而提高了数据访问速度。
● 更强的可扩展性:分布式数据库可以通过增添存储节点来实现存储容量的线性扩展,而集中式数据库的可扩展性十分有限。
● 更高的并发访问量:分布式数据库由于采用多台主机组成存储集群,所以相对集中式数据库,它可以提供更高的用户并发访问量。
❾ 集中式存储和分布式存储的区别在哪里如何选择
如今全球数据存储量呈现爆炸式增长,企业及互联网数据以每年50%的速率在增长,据Gartner预测,到2020年,全球数据量将达到35ZB,等于80亿块4TB硬盘。数据结构变化给存储系统带来新的挑战。非结构化数据在存储系统中所占据比例已接近80%。
互联网的发展使得数据创造的主体由企业逐渐转向个人用户,而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据;企业办公流程更多通过网络实现,表单、票据等都实现了以非结构化为主的数字化存档;同时,基于数据库应用的结构化数据仍然在企业中占据重要地位,存储大量的核心信息。
数据业务的急剧增加,传统单一的SAN存储或NAS存储方式已经不适应业务发展需要。SAN存储:成本高,不适合PB级大规模存储系统。数据共享性不好,无法支持多用户文件共享。NAS存储:共享网络带宽,并发性能差。随系统扩展,性能会进一步下降。因此,集中式存储再次活跃。
那么集中式存储和分布式存储的有缺点分别有哪些呢?在面对二者时我们该如何选择呢?下面我将为大家介绍和分析集中式存储和分布式存储的不同之处以及在应用中我们应做的选择。
分布式和集中式存储的选择
集中存储的优缺点是,物理介质集中布放;视频流上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。
分布存储,集中管理的优缺点是,物理介质分布到不同的地理位置;视频流就近上传,对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。