1. ceph：rados浅析
在传统分布式存储架构中，存储节点往往仅作为被动查询对象来使用，随着存储规模的增加，数据一致性的管理会出现很多问题。
而新型的存储架构倾向于将基本的块分配决策和安全保证等操作交给存储节点来做，然后通过提倡客户端和存储节点直接交互来简化数据布局并减小io瓶颈。
RADOS就是这样一个可用于PB级规模数据存储集群的可伸缩的、可靠的对象存储服务。它包含两类节点：存储节点、管理节点。它通过利用存储设备的智能性，将诸如一致性数据访问、冗余存储、错误检测、错误恢复分布到包含了上千存储节点的集群中，而不是仅仅依靠少数管理节点来处理。
RADOS中的存储节点被称为OSD(object storage device)，它可以仅由很普通的组件来构成，只需要包含CPU、网卡、本地缓存和一个磁盘或者RAID，并将传统的块存储方式替换成面向对象的存储。
在PB级的存储规模下，存储系统一定是动态的：系统会随着新设备的部署和旧设备的淘汰而增长或收缩，系统内的设备会持续地崩溃和恢复，大量的数据被创建或者删除。RADOS通过 cluster map来实现这些，cluster map会被复制到集群中的所有部分（存储节点、控制节点，甚至是客户端），并且通过怠惰地传播小增量更新而更新。cluster map中存储了整个集群的数据的分布以及成员。
通过在每个存储节点存储完整的cluster map，存储设备可以表现的半自动化，通过peer-to-peer的方式（比如定义协议）来进行数据备份、更新，错误检测、数据迁移等等操作。这无疑减轻了占少数的monitor cluster（管理节点组成的集群）的负担。
一个RADOS系统包含大量的OSDs 和 很少的用于管理OSD集群成员的monitors。OSD的组成如简介所说。而monitor是一些独立的进程，以及少量的本地存储，monitor之间通过一致性算法保证数据的一致性。
存储节点集群通过monitor集群操作cluster map来实现成员的管理。cluster map 描述了哪些OSD被包含进存储集群以及所有数据在存储集群中的分布。
cluster map不仅存储在monitor节点，它被复制到集群中的每一个存储节点，以及和集群交互的client。
当因为一些原因，比如设备崩溃、数据迁移等，cluster map的内容需要改变时，cluster map的版本号被增加，map的版本号可以使通信的双方确认自己的map是否是最新的，版本旧的一方会先将map更新成对方的map，然后才会进行后续操作。
首先，如下图，总体说下RADOS的存储层次，RADOS中基本的存储单位是对象，一般为2MB或4MB，当一个文件要存入RADOS时，首先会被切分成大小固定的对象（最后一个对象大小可能不同），然后将对象分配到一个PG（Placement Group）中，然后PG会复制几份，伪随机地派给不同的存储节点。当新的存储节点被加入集群，会在已有数据中随机抽取一部分数据迁移到新节点。这种概率平衡的分布方式可以保证设备在潜在的高负载下正常工作。更重要的是，数据的分布过程仅需要做几次随机映射，不需要大型的集中式分配表。
对于每个层次的详细说明：
2.Object—— RADOS的基本存储单元。Object与上面提到的file的区别是，object的最大size由RADOS限定（通常为2MB或4MB），以便实现底层存储的组织管理。因此，当上层应用向RADOS存入size很大的file时，需要将file切分成统一大小的一系列object（最后一个的大小可以不同）进行存储。
各层次之间的映射关系：
前面的介绍中已经提到，由若干个monitor共同负责整个RADOS集群中所有OSD状态的发现与记录，并且共同形成cluster map的master版本，然后扩散至全体OSD以及client。OSD使用cluster map进行数据的维护，而client使用cluster map进行数据的寻址。
monitor并不主动轮询各个OSD的当前状态。相反，OSD需要向monitor上报状态信息。常见的上报有两种情况：一是新的OSD被加入集群，二是某个OSD发现自身或者其他OSD发生异常。在收到这些上报信息后，monitor将更新cluster map信息并加以扩散。其细节将在下文中加以介绍。
Cluster map的实际内容包括：
（1） Epoch，即版本号。cluster map的epoch是一个单调递增序列。epoch越大，则cluster map版本越新。因此，持有不同版本cluster map的OSD或client可以简单地通过比较epoch决定应该遵从谁手中的版本。而monitor手中必定有epoch最大、版本最新的cluster map。当任意两方在通信时发现彼此epoch值不同时，将默认先将cluster map同步至高版本一方的状态，再进行后续操作。
（2）各个OSD的网络地址。
（3）各个OSD的状态。OSD状态的描述分为两个维度：up或者down（表明OSD是否正常工作），in或者out（表明OSD是否在至少一个PG中）。因此，对于任意一个OSD，共有四种可能的状态：
（4）CRUSH算法配置参数。表明了Ceph集群的物理层级关系（cluster hierarchy），位置映射规则（placement rules）。
根据cluster map的定义可以看出，其版本变化通常只会由（3）和（4）两项信息的变化触发。而这两者相比，（3）发生变化的概率更高一些。这可以通过下面对OSD工作状态变化过程的介绍加以反映。
一个新的OSD上线后，首先根据配置信息与monitor通信。Monitor将其加入cluster map，并设置为up且out状态，再将最新版本的cluster map发给这个新OSD。
收到monitor发来的cluster map之后，这个新OSD计算出自己所承载的PG（为简化讨论，此处我们假定这个新的OSD开始只承载一个PG），以及和自己承载同一个PG的其他OSD。然后，新OSD将与这些OSD取得联系。如果这个PG目前处于降级状态（即承载该PG的OSD个数少于正常值，如正常应该是3个，此时只有2个或1个。这种情况通常是OSD故障所致），则其他OSD将把这个PG内的所有对象和元数据复制给新OSD。数据复制完成后，新OSD被置为up且in状态。而cluster map内容也将据此更新。这事实上是一个自动化的failure recovery过程。当然，即便没有新的OSD加入，降级的PG也将计算出其他OSD实现failure recovery。
如果该PG目前一切正常，则这个新OSD将替换掉现有OSD中的一个（PG内将重新选出Primary OSD），并承担其数据。在数据复制完成后，新OSD被置为up且in状态，而被替换的OSD将退出该PG（但状态通常仍然为up且in，因为还要承载其他PG）。而cluster map内容也将据此更新。这事实上是一个自动化的数据re-balancing过程。
如果一个OSD发现和自己共同承载一个PG的另一个OSD无法联通，则会将这一情况上报monitor。此外，如果一个OSD deamon发现自身工作状态异常，也将把异常情况主动上报给monitor。在上述情况下，monitor将把出现问题的OSD的状态设为down且in。如果超过某一预订时间期限，该OSD仍然无法恢复正常，则其状态将被设置为down且out。反之，如果该OSD能够恢复正常，则其状态会恢复为up且in。在上述这些状态变化发生之后，monitor都将更新cluster map并进行扩散。这事实上是自动化的failure detection过程。
对于一个RADOS集群而言，即便由数千个甚至更多OSD组成，cluster map的数据结构大小也并不惊人。同时，cluster map的状态更新并不会频繁发生。即便如此，Ceph依然对cluster map信息的扩散机制进行了优化，以便减轻相关计算和通信压力：
基于上述机制，Ceph避免了由于cluster map版本更新而引起的广播风暴。这虽然是一种异步且lazy的机制，但根据论文中的结论，对于一个由n个OSD组成的Ceph集群，任何一次版本更新能够在O(log(n))时间复杂度内扩散到集群中的任何一个OSD上。
一个可能被问到的问题是：既然这是一种异步和lazy的扩散机制，则在版本扩散过程中，系统必定出现各个OSD看到的cluster map不一致的情况，这是否会导致问题？答案是：不会。事实上，如果一个client和它要访问的PG内部的各个OSD看到的cluster map状态一致，则访问操作就可以正确进行。而如果这个client或者PG中的某个OSD和其他几方的cluster map不一致，则根据Ceph的机制设计，这几方将首先同步cluster map至最新状态，并进行必要的数据re-balancing操作，然后即可继续正常访问。
2. 存储虚拟化是什么集群存储又是什么
存储虚拟化广义上来说，就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面，激活一种资源并使之更易于透明控制。
存储虚拟化(Storage Virtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。
集群存储是指：由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。
3. 云存储是什么
云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
在云计算的基础上发展出了云存储，云存储实际上是云计算中有关数据存储、归档、备份的一个部分，是一种创新服务。
在云存储服务构建方面，它是通过分布式、虚拟化、智能配置等技术，实现海量、可弹性扩展、低成本、低能耗的共享存储资源。
云存储的特点
1、超大规模，支持海量数据存储；
2、高可扩展性，能够随时在线升级云存储空间容量；
3、高可用性和可靠性，当出现数据丢失时，能够通过副本快速恢复；
4、安全，云存储通过用户鉴权、访问权限控制等方式保障数据安全；
5、透明服务，拥有统一的接口，当节点发生变化时，用户能够随时了解情况；
6、自动容错，能够自动处理节点故障，保障长时间正常运作；
7、低成本，使用云存储能够减少电源消耗，从而有效降低能源成本。
4. isilon 集群存储采用什么文件系统
集群文件系统的选择有很多种，但是要想把每种系统的优劣性能都弄清楚，是需要花费不少时间和精力的。我们在此为大家介绍一些常用的集群文件系统，让读者朋友对此有一个了解，在选择上有一个参考。 集群文件系统基础架构有些读者也许希望装配一组可以并行访问同一个文件系统的服务器，而另一些读者可能想复制存储器并提供并行访问和冗余。有两种方法可以实现多服务器访问同一个磁盘，一种方法是让那些服务器都可以看到那个磁盘，另一种方法则是通过复制。 共享磁盘结构在光纤通道SAN和iSCSI领域是最常见的结构。配置存储系统相当简单，这样多个服务器就可以看到同一个逻辑块设备或LUN，但是如果没有群集文件系统，那么当多个服务器同时想使用那个逻辑块设备时就会出现混乱。 这个问题与使用群集文件系统有关，我们将在下文中详细介绍。 一般而言，共享磁盘系统有个弱点，那就是存储系统。但是情况也并非总是如此，因为利用现在的技术是很难理解共享盘的概念的。 SAN、NAS设备和基于Linux系统的商品硬件可以将所有的基础磁盘实时复制到另一个存储节点，从而提供一个模拟共享盘环境。基础模块设备被复制之后，那些节点就可以访问相同的数据，也可以运行同一个群集文件系统了，但是这种复制超出了传统共享盘的定义。 相反，不共享才是共享盘的问题所在。连接着不同存储设备的节点会在每个模块被写入数据时将变化通知给主服务器。 现在，不共享架构仍存在于Hadoop那样的文件系统之中，那些文件系统可以在许多节点故意建立多个数据副本，从而提高性能和冗余。而且，在不同存储设备或节点之间利用自己的存储设备进行复制的群集也可以做到不共享。 集群文件系统设计选择正如我们所说的，你不能通过多个服务器访问同一个模块设备。你听说过文件系统锁定，因此普通的文件系统并不能实现这一点就有些奇怪了。 在文件系统级别上，文件系统本身会将文件锁定以保证数据不会出错。但是在操作系统级别上，文件系统启动程序完全可以访问基础模块设备，它们可以在基层模块设备之间自由的漫游。大部分文件系统都会认为它们被分配了一个模块设备，而且那个模块设备也只是它们自己所有。 为了解决这个问题，集群文件系统采用了一种并行控制机制。有些集群文件系统将把元数据保存在共享设备的一个分区里，另一些集群文件系统则会使用集中式元数据服务器来保存元数据。 不管采用哪种方案，集群中的所有节点都可以看到文件系统的状态，从而保证安全的并行访问。然而，如果你想保证系统的高利用率和消除单点故障问题，那么采用集中式元数据服务器的解决方案就要略逊一筹了。 另一个注意事项：集群文件系统要求在节点发生故障时迅速做出反应。如果某个节点写入错误数据或由于某种原因停止关于元数据变化的通信，其他节点必须能够将它隔离出去。隔离可以通过多种方式来实现，最常用的方法是利用断电管理来实现。健康的节点可以在发现问题时第一时间关闭另一个节点电源（STONITH）以保全数据。集群文件系统词典GFS：全局文件系统 GFS是应用最广泛的集群文件系统。它是由红帽公司开发出来的，允许所有集群节点并行访问。元数据通常会保存在共享存储设备或复制存储设备的一个分区里。 OCFS:甲骨文集群文件系统 从概念上来说，OCFS与GFS非常相似，现在OCFS 2已经被应用于Linux系统之中。 VMFS:VMware的虚拟计算机文件系统 VMFS是ESX服务器用来允许多个服务器访问同一个共享存储设备的集群文件系统。这样就可以实现虚拟机在不同服务器之间的无缝迁移，因为源服务器和目标服务器都可以访问同一个存储设备。日志是分布式的，ESX服务器之间也不会出现单节点故障。 Lustre：Sun的集群分布式文件系统。 Lustre是专门用于包含数千个节点的大型集群的分布式文件系统。Lustre已经支持Linux系统，但是高速计算环境之外的应用程序是有限的。 Hadoop:一个象谷歌那样使用的分布式文件系统。 这不是一个集群文件系统，但是却是一个分布式文件系统。我们将Hadoop收录进来是因为它的应用越来越广泛，而且利用Hadoop的存储架构设计决策的组合很多。但是默认配置下，你会在3个不同的节点上拥有3个数据副本。一旦数据发生变化，每个数据副本都会更新，因此，从某种意义上来说，它也可以被看做是集群文件系统。然而，Hadoop存在一个故障点隐患，即跟踪记录所有文件系统级数据的命名节点。 做出最好选择有太多选择并不是坏事。你可以根据执行目标选择使用合适的集群文件系统以及存储架构。 只要有计划地使用，所有这些文件系统都可以发挥出应有的作用。
,
5. 什么是集群存储
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集
群应用、网格技术或分布式文机房集中监控系统件系统等功能，将网络中大量各种不同类
型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的
一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就
需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一
个以数据存储和管理为核心的云计算系统。他们基于虚拟化技术和集群架构，具有强大的
横向扩展能力。云存储设备横向扩展的方式让存储系统具有了无限扩展的能力，它能够实
现控制器与硬盘的同时扩展，也就是性能与容量可以同时实现线性扩展。
集群存储是通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使
用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享
存储池中提供给前端的应用服务器，极大提高了磁盘利用率，可以为非结构化数据提供具
备极高IO带宽和灵活可扩展性的存储解决方案。
6. 快速了解集群和双机热备相关知识
简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。 高可用集群不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。 什么是双机热备 所谓双机热备，其实可以认为是集群的最小组成单位，就是将中心服务器安装成互为备份的两台服务器，并且在同一时间内只有一台服务器运行。当其中运行着的一台服务器出现故障无法启动时，另一台备份服务器会迅速的自动启动并运行（一般为 为数分钟左右），从而保证整个网络系统的正常运行！双机热备的工作机制实际上是为整个网络系统的中心服务器提供了一种故障自动恢复能力。 您为什么需要集群 随着全球经济的增长，世界各地各种各样的组织对IT系统的依赖都在不断增加，电子贸易使得商务一周七天24小时不间断的进行成为了可能。新的强大的应用程序使得商业和社会机构对日常操作的计算机化要求达到了空前的程度，趋势非常明显，我们无时无刻不依赖于稳定的计算机系统。 这种需求极速的增长，使得对系统可用性的要求变得非常重要，许多公司和组织的业务在很大程度上都依赖于计算机系统，任何的宕机都会造成严重的损失，关键IT系统的故障可能很快造成整个商业运作的瘫痪，每一分钟的宕机都意味着收入、生产和利润的损失，甚至于市场地位的削弱。高可用集群的实现模式 集群中节点可以以不同的方式来运行，这要看它们是如何设置的。在一个理想的两个节点的集群中，两个服务器都同时处于活动状态，也就是在两个节点上同时运行应用程序，当一个节点出现故障时，运行在出故障的节点上的应用程序就会转移到另外的没有出现故障的服务器上，这样一来，由于两个节点的工作现在由一个服务器来承担，自然会影响服务器的性能。 针对这种情况的解决方案是，在正常操作时，另一个节点处于备用状态，只有当活动的节点出现故障时该备用节点才会接管工作，但这并不是一个很经济的方案，因为你不得不买两个服务器来做一个服务器的工作。虽然当出现故障时不会对性能产生任何影响，但是在正常运行时的性能价格比并不太好。 从上面的工作方式出发，我们可以把集群分为下面几种（特别是两节点的集群） 主/主 (Active/active) 这是最常用的集群模型，它提供了高可用性，并且在只有一个节点在线时提供可以接受的性能，该模型允许最大程度的利用硬件资源。每个节点都通过网络对客户机提供资源，每个节点的容量被定义好，使得性能达到最优，并且每个节点都可以在故障转移时临时接管另一个节点的工作。所有的服务在故障转移后仍保持可用，但是性能通常都会下降。 主/从(Active/passive) 为了提供最大的可用性，以及对性能最小的影响，Active/passive模型需要一个在正常工作时处于备用状态，主节点处理客户机的请求，而备用节点处于空闲状态，当主节点出现故障时，备用节点会接管主节点的工作，继续为客户机提供服务，并且不会有任何性能上影响。 混合型(Hybrid) 混合是上面两种模型的结合，只针对关键应用进行故障转移，这样可以对这些应用实现可用性的同时让非关键的应用在正常运作时也可以在服务器上运行。当出现故障时，出现故障的服务器上的不太关键的应用就不可用了，但是那些关键应用会转移到另一个可用的节点上，从而达到性能和容错两方面的平衡。 传统双机热备的发展方向 由于用户核心业务越来越多，有不停机需求的应用也越来越密集，用户的网络及存储环境从普通的电缆及直联式存储升级到光纤及SAN或ISCSI环境，使得原本可以使用双机热备方案满足的高可用应用开始力不从心， 用户纷纷寻求新的解决方案，能够兼容原有双机热备系统，又有很强大扩展能力的高可用集群方案逐渐成为了用户的首选，集群系统可以利用最新的SAN及ISCSI链路，形成多个可用点的核心系统，而且可以方便的增减节点，带来很强的扩展性。用户对核心系统的调配更加灵活，统一管理，减少投资，而且可以使用更多的策略保障最为关键的应用，甚至可以实现远距离的集群系统，令整个关键系统具有很强的容灾能力。因此，多节点高可用集群将成为双机热备用户的未来潜在选择。 它们都是为实现系统的高可用性服务的，都解决了一台服务器出现故障时，由其他服务器接管应用，从而持续可靠地提供服务的问题。 它们都是通过心跳技术在进行系统检测，一些比较高端的集群软件拥有多种检测链路，如比较高端的MLDC集群检测系统。 但是，双机软件只能支持两台服务器以主从方式或互备方式工作。而集群软件除了支持双机工作外，还可以支持多台服务器(Multi Node)工作，同时部署多个应用，并在多个服务器间灵活地设置接管策略。 在两种情况下需要使用集群软件：一是有超过两个应用，本身就需要部署三台或更多的服务器。二是只有两个应用，但每个应用的负载均较大，不宜采用双机互备的方式，而是需要由第三台服务器来作为这两个应用的备机。 一般地讲，集群软件具有更多的技术含量，具备更高的可靠性。同时，往往价格(平均到每台服务器)也高于双机软件。 在选择产品时，应根据应用的实际情况来确定。最理想的方式，则是在应用数量少、负载不是很大时先使用双机软件，然后在应用数量增多、负载增大时平滑过渡到集群软件。 集群软件一定需要配合磁盘阵列柜才能正常运行吗 并非所有集群都需要使用共享的存储系统（如阵列柜），纯软技术（镜像技术）的出现和发展，使得集群系统必须拥有一致的数据源的问题有了另外一种实现方式。 目前联鼎集群系统拥有有两种典型的运行方式，一种是比较标准的，数台服务器通过一个共享的存储设备（一般是共享的磁盘阵列或存储区域网SAN），并且安装集群软件，实现高可用集群，称为共享方式。另一种方式是通过纯软件（如联鼎LanderSync软件）的方式，一般称为纯软件方式或镜像方式（Mirror）。 对于共享方式，数据库放在共享的存储设备上。当一台服务器提供服务时，直接在存储设备上进行读写。而当系统切换后，另一台服务器也同样读取该存储设备上的数据，这种方式由于数据的一致性由共享存储设备来保障，不占用系统资源，而且没有数据传输的延迟，因此是中高端用户，及拥有大量关键数据的用户的首选方案。 对于纯软件的方式，通过镜像软件，将数据可以实时复制到另一台服务器上，这样同样的数据就在两台服务器上各存在一份，如果一台服务器出现故障，可以及时切换到另一台服务器。 由于可以节省共享存储硬件部分的大量投资，纯软件方式可以在一定程度上降低成本，并且由于在多个地方拥有数据的副本，数据的可靠性反而有所加强，另外由于脱离了直联存储的模式而使用TCP/IP协议，使得纯软双机在理论上能够实现远程容灾。 但是纯软方式也有一些不足： 1.需要占用部分系统资源，需要占用部分网络资源。 2.大数据量环境初始镜像时间较长，对于较大的并且变化频繁的数据，可能会存在传输延迟现象 因此，在选择使用何种集群方式之前，需要对用户的应用进行一定的评估，选择最理想的解决方案。
7. 什么是云存储你如何看待云存储
云存储的几十年发展历程，其计算架构模型，也从Scale Up走向Scale Out。但是展望未来数字世界的海量需求，目前流行的模型还能够持续满足吗？本文通过对云存储 历史 的回顾，及对Scale Up和Scale Out两种扩展模型的诠释，来揭开云存储的未来模式。
1. 云存储及其 历史
简而言之，云存储（cloud storage）就是将数字内容安全的存储在服务器上，从而任何连接互联网的设备可以方便的获取。首先让我们简单回顾一下云存储的 历史 。
云存储的早期雏形要回溯到上个世纪的90年代，也就是互联网泡沫时期（dot-com boom），当时有许多家公司，例如EVault, NetMass, Arkeia和CommVault等等[1]均提供在线数据备份服务，当然它们绝大部分也随着互联网泡沫的破碎而烟消云散了。少数幸存下来的有一家叫Veritas NetBackup最后也被Symantec收购，现在依旧提供Symantec NetBackup的在线存储服务。
而真正让大家耳熟能详的云存储是2006年由Amazon提供的AWS S3云存储服务，其最具有革命意义的变革是，提出了即买即用（pay-per-use）的价格模型，使得云存储的使用像水电一样可计算衡量。从此云存储以S3为标准一路绝尘，我们所熟悉的大厂，比如Netflix, Pinterest, Dropbox也是S3的顾客。尾随的Microsoft和Google也于2010年分别发布了类似的Azure Blob Storage和Google Storage的存储服务。
云存储真正发展的十几年中，见证了移动互联网的崛起，大数据的生机勃发，人工智能的再次复兴，并能够展望到未来物联网，无人驾驶及各类机器人自动化的世界。海量数据的产生，存储，分析，预测及应用，快速以正反馈循环方式，推进着人类 社会 向数字世界大步迈进。所以，为了适应数据存储新的需求，各家云存储产品的应用场景及价格模型，已从单一向多元发展，比如AWS S3就有Standard，Intelligent-Tiering， Standard-IA，One Zone-IA，Glacier和Glacier Deep Archive六类存储产品来满足各类使用场景，我会在未来的文章里针对性的细讲一下。而本文重点所探讨的是，目前云存储的基础架构体系是否能够适应未来数据存储的要求和挑战？为了回答这个问题，让我们先简单回顾一下计算机体系架构里的Scale Up和Scale Out扩展模型。
2. Scale Up和Scale Out？
Scale Up又称为垂直扩展（scale vertically）[2]，意为在单节点上添加资源，如CPU，内存和存储，在纵向上扩展从而获得更多计算或存储能力；Scale Up初期能够快速达到升级目的，操作起来相对比较简单，但随着计算或存储的要求越来越高，硬件资源的添加可能已经达到极限，不仅单节点的造价非常昂贵，维护成本很高，而且更容易留下单点故障的隐患。传统的RAID（Rendant Array of Inexpensive Disks）存储就是此种模式。
Scale Out又称为水平扩展（scale horizontally）[2]，意为在分布式环境下，通过添加节点计算或存储资源，在横向上满足更多的计算存储需求；随着计算和存储单位价格的降低和效率的提升，使用低端的商用（commodity）系统，利用分布式技术可以搭建起“超级计算”中心，以及后来衍生出来的私有或公有云平台解决方案。虽然分布式系统会带来一定程度上的软件复杂度和管理困难，但由软件定义的计算和存储解决方案，能够以较低的价格和较高的鲁棒性，优雅的解决了海量增长的计算存储需求，也是目前云平台的主流技术。但它就一定能够承载未来的更加海量的需求吗？云存储的未来是什么？方向是向左还是向右？
3. 未来向左还是向右？
话说天下大势, 分久必合, 合久必分，事物发展的规律似乎从来就没有什么绝对。当下，云平台内部似乎已完全是Scale Out模式了，但当我们把镜头再拉远一点，从云平台在全球部署的每一个可用区来看，整体上它又是一个Scale Up模型，不是吗？单点投入巨大，耗费能源，使用成本高昂。而相反，随着强大的计算，存储和带宽能力能够进入寻常家庭、工作和生活等边缘节点，资源闲置或者不均衡使用也变得越来越明显。
那么，是否能够将这些边缘节点的计算存储能力结合起来，组成一个真正意义上的Scale Out平台，提供人们日益增长的计算存储需求？
可否将浪费或者不对等的资源重新组合，提供一个更加节能环保的绿色Scale Out平台？
可否摒弃中心化的单点故障和数据安全隐患，真正做到廉价高效，零数据泄露的Scale Out平台？
答案是应该可以而且必须可以！
纵观云存储平台的发展 历史 ，从单节点的Scale Up模式走向可用区内部的Scale Out模式，又从内部的Scale Out模式走向整体上相对的Scale Up模式。而未来数字世界的海量计算和存储需求的满足，一定需要真正意义上的全球Scale Out模型，那就是把边缘节点和半中心化节点高效且系统的组织起来，减少浪费，提高效率，节省成本，去除中心。将天空中几块为数不多的白云，变成漫天遍布的朵朵白云，让人们自由定价、自由选择、自由组合。
挑战虽然巨大，但未来很美好，让我们一起努力迎接云存储的明天！
[1]: History of Online Storage
[2]: Wiki Scalability
文章作者：Bruce Lee（http://PP.IO总架构师）
转载请注明出处
如果有关于PPIO的交流，可以通过下面的方式联系我：
加我微信，注意备注来源
wechat：omnigeeker
云存储服务平台，很精练吧
网络解释：云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。
云存储可以简单的理解为将数据保存在一个第三方空间，随时取用和处理。云存储也可以说是一个以数据存储和管理为核心的云计算系统。云存储对用户来讲，不只是一个简单的设备，而是整个云存储系统的一种数据访问服务。
通过集群应用，网络技术等功能把网络中不同类型的存储设备通过应用软件集合起来工作。
云储存就是企业的公用空间（服务器)，定期有人维护不用自己操心不怕数据丢失，但是数据都会在企业无保密可言，
就是网上的存储空间，不占自身内存，要用时联网下载
云存储是指通过集群应用、网格技术或分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。
云存储的优势楼主有需要的话可以了解一下企业共享办公系统，可支持手机端、云端、公司服务器存储、为企业独立搭建维护企业网盘，从而实现文件归档存储、文档管理、协同办公等功能。
云存储就是将文件内存存储在云端的一种方式，不占用自己本身电脑或者手机的内存，海量存储轻松搞定，解决了很多的存储难与存储传输难的问题。
使用呆猫云盘的几大好处，企业存储资产更安全：1、使用呆猫远程桌面时可直接挂载云盘，轻松上传下载文件，支持在线修改文件。
2、项目资源统一集中管理，释放本地存储空间；支持弹性扩容，按需使用，降低本地硬件使用成本；
3、呆猫同一账号内存储互通，资源可异地共享，减少传输成本。
4、呆猫云盘与渲云网盘存储互通，使用渲云提交渲染任务时，内网同步，文件秒传，节省传输时间。
5、支持高并发读取资产文件，可同一账号最多可支持上千台机器同时读取云盘文件，提高工作效率。
6、高性能存储，百万级IOPS，超高算力助力设计行业发展。
7、云盘基于域控的安全策略，免受病毒攻击；提供多副本可靠性机制，即使机器出现故障，也不会引起数据丢失。
把你需要存储的数据放到网上，不占用你自己设备的内存，当你需要使用时从网上下载。这之间会产生数据流量。
云存储其实我们都经历过，2013年-2016年蓬勃发展，而后被玩坏的云盘，就是典型代表，虽然我们控制权益不多，只能上传下载，离线，共享，基本当作网络硬盘和交流工具使用，但却解决了人们的燃眉之急。我们现在部分手机上还有云端保存照片的功能。
实际的云存储并不是这么简单，引用一下网络：
云存储是建立在云计算的基础上，为云计算服务。对于我们似乎太深奥，但又息息相关，我们只需要知道它是好东西就行了。不单单能当作个人网络上的储存空间。
8. 两台windows2008 共同使用一个存储，两台windows2008同时使用一个各存储设备 互相都可以使用 如何集群
数据块级存储一个逻辑卷同时只能给一台服务器操作,不可能多服务器同时进行数据块级写操作.所以理论上来说真正的双机双工是不可能实现的.现在很多集群软件厂商提供的双机双工软件只不过是用集群中的1台服务器作为写操作主服务器,所有集群中服务器想往存储中写数据表面上是直接写入存储,实际上是集中到那台主服务器上,由主服务器来完成的.这种双机双工有一定的优点,缺点同样明显.
如果需要这种双机双工,去找专业软件厂商,可以咨询一下Veritas经销商,Rose和Lifekeeper应该是实现不了的,操作系统自带的集群软件你就别想了,没法儿实现.
9. 大数据时代下的三种存储架构
大数据时代下的三种存储架构_数据分析师考试
大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。
传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。
基于大数据应用需求，“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点，才能满足具备大数据特征的业务应用需求。
尤其在云安防概念被热炒的时代，随着高清技术的普及，720P、1080P随处可见，智能和高清的双向需求、动辄500W、800W甚至上千万更高分辨率的摄像机面市，大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。
目前市场上的存储架构如下：
（1）基于嵌入式架构的存储系统
节点NVR架构主要面向小型高清监控系统，高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房，存储容量相对较小，用户体验度、系统功能集成度要求较高。在市场应用层面，超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。
（2）基于X86架构的存储系统
平台SAN架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过录像存储管理模块存储到SAN中。
此种架构接入高清前端路数相对节点NVR有了较高提升，具备快捷便利的可扩展性，技术成熟。对于IPSAN而言，虽然在ISCSI环节数据并发读写传输速率有所消耗，但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点，仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多，比如县级或地级市高清监控项目，大数据量的并发读写对千兆网络交换提出了较大的挑战，但应用FCSAN构建相对独立的存储子系统，可以有效解决上述问题。
面对视频监控系统大文件、随机读写的特点，平台SAN架构系统不同存储单元之间的数据共享冗余方面还有待提高；从高性能服务器转发视频数据到存储空间的策略，从系统架构而言也增加了隐患故障点、ISCSI带宽瓶颈导致无法充分利用硬件数据并发性能、接入前端数据较少。上述问题催生了平台NVR架构解决方案。
该方案在系统架构上省去了存储服务器，消除了上文提到的性能瓶颈和单点故障隐患。大幅度提高存储系统的写入和检索速度；同时也彻底消除了传统文件系统由于供电和网络的不稳定带来的文件系统损坏等问题。
平台NVR中存储的数据可同时供多个客户端随时查询，点播，当用户需要查看多个已保存的视频监控数据时，可通过授权的视频监控客户端直接查询并点播相应位置的视频监控数据进行历史图像的查看。由于数据管理服务器具有监控系统所有监控点的录像文件的索引，因此通过平台CMS授权，视频监控客户端可以查询并点播整个监控系统上所有监控点的数据，这个过程对用户而言也是透明的。
（3）基于云技术的存储方案
当前，安防行业可谓“云”山“物”罩。随着视频监控的高清化和网络化，存储和管理的视频数据量已有海量之势，云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务，在未来安防监控行业有着客观的应用前景。
与传统存储设备不同，云存储不仅是一个硬件，而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心，通过应用层软件对外提供数据存储和业务服务。
一般分为存储层、基础管理层、应用接口层以及访问层。存储层是云存储系统的基础，由存储设备（满足FC协议、iSCSI协议、NAS协议等）构成。基础管理层是云存储系统的核心，其担负着存储设备间协同工作，数据加密，分发以及容灾备份等工作。应用接口层是系统中根据用户需求来开发的部分，根据不同的业务类型，可以开发出不同的应用服务接口。访问层指授权用户通过应用接口来登录、享受云服务。其主要优势在于：硬件冗余、节能环保、系统升级不会影响存储服务、海量并行扩容、强大的负载均衡功能、统一管理、统一向外提供服务，管理效率高，云存储系统从系统架构、文件结构、高速缓存等方面入手，针对监控应用进行了优化设计。数据传输可采用流方式，底层采用突破传统文件系统限制的流媒体数据结构，大幅提高了系统性能。
高清监控存储是一种大码流多并发写为主的存储应用，对性能、并发性和稳定性等方面有很高的要求。该存储解决方案采用独特的大缓存顺序化算法，把多路随机并发访问变为顺序访问，解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。
针对系统中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。在海量视频存储检索应用中，检索性能尤为重要。传统文件系统中，文件检索采用的是“目录-》子目录-》文件-》定位”的检索步骤，在海量数据的高清视频监控，目录和文件数量十分可观，这种检索模式的效率就会大打折扣。采用序号文件定位可以有效解决该问题。
云存储可以提供非常高的的系统冗余和安全性。当在线存储系统出现故障后，热备机可以立即接替服务，当故障恢复时，服务和数据回迁；若故障机数据需要调用，可以将故障机的磁盘插入到冷备机中，实现所有数据的立即可用。
对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展能力十分重要。市场中已有友商可提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。
云存储系统除上述优点之外，在平台对接整合、业务流程梳理、视频数据智能分析深度挖掘及成本方面都将面临挑战。承建大型系统、构建云存储的商业模式也亟待创新。受限于宽带网络、web2.0技术、应用存储技术、文件系统、P2P、数据压缩、CDN技术、虚拟化技术等的发展，未来云存储还有很长的路要走。
以上是小编为大家分享的关于大数据时代下的三种存储架构的相关内容，更多信息可以关注环球青藤分享更多干货
10. 服务器集群算是云存储么
不算，服务器集群是算本地资源。云存储是简单的来说是由运营商交付的。是你看不到但是可以使用的。