‘壹’ 数据容灾的三级体系
目前比较完善的容灾系统设计一般为三级体系结构的容灾系统，整套系统包括存储、备份和灾难恢复部分。以下使用惠普生产的备份服务器，模块化磁盘阵列，备份磁带库和相关容灾软件举例三级体系结构的容灾系统的建立。
1、数据存储子系统
正常情况下，业务系统运行在主中心服务器上，业务数据存储在主中心存储磁盘阵列EMA12000中。EMA12000具有从12个磁盘驱动器到最多126个磁盘驱动器的扩展能力，能跨越多个大型主机和混合的UNIX、多厂商的Windows NT、Windows 2000以及其他开放系统的平台。
惠普为EMA12000系统设计的ASC阵列控制软件，实现了对跨多服务器平台数据的集中式控制，使数据不管在何时、在何地、以及何种方式需要，其可用性都能以真正的零停机时间得到成分保证。
2、数据备份子系统
为了实现业务数据的实时灾难备份功能，关键应用可设置两个数据中心，分别是主中心和备份中心。主中心系统配置主机包括两台或多台HP ALPHA服务器以及其他相关服务器，通过构成SCSI CLUSTER组成多机高可靠性环境。主中心通过ATM/E3/WDM与备份中心连接。
在容灾系统解决方案中，正常情况下，业务系统运行在主中心服务器上，业务数据存储在主中心存储磁盘阵列EMA12000中，同时在备份中心配置EMA12000存储磁盘阵列。主中心存储磁盘阵列通过ATM/E3/WDM连接到备份中心磁盘阵列，DRM（数据复制管理器）使主中心存储数据与备份中心数据保持实时完全一致。
3、灾难恢复子系统
方案中，备份数据的磁带库安置在备份中心，利用备份服务器直接连接到存储阵列EMA12000和磁带库TL895，通过EBS（企业数据备份）和Legato NetWorker数据存储管理系统控制系统的备份。万一主数据中心出现意外灾难，系统可以自动切换到备份数据中心，在保持连续运行的基础上，快速恢复主数据中心的业务数据。
该套三级体系容灾方案具有高度的可用性。第一级，为了避免系统单点失败而影响整个系统的情况出现，采用了冗余的手段，大到主机，存储设备，小到光纤适配器，均具备冗余容错功能；第二级，无论是主机或存储设备出现故障，均可通过主/备份中心光纤交换机之间的连接来保证通信和数据的完整性；第三级，万一主数据中心出现意外灾难，系统可以自动切换到备份数据中心。三级体系的科学设计保证了数据容灾系统的高度可用性和可靠性。
不仅如此，惠普独有的HP OpenView网络设备管理软件从根本上将系统管理人员解脱出来。整个系统的设备虽然很多，但不论是主机系统，存储设备，还是光纤交换机，光纤卡，均能通过一台工作站进行集中的管理和监控，从另一个方面保证了整个业务系统的连续不断地运行。除正常的计划性停机外，该系统可以做到365×24的可用性。
‘贰’ 全闪存存储有什么优点
全闪存存储的优点显而易见，一般有三个方面精简、灵活、性能强。尤其是这个行业的领导品牌华为，它们家的全闪存存储产品更是自2011推出至今，一直保持着“零事故”记录，真真正正地做到了性能稳定。
‘叁’ SDG是什么意思
SDG中间件的核心服务模块包括四个子系统。信息服务子系统是为网格中的数据资源提供统一的信息服务，包括数据资源的属性信息、状态信息和特有的元数据信息等，实现资源描述和资源发现等功能。数据访问服务子系统是为大规模、分布、自治、异构的数据资源提供统一的访问接口，以方便科学数据库数据资源的共享和集成。存储服务子系统提供具有数据传输、存储管理以及配额分配功能的存储服务，利用高速网络环境提供网络服务，从而更有效利用数据中心的海量存储资源，解决各建库单位数据存储、备份和开展网络服务的困难。安全体系子系统提供科学数据网格中的统一安全体系和相应服务，包括访问数据资源所需的单点登录、认证、访问控制和记账服务，实现对数据资源有控制、有保障、有效率的共享。
SDG中间件的应用服务模块是SDG中间件的基础上提供了一些管理和应用工具。包括数据量统计分析工具、通用元数据管理工具、科学数据库CA系统、网格门户、通用数据管理工具、数据目录管理工具、访问控制工具包和存储共享工具等
四百年前伽利略首次把望远镜指向天空，结束了人类一直用肉眼进行天文观测的历史。一百五十年前，照相技术和光谱技术开始在天文观测中应用，单纯以人眼作为天文探测器的时代结束，天体物理学诞生并发展成为现代天文学的主流。五十多年前，在第二次世界大战中得到蓬勃发展的无线电技术使得天文学家的视野超出了可见光，射电天文学诞生。此后不久宇航时代到来，空间天文学诞生，人类对宇宙的观测扩展到了伽马射线、X射线、紫外和红外波段。
从二十世纪九十年代开始，天文学正经历着革命性的变化。这一变化是由前所未有的技术进步推动的，即望远镜的设计和制造、大尺寸探测器阵列的开发、计算能力的指数增长以及互联网络的飞速发展。
望远镜技术的进步使得人类可以建造大型的空间天文台，为伽玛射线、X射线、光学和红外天文的发展开辟了新的前景，同时也推动了新一代的大口径地面光学望远镜和射电望远镜的建造。现在，天文学家们正在计划建造功能更好口径更大的空间和地面望远镜，并将配备尺寸更大象素更多的探测器。随着众多先进的地面与空间天文设备的投入使用，大规模的观测数据正在产生，例如目前哈勃空间望远镜每天大约产生50亿字节的数据，我国正在建造的LAMOST望远镜也将产生每天30亿字节的数据，美国计划建造的“大口径巡天望远镜”将会达到每天10万亿字节的量级！目前，世界天文学数据量增倍的周期已经缩短到一年以内。
使天文学研究发生重大变化的另一个技术进步是快速互联网技术，这使得异地天文数据的交换和处理成为可能，使得观测数据具有巨大的科学产出的潜在意义。
巡天，就是对整个天区进行观测、普查。如果利用伽马射线巡天、X射线巡天、紫外巡天、光学巡天、红外巡天和射电巡天所得到的观测数据，用适合的方法对数据进行统一规范的整理、归档，便可以构成一个全波段的数字虚拟天空；而根据用户要求获得某个天区的各类数据，就仿佛是在使用一架虚拟的天文望远镜；如果再根据科学研究的要求开发出功能强大的计算工具、统计分析工具和数据挖掘工具，这就相当于拥有了虚拟的各种研究设施。这样，由数字虚拟天空、虚拟天文望远镜和虚拟研究设施所组成的机构便是一个独一无二的虚拟天文台。
中医药虚拟研究院由全国20余家中医药大学、学院及研究院所的近300位中医药数据库建设工作者组成。包括：中国中医研究院中医药信息研究所、中国中医研究院医史文献研究所、上海中医药大学、成都中医药大学、广州中医药大学、北京中医药大学、黑龙江中医药大学、南京中医药大学、山东中医药大学、福建中医学院、湖北中医学院、辽宁中医学院、河南中医学院、山西中医学院、天津中医学院、陕西省中医药研究院、吉林省中医药研究院、江西省中医药研究院、河南省中医药研究院、浙江省中医药研究院、上海市中医药文献馆、重庆中药研究院、重庆中医研究院等单位。通过集成已开发的70多个中医药数据库，建立一个虚拟的支持中医药科学研究的应用网格环境，建设中医药虚拟研究院。
高能物理的研究与信息技术密切相关，无论是大规模实验数据的处理，还是科学计算，以及贵重设备的共享，都可以是网格技术的直接应用。事实上，网格的发展在很大程度上就是得益于高能物理研究的推动。目前，国际上有几个重要的网格项目都与高能物理有直接的关系，如EU DataGrid、GriPhyN、PPDG、GridPP、等等。因此，高能物理网格是一类最有代表性的网格应用。甚至可以说，网格计算将是近期解决高能物理实验这样的世界性合作的、数据量极大的科学工程计算问题的唯一途径。
‘肆’ 数据中心是什么其系统结构和工作原理是怎样的呢
一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。
先大概列一下互联网行业数据仓库、数据平台的用途：
整合公司所有业务数据，建立统一的数据中心；
提供各种报表，有给高层的，有给各个业务的；
为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；
为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；
分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；
开发数据产品，直接或间接为公司盈利；
建设开放数据平台，开放公司数据；
。。。。。。
- 上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；
- 其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；
- 建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。
- 整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：
- 逻辑上，一般都有数据采集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同，本质上的角色都大同小异。
- 我们从下往上看：
- 数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。
- 数据源的种类比较多：
网站日志：
- 作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，
- 一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；
业务数据库：
- 业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapRece来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。
- 当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。
来自于Ftp/Http的数据源：
- 有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；
其他数据源：
- 比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；
- 数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。
- 离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapRece要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；
- 当然，使用Hadoop框架自然而然也提供了MapRece接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapRece来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapRece要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》
- 实时计算部分，后面单独说。
- 数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；
- 前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据；和数据采集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。
- 另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。
- 数据应用
业务产品
- 业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；
报表
- 同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；
即席查询
- 即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；
- 这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。
- 即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。
- 当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。
OLAP
- 目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；
- 这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；
- 比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。
其它数据接口
- 这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。
- 实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。
- 我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。
- 做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。
- 任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据采集任务、数据同步任务、数据分析任务等；
- 这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据采集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始；这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。
- 前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。
- 总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的资源专注于业务之上。
‘伍’ 什么是数据中心数据中心系统有哪几部分组成
IDC(Internet Data Center) - Internet数据中心，它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。
IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求
网络建设
IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面要求。
IDC的网络建设主要有： - IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。 - IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。 - IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。
- IDC的网络管理建设，由于IDC的网络结构相当庞大而且复杂，要保证其网络不间断对外服务，而且高性能，必须有一高性能的网络管理系统。
机房场地建设
机房场地的建设是IDC前期建设投入最大的部分。由于IDC的用户可能把其重要的数据和应用都存放在IDC的机房中，所以对IDC机房场地环境的要求是非常高的。IDC的机房场地建设主要在如下几个方面： - 机房装修：机房装修主要考虑吊顶、隔断墙、门窗、墙壁和活动地板等。- 供电系统：供电系统是IDC的场地建设重点之一，由于IDC的大量设备需要极大的电力功率，所以供电系统的可靠性建设、扩展性是极其重要的。供电系统建设主要有：供电功率、UPS建设（n+1）、配电柜、电线、插座、照明系统、接地系统、防雷和自发电系统等。- 空调系统：机房的温度、通风方式和机房空气环境等。- 安全系统：门禁系统、消防系统和监控系统。- 布线系统：机房应有完整的综合布线系统，布线系统包括数据布线、语音布线、终端布线。- 通信系统：包括数据线带宽、语音线路数目等。
‘陆’ 什么是数据中心
IDC即是Internet Data Center，是基于INTERNET网络，为集中式收集、存储、处理和发送数据的设备提供运行维护的设施以及相关的服务体系。IDC提供的主要业务包括主机托管(机位、机架、VIP机房出租)、资源出租(如虚拟主机业务、数据存储服务)、系统维护(系统配置、数据备份、故障排除服务)、管理服务(如带宽管理、流量分析、负载均衡、入侵检测、系统漏洞诊断)，以及其他支撑、运行服务等。
‘柒’ 传统大数据存储的架构有哪些各有什么特点
数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。
传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。
基于大数据应用需求，“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点，才能满足具备大数据特征的业务应用需求。
尤其在云安防概念被热炒的时代，随着高清技术的普及，720P、1080P随处可见，智能和高清的双向需求、动辄500W、800W甚至上千万更高分辨率的摄像机面市，大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。
目前市场上的存储架构如下：
(1)基于嵌入式架构的存储系统
节点NVR架构主要面向小型高清监控系统，高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房，存储容量相对较小，用户体验度、系统功能集成度要求较高。在市场应用层面，超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。
(2)基于X86架构的存储系统
平台SAN架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过录像存储管理模块存储到SAN中。
此种架构接入高清前端路数相对节点NVR有了较高提升，具备快捷便利的可扩展性，技术成熟。对于IPSAN而言，虽然在ISCSI环节数据并发读写传输速率有所消耗，但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点，仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多，比如县级或地级市高清监控项目，大数据量的并发读写对千兆网络交换提出了较大的挑战，但应用FCSAN构建相对独立的存储子系统，可以有效解决上述问题。
面对视频监控系统大文件、随机读写的特点，平台SAN架构系统不同存储单元之间的数据共享冗余方面还有待提高;从高性能服务器转发视频数据到存储空间的策略，从系统架构而言也增加了隐患故障点、ISCSI带宽瓶颈导致无法充分利用硬件数据并发性能、接入前端数据较少。上述问题催生了平台NVR架构解决方案。
该方案在系统架构上省去了存储服务器，消除了上文提到的性能瓶颈和单点故障隐患。大幅度提高存储系统的写入和检索速度;同时也彻底消除了传统文件系统由于供电和网络的不稳定带来的文件系统损坏等问题。
平台NVR中存储的数据可同时供多个客户端随时查询，点播，当用户需要查看多个已保存的视频监控数据时，可通过授权的视频监控客户端直接查询并点播相应位置的视频监控数据进行历史图像的查看。由于数据管理服务器具有监控系统所有监控点的录像文件的索引，因此通过平台CMS授权，视频监控客户端可以查询并点播整个监控系统上所有监控点的数据，这个过程对用户而言也是透明的。
(3)基于云技术的存储方案
当前，安防行业可谓“云”山“物”罩。随着视频监控的高清化和网络化，存储和管理的视频数据量已有海量之势，云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务，在未来安防监控行业有着可观的应用前景。
与传统存储设备不同，云存储不仅是一个硬件，而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心，通过应用层软件对外提供数据存储和业务服务。
一般分为存储层、基础管理层、应用接口层以及访问层。存储层是云存储系统的基础，由存储设备(满足FC协议、iSCSI协议、NAS协议等)构成。基础管理层是云存储系统的核心，其担负着存储设备间协同工作，数据加密，分发以及容灾备份等工作。应用接口层是系统中根据用户需求来开发的部分，根据不同的业务类型，可以开发出不同的应用服务接口。访问层指授权用户通过应用接口来登录、享受云服务。其主要优势在于：硬件冗余、节能环保、系统升级不会影响存储服务、海量并行扩容、强大的负载均衡功能、统一管理、统一向外提供服务，管理效率高，云存储系统从系统架构、文件结构、高速缓存等方面入手，针对监控应用进行了优化设计。数据传输可采用流方式，底层采用突破传统文件系统限制的流媒体数据结构，大幅提高了系统性能。
高清监控存储是一种大码流多并发写为主的存储应用，对性能、并发性和稳定性等方面有很高的要求。该存储解决方案采用独特的大缓存顺序化算法，把多路随机并发访问变为顺序访问，解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。
针对系统中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。在海量视频存储检索应用中，检索性能尤为重要。传统文件系统中，文件检索采用的是“目录-》子目录-》文件-》定位”的检索步骤，在海量数据的高清视频监控，目录和文件数量十分可观，这种检索模式的效率就会大打折扣。采用序号文件定位可以有效解决该问题。
云存储可以提供非常高的的系统冗余和安全性。当在线存储系统出现故障后，热备机可以立即接替服务，当故障恢复时，服务和数据回迁;若故障机数据需要调用，可以将故障机的磁盘插入到冷备机中，实现所有数据的立即可用。
对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展能力十分重要。市场中已有友商可提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。
云存储系统除上述优点之外，在平台对接整合、业务流程梳理、视频数据智能分析深度挖掘及成本方面都将面临挑战。承建大型系统、构建云存储的商业模式也亟待创新。受限于宽带网络、web2.0技术、应用存储技术、文件系统、P2P、数据压缩、CDN技术、虚拟化技术等的发展，未来云存储还有很长的路要走。
‘捌’ 第四篇：超融合
一、超融合是什么？
1、超融合是后虚拟化时代的一种产品形态
2000~2010年属于“前虚拟化时代” ，核心特点是：以x86服务器的广泛应用为基础，以服务器虚拟化为主线。业务层面云计算概念从提出、发展到逐渐落地，数据中心的底层IT架构也在不断升级。其中随着计算资源的密集整合，存储子系统的瓶颈越来越明显，需要一种新的技术/架构满足快速增长的需求，所以出现了软件定义数据中心概念，随后软件定义网络、软件定义存储等技术逐渐出现。
2010年左右进入“后虚拟化时代” ，底层IT架构从从服务器虚拟化向存储、网络虚拟化全面迈进。Pure Storage和Nutanix等云计算新锐公司开始进入人们的视野，从存储虚拟化入手提出超融合解决方案。
2、超融合的核心功能是分布式存储系统（存储虚拟化）和统一的资源管理平台
超融合第一个突破是实现了存储虚拟化。Google采用GFS建立了云计算数据中心场景下的分布式存储系统；在企业端也存在IT扩容升级的需求，其中存储的扩展不像计算那么容易，原有SAN和NAS对架构设计和后期运维的要求较高。超融合是简便的存储虚拟化方案，可扩展性强。
超融合第二个突破是实现对资源的统一管理。 超融合适用于虚拟化场景，VMware等实现对计算的虚拟化、分布式存储实现存储虚拟化、甚至可以通过NFV实现对网络的虚拟化，虚拟化之后可以通过控制面平台对资源进行灵活调配。超融合厂商不仅实现对硬件集成和虚拟化，同时提供直观、简易的配置管理工具。
3、超融合提供面向业务的一体化IT基础架构方案
数据中心IT部署的技术演进： 传统信息化架构（计算、存储、网络分立）->超大规模Scale-out架构（计算虚拟化、软件定义存储、设计部署维护较负责）->超融合？（目前有一些尝试）
企业数通IT部署的技术演进： 传统信息化架构->集成一体机（仍旧是传统分立架构，但是厂商把服务器、存储、交换机集成到一个机柜中）->超融合（以业务为中心，灵活扩展、方便维护）
4、超融合的应用场景
超融合四类典型应用：（1）VDI （2）大数据平台 （3）ROBO（4）容灾备份
桌面云/VDI ：某机构一期采用7个节点，用于支撑400个VDI桌面的迁移部署；二期新增加14个XC节点，其中部分用于VDI扩容，部分用于应用服务器虚拟化，包括手机证券、网上交易及其他。
大数据平台 ：国内很多把hadoop作为大数据存储（本来hadoop是做大数据计算的），超融合恰好是一个很好的存储解决方案。某机构采用8个全闪节点，其中一个核心模块量化分析。
ROBO ：远程/分支机构的统一部署，特别是不同地区不同机房的全局管理，采用Prism产品作为管理界面和接口。某机构部署了120个节点。
容灾备份 ：
二、超融合主要参与者及差异化？
1、DELL EMC ：2015年nutanix和vmware是很好的合作伙伴，到2015年之后vmare推出vsan超融合软件，nutanix也推出了自己的虚拟化软件AHV（使用nutanix客户中33%使用AHV）。2018年开始双方的合作基本结束了。从DELL EMC本身看，对超融合的重视程度逐渐提升，未来可能更加注重大客户的拓展。
2、深信服： 深信服有自己的虚拟化产品和分布式存储系统，应该是基于开源的软件来开发的。深信服负责超融合的技术负责人是原来vmware的。深信服在产品上的主要优势，主要是包括网络虚拟化、网络安全以及管理界面比较友好。相比海外厂商，集成了网络功能尤其是安全功能是核心差异。
3、新华三： 整合了网络虚拟化的功能，新华三软件授权成本控制非常灵活，主要是通过硬件销售获利。
4、华为： 华为比较有意思，向用户首推存储系列产品，如果用户有超融合需求再推广超融合。目前华为的fusioncube还没有整合网络功能，但是如果需要的话也可以很快地整合。
5、浪潮： 跟vmware谈了一个合作，另外浪潮也在跟nutanix在讨论合作。比如银行有个项目，浪潮已经入围了，加上nutanix的软件可以当作浪潮的一个特殊型号。
6、联想： 软件实力较弱主要是OEM，跟nutanix有合作。
三、超融合未来趋势？
1、Nutanix的未来规划
nutanix规划的三个阶段：
（1）基础设施的超融合；
（2）超融合的2.0阶段，除了超融合之外提供管理界面，连接其他基础设施（超融合、公有云、私有云）；
（3）企业云，除了做底层资源，可以做应用交付，目前也收购了一些做企业应用的项目。
2、与公有云、私有云的关系
超融合的最大竞争对手是公有云。 但是公有云存储一般是跑非结构性数据的（比如图像、视频），超融合主要面向结构化数据。另外面向C端的服务大都使用公有云，但是内部管理及部分生产系统倾向使用超融合/私有云。
超融合可以看做是私有云的一种形态。 客户如果有虚拟化的需求，一般会采用超融合。从这个角度看，在整个企业的云市场，超融合架构可能占比超过一半。就银行客户来讲，不太愿意采用阿里、腾讯的基础设施，一般会用Paas层的服务（比如百信银行，腾讯提供的大数据分析模型，），但是IT基础设施自己建设。
3、Nutanix为什么不做网络虚拟化？
网络开源软件是openswitch，后来openswitch被vmware收购了，市场上新进入者找不到合适的网络开源技术。
‘玖’ 简述存储管理的主要功能。
虚拟内存技术不仅仅可让我们可以使用更多的内存，它还提供了以下功能：
1、寻址空间
操猛竖作系统让系统看上去有比实际内存大得多的内存空间。虚拟内存可以是系统中实际物理空间的许多倍。每个进程运行在其独立的虚拟地址空间中。这些虚拟空间相互之间都完全隔离开来，枝薯大所以进程间不会互相影响。
同时，硬件虚拟内存机构可以将内存的某些区域设置成不可写。这样可以保护代码与数据不会受恶意程序的干扰。
2、内存映射
内存映射技术可以将映象文件和数据文件直接映射到进程的地址空间。在内存映射中，文件的内容被直接连接到进程虚拟地址空间上。
3、物理内存分配
内存管理子系统允许系统中每个运行的进程公平地共享系统中的物理内存。
4、共享虚拟内存
尽管虚拟内存允许进程有其独立的虚拟地址空间，但有时也需要在进程之间共享内存。 例如有可能系统中有几个进程同时运行BASH命令外壳程序。为了避免在每个进程的虚拟内存空间内都存在BASH程序的拷贝，较好的解决办法是系统物理内存中只存在一份BASH的拷贝并在多个进程间共享。
动态库则是另外一种进程间共享执行代码的方式。共享内存可用来作为进程间通讯(IPC)的手段，多个进程通过共享内存来交换信息。 Linux支持SYSTEM V的共享内存IPC机制。
(9)数据中心的存储子系统扩展阅读
DAS、NAS和SAN三种存储方式比较
存储应用最大的特点是没有标准的体系结构，这三种存储方式共存，互相补充，已经很好满足企业信息化应用。
从连接方式上对比，DAS采用了存储设备直接连接应用服务器，具有一定的灵活性和限制性；NAS通过网络（TCP/IP,ATM,FDDI）技术连接存储设备和应用服务器，存储设备位置灵活，随着万兆网的出现，传输速率有了很大的提高。
FC-SAN则是通过光纤通道（Fibre Channel）技术连接存储设备和应用服务器，具有很好的传输速率和扩展性能。三种存储方式各有优势，相互共存，占到了磁盘存储市场的70%以上。SAN和NAS产品的价格仍然远远高于DAS.许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。
客观的说，SAN和NAS系统已经可以利用类似自动精简配置（thin provisioning）这样的技术来弥补早期存储分配手念不灵活的短板。然而，之前它们消耗了太多的时间来解决存储分配的问题增加内链，以至于给DAS留有足够的时间在数据中心领域站稳脚跟。
此外，SAN和NAS依然问题多多，仍然无法解决。但是SAN常用于大型网络存储的建设，并且在混合存储技术成熟的未来，是颇具潜力的。
参考资料来源：网络-存储管理
参考资料来源：网络-存储
‘拾’ 什么是数据中心
数据中心就是服务器的集中，数据中心（DataCenter）通常是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理，而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备。
数据中心的组成
很荣幸能够看到这个问题，本人十八年的网络技术领域，在一线互联网公司和厂商工作过，热衷于分享网络技术包括，有线、无线、路由器、交换机、华为认证、思科认证等周边问题。 高兴给大家分享我对这个问题看法与想法，废话不多说让我们一起走进这个问题，那现在让我们一起探讨一下关于这个问题。
无聊的旅行者在等待航班起飞时可以在线播放影片，学生可以打开喜爱的播放列表让自己专心学习，这一切之所以可以实现，往往要归功于设备本身。但真正的超级英雄是数据中心，是它们在幕后执行各种繁重的任务，给用户带来顺畅无缝的数字服务。
数据中心内有大量服务器（全天候存储和提供数据的高性能计算机）。计算需求每天都在飞速增长 - 每月新增的网民数以百万计。对更多数据的需求意味着对更多数据中心的需求。
通俗理解就是为企业、媒体、网站提供大规模、高质量、安全可靠的互联网服务，主要包括：服务器托管、网站空间租用、带宽批发等业务。这使得很多企业、政府单位、教育机构等单位不用再去建设自己的机房，也无需聘请专门的技术人员去进行维护管理，这样以来便可以节省很大一部分的费用。
其次，idc数据中心就是指大型机房，利用通信运营商已有的互联网通信线路、带宽资源，建立标准化的数据中心机房环境，为企事业单位、政府机构、个人提供服务器托管、租用业务以及相关增值等方面的全方位服务。主要包括专业化域名注册查询,主机托管(机位、机架、机房出租)、资源出租(如虚拟主机业务、数据存储服务)、系统维护(系统配置、数据备份、故障排除服务)、管理服务(如带宽管理、流量分析、负载均衡、入侵检测、系统漏洞诊断)，以及其他支撑、运行服务等。
idc数据中心有两个明显的特征，分别是在网络中的位置和总的网络带宽容量，二者构成了网络基础资源的一部分，像骨干网、接入网一样，idc提供了一种高端的数据传输接入服务。像最有名的数据中心是谷歌的，为了满足全球急剧增长的云端数据存储需求，Google 在芬兰的哈米纳、比利时的圣吉斯兰、爱尔兰的都柏林以及荷兰的埃姆斯哈文建造了自己的数据中心，它们均是在过去 11 年里建造完成的。这些数据中心每年的运营成本平均为 3 亿欧元，这在偏远地区创造了大量之前没有的职位，从专业的 IT 技术人员和工程师，到餐饮、设施、安保、景观园林等方面的职位，一应俱全。
总之，简单举例来说，最近很火的中国新四大发明高铁（高铁订单系统）、支付宝（支付宝的支付流水）、共享单车（共享单车的定位）以及网购（网购的信息和物流配送）等等，这些都离不开idc数据中心的支持。通过以上介绍，想必大家对idc已经有了进一步的了解。
关于在以上我的精彩的分享是关于这个问题的解答与看法，都是我个人的想法与观点，在这里同时我希望我分享的这个问题的解答于分享能够帮助到大家。
我也希望大家能够喜欢我的解答，大家如果有更好的关于这个问题的解答与看法，望分享评论出来，共同走进这话题。
我在这里，发自内心真诚的祝大家每天开开心心工作快快乐乐，拥有好身体，同时也祝大家在自媒体行业有一个好的发展，谢谢。
顾名思义就是用来集中管理(存储，计算，交换)数据的地方。内部主要用于放置计算机设备、服务器设备、网络设备、存储设备等， 这些关键设备是数据中心的核心、企业的大脑。
其存在是为了 全面、集中、主动 、 有效 地管理和优化IT基础架构， 实现信息系统高水平的可管理性、可用性、可靠性和可扩展性，保障业务的顺畅运行和服务的及时提供。
目前，数据中心行业应用广泛，上下游产业链条完整。 我国重点发展的各大新兴产业，如人工智能、远程医疗、工业互联网等，均需要以数据中心作为产业支撑。
说完基础的，再来聊聊当前 科技 是如何带动数据可视化管理的~
IDC 是国家“新基建”战略的重要信息化基础设施，为有效带动 5G、人工智能、物联网、云计算、大数据全产业链发展。 在政策的推动下，数据中心产业逐渐实现规模化、集中化、绿色化、布局合理化的趋势。
Hightopo 在数据中心三维可视化中，摒弃传统的图表方式，自主研发了基于 HTML5 的 2D、3D 图形渲染引擎 HT for Web，为 Web 可视化提供了丰富的展示形式和效果。通过专业的开发与设计团队，将 2D 与 3D 有机的融合在一起，保证设计效果的完整呈现，达到所见即所得的效果。实现对数据中心的众多子系统集中调配管理的目的，降低机房管理难度，减轻机房运维压力。也可为各种不同业务诉求增长提供了灵活的解决方案。
为了满足数据中心日益增长的需求，图扑开发了一款机房快速实施工具，通过工具可快速便捷地搭建出机房三维场景，近年来我们也为客户在全国各地实施部署上线了众多数据中心可视化项目。
在 3D 视觉化环环境中，可以清楚地看到管线分布的全景视图，操作员可以查看单个设备的所有链路信息来确认，或显示链路中包含的所有设备。呈现数据中心从高压市电引入至列头柜（智能母线、PDU）输出的变配电系统设备和线路。
Hightopo 可视化监控满足对设备远程的正确维护和保养，保障机房设备稳定、可靠、节能运行，确保通信设备的运行环境，延长设备的生命周期，降低设备的故障率。
更多数据中心可视化解决方案尽在图扑~
数据中心（Data Center）是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。
《行动计划》强化了新型数据中心利用率、算力规模、能效水平、网络时延等反映数据中心高质量发展的指标，弱化了反映体量的数据中心规模指标。 计划到 2021 年底，全国数据中心平均利用率力争提升到 55%以上，总算力超过 120 EFLOPS，新建大型及以上数据中心 PUE 降低到 1.35 以下。到 2023 年底，全国数据中心平均利用率力争提升到 60%以上，总算力规模超过 200 EFLOPS，高性能算力占比达到 10%，新建大型及以上数据中心 PUE 降低到 1.3 以下，严寒和寒冷地区力争降低到 1.25 以下，国家枢纽节点内数据中心端到端网络单向时延原则上小于 20 毫秒。
今天整理了数据中心行业报告，一共26份，或许对这个问题的回答，有帮助：
欢迎收藏。
方便随时找到的同时，更让自己愿意改变行动！也让我更加有动力和大家分享干货，一举两得