㈠ 苹果为什么把数据中心建设在贵州
我觉得苹果这么做有以下几个原因
法律规定最直接的原因就是去年6月1日颁布的《网络安全法》，对在中国境内经营的国外公司做出了新规定，为了最大程度上维护消费者权益，必须将敏感数据存储在国内的服务器中。而且该法律明确规定：所有与宽泛定义的国家安全问题有关的中国公民或地区数据都是敏感数据，而且云服务的运营方必须为本地企业。
访问速度上升先前国内用户访问icloud时捉急的速度让人心累，而此次，我亲测，访问icloud的速度大大提升，同时服务会更加的稳定，这对于依赖苹果icloud服务的用户，尤其对于mac用户十分友好。
温度适宜，电价便宜对于为什么建设在贵州，我觉得和贵州独天得厚的天气有关，数据库对于温度的要求较高，理想的温度可以有效的减少数据库的电力供应，贵阳天气凉爽，周边年平均气温 15.1 ，夏无酷暑，冬无严寒。同时贵州地区水电资源丰富，所以可以提供稳定的电力来源。
在 iCloud 服务转由国内运营之际，聊聊苹果数据中心落地贵州的前因后果。
近日，有媒体报道，苹果国内首个数据中心即将正式启用，并将从今年 2 月 28 日起，由苹果合作伙伴云上贵州公司负责运营中国内地的 iCloud 服务，而在此之前，包括富士康、中国移动、联通、电信、思科、华为、腾讯、阿里巴巴等企业都集中在贵州设立数据中心。
苹果为什么突然要在国内建立数据中心？对消费者而言又有什么好处？为什么会有那么多企业青睐在贵州设立数据中心？
2016 年 11 月，中国公布了于 2017 年 6 月 1 日正式施行的《网络安全法》，对在中国境内经营的国外公司做出了新规定，为了保障网络安全，维护网络空间主权和国家安全、 社会 公共利益，保护公民、法人和其他组织的合法权益，必须将个人信息和重要数据存储在国内的服务器中，而且要求云服务的运营方必须为本地企业。
而这便是苹果投入 10 亿美金在贵州建设数据中心，并独家授权云上贵州运营内地的 iCloud 服务最重要的原因。目前，包括微软、IBM 和亚马逊等不少美国 科技 集团，都已经通过本地合作伙伴在中国地区提供云基础设施服务。
而这也令人想起了近来比较热的 360 从美股退市并回归 A 股的故事，周鸿祎表示，曾不断有国家有关部门负责人找他谈话，希望 360 能够回归中国。当时，政府认为没有网络安全就没有国家安全。360 是一个安全公司，上百家企业单位使用着 360 的软件，而 360 也为包括政府部门、外交单位以及国防科研院等政府机构，甚至为敏感单位提供安全防护的软件和解决方案，服务对象数量庞大。但 360 却是一个外资企业，虽然是由中国人掌控。
当然，遇见类似问题的还有华为在美国的业务，华为之所以在美国业务受阻，本质上也是出于国家安全考虑。
据《金融时报》报道，对于中国在内的世界各国执法部门提出的合法数据获取需求，苹果都已经同意了。但《金融时报》也指出，据美国法律规定，如果外国政府想获取储存在美国服务器上的该国公民数据，走完流程时间或将长达数年。而将国内用户数据迁到贵州数据中心，则会让法律程序走得更快更方便。 苹果强调，他们会并仅会响应符合法律程序的数据要求，而受到密钥保护的设备，苹果无法进行解锁。
因此，苹果在贵州建设数据中心，并独家授权贵州省级别政府督办的云上贵州运营，便是为了满足政府对国家安全方面的需求。按照某些媒体的报道，独家授权给云上贵州运营内地的 iCloud 服务之后，苹果的数据便再也不只是苹果一家外资企业了，甚至云上贵州将反而能更加方便地接触到这些数据。
当然，除了国防安全方面的好处以外， 苹果自己也多次称在内地建设数据中心将改善中国用户使用 iCloud 的体验。
此前苹果一直利用海外（主要是美国）的数据中心为国内 iCloud 用户提供服务，众所周知，中国的出口带宽很窄，本地用户访问 iCloud 文件时会时常遭遇到超时、进度缓慢等问题。数据中心落户贵州后，服务会更稳定，对 iPhone 、iPad、Mac 用户来说，这将是件喜讯。
苹果在国内建立数据中心，这其实并不难理解，但真正让人看不懂的，就是苹果为什么选在经济相对落后的贵阳？贵州，GDP 并不像东南沿海省市那么耀眼，也不像东北三省那么满是槽点，这曾是一个在中国经济、 科技 版图上中庸到几乎令所有人都会遗忘的中西部大省，然而，高大上的云计算与大数据为什么没有跟经济、 科技 方面更加发达北上广深搭上亲，反而跟贵州这个落后地区成了亲家？
天时，适宜的气象条件：
据了解，温度控制问题一直是数据中心面临的一个挑战，而其中冷却设备仍然是其基础设施的重要组成部分。确保数据中心的最佳冷却不仅能够延长 IT 硬件的使用寿命，提高了电力使用效率（PUE），并降低了服务器故障的风险，而且还可以降低数据中心运营成本。据估计，数据中心最大特点是高耗能，电力成本占整个支出成本的 50%-70%，而其中制冷过程消耗的电能又占数据中心所有功耗的 40％！
因此，根据 2017 年早些时候的报道，Facebook 公司计划在北极圈内创建一个大规模的数据中心，这个区域具有理想的温度和湿度来保持服务器的冷却。同时，微软公司一直在试验可能既经济又环保的水下数据中心。当然，这并不意味着数据中心就一定要建在北极或水下。
据了解，数据中心对于气候来说，不允许酷热和潮湿条件重合，因此意味着湿球温度不应超过 23 摄氏度。而贵阳市气候凉爽，周边年平均气温 15.1 ，夏无酷暑，冬无严寒。这样的温度差很容易形成温度差，形成自然风来为数据中心降温。因此，以 2014 年 6 月底建成的处于垭口之间的富士康绿色隧道数据中心举例，其四季风速为每秒 2 至 3 米，全年采用自然冷却，每年可节约 900 万度电。
另外，数据中心内的精密设备对于环境的要求较高，灰尘等都不利于设备的保护和长期使用。而贵州森林覆盖率 49%，空气清新，达到世界卫生组织设立的清新空气负氧离子标准的上限，是数据中心运营的佳地。
地利，安全稳定，距离适中：
数据中心一个重要要素就是要安全，首先，贵州不在主要地震带上，破坏性地震风险极低。其次，贵州也少有洪水。而且还无台风、飓风、龙卷风、暴雪等威胁。
另外，贵州省水资源丰富，贵州水电装机量排在全国第四位，而且电力水火并济，电力充沛，能源富足，贵州也一直号称南方电网的电池，是“西电东送”的起源。对于像数据中心这种电力消耗比较大的业务，放在电力资源丰富的贵州，容易获得更为低廉的电价。
人和，政策支持，人力互补：
当然，符合上述条件的地方还有很多，比如中国最大的比特币矿场所在地的四川等。但为什么偏偏是贵州、是贵阳抢到了包括苹果等企业？
其实，关键或许还是政府的支持。据中国网报道，2013 年被称为中国“大数据元年”，当年起，几乎所有世界级的互联网企业，都将业务触角延伸至大数据产业，次年 3 月，贵州便在北京举办了一场“贵州省大数据产业推介会”，而当时大部分城市都处于观望状态。
而贵州地方政府也敢为人先，贵州省政府专门做出规定，除有特殊需求外，贵州省所有省级政务部门将不再自建机房，为政府各部门之间数据的流通创造了条件。贵州也由此建成了全国第一家省级政务云平台“云上贵州”。逐渐地，贵州成功从昔日工业时代的跟随者，悄然变成大数据时代的同行者，甚至领跑者。
另外，在人才方面，相对北上广深来说，贵州在尖端人才上虽然没什么优势，但数据中心的建设、运营和维护人才还是有的，而且数据中心本身也并不是劳动密集型产业，所需员工其实并不多。
值得一提的是，因为数据中心基本上只是机房而已，需要的运营员工并不是太多，因此，包括贵阳本地的很多人都认为大数据跟他们的生活并没有什么关系，并不会带来太多的就业。但货车帮方面认为，这应该是一个潜移默化的过程，先引进这些可能不需要太多人的大数据产业，再在此基础上做更多的产业扩展，这是一个必须经历的过程。
据了解，苹果选择在贵州建设数据中心，必然会带动更多企业在贵州建设数据中心，现在的问题就是何时从量变到质变了。
据Data Center Knowledge网站北京时间7月12日报道，苹果公司今天宣布，将在贵州省建立在中国的第一个数据中心。 历史 上，贵州是中国最贫穷的省份之一。但是现在，贵州已经逐步发展成了中国大数据中心。
在中国，发达工业城市一片繁华。但是与此同时，崎岖、落后的地区则相当贫穷。
大数据中心
作为最偏远、 历史 上最贫穷的中国西南部省份之一，贵州在短时间内突飞猛进，很有希望成为中国向大数据领域推进的中心。10年前还像郊区的地方现在已经成为了新的市区，建成了摩天大楼、会展中心和数据中心等配套设施。
高铁、大桥、隧道以及增加的国际航班把贵州与国内外城市连接在一起，帮助其摆脱了隔离，拥抱世界。
按照GDP衡量，贵州在中国31个省份中排名第25位。贵州已经连续三年举办为期四天的中国国际大数据产业博览会。2017年大数据博览会在5月底结束，参展公司签署了价值24亿美元的合同。
许多 科技 巨头不远万里来参加博览会，包括苹果、Facebook、微软公司、谷歌公司、亚马逊公司、英特尔公司、IBM以及戴尔公司。斯坦福大学人工智能和伦理学教授杰瑞·卡普兰(Jerry Kaplan)、创业公司创业者周岚(Adelyn Zhou)、硅谷知名孵化器Founder Space创始人史蒂夫·霍夫曼(Steve Hoffman)、谷歌开发者关系地区负责人丹·菲尔德(Dan Feld)等硅谷精英也参加了今年的博览会。
气候适宜
贵州的常年平均气温保持在59华氏度(约合15摄氏度)，非常适合数据中心的运营。在吸引公司前来投资方面，政府也做出了出色的工作，推出了试点工程，并为水电的使用提供优惠。
除了代工iPhone、Kindle以及PlayStation 游戏 机等设备外，富士康也生产服务器。富士康在贵州建立了一个绿色隧道数据中心，里面有6000台服务器，距离贵阳市有一个小时的车程。
和许多内地公司一样，富士康也希望借助云计算、网络化机器以及人工智能的应用，让其制造过程更为高效。所有这些都需要存储和分析海量数据。
其实主要有这些原因：
1、 大数据需要大型数据中心承载，大型数据中心需要建在气候凉爽、能源充沛、地质稳定的地方，贵州正是天然之选。工信部评估报告显示，贵州是中国南方最适合建设大型绿色数据中心的地区。
2、 早在2015年数博会期间，苹果公司副总裁丽莎·杰克逊当天在贵阳考察时即表态，苹果公司将进一步密切与贵州的沟通交流，与贵州省和富士康 科技 集团一道，共同推动苹果公司亚太数据中心落户贵州。
3、 云上贵州大数据产业发展有限公司背景。其由贵州省大数据发展管理局履行出资人职责，贵州省国有企业监事会进行监管。政府支持。各类人才云集，已经拥有数十个控股和参股公司，业务涉及大数据产业和大数据金融等多个领域。
对我们有什么影响？
得益于贵州当地政府的重视，过去几年来，以贵阳国际大数据博览会（简称“数博会”）为代表，贵州已吸引了三大运营商，它们都选址国家级新区贵安新区建设数据中心，总投资规模高达 150 亿人民币。苹果的合作伙伴、代工巨头富士康也在此建设了一个拥有 6000 台服务器的绿色隧道数据中心。
除了贵州以外，苹果日前还宣布将投资 9.21 亿美元在丹麦境内建设一个新的数据中心，位置在丹麦和德国的边境地区，这是苹果在丹麦建设的第二个数据中心，第一个仍在建设中，预计年底将可以投入使用。之所以选址丹麦是因为数据中心集合了大量的服务器，运行起来产生的热量惊人，建在北欧较为寒冷的地区，一方面可以降低电力消耗，另一方面还可以为当地居民供暖，可谓是双赢之举了。
贵州在大家的映象中是比较穷的省份，不但经济落后，除了茅台也少有知名的企业，可大家不了解的是贵州的发展速度，近几年的贵州的经济增长一直排名全国前三，是 旅游 人数最多的省份之一，也是世界的桥梁之都，高速公路里程全国第四，综合密度全国第一。
贵州的自然条件优越，自然灾害少，很少有地震，数据机房的安全得到保证，空气清新，污染少，满足了机房对空气洁净的要求，本来贵州就冬无严寒夏无酷暑，再加之贵州有丰富的清洁能源，电费较为便宜，能大大降低运行成本，还有就是政府对大数据企业在土地税收等的优惠扶持，综合多方面的因素，最适合建大数据中心，贵州大数据是首个国家大数据中心。
除了苹果把数据中心放在贵州，富士康、阿里巴巴、腾讯、华为以及三大运营商都把数据中心建在贵州。还是那句广告语说得好:走遍大地神州，醉美多彩贵州。
苹果数据库建立贵州：1因为全球最大的 也就是那个大锅在贵州，也就是说贵州已成为信息网、2 不仅是苹果公司，还有华为、腾讯、富士康、阿里巴巴等等，贵州将成为网络系统集成地！3不是你们那些无知说什么贵州穷，地便宜什么的，你去贵州就知道了，现贵州县县通高速，在过几年县县通城际 、未来的贵州将成为全国人民所期待之处。其实消费一点不便宜，贵阳打 10元起步！
其实不止是苹果，华为和腾讯等大企业也纷纷在贵州建立数据中心。而贵州更是被称为中国的大数据“硅谷”。那么为什么三大运营商、华为、腾讯、苹果等 科技 巨头都选择在贵州建立数据中心呢？
首先就是节省电费这个先天优势。要知道，数据中心最大的特点就是“高能耗”。电力成本是整个支出成本的50%~70%，其中一半来自于服务器等设备的供电，另一半来自于机器设备散热的“空调费”。
而从气温和能源来说，贵州是公认的中国南方最适合建立数据中心的地方。贵州常年气温保持在14 到16 ，即便最炎热7月份，平均气温也只有23.7 ，是服务器等设备运行最合适的温度。
而根据华为的说法“大数据基地建在北京需要1块钱1度电，贵阳只需要4毛。我们不需要什么优惠政策，放在贵州，建成运行后一年可以节约上亿的电费”。
其次就是政策优势所导致的“弯道超车”。2013年是中国“大数据元年”，大数据的到来，贵州和北上广的等一线发达地区站在同一起跑线上。
贵州专门颁布了一系列政策，用于支持贵州大数据的发展。2014年开始，贵州鼓励奖政府部分的数据迁移到云端，即“云上贵州”，除了特殊需求，不再自建机房，这个在全国范围内都是超前的。
总之，贵州发展大数据产业占据了天时地利人和的优势，贵州独特的自然环境和精准有利的政策支持是贵州大数据产业发展的两大法宝。
不仅仅是苹果，现在华为，腾讯，京东很多互联网企业都把数据中心建在了贵州，所以我们要分析一下贵州有哪些优势。
一是贵州的气候宜人，夏季平均气温在22—25摄氏度，相比于其他各省，可以有效的降低高温带来的能耗。 二是贵州电力资源丰富，电价低。贵州是西电东送的主力，水利发电量居全国第四，丰富的电力资源给数据中心带来了低成本的电价。 三是贵州交通便利。贵州省是我国西部首先县县通高速的省份，高速公路总里程7600公里，总里程全国第四，公路网密度居全国第一。其次是贵州高速铁路发达，现有成贵高铁、渝贵高铁、沪昆高铁、贵广高铁等，高铁里程截止2019年1340公里，居全国15位，未来2021年贵州将完成市市通高铁目标。 四是贵州地理位置优越。贵州处于地震带之外，地壳稳定，据统计贵州境内没出现过6级以上地震，所以安全性是值得肯定的。 五是贵州政府政策扶持。大数据中心的建立，对于贵州来说经济发展可以搭上信息 科技 的快速通道，所以政府在企业发展上提供了很大的便利，主要是企业服务绿色通道，人才培养，金融服务，企业上市等等，将大数据作为贵州的发展战略。
最近这些年，贵州作为大数据中心的确很火热的，不止是苹果，连华为、腾讯，还有三大运营商（移动、联通、电信）的数据中心，都建设在贵州的，其实，原因都各自有各自的考虑，但分析起来，无外乎主要就是下面的几点吧：
1、自然条件上，贵州深处内陆，地质结构比较稳定， 很少有地震、洪涝等地质灾害 ，数据存储方面，很安全妥当，而且 夏季气温比较低 ，特别是省会，更是夏天的度假胜地，有“爽爽的贵阳”的说法，这样一来，可以为很多储存数据的机房， 节省不小的散热成本， 要知道，在贵州很多普通人家，夏天很多人连空调都没装的，因为真的很凉爽。
2、 社会 经济方面，贵州，特别是大数据比较集中的区域，也就是现在的贵安新区， 现在是一个才起步的国家级新区，规格高 ，现在整体来说， 地块以及各方面的成本，还没有那么高 ，对于一些 科技 巨头来说，如果能够在早期布局，有一定的成本优势，因为大数据中心占地面积大， 科技 巨头又和房企不一样，房企占了地可以卖房子，但是 科技 巨头用作数据中心，回款模式就不同于房地产开发商。
3、 zc方面的扶持和引导 吧，对于贵州搞大数据，是“有道理”的，虽然贵州整体来说， 科技 和人才这些软实力方面，和沿海发达城市和地区有不小的差距，但是 硬件先上 ，后期只要薪酬报酬给得高，不愁吸引不来人才，所谓的“筑巢引凤”就是这个道理。
4、可能是因为贵州属于后发崛起的地区吧，和沿海那些地方的“精明”不一样，这些年，接触下来的贵州人，不管男的女的， 大部分都相对比较朴实、淳朴，很有道德观念， 所以，有时候 对于金钱的诱惑，他们还是有一定的“抵抗力”的 ，并不纯粹全部是“唯利是图”的那种， 有的为人处世还比较传统，循规蹈矩的那种 ，所以数据中心放在贵州，还是比较放心的，至少能够少一些“为了利益出卖数据”的担忧。
总的来说，存在即合理，苹果公司不是一般的公司，他们对于数据存储地和运营商的选择，都是很专业的人才和工程师经过深思熟虑的，一定有他们的道理，而且， 每个企业、每个人和个体，都是自己利益的最佳判断者 ，全中国那么多地方，他们选择了贵州，那肯定是有他们自己的利弊考量的，所以，我们作为贵州本地人，当然是非常欢迎这些 科技 巨头来黔布局的，不仅能带动经济，还能增加就业机会。
苹果把数据中心建设在贵州，主要有以下几个原因：
1、根据网络安全法规定，苹果只能将国内苹果用户的数据存储在中国，由于针对国内用户比如Icloud的隐私以及安全性，维护苹果用户的隐私与安全，苹果只能在国内选择某地作为数据中心。
2、贵州作为全国最大的数据服务中心，世界五百强企业包括中国移动、联通、电信、腾讯以及阿里巴巴等都将服务器坐落在贵州，贵州拥有良好的自然环境，常年温度适宜在15-20摄氏度左右，缓解了了服务器高速运转发热的现象，节约了服务器维护的一部分成本；同时贵州省本地对服务器建设有很多利好，无论是地价还是电费对于服务器的建设都有很大的优惠，因此不少大型公司都将服务器选址坐落在贵州省。
据不完全统计，贵州所拥有的大数据企业，自从2013年开始，从最初的不到1000家增长到目前的8000家左右并且这一数字还在不断增长，其中不乏许多世界五百强企业。整个贵州省大数据产业规模实现超过1100亿元的收入，其中在2017年，贵州数字经济增速为37.2%，位列中国第一。
贵州省独特的地理气候、国家赋予的准确的定位加上当地良好的引导以及政策的优惠，使得不少企业都在贵州省开始建设数据中心，而苹果也正是看准了这一点，这是其他省份所不具备的优势！
㈡ HDFS 为何在大数据领域经久不衰
大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。
HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的数据。所以大数据技术越发展，新技术越多，HDFS得到的支持越多，越离不开HDFS。 HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术 。
HDFS是如何实现大数据高速、可靠的存储和访问的呢？
Hadoop分布式文件系统HDFS的设计目标是管理数以千计的服务器、数以万计的磁盘，将大规模的服务器计算资源当作一个单一存储系统进行管理，对应用程序提供数以PB计的存储容量，让应用程序像使用普通文件系统一样存储大规模的文件数据。
文件以多副本的方式进行存储：
缺点：
优点：
HDFS的大容量存储和高速访问的实现。
RAID将数据分片后，在多块磁盘上并发进行读写访问，提高了存储容量、加快了访问速度，并通过数据冗余校验提高了数据可靠性，即使某块磁盘损坏也不会丢数据。将RAID的设计理念扩大到整个分布式服务器集群，就产生了分布式文件系统，这便是Hadoop分布式文件系统的核心原理。
和RAID在多个磁盘上进行文件存储及并行读写的思路一样，HDFS是在一个大规模分布式服务器集群上，对数据分片后进行并行读写及冗余存储。因为HDFS可部署在一个大的服务器集群，集群中所有服务裤汪裂器的磁盘都可供HDFS使用，所以整个HDFS的存储空间可以达到PB级。
HDFS是主从架构。一个HDFS集群会有一个NameNode（命名节点，简称NN），作为主服务器（master server）。
HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用os中的文件系统一样，用户无需关心底层是如何存储数据的。 在底层，一个文件会被分成一或多个数据块，这些数据库块会被存储在一组数据节点中。在CDH中数据块的默认128M。 在NameNode，可执行文件系统的命名空间操作，如打开，关闭，重命名文件等。这也决定了数据块到数据节点的映射。
HDFS被设计为可运行在普通的廉价机器上，而这些机器通常运行着一个Linux操作系统。一个典型的HDFS集群部署会有一个专门的机器只能运行 NameNode ，而其他集群中的机器各自运行一个 DataNode 实例。虽然一台机器上也可以运行多个节点，但不推荐。
负责文件数据的存储和读写操作，HDFS将文件数据分割成若干数据块（Block），每个DataNode存储一部分Block，这样文件就分布存储在整个HDFS服务器集群中。
应用程序客户端（Client）可并行访问这些Block，从而使得HDFS可以在服务器集群规模上实现数据并行访问，极大提高访问速度胡闭。
HDFS集群的DataNode服务器会有很多台，一般在几百台到几千台，每台服务器配有数块磁盘，整个集群的存储容量大概在几PB~数百PB。
负责整个分布式文件系统的元数据（MetaData）管理，即文件路径名、数据块的ID以及存储位置等信息，类似os中的文件分配表（FAT）。
HDFS为保证数据高可用，会将一个Block复制为多份（默认3份），并将多份相同的Block存储在不同服务器，甚至不同机架。当有磁盘损坏或某个DataNode服务器宕机，甚至某个交换机宕机，导致其存储的数据块不能访问时，客户端会查找其备份Block访问。
HDFS中，一个文件会被拆分为一个或多个数据块。默认每个数据块有三个副本，每个副本都存放在不同机器，而且每一个副本都有自己唯一的编号：
文件/users/sameerp/data/part-0的复制备份数设为2，存储的BlockID分别为1、3：
上述任一台服务器宕机后，每个数据块都至少还有一个备份存在，不会影响对文件/users/sameerp/data/part-0的访问。
和RAID一样，数据分成若干Block后，存储到不同服务器，实现数据大容量存储，并且不同分片的数据能并行进行读/写操作，实现数据的高速访问。
副本陵镇存放：NameNode节点选择一个DataNode节点去存储block副本的过程，该过程的策略是在可靠性和读写带宽间权衡。
《Hadoop权威指南》中的默认方式：
Google大数据“三驾马车”的第一驾是GFS（Google 文件系统），而Hadoop的第一个产品是HDFS，分布式文件存储是分布式计算的基础。
这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，但大数据存储的王者依然是HDFS。
磁盘介质在存储过程中受环境或者老化影响，其存储的数据可能会出现错乱。
HDFS对存储在DataNode上的数据块，计算并存储校验和（CheckSum）。在读数据时，重新计算读取出来的数据的校验和，校验不正确就抛异常，应用程序捕获异常后就到其他DataNode上读取备份数据。
DataNode监测到本机的某块磁盘损坏，就将该块磁盘上存储的所有BlockID报告给NameNode，NameNode检查这些数据块还在哪些DataNode上有备份，通知相应的DataNode服务器将对应的数据块复制到其他服务器上，以保证数据块的备份数满足要求。
DataNode会通过心跳和NameNode保持通信，如果DataNode超时未发送心跳，NameNode就会认为这个DataNode已经宕机失效，立即查找这个DataNode上存储的数据块有哪些，以及这些数据块还存储在哪些服务器上，随后通知这些服务器再复制一份数据块到其他服务器上，保证HDFS存储的数据块备份数符合用户设置的数目，即使再出现服务器宕机，也不会丢失数据。
NameNode是整个HDFS的核心，记录着HDFS文件分配表信息，所有的文件路径和数据块存储信息都保存在NameNode，如果NameNode故障，整个HDFS系统集群都无法使用；如果NameNode上记录的数据丢失，整个集群所有DataNode存储的数据也就没用了。
所以，NameNode高可用容错能力非常重要。NameNode采用主从热备的方式提供高可用服务：
集群部署两台NameNode服务器：
两台服务器通过Zk选举，主要是通过争夺znode锁资源，决定谁是主服务器。而DataNode则会向两个NameNode同时发送心跳数据，但是只有主NameNode才能向DataNode返回控制信息。
正常运行期，主从NameNode之间通过一个共享存储系统shared edits来同步文件系统的元数据信息。当主NameNode服务器宕机，从NameNode会通过ZooKeeper升级成为主服务器，并保证HDFS集群的元数据信息，也就是文件分配表信息完整一致。
软件系统，性能差点，用户也许可接受；使用体验差，也许也能忍受。但若可用性差，经常出故障不可用，就麻烦了；如果出现重要数据丢失，那开发摊上大事。
而分布式系统可能出故障地方又非常多，内存、CPU、主板、磁盘会损坏，服务器会宕机，网络会中断，机房会停电，所有这些都可能会引起软件系统的不可用，甚至数据永久丢失。
所以在设计分布式系统的时候，软件工程师一定要绷紧可用性这根弦，思考在各种可能的故障情况下，如何保证整个软件系统依然是可用的。
## 6 保证系统可用性的策略
任何程序、任何数据，都至少要有一个备份，也就是说程序至少要部署到两台服务器，数据至少要备份到另一台服务器上。此外，稍有规模的互联网企业都会建设多个数据中心，数据中心之间互相进行备份，用户请求可能会被分发到任何一个数据中心，即所谓的异地多活，在遭遇地域性的重大故障和自然灾害的时候，依然保证应用的高可用。
当要访问的程序或者数据无法访问时，需要将访问请求转移到备份的程序或者数据所在的服务器上，这也就是 失效转移 。失效转移你应该注意的是失效的鉴定，像NameNode这样主从服务器管理同一份数据的场景，如果从服务器错误地以为主服务器宕机而接管集群管理，会出现主从服务器一起对DataNode发送指令，进而导致集群混乱，也就是所谓的“脑裂”。这也是这类场景选举主服务器时，引入ZooKeeper的原因。ZooKeeper的工作原理，我将会在后面专门分析。
当大量的用户请求或者数据处理请求到达的时候，由于计算资源有限，可能无法处理如此大量的请求，进而导致资源耗尽，系统崩溃。这种情况下，可以拒绝部分请求，即进行 限流 ；也可以关闭部分功能，降低资源消耗，即进行 降级 。限流是互联网应用的常备功能，因为超出负载能力的访问流量在何时会突然到来，你根本无法预料，所以必须提前做好准备，当遇到突发高峰流量时，就可以立即启动限流。而降级通常是为可预知的场景准备的，比如电商的“双十一”促销，为了保障促销活动期间应用的核心功能能够正常运行，比如下单功能，可以对系统进行降级处理，关闭部分非重要功能，比如商品评价功能。
HDFS是如何通过大规模分布式服务器集群实现数据的大容量、高速、可靠存储、访问的。
1.文件数据以数据块的方式进行切分，数据块可以存储在集群任意DataNode服务器上，所以HDFS存储的文件可以非常大，一个文件理论上可以占据整个HDFS服务器集群上的所有磁盘，实现了大容量存储。
2.HDFS一般的访问模式是通过MapRece程序在计算时读取，MapRece对输入数据进行分片读取，通常一个分片就是一个数据块，每个数据块分配一个计算进程，这样就可以同时启动很多进程对一个HDFS文件的多个数据块进行并发访问，从而实现数据的高速访问。关于MapRece的具体处理过程，我们会在专栏后面详细讨论。
3.DataNode存储的数据块会进行复制，使每个数据块在集群里有多个备份，保证了数据的可靠性，并通过一系列的故障容错手段实现HDFS系统中主要组件的高可用，进而保证数据和整个系统的高可用。
㈢ 开展微型数据存储技术创新研发抢占未来大数据存储技术高地的建议
我国数据存储核心技术长期落后，大数据中心按照传统的 科技 房地产的思路将面临资源约束。为了防止我国存储技术“卡脖子”，节省未来海量数据存储占地空间，系统化整合资源解决当前中国大数据存储技术产品的容量问题，建议国家立项 开展微型数据存储技术创新研发 。
我国数据储存的现状和面临的问题
计算机数据存储技术是信息技术应用的核心。一切计算机应用数据都需要由物理设备来存储，以便计算机系统进行读写等处理，数据应用与数据存储恰似树干与树根的密切关系。伴随着信息技术应用的持续高速发展，可以预见未来的数据量必将呈现爆炸式增长，随之而来的海量数据存储瓶颈问题必然日趋严重，加剧着数据存储领域长期面临的容量、安全、性能、扩充、维护、灾备、监管等诸多挑战。其中，容量困境，首当其冲。
当前痛点。 为了满足数据存储容量日益增长的需求，大数据存储中心建设必不可少。放眼当下全国各地的大数据存储中心建设，由于数据存储基础核心技术缺位，流行的模式是不可持续的“ 科技 房地产”，即单纯拓展占地面积盖楼建设数据中心，进而耗费宝贵自然资源。目前我国城市监控视频图像数据受限于数据中心存储容量空间，一般只能保留一个月左右，相关的数据应用严重受制。
应用基石。 底层数据存储是信息产业发展的基石，数据存储技术产品是信息应用系统的架构基础，也是我国的关键行业技术短板。有效的数据存储技术产品涉及到所有信息技术应用场景：人工智能，信息安全，智慧城市，大数据，云计算，区块链，城市大脑，雪亮工程，城市管理视频监控，医学影像识别，等等。
严峻局面。 追溯信息技术百年来的发展轨迹，中国在数据存储基础技术领域的贡献几乎为零。国内数据存储行业主要擅长于市场侧的商业应用创新，数据存储底层管理的核心技术研发严重依赖国外的开源开放。缺乏基础研发梯队，没有关键理论 探索 ；沿袭陈旧的发展思路，习于外购器件设备；底层技术积累短缺，核心创新能力薄弱；严峻的局面至今没有重大改变。
危情险势。 中国在核心存储产品、底层支撑技术、商业应用理念上长期跟跑，遭受外部势力釜底抽薪式的“存储底层关键核心技术精准打击”的隐患和风险极大。面对复杂多变的国际环境，一旦遭遇卡脖子，如外购存储产品断货或核心技术交流封锁，举国上下所有涉及信息技术应用的行业领域都必然窒息。从而直接降低相关产业迭代发展速度，掣肘 社会 前进步伐，削弱国家治理能力，进而危及影响到国家的政治和 社会 稳定。
时不我待。 我们需要立即行动起来，通过立项开展微型数据存储技术创新研发，凝聚国内外数据存储领域资源力量，构建数据存储专业核心技术团队；从研发软件定义的存储（数据去重）技术产品入手，填补国内技术产品领域空白；启动研发微型化（原子级）数据存储设备，抢占未来数据存储领域的制高点。这项举措也是解除我国数据存储技术产品创新研发“卡脖子”危机的最佳途径。
开展微型数据存储技术创新研发的思路
我国应抓住当前数据应用驱动信息技术升级换代的大数据发展 历史 契机，凝聚国内外资源力量，构建中国数据存储专业核心技术团队。近期：研发部署模块化数据去重技术产品，压缩海量数据存储空间需求，填补国内底层数据存储管理技术空白。远期：启动研发微型数据存储设备，抢占未来数据存储技术领域的制高点。
从开展微型数据存储技术创新研发入手，聚焦国际存储技术领域的战略性前沿技术趋势；联手科研院所、高等院校、生产企业、大型用户的资源，建设国家级核心技术团队；积极引进/培养数据存储技术人才，研发自主可控系列产品。
1.近期跟踪行业动态
对标国际顶级数据存储技术产品，砥砺学习底层模块级数据存储去重技术，压缩海量数据存储空间需求，实现自主可控国产数据存储技术管理软件产品的商务应用。基本原理是首先识别出重复的数据模块，然后优化存储多个重复数据模块中的单一模块，以及同其它重复模块的链接关系。进而减少企业级客户存储数据所需的物理空间占有量，降低采购部署数据存储设备的增量。
2.远期重点突出推进
探索 下一代数据存储技术，整合跨学科资源启动开展研发微型存储器，力图将现有基于磁盘/光盘/磁带的计算机数据存储器，转化为未来基于原子/电子运动状态的微型化数字信息采集与存取机制。其原理是将现在耗费数百万个原子的材料介质所表征的一位“0”或“1”二进制计算机数据，试图由单个原子状态变化来表征。于是，可以将现有数据存储设备体积缩小数十万乃至百万倍，最终将占地约足球场面积的大数据存储仓库缩小为便携式器件。
3.研发工作开展建议
开展微型数据存储技术创新研发应该建设成为国内领先、国际一流的数据存储技术研究机构、产业孵化温室、以及人才培养基地。
延揽数据存储技术专家领衔担纲咨询顾问。全球招聘在世界顶级数据存储公司工作多年的业界精英加盟指导。
构建中国数据存储技术研发团队。采用引进师资/开设培训课程等有效方式，积累培育国内数据存储技术力量。
结盟硅谷存储技术研究院。依托美国硅谷地区的数据存储实体公司，共享数据存储底层技术知识。
注册成立企业运营机构。开发软件定义存储（数据去重）技术产品，服务数据用户市场，遵循商务运作规律。
融资涵盖多种基金渠道。申报获取国家重大专项基础项目研发资金，吸引专业投资基金加盟。首期投资约需10亿元人民币（参考国际相关工程估值：美国IBM公司同类项目投资约600亿美元/10年）。
推动微型数据存储技术创新研发的建议
我国在开展新型基础设施建设的同时，应当抓住当前数据计算应用驱动信息技术升级换代的大数据发展 历史 契机，建立数据存储技术的自主知识产权体系，填补国内空白，保障数字中国建设长远规划实施，推进国产数据存储产品崛起，为相关产业发展铺路。
2.建议远期紧跟世界主流研发创新步伐，聚焦研发原子级微型化数据存储技术产品（2020-2040年），在2040年前研发出原子级大数据存储技术，并逐步实现产业化。
3.建议将微型化数据存储技术创新作为国家战略。搭建政产学研用共建共治共享的中国数据存储技术联合创新平台，建设国家级重点实验室。依托科研院所/高等院校/相关企业，奠定从微型数据存储理论、硬件设计、软件开发、结构设计、系统集成等一整套原子级微型数据存储技术研发工作的基础。
4.建议国家相关部委给予配套资金支持。加快推进原子级大数据存储技术研发和产业化转化。支持申报重大 科技 项目和专项扶持资金。
5.建议形成能够长期从事数据存储技术创新的人才队伍。借鉴全球数据存储技术创新研发经验，引进海内外数据存储技术领域顶尖科学家和工程师。在高等院校与科研院所开设数据存储技术专业课程，搭建完善的国内人才培养体系。
6.建议立项过程不宜采用常规项目申报、审批流程，亟需特事特办予以批准。主要是有鉴于本项目相关的科研生产领域中，国内现有技术力量薄弱分散，评估体系资源匮乏。
7.建议项目推进应当低调快速务实：不重造势，不扬虚名，不谋近利。主要是基于当前复杂敏感的国际政治经济形势，预计本项目势将关联国家核心产业战略布局，影响未来数十年中国数字经济命脉与发展。
作 者：中央 财经 大学中国互联网经济研究院研究员 欧阳日辉
通讯员：李 翀
战略性新兴产业专题报道 办事，“刷脸”就行
张家口敢闯敢试、先行先试，积极 探索 氢能产业创新发展的有益路径
“东数西算”正式启动，枢纽网络如何建设？
“十四五”浪潮下如何构建城市数据中心网络？
“我为群众办实事”北京市发展改革委发布第三批政策工具应用指南
大美密云 助推新兴产业发展
东方测控：打造智能制造示范工厂，引领矿山行业新未来
㈣ 你觉得贵州成为大数据中心的原因是什么
贵州，作为中国内陆腹地的一个省份，成为了全国首个国家级大数据综合试验区。在互联网高度发达的今天，贵州凭借着大数据中心，在全国乃至全世界的前沿科技领域占据了一席之地，贵州的快速发展，与大数据密不可分。中国地大物博，在众多的省市中，贵州能够脱颖而出，成为中国大数据中心，必定有其独到之处，从我的视角来看，我认为贵州凭借以下几点原因成为了大数据中心：
贵州，作为中国宝贵的大数据中心，相信在未来会给中国带来更加精彩的表现，会为中国数字经济的发展做出巨大的贡献！
㈤ 中国的大数据存储中心有那几个
网络是一个，而且网络的云存储基地占地非常大好像上次我去，大概有七个庞然大物呢！
㈥ 贵州的大数据基地主要在哪
贵安新区
1、华为七星湖数据存储中心（贵州）
2、腾讯贵安七星绿色数据中心（贵州）
3、苹果亚洲最大数据中心贵安开建，（贵州）
4、蚂蜂窝自由行大数据联合实验室落地贵州
5、贵阳成为阿里云的全球备案中心和技术支持中心。（贵州）
㈦ 大数据中心是什么中国最大的大数据中心在哪里
按理说，对于一个问题，其分析的数据量越多，得出的结果就会越准确。这就是大数据的高性能分析魅力十足的原因。对于一家公司来说，理论上它可以用充足的时间去收集大量数据，然后进行分析，从中得到一些独特的见解，从而做出企业的最优决策。但是通常情况下，这种理想情况在现实生活中是不会发生的。
大数据分析包含巨大的潜力，但如果分析的不准确，它就会转变成阻碍。由于技术限制和其他商业因素的考虑，数据分析公司解析数据得出的结果可能并不能反映实际情况。如果企业想要确保通过大数据分析得出的结论是他们想要的结果，他们就需要提高大数据分析的准确性。
在
理想的世界里，企业会收集大量的数据，分析它，并生成到他们要面对的问题的解决方案。但我们都知道，我们并没有生活在一个理想的世界。大数据分析结果往往
要在短时间内获得，一个企业可能没有足够先进的技术快速处理这么多的数据信息。这些限制导致许多企业对数据进行抽样分析。换句话说，他们不看所有的数据，
而是分析小部分的数据样品。尽管这可能是很多企业的战略，但这些分析结果非常可能是不准确的。
从上面的例子可以看出，大数据的中心就是保证大数据的准确性！！！