⑴ 云存储为什么可以做到大容量
云存储实现技术(一)
——云存储理解
在当今风起“云”涌的时代,云存储作为“云”的基础架构和最广泛的应用得到了极大的重视。万丈高楼平地起,只有将底层的基础打牢,才有可能实现云中的摩天大楼。
实现的前提在于理解,到底应该如何理解云存储呢?没有一个放之四海皆准的概念,不同的角度,不同的背景得到的答案肯定不同。这里我想从广义和狭义的角度分别来理解。广义上来说,云存储发展于分布式存储,融合了并行与网格技术,延伸了虚拟化概念,通过对网络中大量异构存储设备的统一协调处理,最终实现了远程存储服务的提供。狭义上要从三种视角出发来理解:云制造商,云使用商,个人。
1.对于云制造商来说,云存储是一种架构。是对底层异构存储服务器的整合,对网络存储技术的创新,对硬件存储芯片升级。现在被各大厂商应用的底层云模式主要有两种:网络存储架构,分布式集群存储技术。
网络存储模式是在分散的基础存储设备上,实现一个统一管理存储设备系统。存储设备可以是FC光纤通道存储设备,可以是NAS和 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。而管理系统主要实现设备虚拟化管理,冗余链路管理,设备监控及安全备份处理。来看看IBM和色卡司公司提出的存储系统。色卡司推出的新一代的5-bay NAS,融合了NAS/DAS/iSCSI三为一体,提供iSCSI的堆叠扩充功能以及多重RAID技术,为底层存储提供了极大的应用弹性和数据保护机制。而IBM XIV存储系统则通过转架单个磁盘的转速瓶颈,将性能提升了一大步,但是基于硬件的网络存储模式终究还是存在容量与性能的扩展瓶颈。
分布式集群存储技术能够很好的解决上述瓶颈,不需要构建SAN模型,所依托的只是分布式文件系统,不但能够很好的支持异构机的搭建,还很容易扩充,高效的算法实现也带来了性能的突破。如Googal的GFS,Hadoop架构中的HDFS以及一些轻型的如FastDFS等。这种模型的前景一片明亮,只要人的脑袋足够聪明,高效的算法性能的提升终究要快于硬件的提升。
2.对于云使用商来说,云存储是一种服务。这里理解为提供服务与使用服务。提供的服务包括:原始的存储服务器,透明的大容量存储服务,存储机器与上层应用的综合体。相对于制造者而言,提供服务商亟需解决的是云服务的安全性,如何保证商业数据不泄密,如何实现企业数据冗余备份。还有一些细节方面的诸如可定制性,可扩展性,透明性,简易性,可靠性等都是云存储面临的困难。
对于使用服务者来说,云存储就是一个低成本,远端控制,安全的企业存储应用平台,他们不用再为高昂的硬件设备发愁,也不用为后期数据扩展空间担忧,只要专注与基于服务接口的开发即可。这里存储面对的最大问题是网络带宽与数据安全的问题。如何实现远端数据的高访问性,如何避免传输过程的数据损失及窃听。云存储需要的是各方面技术的支撑。
3.一切技术的发展都源于人对更高品质生活的需求,云存储也不例外。未来存储最大的应用应该是个人存储。即一切轻型移动设备之间信息互通,个人信息的最终云端化。最近UIT和Inter的合作也在向个人存储进军,通过与电信服务商的合作,将个人存储放在云上,实现随时随地的访问。可以想象不久的将来,信息的整合将在云中孕育。
云存储实现技术(二)
——云存储遐想
对于云存储来说,异构平台的的设备整合是最大的问题。既然称之为“云”,就不是某一单台服务器或一个机群提供的单一的硬盘数据存储功能。而是分布在全球多台设备之间的虚拟化管理。如何协调设备之间的统一部署,统一访问,这将成为巨大的瓶颈,如得不到实现,云将无法成型,终究只是广阔互联网中零星散落的水蒸气。现在的解决方案多是基于集群技术,分布式文件系统及网格计算技术。
如果不打破现有的观念,瓶颈终究是瓶颈,技术的发展也只是拖长了瓶颈的到来时间。以下让我们抛弃传统的架构模型,遐想下云存储。
1.高维度信息的存储
根据常识,我们在知道维度的大小可以决定存储容量的大小。传统我们对数据的存储都是基于二维结构的。现在我们跌入了二维瓶颈无法自拔,那么为何不放弃二维存储而转向高维呢?
维度的理解可以从宏观与微观两方面理解。
(1)微观方面,即存储介质本身的维扩展,令人欣喜的是澳大利亚科学家已经开发了一种新的能够感知激光波长和偏振材料,可以实现五个维度上的存储数据。这对于云存储容量扩展提供了不可估量的技术支持。
(2)宏观方面可以考虑存储数据的三维结构。可以这样理解,网络是种极其松散的空间拓扑结构,我们可以在其中设定一个笛卡儿坐标系,坐标中规定单位信息元数据。信息的存储就可以演变为坐标的存储。这里需要考虑的是单位数据的大小。对于结构数据,可以设置为一个字母,一个汉字或一个数据;对于非结构数据,可以是一个频繁词,一个tag 。但是对于庞大的信息而言,这又会造成更严重的维灾难。
考虑下我们现实世界中的信息冗余部分:
每一天,多少人在转载,复制,粘贴别人的信息。
每一分钟,有多少人在记录同一句话,计算同一数据。
以上这些占用了我们大量的存储设备而毫无意义。所以如何设置高效的单位元数据,如何利用已有的单位数据是亟需考虑的。
(3)笛卡儿坐标的引入对于数据安全方面也有所帮助,我们可以通过数据加密来改变每个用户的参考坐标系。
(4)在三维结构的基础上,我们还可以考虑引入时间的四维空间,因为计算机处理每个人的存储命令时间肯定是不同的,这一维的利用可以加快检索及访问速度。
2.人工智能的云存储
这里的人工智能是有别与冯诺依曼计算机体系的人工智能。
想想我们的大脑,一个1350立方米的空间容纳了无法估量的信息,仅这一条就足可以推翻容量与存储的关系。我们脑中的信息可以动态的加强和减弱(除了一些主观因素),可以快速检索而不需要索引表。这些靠的是什么?联想,记忆,信号的刺激与传导。那么我们是否可以考虑硬件的仿神经突触的设计。
我们好象也有过多的考虑冗余备份,在需要时,我们只需拿张纸记录就好。那么我们是否可以考虑减轻存储服务器的任务,将备份问题交给某些固定的外设就好。
人工智能这条路也许还有好长路要走,但我们坚信,创新就会有发展
⑵ 我想知道云盘的原理,存储端是怎么提供那么大空间的,比如360给用户提供10T。。
肯定不是在注册的时候就划出10TB空间给你,大部分用户都用不完那么多空间。应该是随用随划,而且如果你上传的大文件已经有别人上传过,那就直接链接过来而不用再传一份。使用这些方式就可以省出非常非常多空间。