‘壹’ 分布式存储产业链发展概况
作者 | 焦仕可
来源|《2020分布式存储产业链研究报告》
数字化世界不可逆,分布式存储产业链,是承载数据洪流的数据水库。
分布式存储产业链概况摘要:
1、市场需求旺盛,定制化服务器迎来高光时刻。 从需求角度看:存储行业的发展是技术与需求相互促进的过程。人工智能、物联网、区块链、5G等技术的快速发展和应用,数据呈指数级增长趋势,成为创新的基础。流量、带宽、数据的计算、存储、检索需求长期稳定向上;从技术角度,算法、算力、算量的增长,分布式存储在云计算、虚拟化、IPFS等技术支持下,硬件或将在软件及算法的迭代和融合中突破硬件物理限制,下游客户将参与芯片及服务器标准制定,定制化服务器成为未来新趋势。
2、产业链上游技术及制造卡脖子,多维竞争局面展开,行业格局或重新洗牌。 从产业链供应链角度看:分布式存储重要的基础设施是数据中心,服务器是数据中心的心脏,芯片是服务器的核心组成部分。服务器硬件升级的核心是数据处理,即对数据的采集、存储、检索、加工、变换和传输,国产化能力长期偏弱,供应链集中在欧美日韩台地区。受中美摩擦及疫情影响,上游原材料供应受阻,整体市场成本或将增加。但中国巨大的市场需求及技术迭代,国产的技术、产品、及组织形式上的创新,将有可能带领硬件端突破重围,创新带来行业格局变化。
3、未来十年,国产替代将成主流。 从行业周期看:服务器软硬件持续升级周期仅为 2-3 年,当前已处于升级换代阶段。过去,服务器已经实现了从OEM(代工生产)向ODM(设计制造)再到JDM(由互联网/云计算企业,与服务器生产商一起研发服务器)模式演化,国内浪潮就是典型联合设计制造商。中美摩擦,反向加速了国内数字领域的发展,加速推进数据基础设施建设,在IPFS新技术的支持下,行业参与门槛降低,多方竞争下及政策支持下,国产替代趋势明显,未来十年或成主流。
4、新一轮行业机遇诞生,新的财富格局或在web3.0中被刷新。 从市场空间来看:中国无论是数据中心规模还是服务器等上游占有率,与欧美相比相差巨大,加之公有云、私有云的爆发,行业未来增长空间巨大。在政策支持、技术迭代、资本角逐三重利好驱动下,存储市场迎来新机遇,新一轮的财富大分配已经展开!
‘贰’ 分布式存储和超融合区别及优势
超融合的概念主要体现在超融合一体机,超融合一体机是将计算,存储结合,通过软件定义的形式将它们打通,再集中在一台机器中向客户提供服务。
超融合更适合业务量不大空间有限的中小型企业,少量超融合一体机就可以提供给中小型企业足够的网络,计算,存储等服务。但当随着企业业务发展,计算、网络、存储消耗占比发生较大偏移时,企业对存储、计算中某一项有更多的远超于其原有超融合一体机提供的服务需求时,再进行超融合一体机购买就会造成超融合一体机内其他资源的浪费。这就不得不另行购买独立的分布式存储来解决存储的问题,或独立的机器解决计算的需求。但某些超融合一体机不支持另行购买的分布式存储系统,使企业资源矛盾更为严重。同时超融合一体机的厂商,因为要兼顾做存储以及计算多项服务,所以存储产品的专业性及可靠性上会与专业做存储的公司的存储产品有一定差距。
所以随着企业的发展,从超融合架构走向非超融合的架构是必然的趋势。
‘叁’ 什么是vCluster分布式存储分布式云存储有什么优势
vCluster分布式存储是国内性能最佳、功能最全的分布式存储产品,比当前流行的某开源分布式软件功能多出100余项,功能优化30余项。vCluster分布式存储系列采用先进的分布式架构,将一个任务分给多个存储节点并行处理,大大提高了存储效率。其堆栈性和模块化设计提高了存储的健硕型和扩展性,完全符合企业存储从现在到未来的IT架构发展趋势。
‘肆’ 超融合和经常提到的分布式存储有什么关联
首先你必须了解什么是超融合?
超融合基础架构(Hyper-ConvergedInfrastructure,或简称“HCI”)也被称为超融合架构,是指在同一套单元设备(x86服务器)中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。
其次你必须了解什么是分布式存储
关于分布式存储实际上并没有一个明确的定义,甚至名称上也没有一个统一的说法,大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是:分布式存储是一种计算机网络,它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是:分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
尽管各方对分布式存储的定义并不完全相同,但有一点是统一的,就是分布式存储将数据分散放置在多个节点中,节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
区别与联系
超融合基础架构从定义中明确提出包含软件定义存储(SDS),具备硬件解耦的能力,可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似,计算与存储融合,通过全分布式的架构,有效提升系统可靠性与可用性,并具备易于扩展的特性。
由于很多读者对超融合构成还比较混淆,以下以 SmartX 的超融合软件 SMTX OS 为例说明分布式存储和其他模块的关系。
‘伍’ 传统存储就是NAS等存储吗分布式存储是新的存储方式吗
传统的一篇有ISCSI存储、NAS存储、光纤存储等。你可以去存储厂商(正睿存储)的网上看看产品,筛选一下,几分钟就清楚了!
‘陆’ 分布式储能技术优势是什么
分布式存储,无疑是云计算时代最受关注的一门技术。
到底什么是分布式存储?
简单来说,人多力量大,利用多个存储服务器构建存储池,满足互联网时代越来越多的存储需求。
互联网行业的发展,数据成指数级增长,人们对存储的需求越来越大,采用集中式的存储成为数据中心系统的瓶颈,不能满足大规模存储应用的需要。
受益于服务器技术的发展和成熟,与标准服务器的分布式存储开始出现,分布式存储开始被广泛的应用起来。
分布式存储就是将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,实际上数据分散的存储在企业的各个角落。分布式存储的好处是提高了系统的可靠性、可用性和存取效率,还易于扩展。
1、易于扩展
得益于合理的分布式架构,分布式存储可预估并且弹性扩展计算、存储容量和性能。
2、高性能
一个具有高性能的分布式存储通常能够高效地管理读缓存和写缓存,并且支持自动的分级存储。
3、支持分级存储
由于通过网络进行松耦合链接,分布式存储允许高速存储和低速存储分开部署,或者任意比例混布。
4、多副本一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同,分布式存储采用了多副本备份机制,最小化对业务的影响。
5、存储系统标准化
随着分布式存储的发展,存储行业的标准化进程也不断推进,分布式存储优先采用行业标准接口(SMI-S或OpenStackCinder)进行存储接入,用户可以实现跨不同品牌、介质地实现容灾,从侧面降低了存储采购和管理成本。
▉最后总结
分布式存储是一个大的概念,其包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等。
‘柒’ 分布式存储的三种类型
有关分布式存储的三个基本问题
文件系统vs对象存储——选型和趋势
块存储、文件存储、对象存储这三者的本质差别是什么
分布式存储的应用场景相对于其存储接口,现在流行分为三种:
对象存储: 也就是通常意义的键值存储,其接口就是简单的GET、PUT、DEL和其他扩展,如七牛、又拍、Swift、S3
块存储: 这种接口通常以QEMU Driver或者Kernel Mole的方式存在,这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口,如Sheepdog,AWS的EBS,青云的云硬盘和阿里云的盘古系统,还有Ceph的RBD(RBD是Ceph面向块存储的接口)
文件存储: 通常意义是支持POSIX接口,它跟传统的文件系统如Ext4是一个类型的,但区别在于分布式存储提供了并行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存储的接口),但是有时候又会把GFS,HDFS这种非POSIX接口的类文件存储接口归入此类。
‘捌’ 分布式存储是什么
中央存储技术现已发展非常成熟。但是同时,新的问题也出现了,中心化的网络很容易拥挤,数据很容易被滥用。传统的数据传输方式是由客户端向云服务器传输,由服务器向客户端下载。而分布式存储系统QKFile是从客户端传送到 N个节点,然后从这些节点就近下载到客户端内部,因此传输速度非常快。对比中心协议的特点是上传、下载速度快,能够有效地聚集空闲存储资源,并能大大降低存储成本。
在节点数量不断增加的情况下,QKFile市场趋势开始突出,未来用户数量将呈指数增长。分布式存储在未来会有很多应用场景,如数据存储,文件传输,网络视频,社会媒体和去中心化交易等。因特网的控制权越来越集中在少数几个大型技术公司的手中,它的网络被去中心化,就像分布式存储一样,总是以社区为中心,面向用户,而分布式存储就是实现信息技术和未来因特网功能的远景。有了分布式存储,我们可以创造出更加自由、创新和民主的网络体验。是时候把因特网推向新阶段了。
作为今年非常受欢迎的明星项目,关于QKFile的未来发展会推动互联网的进步,给整个市场带来巨大好处。分布式存储是基于因特网的基础结构产生的,区块链分布式存储与人工智能、大数据等有叠加作用。对今天的中心存储是一个巨大的补充,分布式时代的到来并不是要取代现在的中心互联网,而是要使未来的数据存储发展得更好,给整个市场生态带来不可想象的活力。先看共识,后看应用,QKFile创建了一个基础设施平台,就像阿里云,阿里云上面是做游戏的做电商的视频网站,这就叫应用层,现阶段,在性能上,坦白说,与传统的云存储相比,没有什么竞争力。不过另一方面来说,一个新型的去中心化存储的信任环境式非常重要的,在此环境下,自然可以衍生出许多相关应用,市场潜力非常大。
虽然QKFile离真正的商用还有很大的距离,首先QKFile的经济模型还没有定论,其次QKFile需要集中精力发展分布式存储、商业逻辑和 web3.0,只有打通分布式存储赛道,才有实力引领整个行业发展,人们认识到了中心化存储的弊端,还有许多企业开始接受分布式存储模式,即分布式存储 DAPP应用触达用户。所以QKFile将来肯定会有更多的商业应用。创建超本地高效存储方式的能力。当用户希望将数据存储在QKFile网络上时,他们就可以摆脱巨大的集中存储和地理位置的限制,用户可以看到在线存储的矿工及其市场价格,矿工之间相互竞争以赢得存储合约。使用者挑选有竞争力的矿工,交易完成,用户发送数据,然后矿工存储数据,矿工必须证明数据的正确存储才能得到QKFile奖励。在网络中,通过密码证明来验证数据的存储安全性。采矿者通过新区块链向网络提交其储存证明。通过网络发布的新区块链验证,只有正确的区块链才能被接受,经过一段时间,矿工们就可以获得交易存储费用,并有机会得到区块链奖励。数据就在更需要它的地方传播了,旋转数据就在地球范围内流动了,数据的获取就不断优化了,从小的矿机到大的数据中心,所有人都可以通过共同努力,为人类信息社会的建设奠定新的基础,并从中获益。