1. 如何实现高性能分布式文件存储
其实分布式文件存储,最复杂的就是元数据的保存和处理,而我使用的XGFS文件存储软件只需要三个全闪存元数据高可用节点,就可以高效保存和处理 100 亿文件规模的数据,可以灵活扩展,满足公司不断增长的业务对性能和容量的需求,XSKY星辰天合这款产品还是很有性价比的。
2. 浪潮存储都有哪些类型的存储产品
分布式存储、全闪存储、混闪存储、固态硬盘等等都有,浪潮存储的产品比较完善,基本可以满足客户的个性化需求。我们公司目前用的是他的全闪分布式存储,储存海量数据、视频资料很方便,哈哈哈,用起来比较安全、放心。
3. 分布式存储和超融合区别及优势
分布式存储是什么
关于分布式存储实际上并没有一个明确的定义,甚至名称上也没有一个统一的说法,大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是:分布式存储是一种计算机网络,它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是:分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
尽管各方对分布式存储的定义并不完全相同,但有一点是统一的,就是分布式存储将数据分散放置在多个节点中,节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
超融合是什么
参考维基网络中的超融合定义:
超融合基础架构(hyper-converged infrastructure)是一个软件定义的 IT 基础架构,它可虚拟化常见“硬件定义”系统的所有元素。HCI 包含的最小集合是:虚拟化计算(hypervisor),虚拟存储(SDS)和虚拟网络。HCI 通常运行在标准商用服务器之上。
超融合基础架构(hyper-converged infrastructure)与 融合基础架构(converged infrastructure)最大的区别在于,在 HCI 里面,无论是存储底层抽象还是存储网络都是在软件层面实现的(或者通过 hypervisor 层面实现),而不是基于物理硬件实现的。由于所有软件定义的元素都围绕 hypervisor 实现,因此在超融合基础架构上的所有实例可以联合共享所有受管理的资源。
分布式存储和超融合区别及优势?
分布式存储,它的最大特点是多节点部署, 数据通过网络分散放置。分布式存储的特点是扩展性强,通过多节点平衡负载,提高存储系统的可靠性与可用性。
超融合基础架构从定义中明确提出包含软件定义存储(SDS),具备硬件解耦的能力,可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似,计算与存储融合,通过全分布式的架构,有效提升系统可靠性与可用性,并具备易于扩展的特性。
SMTX ZBS 分布式块存储架构
除此之外,超融合基础架构有更进一步的扩展,它强调以虚拟化计算(hypervisor)为核心,以软件定义的方式整合包括虚拟化计算, 软件定义存储以及虚拟网络资源。从笔者来看超融合基础架构未来的可能性更多,可促进计算,存储,网络,安全,容灾等等 IT 服务大融合,降低IT 基础架构的复杂性,重新塑造”软件定义的数据中心”。
4. 华为发布六大数据存储新品
华为数据存储与机器视觉产品线总裁周跃峰表示,到2030年,全球每年新增数据量将突破1YB量级。有数据的地方要用存储,有存储的地方一定要用专业存储。企业数字化转型、云、大数据正在深刻改变着全球数据产业,华为将和全球的客户、生态合作伙伴、科研工作者一起持续创新,打造世界领先的数据存储产品和解决方案。
专业存储设备承载的是千行百业的数据资产,数据不能丢、访问不能停、访问不能等是各行业对专业存储的关键诉求。面向不同数据场景,华为发布了六大数据存储新品。
其中,全新的OceanStorDorado全闪存存储,发力网络连接存储市场,能实现文件跨部门安全共享,性能领先业界30%,保障业务持续在线,为半导体EDA、企业研发、金融数据交换平台、运营商话单等场景提供高效、可靠的万亿级海量小文件基础设施;新一代OceanStor混合闪存存储,全新定义了五大融合,即存算融合、多协议融合、温热数据融合,跨代融合以及多云融合,实现高性能、多功能的兼容并举,为普惠多样化场景提供更简洁、更具性价比的数据基座;OceanProtect专用备份存储,能实现业界3倍备份带宽、5倍恢复带宽、72:1数据缩减率,以及全方位防勒索病毒方案,帮助用户实现高效备份恢复,构筑保护数据的最后一道防线;全新OceanStorPacific系列分布式存储,是业界唯一支持混合负载,实现一套存储即可支持HPDA、大数据、视频、备份归档等多样化应用。同时在大数据场景支持近实时处理,辅助千亿数据集分析时间从几天缩短至几分钟,大大缩短创新应用开发周期;FusionCube超融合+系列产品,通过算力融合、存算网融合、业务融合,实现从传统超融合到以效率+、节能+、应用+为特征的超融合+能力升级,实现虚拟机/容器密度提升20%以及节能效率提升15%,为新型数据中心的发展构筑基石;面向数据中心的DCS数据中心虚拟化解决方案,以虚拟化、容器、灾备套件为核心,南向兼容预验证的推荐硬件,同时通过全栈统一管理平台实现智能管理。
据了解,从2019年起,华为针对数据存储业界难题发布“奥林帕斯悬红”,旨在牵引基础理论研究方向,激励全球科研工作者突破存储关键技术难题,加速科研成果产业化,实现产学研合作共赢。在本次论坛上,2021奥林帕斯获奖团队正式揭晓。会上,华为同时发布“2022年奥林帕斯悬红”两大数据存储难题方向,一是极致能效比的超融合数据基础设施,二是每bit极致性价比的下一代存储。华为表示,希望与学术界持续合作,共同攻坚,构筑更好的数据存储未来。
5. 国内做分布式存储研发的公司有哪些
做过一些集成项目,国内集群NAS(分布式文件系统)这块了解一些,随便说说,仅限于通用集群NAS。宣传自研集群NAS的公司不少,OEM居多,做研发的不多,完全自研就更少了。列一些接触过,完全自研,产品化程度相对高一些的吧。大一点的,华为 (oceanstor 9000),曙光(parastor)。市场上见的比较多了。小一点的,龙存,这个算是老牌子了。聚存,这个知道的人不多。基于ceph的公司这几年不少,用过其中一家的东西,块这块还行,文件这块还需要时间。分布式存储其实是一个比较大的领域。有分布式数据库、分布式文件系统、分布式块(ServerSAN)、分布式对象存储之类。做的公司挺多,不过真正都自己的代码的挺少,很多都是开源改的。分布式数据来说一般互联网公司用的多,像阿里,腾讯、网络都有自己分布式数据库。国内做分布式文件系统来说,数中科院的一帮人做的最早。从中科院出来人基本的分为三家,曙光,龙存,达沃。这三家基本都属于自研并且应用时间都在国内来说时间最久了。也有像华为、淘宝、网络、腾讯的文件系统。
6. NeonIO 云原生存储简介与应用
NeonIO 是一款支持容器化部署的企业级分布式块存储系统,能够给 Kubernetes 平台上提供动态创建(dynamic provisioning)持久存储卷(persistent volume)的能力,支持 clone、snapshot、resstore、resize 等功能。
NeonIO 架构如图上所示。
(1) 组件容器化:服务组件、CSI、Portal 容器化。
(2) 支持 CSI:提供标准的 IO 接入能力,可静态、动态创建 PV。
(3) UI 界面,运维方便:
(4) 与云原生高度融合:
(5) 一键式部署:helm install neonio ./neonio -- namespace kube-system。
(6) 部署简单灵活:和 Rook-Ceph 对比:
(1) 全闪的分布式存储架构
(2) 极短的 IO 路径:抛弃文件系统,自研元数据管理系统,使 IO 路径极短
(3) 使用 HostNetwork 网络模式
好处:
(1) 服务组件可靠性与可用性
(2) 数据的可靠性与可用性
(1) Pod 跨节点重建高效:2000PV 的挂载/卸载 16s。
(2) 批量创建 PV 能力:2000PV 的创建 5min。
测试平台:NeonIO 超融合一体机集群(3 个节点,192.168.101.174 - 192.168.101.176)。
注意:所有测试均使用 NVMe SSD,卷大小 = 1TiB。性能工具: https://github.com/leeliu/dbench
图中黄色表示的是 NeonIO,第一张图纵坐标是 IOPS,第二张图纵坐标是毫秒,从结果来看,无论是单副本还是 3 副本,NeonIO 在 IOPS、时延都有明显的优势。
存储大师班 | ZFS存储池块管理与事务模型
对象存储手把手教四 | Bucket 生命周期管理
7. 浪潮信息分布式存储市场表现怎么样
得益于极致全面的产品力,浪潮信息分布式存储在主流行业实现了规模化部署,像运营商、国有银行、大型保险公司之类的行业顶级用户也都是浪潮信息的客户。当然,好不好,数据最有说服力,在网络了解到2021年第三季度中国SDS市场销量22,527台,浪潮分布式存储销量就达到3,515台,占据16%的市场份额,位居中国第一,这实力还是非常强的。
8. 分布式存储都有哪些,基本实现原理是什么
vCluster分布式存储是国内性能最佳、功能最全的分布式存储产品,比当前流行的某开源分布式软件功能多出100余项,功能优化30余项。vCluster分布式存储系列采用先进的分布式架构,将一个任务分给多个存储节点并行处理,大大提高了存储效率。其堆栈性和模块化设计提高了存储的健硕型和扩展性,完全符合企业存储从现在到未来的IT架构发展趋势。
9. 国内一流的分布式存储厂商有哪些
杉岩数据是其中之一。
作为一款国产分布式存储软件产品,技术架构上采用业内领先的全分布式高可用设计,全平台无单点故障,并且可以提供文件存储、块存储和对象存储三种不同类型的存储模块。
这些存储模块可以灵活的组合搭配,提供快速简便的访问方式,满足新一代应用的敏捷开发需求,能够根据应用的发展进行灵活的弹性扩展。
提供了全语义、跨协议数据访问,帮助企业打通数据孤岛、实现传统应用间的数据共享,一体化极简架构与分钟级扩容、秒级数据检索,加速企业上云转型。在数据安全和价值发掘领域,采用全国密算法,确保数据绝对的安全。
(9)舟山全闪块分布式存储扩展阅读:
杉岩数据优势
1、多种数据冗余模式
杉岩数据提供多副本和纠删码两种数据冗余策略,多副本策略以数据镜像的方式提供数据冗余,确保冗余数据的完整性,同时也缩短了数据读取路径。
2、完善的容灾体系
存储系统支持多站点容灾机制、数据跨地域存放、延展集群、异步灾备,保证数据的安全性和最高空间利用率,极大的降低RPO和RTO。
3、数据脱敏
USP采用数据脱敏技术,帮助企业提高安全性和保密等级,防止数据被滥用。同时帮助企业符合安全性规范要求,以及由管理/审计机关所要求的隐私标准。
10. 分布式存储最佳缓存比
作者:深入细节的 SmartX 一线技术团队
近日,VMware 发布了 vSAN 8,对存储架构进行了重大更新。其中最主要的变化,即引入了新的 Express Storage Architecture(ESA)架构:用“存储池”替代了原存储架构(OSA)中的“磁盘组”,并不再需要专用 SSD 承担缓存加速功能,一定程度上避免了 8.0 之前版本中的专用缓存盘利用率低、易发生缓存击穿等问题。
而值得一提的是,在 vSAN 大版本更新之前,SmartX 即通过统一缓存空间和智能冷热数据管理优化了分布式存储缓存机制,有效规避了上述问题。本文将通过重点解读 vSAN(以 vSAN 7 为例)和 SmartX 分布式块存储组件 ZBS* 缓存机制的原理,并测试对比两种缓存机制下虚拟机性能表现,让读者更好地了解两种技术实现机制的区别对业务可能带来的实际影响。
* ZBS 内置于 SmartX 超融合软件 SMTX OS,可与 SmartX 原生虚拟化 ELF 搭配提供服务。
本文重点
vSAN 7 采用划分读写缓存空间的机制,将缓存磁盘按照容量占比划分为写缓冲区(30%)和读缓存区(70%)。这种方式可能出现缓存利用率低、在访问数据量过大时导致缓存击穿,进而引起性能下降等问题。
ZBS 采用统一缓存空间的机制,并通过 2 级 LRU 算法对冷热数据进行管理,在充分利用缓存容量的同时避免了因访问量激增导致虚拟机性能下降的情况。
本文基于相同的硬件配置和 I/O 读写场景,分别测试 VMware 超融合(vSphere 虚拟化 + vSAN 分布式存储)写入 300 GB 数据、SMTX OS(ELF + ZBS)写入 500 GB 数据时虚拟机的性能表现。结果显示,vSAN 7 难以充分利用缓存介质,发生缓存击穿,导致存储性能下降;而 SMTX OS 即便在写入更多数据的情况下也未发生缓存击穿,虚拟机性能保持稳定。
场景问题
混闪配置是超融合或分布式存储现阶段的主流落地模式。混闪配置是指机器中的磁盘使用 SSD + HDD 混合组成,其中 SSD 磁盘作为数据缓存层,而 HDD 磁盘作为数据容量层。以该模式构建的分布式存储池通过软件算法进行冷热数据自动判断,在提供高性能的同时,还可获得较大的存储容量,进而提升资源利用率,获得相对全闪存储更高的性价比。
在将 SSD 磁盘用作数据缓存层时,部分超融合产品会将缓存容量(Cache)划分为读和写各自独立的两部分。例如,vSAN 7 及更早版本会将每个磁盘组(Disk Group)中的缓存磁盘,按照容量占比划分为写缓冲区(30%)和读缓存区(70%),当读取数据未命中缓存或者写缓存已满,将会直接从容量层进行读写。