‘壹’ 云存储的核心技术:虚拟化存储,究竟虚拟是怎样实现的
虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机(VM:Virtual Machine)一样,物理存储设备也被抽象成虚拟磁盘(Virtual Disk)。今天我们就来聊聊虚拟化存储(Storage Virtualization)技术,究竟虚拟磁盘是怎样实现的?
虚拟磁盘的实现
我们知道,服务器扩展存储的手段主要有直连存储(DAS)、存储区域网络(SAN)和网络附加存储(NAS)这三种类型。那么哪种存储类型可以用来实现虚拟磁盘呢?
在虚拟化环境中,类似VMWare这样的虚拟机管理程序hypervisor,要同时给很多VM分配存储空间。这个过程中,我们需要先把物理存储资源重新划分成虚拟磁盘,然后再分配给VM。
显然我们不能用DAS方式把物理磁盘直连到VM上,如果这样,需要的物理磁盘就太多了。SAN是以逻辑单元(LUN:Logic Unit)的形式提供存储资源,但是虚拟环境中VM的数量是很大的,而且伦的数量不足以支持这么多虚拟磁盘。
更重要的是,虚拟磁盘是为大量VM共享的,由于VM需要随时创建、删除或迁移,所以需要在迁移VM时共享存储空间,只有原始数据不会丢失。DAS还是SAN,都不适合共享存储。
考虑到资源分配以及共享的问题,虚拟机管理程序以NAS的方式实现虚拟磁盘。VMware通常使用VMFS(虚拟机文件系统)或NFS协议实现虚拟磁盘,VMFS文件系统是专门针对虚拟机环境协议。
每一个虚拟机的数据实际上是一堆文件,及最重要的文件的虚拟磁盘文件(VMDK文件),也有交换分区文件(VSWP文件,等价交换),非易失性存储器(NVRAM的文件相当于BIOS),等等。每个VM对虚拟磁盘的IO操作实际上是对虚拟磁盘文件的读写操作。
设计、施工、和虚拟服务器环境和优化,允许多个虚拟机访问集成的集群存储池,从而大大提高了资源的利用率。使用和实现资源共享,管理员可以直接从更高的效率和存储利用率中获益。
那么我们如何在云计算中使用虚拟磁盘呢?
实例存储
最主要的一种使用虚拟磁盘的方式就是实例存储,每个VM都是虚拟机的一个实例,虚拟机管理程序在每个实例中提供一个仿真硬件环境,它包括CPU、内存和磁盘。这样,虚拟磁盘就是虚拟机实例的一部分,就像物质世界。删除VM后,虚拟磁盘也将被删除。
在这个实例存储模型中,虚拟磁盘与虚拟机之间的存储关系,事实上,它是DAS存储。但是虚拟磁盘的底层实现,我们说,它是以NAS的方式实现的。虚拟机管理程序的作用是存储VM层的存储模型,这是从实施协议分离(VMFS或NFS)的虚拟机的低层。
VMFS协议实现了存储资源的虚拟化,再分配各VMs
卷存储
实例存储有它的限制,开发人员通常希望分离实例数据,例如OS和安装的一些服务器应用程序和用户数据,这样重建VM的时候可以保留用户的数据。
这个需求衍生出另外一种存储模型:卷存储。卷是存储的主要单元,相当于虚拟磁盘分区。它不是虚拟机实例的一部分,它可以被认为是虚拟机的外部存储设备。
该卷可以从一个VM卸载,然后附加到另一个VM。通过这种方式,我们实现了实例数据与用户数据的分离。OpenStack的煤渣是一个体积存储的实现。
除了实例存储和卷存储之外,最后我们还提到另一种特殊的虚拟存储:对象存储。
对象存储
很多云应用需要在不同的VM之间共享数据,它常常需要跨越多个数据中心,而对象存储可以解决这个问题。在前一篇文章中的云计算IaaS管理平台的基本功能是什么?》中曾经提到过对象存储。
在对象存储模型中,数据存储在存储段(bucket)中,桶也可以被称为“水桶”,因为它字面意思。我们可以用硬盘来类推,对象像一个文件,而存储段就像一个文件夹(或目录)。可以通过统一资源标识符(URI:统一资源标识符)找到对象和存储段。
对象存储的核心设计思想实际上是虚拟化,它是文件的物理存储位置,如卷、目录、磁盘等,虚拟化是木桶,它将文件虚拟化为对象。对于应用层,简化了对数据访问的访问,屏蔽了底层存储技术的异构性和复杂性。
对象存储模型
NAS与对象存储各有所长
当然你也许会问,NAS存储技术也是一个可以解决数据共享的问题吗?由于对象存储的大小和成本优势,许多云环境使用对象存储而不是NAS。
因为对象存储将跨多个节点传播,最新数据并不总是可用的 因此,对象存储的数据一致性不强。如果有强一致性的要求,然后你可以使用NAS。目前,在云计算环境中,NAS和对象存储是共存的。
和NAS一样,对象存储也是软件体系结构,而不是硬件体系结构。应用程序通过REST API直接访问对象存储。公共对象存储包括:Amazon S3和OpenStack的Swift。
结语
在实际的云平台应用中,我们需要根据自己的实际情况来合理运用不同的虚拟化存储技术。
对于非结构化的静态数据文件,如音视频、图片等,我们一般使用对象存储。
对于系统镜像以及应用程序,我们需要使用云主机实例存储或者卷存储。
对于应用产生的动态数据,我们一般还需要利用云数据库来对数据进行管理。
‘贰’ 华为 fusion cube 存储虚拟化用的是什么技术
OpenStack峰会在法国巴黎如期举行,各界共商云软件的未来。OpenStack会执行总监Jonathan Bryce提到“被动的技术应用已经成为历史,取而代之的是由软件定义的存储、网络及数据中心”。这一简短有力的发言引起了强烈的共鸣和反响。
Jonathan Bryce的主题发言的指出了一个不可否认的事实,即:越来越多的企业使用了按需分配资源的云系统。软件带来了经济的不断发展,创新不再是掌握所有权的大型机构的专利了,而真正的创新是来自不同国家的数百家公司成千上万的人一起合作的成果。
Openstack提供开源软件的框架,简化了基于云系统的管理模式。虽然只有短短四年,但无论是从齐聚巴黎分享优秀实践的峰会创下与会人数的历史记录——4,600开发者及用户,还是将首个Superuser大奖授予了CERN——World Wide Web的创始者,用3000个服务器7万核组成了全球最大的OpenStack集群,这些无一不证明了OpenStack的成功。显然,企业用户已经认识到了这一点,并利用OpenStack来实现企业规则的改革。
基于OpenStack的FusionSphere
华为是应用OpenStack架构的公司之一,而且OpenStack已经被深度融合进华为的一系列IT产品。 OpenStack满足了云时代这类公司针对日益灵活的IT系统的管理需求。在步入云计算领域时面对系统日益灵活的管理需求。
华为云计算产品线营销总监张建华提到“随着计算能力、存储及网络对硬件的依赖性下降,我们正在创建我们自己的软件来满足基于软件定义资源的需求。”
他指出,Openstack虽然可以像胶水一样将整个系统粘合在一起,但它只是个基础。华为FusionSphere云操作系统产品在OpenStack框架的基础上还增加了不同的安全级别,并且使用户能充分利用OpenStack提供的互通特性最新的FusionSphere 5.0还允许私有云用户连接像亚马逊这样的公共云。
通过使用OpenStack,华为FusionSphere能够管理来自不同厂家的虚拟服务器、存储、网络资源以及虚拟安全与负载均衡等设备。FusionSphere可以兼容作为云计算基础的异构虚拟化层,且物理服务器虚拟化使FusionSphere能够根据企业当前的需求完成不同的任务。如hypervisor,一个虚拟化多个物理系统的虚拟化层软件,可以由不同供应商提供,使FusionSphere能够很好地与已有设备或软件配合完成相应任务。
软件定义的基础设施
和传统的基于硬件的系统相比,软件定义的数据中心具有很多优势。软件定义数据中心可以分解为软件定义计算、软件定义存储和软件定义网络。例如,软件定义网络将网络的管理和只能路由功能抽取到软件实体中,并且提供API供用户按照应用的需要对网络进行编程,从而实现业务驱动网络;而实际数据交换功能则交付给专用的数据交换硬件设备,交换设备只专注于数据交换,这样大大提高了数据交换的效率。软件定义的数据中心具备很强的系统自愈能力。
那些对上述云计算的保障机制需求强烈的企业,软件定义的数据中心无疑具有强烈的吸引力。张建华还提到了电信运营商,“通常,这些公司很依赖硬线技术,但是目前的大量流量都不是通过传统的电信网络传输。运营商需要改变来提供更多的IP服务”。Openstack与FusionSphere提供了像互联网一样的架构,从而能够解决这些问题。他还补充到“运营商需要一个既懂得传统架构又懂得新模式的合作伙伴才能迈进新纪元。他们还需要开放架构的解决方案,以避免受限于某一单一模式。”
OpenStack实现电信NFV变革
Telefonica意识到华为正是这样的合作伙伴。因为这个原因,电信巨头Telefonica决定采用华为FusionSphere集中管理其软件、硬件以及数据中心。鉴于FusionSphere的统一调度与管理优势,Telefonica在英国的运营商O2,在部署FusionSphere后的TCO大幅降低了约30%。FusionSphere通过三个方面实现客户价值:运营维护(O&M)、业务管理、以及业务控制。另外,FusionSphere架构也将支持Telefonica的后续升级。
另外一个电信巨头,沃达丰,也部署了FusionSphere来管理其基于PLEX系统的数据中心,以便管理不同厂商的资源和未被充分利用的资源,降低操作维护费用。公有云和私有云都在以这种模式进行管理,资源按需求动态分配,必要时业务也可以跨云迁移。
除了电信领域外,OpenStack也为其他领域带来了好处。汇港资讯有限公司采用华为OpenStack连通了香港经纪人与上海证券交易所。中国的一些政府部门的业务系统也通过部署华为云产品,体验到了这种IT架构的优势,华为的云产品可以为其消减成本、提高效率。
在OpenStack 峰会最后,华为的云计算产品线首席技术官,王海鹰,上台分享了华为成为OpenStack会金牌会员的前景。他讲到“从长远看,华为将会继续促进OpenStack与NFV的融合。我们也希望与所有领域伙伴合作构建一个健康的OpenStack系统”。我们正在进步。OpenStack已经有17,141个个人会员,432个支撑公司,以及两千万行代码,这也证明了企业已经准备好迎接更敏捷的IT方案。这个方案将不仅能够满足当前需求,而且能够灵活地控制未来的方案。华为FusionSphere,FusionCube(软硬件云管理一体机)以及其他的云产品正是这样一套既适应今天又能管理未来的强大的工具。
评论
请先登录,再发表评论
敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。
OpenStack开发云计算
OpenStack目标:解决实施中的瓶颈问题
OpenStack Neutron:云服务中的开放网络
Salesforce或“登陆”OpenStack
Gartner分析师再次抨击OpenStack“太嫩”
红帽:Havana增强OpenStack的开发动力
云计算疆场烽烟:OpenStack叫板Amazon
OpenStack你了解生态系统的价值吗?
企业对OpenStack Havana热情高涨 期待Icehouse
OpenStack是否已为IPv6做好准备?
OpenStack Havana新增云网络功能
企业部署OpenStack:该做与不该做的事
DIY云计算:OpenStack当积木
OpenStack私有云满足高IO需求
OpenStack互操作驾到:开源云平台选择更自由
失败案例!OpenStack没你想的那么简单!
SUSE OpenStack Cloud 5简化私有云管理
如何构建OpenStack存储云
企业用户为何选择OpenStack
使用OpenStack能开发企业私有云吗?
OpenStack在混合云战略中位置在哪?
OpenStack云功能激发厂商支持
云计算开源运动:厂商争先公开源代码
OpenStack私有云DR的益处比其TCO更显而易见
OpenStack企业~~进程举步维艰
EMC收购Cloudscaling对OpenStack应用意义何在?
红帽1.75亿美元收购Inktank
红帽 9,500万美元收购eNovance
思科收购Metacloud
惠普1亿美元收购Eucalytpus
EMC 5,000万美元收购Cloudscaling
2014 OpenStack收购案盘点
华为持续重磅投入OpenStack 巴黎峰会全面展示开放云
谁还敢于挑战OpenStack的权威?出列!
预测到2018年OpenStack市场规模将达到33亿美元
网易OpenStack部署运维实战
红帽公司发布 OpenStack Platform 5
开源云平台:顶级OpenStack厂商一览
OpenStack为技术宅提供了“拯救世界”的平台
OpenStack之小企业使用技巧
OpenStack现状:四年后仍“不温不火”
小型企业如何成功牵手OpenStack?
OpenStack:叫好不叫座
IBM Cloud Manager将OpenStack与服务器关联
OpenStack现在可配置NoSQL
云计算战争OpenStack vs VMware:设计与功能
云操作系统OpenStack:优势与问题并存
Riverbed加入OpenStack社区:协作开发基于开源标准云解决方案的优化先锋
Rackspace将拆分开源云计算软件OpenStack
如何使用Puppet安装OpenStack Nova云?
Cloud.com将要合并OpenStack代码库
如何建立高可用OpenStack云?
OpenStack里的三种存储
OpenStack Grizzly发布 推进可扩展性和高可用性
OpenStack最新版本Grizzly新增部分功能一览
面对云锁定的抉择:OpenStack还是专有云平台?
四种方案将OpenStack部署到Hadoop
如何成功实施OpenStack和CloudStack项目
Mark Collier:OpenStack API兼容AWS
三载风雨铸就Openstack今日辉煌
‘叁’ 华为软件定义存储产品是
软件定义存储产品是将硬件抽象化的解决方案其核心为存储虚拟化技术,
通过将存储资源抽象化、池化和自动化利用服务管理接口的虚拟存储,虚拟化存储设备与服务器间的连接,将数据从底层硬件架构中剥离,
并将标准服务器内置存储、直接存储、外置存储等存储资源整合,实现应用感知,基于策略驱动的部署、变更和管理,达到存储及服务的目标。
‘肆’ 华为gpu虚拟化解决方案
华为GPU虚拟化解决方案是华为提供的一种用于虚拟化GPU资源的解决方案,旨在解决GPU虚拟化场景中的性能、安全和可管理性等问题。
该解决方案采用华为的软件定义GPU(SDG)技术,将GPU资源虚拟化,支持灵活部署、高可靠性和高性能。它支持物理机器上的GPU资源池化,允许虚拟机实例从资源池中获取GPU资源,实现虚拟GPU的调度,从而避免虚拟机间的GPU资源冲突。
此外,华为GPU虚拟化解决方案还支持虚拟机实例对GPU资源的灵活悔族分配,允许实例动态调整GPU配置,实现动态伸缩帆蚂,满足不同负载的GPU资源需求。
此外,华为GPU虚态前埋拟化解决方案能够提供高级的安全机制,确保虚拟机实例安全地访问GPU资源;能够提供管理和监控接口,支持管理员对GPU资源进行统一管理和监控。
‘伍’ 华为虚拟化fusionphere 有ft功能吗
随着VMware前发布VSAN 6.2及EMC联邦推首台超融合机VxRailVMware再发力超融合架构市场
VMware搭建超融合架构HCI自家用OEM厂家及集商放选择更加重要VMware创新超融合架构进步丰富并优化软件定义数据用户合作伙伴态我疑虑:能让VMware找咸鱼翻身机
VSAN 6.2哪些买点
VMware超融合架构集vSphere虚拟化管理软件、vCenter Server虚拟化环境管理平台及新版软件定义存储VSAN 6.2体本发布看点VSAN 6.2
VSAN 6.2能让VMware找咸鱼翻身机
VSAN 6.2VMware软件定义存储VSAN第四代发布具备企业级高性能存储且原于VMware旗舰产品vSphere向企业用户提供所要求优质超融合架构及架构内超级简单统站式管理且数据管理者所期望更视管理能力包括参数使用量监测
VSAN 6.2性能重升级包括新近线重复数据删除压缩压缩至七倍数据量减少CPU内存负担更加高效利用数据降设备投入本外增加磁盘组级别纠删码功能维持高水平数据修复能力变相于增加至两倍存储量
自身融合架构低本VMware特别强调优势并指目前VMware超融合架构基于全闪存优化系统本低至$1/GB比混合类超融合架构本低近50%比其全闪存类超融合架构本低60%外数据存储效率高提高十倍
据各调研数据显示超融合架构市场目前增快IT市场IDC预测今超融合架构市场达15亿美元Gartner说融合架构市场201950亿美元IDC全球融合系统厂家评估2014市场先锋新创公司NutanixSimpliVity等
VMware销售数据展示自该市场强劲势VMware指VSAN 销售非功市21月已经销往3000 用户
同Nutanix比较截止2015第四季度VMware超融合架构HCI客户数量、系统CPU单位部署数量收入增已经超Nutanix全球超融合架构市场龙
要超融合架构
VMware全球高级副总裁兼存储用性业务总经理李严冰指作新型架构超融合基础设施解决紧迫数据问题降低虚拟化环境存储本复杂性使客户能够获服务器虚拟化全部处根本立足点
VMware全球高级副总裁兼存储用性业务总经理李严冰
VMware先河vSphere重构服务器架构基础x86计算资源抽象化、虚拟化池化显着提高计算资源利用率减少物理服务器数量同极简化虚拟机运行工作负载初始配置续迁移
超融合架构代数据架构其优势于扩展模型并跨存储层受益超融合架构存储功能合并虚拟机管理程序并使用直连存储部署商品化价格x86硬件打造集体简单强存储虚拟化平台简化操作降低本提高灵性
融合模式搭建系统其系统设计、集测试都由供应商进行需顾客操理想超融合架构交付式由于需系统集商介入其客户通非简捷知流程充获超融合架构优势
三种入市路线何机
据解VMware超融合架构采用三种式进入市场
第硬件绪Virtual SAN Ready Nodes模式即由经测试认证硬件按核证解决案搭建超融合架构计划目前已经存现其扩展服务器OEM厂商授权预装软件绑定所必要许提供自服务支持
客户需求服务器OEM厂商必须同模式进行部署VMware提供超100种绪Virtual SAN Ready Nodes选择
目前批服务器OEM厂家先行已经获Virtual SAN Ready Nodes绪认证基于x86工业标准服务器厂家HPE、戴尔、联想、华、富士通、思科、立超微其戴尔、富士通超微第批进入市场
模式VMware给予合作伙伴放业务机用户直接服务器OEM厂家购买服务并获支持管硬件问题软件问题用户直接找服务器OEM厂家获支持服务
第二交钥匙项目产品由VMware 所属EMC联盟交付由EMC II旗融合平台业务部VCE品
EMC联邦2月16量跃迁揭幕超融合架构VxRailX神力本吧VMware超融合系统VMworld 2014发布EVO:RAIL概念先进系统呼声极高杂音少EVO:RAIL产品扩展及配置限制质疑提产品伙伴能够进行销售式或用户乐意购买式进行封装等
现估计随VxRail诞EVO:RAIL页翻即使EVO:RAIL继续存半VMware专注转移新VCE嫡系Virtual SAN Ready Nodes绪模式
第三面向EVO SDDC(软件定义数据)集系统VMware超融合架构云管理vRealize软件定义网络NSXEVO SDDC管理者等打包组集系统种市场模式选择限
VMware VSAN6.2预期今季度市标价起价每CPU 美元2,495 VMware VSAN桌面标价起价每用户美元50合作伙伴望今半内获VMware Virtual SAN Ready Nodes绪模式
‘陆’ 华为天才少年主攻存储领域研究
自古英雄出少年。
本年度的华为天才少年项目再次引爆眼球。一位是从普通本科一路“逆袭”到华中科大博士,并成为唯一拿到本年度最高档年薪的青年才俊;另一位则是在多种A类期刊发表论文,集智慧与美丽于一身的美女博士。这两位成功入围项目的华中科大博士迅速成为街头巷议的热门话题。
值得关注的是,本年度入围的两位华为天才少年在校研究方向均跟数据存储有着紧密联系。因此,这二位不约而同地选择华为做存储相关的研究,让人不得不感叹华为存储对于基础研究与人才的重视。
事实上,从十八年前正式起步开始,华为存储一路发展始终与各大高校科研机构保持着紧密联系,高校科研机构不仅是华为存储人才重要的来源地,也是华为在存储基础领域联合创新的重要合作对象。如今,华为存储已经成长为全球Top 5、中国Top1级别的重要厂商, 在存储技术的产、学、研、用上逐步 探索 出一条价值闭环,真正让基础研究的创新成果加速走向落地,并利用市场成果不断反哺基础研究的创新 。
以本次入围天才少年项目的美女博士为例,其研究方向之一的非易失性存储器(NVM)、NVMe协议是当今存储产品中最为重要的技术趋势,而华为存储正是端到端NVMe全闪存当之无愧的领导者。华为存储的产、学、研、用价值闭环在端到端NVMe全闪存这个存储细分领域体现得淋漓尽致。
天下武功,唯快不破。
同样,在存储产品中,性能是衡量存储是否优秀的重要指标之一。在单位时间内IO越高、延迟越低,存储的性能就会越好,也意味着可以承载更多应用和更加及时响应业务请求,让用户体验更好。
NVMe正是存储领域一门关于快的武功。如果将为机械硬盘设计的SAS协议比喻为红绿灯多、卡口多的省市级公路;那么专为闪存而生的NMVe协议则是不限速的高速公路。初看NVMe可以让数据真正放飞自我,但是如何让NVMe这条数据高速公路修的更加合理、智能,让数据在高速公路上“不翻车”,则绝对需要常年修炼、不断打磨才能实现。
这是因为在数据中心这张数据网络中,IO路径涉及到服务器、存储、网络等多种设备,还有FC、IP、IB、PCIe、SAS等多种网络协议,经常面临数据传输路径过长、协议互相转化等挑战。因此,NVMe的落地往往“牵一发而动全身”,需要对整个数据中心数据传输网络进行规划和设计,仅仅是一两款NVMe SSD或者NVMe闪存控制器是远远不够的。
华为正是NVMe全闪存领域的顶尖高手,用“老司机”形容不为过。 作为存储行业SSD盘片级专利最多的厂商之一,华为对于NVMe协议进行了长期深入研究,在业界唯一端到端开发了NVMe SSD盘,NVMe 闪存控制器和NVMe全闪存操作系统,并且在业内率先实现了全系列端到端NVMe全闪存。
华为是如何做到这些的?让我们一探究竟。
华为之所以对于NVMe十分重视,是因为NVMe与闪存有着紧密联系,可谓是闪存性能潜能释放的关键所在。而华为早在2005年就开始对闪存进行研究,对于NVMe如何走向落地和价值如何实现有着深刻的洞察与实践。
2010年,NVMe最初作为一种硬盘接口协议诞生,充分释放出闪存性能。但要想真正释放数据中心包括计算、存储和网络的性能,NVMe作为硬盘接口协议是远远不够的。因此,NVMe经过多年发展,逐渐发展到存储网络领域,NVMe over RoCE技术孕育而生。
NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作为新一代高性能存储技术,将NVMe协议和网络领域中RDMA技术结合,它的出现真正让数据中心的数据高速公路成为一种统一的网络,拥有性能、组网便利性和方案成本等多种优势。但是它也存在着链路故障感知时长、网络实验稳定性、部署易用性等方面的挑战。
为此,华为集合全公司重量级产品线力量,从存储和网络两个方面对标准NVMe over RoCE方案进行增强,推出了NOF+增强方案。
具体到产品方面,华为是业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统,率先实现全系列端到端NVMe全闪的厂商。
比如,华为去年推出的全新OceanStor存储Dorado系列,其性能高达2000万IOPS、极致时延达到0.05ms,各项指标远超市场上同类竞品。
在华为OceanStor存储Dorado系列全闪存中,同时提供32G FC-NVMe和NVMe Over 100G RDMA全IP组网设计,实现前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议;OceanStor存储Dorado系列全闪存还针对NVMe设计了一套IO调度机制,彻底取消原来IO路径上的盘级互斥锁,避免了IO下发时队列锁冲突,降低软件开销,实现最佳性能。
此外,华为OceanStor存储Dorado系列全闪存在操作系统层面针对NVMe进行了优化,智能芯片、FlashLink智能算法,充分发挥了多核优势,并且通过智能学习统计IO规律,提升读缓存命中率和缩短批处理时间,大幅提升了性能与效率。
为了让数据的高速公路更加稳定与可靠,华为OceanStor存储Dorado系列全闪存在组件层提供了充足的保障。
例如,为增加端口可靠性,华为自研SSD支持原生双端口技术,而不是采用内部Switch实现双端口的方式,端口独立、互不影响,为整个全闪存提供了牢固的硬件基础和可靠性;此外,华为通过PCI-E多年的技术积累,具备完善的PCI-E链路管理、异常处理、热插拔技术,支持SSD盘在任何时间、任何方式拔出,并提供端到端PCI-E系统可靠性,保障单盘更换或发生故障时不扩散。
针对大容量SSD使用容易造成数据丢失的情况,华为OceanStor存储Dorado系列全闪存采用创新的RAID-TP软件技术,基于Erasure Code算法,在3块盘同时失效的情况下能够容忍数据不丢失、业务不中断。华为成为业界唯三可以同时容忍3块盘失效的厂商,并且是三家厂商中唯一可以实现15分钟/TB 高效重构,重构速度领先其他两家厂商20倍。华为OceanStor存储Dorado系列全闪存还拥有诸如快照、克隆、远程复制等完备的数据保护技术。
当前, 华为通过十多年的技术积累,华为已经拥有1000多个NVMe全闪存成功案例,用户涵盖到金融、政府、制造、能源等多个领域。
例如,成立于1996年的南华期货,是全国期货公司Top 10,主要从事期货经纪、资产管理、证券投资等业务。南华期货在大交所、郑商所、深交所、嘉兴联通、香港PCCW等行业数据中心和电信运营商处租用VIP机房和机柜,就近部署交易系统。
这样做的目的只有一个:“快人一步”。南华期货的业务是典型的“时间就是金钱”,一点点时间差往往可能带来利润的大幅变动,这种交易型的业务决定了其对时延要求极低,通常需要小于1ms。南华期货通过部署华为OceanStor存储Dorado全闪存来承载综合交易平台,不仅稳定可靠,性能还提升3倍,为投资者提供了极佳的用户体验。
可以说,华为存储的“快人一步”让用户在业务中也“快人一步”。
十八年风雨兼程,华为存储如今已经成长为全球Top 5、中国Top 1级别的厂商,在全球布局了12个研发中心,拥有超过4000名研发工程师、800多项存储专利,服务了全球超过12000家涵盖各个行业的用户并且连续十九个季度位列中国市场第一,更是在全闪存领域连续多个季度实现全球增速第一。
在这十八年中,技术创新是华为存储的信仰,技术创新的脚步永不停止让华为在高端存储架构、NVMe、智能存储等多个领域不断实现突破,逐渐从市场的跟随者成长为业界当之无愧的技术领先者。去年,华为存储更是首次针对数据基础设施技术难题设置了“奥林帕斯奖”,鼓励和奖励全球在数据基础设施领域取得突破性贡献的科研工作者。
未来,随着更多华为天才少年以及其他人才的不断加入,华为存储有望在舞台中央施展更多精彩。
‘柒’ 华为虚拟化(kvm)平台,如何在宿主机上底层查看到虚拟机在共享存储上存放位置和模板文件格式谢谢!
在linux上玩过kvm的朋友基本都晓得,在宿主机上运行了虚拟主机以后,我们无法直接看到某一个虚拟主机IP地址。比如:
[root@21yunwei /]$virsh list --all
Id 名称 状态
----------------------------------------------------
3 geoip running
4 tomcat running
5 jenkins running
18 gitlab running
19 win7 running
如果我们想知道gitlab这个虚拟机的IP地址,那么是无法直接看到的。这里就需要一个小方法做排查,很简单的,就两步骤:
1,编辑虚拟主机配置文件。
[root@21yunwei /]$virsh edit gitlab
进去以后直接查找mac 可以定位到如下地址信息,记录下mac后退出:
<mac address='52:54:00:FA:61:75'/>
2,通过arp -a判定虚拟机器IP地址。
[root@21yunwei /]$arp -a | grep -i 52:54:00:FA:61:75
? (192.168.1.101) at 52:54:00:fa:61:75 [ether] on br1
注意这里一定要加上-i 忽略大小写。不然因为大小写问题有可能查不到。
说明:这里只根据通信缓存记录的mac 、IP地址手段做排查。也有可能找不到。最好的办法是自己写一个脚本跟网段内的所有服务器都ping一次,记录下mac、ip地址以后再查找就没问题。
‘捌’ 华为发布新一代数据中心级融合分布式存储FusionStorage 8.0
【西班牙,巴塞罗那,2019年2月25日】在2019年世界移动大会(MWC)上,华为发布新一代数据中心级融合分布式存储FusionStorage 8.0,基于成熟的企业级存储能力及公有云基因,帮助运营商、金融等行业客户应对数据大爆炸时代业务云化挑战。
华为IT产品线智能存储与数据管理领域总裁孟广斌发布FusionStorage 8.0
5G、IoT、云、人工智能等新兴技术快速发展,传统集中式存储烟囱式部署的扩展性和管理难题日益凸显,越来越多的用户期望有一种新的形式,可以打破不同类型存储间的数据孤岛,让各类业务以统一的方式进行存储和管理,同时降低TCO、提升数字化平台服务效率。
面向纷繁复杂的云环境,华为FusionStorage 8.0创新的实现一套存储系统同时支持块、文件、对象、HDFS、数据库协议,适用于全业务场景混合负载,以一套设备支持数据的生产、灾备、分析、归档等全生命周期场景,满足云上云下数据流动并保障一致性体验。
业界首个支持关键业务的分布式存储
华为FusionStorage 8.0是业界首个支持企业关键业务的分布式存储系统。单集群横向扩展最大可达4096个节点,支持千万级IOPS,并且凭借华为企业级存储成熟的芯片和FlashLink®加速技术,使得节点与SSD盘之间协同更高效,时延响应低至0.5毫秒,具备分布式存储领域最优性能,满足运营商核心数据库、金融联机生产等场景快速IO响应诉求,保障企业关键业务高速稳定运行。
此外,基于华为企业存储产品久经验证的HyperMetro双活方案,华为FusionStorage 8.0可提供99.9999%的方案级可靠性,适用于虚拟化及数据库等多应用场景,保障关键业务不中断,提供业界唯一支持秒级RPO(恢复点目标)的异步复制技术,为跨数据中心业务提供连续性保障。凭借独有的自适应重复数据删除与数据压缩能力,即使在VDI(桌面虚拟化)应用场景中也能达到5:1的数据缩减比,进一步帮助用户节省存储空间。
率先实现五大融合
作为业界唯一同时提供公有云、传统存储和芯片的厂商,华为整合具有强扩展性的分布式存储底座、传统存储丰富的企业特性,并融入芯片的优化能力,从而实现数据中心级的融合。
华为FusionStorage 8.0通过协议融合实现一站式部署,替代原有不同协议时烟囱式部署,提升资源使用率,使TCO降低30%;通过关键业务融合实现一套存储同时支持企业核心应用和新兴应用;通过场景融合实现一套存储对数据的采、用、管、备、存全生命周期管理;通过多云融合实现一个平台,融合边缘云、私有云和公有云,为用户提供一致的业务体验;通过管理融合实现一套统一的智能管理平台,融合运维和运营两大能力,实现数据智能化,充分释放数据价值。
通过创新的五大融合特征,华为FusionStorage 8.0可帮助用户实现“一个数据中心一套存储”的终极目标,有效消除存储设备多样性及管理复杂性,降低数据使用成本,并让云上云下数据自由流动和充分共享成为可能;通过存储永新服务帮助用户数据终身免迁移,减少数据迁移给业务带来的中断风险。
作为华为FusionStorage的用户,中国移动通信集团辽宁有限公司累计部署容量超过10PB,到目前已稳定运行超过4年,数据库系统性能大幅提升,100TB经营分析数据处理时长由之前的超过10小时缩短至2小时,保障业务7x24小时在线。
华为IT产品线智能存储与数据管理领域总裁孟广斌表示:“在数据中心从传统孤岛向云架构演进的趋势下,华为全新一代分布式存储FusionStorage 8.0通过创新的五大融合,打通企业数据壁垒,在业界首个支持关键业务,真正实现一个数据中心一套存储,助力行业客户数字化转型。华为FusionStorage已经为全球数千家企业用户持续提供数据存储服务。”
‘玖’ 华为FusionSphere的FusionCompute虚拟化引擎
FusionCompute是云操作系统基础软件,主要由虚拟化基础平台和云基础服务平台组成,主要负责硬件资源的虚拟化,以及对虚拟资源、业务资源、用户资源的集中管理。它采用虚拟计算、虚拟存储、虚拟网络等技术,完成计算资源、存储资源、网络资源的虚拟化;同时通过统一的接口,对这些虚拟资源进行集中调度和管理,从而降低业务的运行成本,保证系统的安全性和可靠性,协助运营商和企业客户构建安全、绿色、节能的云数据中心。
FusionCompute采用虚拟化管理软件,将计算、存储和网络资源划分为多个虚拟机资源,为用户提供高性能、可运营、可管理的虚拟机: 支持虚拟机资源按需分配 支持QoS策略保障虚拟机资源分配 FusionManager提供开放的北向API接口,上层网管通过开放API从FusionManager中获取资源信息,方便上层网管管理员对系统进行管理和维护。FusionManager系统支持管理华为虚拟化系统FusionCompute,统一管理不同地域的虚拟化系统;也可以对第三方的虚拟化系统进行集中管理。