① 如何评价 iPhone 6s 用的是 NVMe 闪存相比 UFS 2.0 如何
2015中国闪存峰会特邀 “大话存储”图书及公众号作者冬瓜哥对“NVMe IO协议栈技术”进行系统介绍。作为技术大咖,冬瓜哥名不虚传,从IO协议栈结构、时延,到堆栈队列数量和深度,SATA SSD在IO协议栈方面的问题暴露无疑。 冬瓜哥指出:传统磁盘执行IO指令的平均时延是10ms, SCSI协议栈带来时延为0.01ms占比为0.1%,这是可以接受的。但对于SSD盘而言,SSD执行IO指令的平均时延是0.01ms,如果仍然沿用SCSI协议栈,就意味着IO协议栈时延占比会高达50%,显然这就是不能够接受的。(详情参见:IO协议栈前沿技术研究动态(2015存储峰会分享))一文。 从技术的角度,SSD替代硬盘,IO时延降低100倍,如果用新的NVMe协议栈来替代传统SCSI协议(SATA盘采用),则时延可以进一步降低20us,不要小看这20us,对于SSD新的存储介质来说,其对性能的影响是非常大的。 但现在的情况是,为了兼容性,SSD盘仍然保留了SCSI协议,因此这种盘也被称为SSD SATA/SAS盘。如果我们用“削足适履”来形容这种现象应该是最恰当不过的。因此,从技术的角度,NVMe SSD盘取代SATA SSD盘势在必然。 但从市场的角度,NVMe SSD取代SATA SSD的情况并没有发生?原因何在。 成本的原因吗?据专业人士介绍,用NVMe SSD盘取代SATA SSD盘,用8639接口替代传统的串行ATA接口,会带来6倍带宽性能提升,时延3倍降低,容量8~10倍提升,但成本是非常接近的。因此,成本并不是NVMe SSD盘迟迟没有推广的原因。 除了成本之外,再有就是软件的因素。软件方面,新的操作系统都提供了对于NVMe协议的支持,这意味多数应用没有迁移的障碍。但少部分应用软件,例如数据库、中间件等,涉及部分IO协议栈的问题,需要对NVMe提供支持。这在一定程度上,影响了NVMe SSD盘的应用。 要知道,对于IO性能更加关注的应用,数据库首当其冲。好消息是,Oracle数据库正在针对NVMe协议进行优化,假以时日,障碍就会扫除。基于这个因素考虑,NVMe SSD盘市场爆发会相对延迟,预计会在今年下半年左右。 服务器厂商的态度十分微妙,甚至可以用小心谨慎来形容。一方面,服务器设计需要优化,二来成本会提升,此外,市场的接纳度成疑,服务器厂商不愿意涉险。加上消化库存以及和传统磁盘厂商的关系,这都让服务器厂商更愿意观望和等待。 对于NVMe是不是只有临渊羡鱼的份吗?其实也不尽然。 这就要说一个叫苹果的公司。据微信公众号“SSD攻城狮”的“苹果'杀死'eMMC”的文章介绍,新的iPhone 6S就是使用了NVMe SSD存储介质。较之上一代产品iPhone 6,IO性能快出了一个三星S5。这就是差距。 不要说什么苹果“软硬件封闭一体化”优势等客观因素,在意识上,态度上,心态上,就真的没有什么可以总结的吗? 我想还是让“削足适履”的事情赶快过去吧! 最后补充一句,如果你等不及了,你可以选择闪存卡,很多闪存卡率先拥抱了NVMe的时代。但卡和盘的区别,读者可以自己分析和研究,这里不更多讨论了。需要提醒注意的是,真正的NVMe的时代不分卡和盘(参见NVMe时代,别跟我说什么卡和盘)。
② 人工智能与存储大碰撞,到底是新需求还是零火
如今,人工智能的高速发展,彻底改变了人类的工作方式、生活方式和思维方式,也实现了生产力的整体跃升和社会治理的新变革。随着计算力的不断突破,人工智能的技术也在日趋成熟,越来越多的企业开始将AI技术融入至行业中。
然而,人工智能在适配行业需求过程中往往会出现慢热现象,一方面是缺乏需求入口来实现技术颠覆,另一方面则是要面临行业内新技术攻防战所产生的阻力。而存储作为传统行业,即便经历过一轮又一轮如软件定义,超融合,云计算等技术的市场洗牌,当面对人工智能技术时,又将如何撬动市场的新需求呢?
基于市场趋势, 9月8日,业界软件定义存储与数据服务公司ProphetStor先智数据首次在北京召开正式媒体见面会,会议由存储在线总编宋家雨主持,并邀请到冬瓜哥,西瓜哥,狒哥等众多资深媒体人以趣味对话的形式大开脑洞,深入探讨人工智能如何融入存储,以及在存储市场如何进一步推进人工智能发展等热门话题。
此次见面会也是先智数据中国领导团队部分高管的首次亮相。会上,先智数据北京代表处高级总监李晓芳发表了《当人工智能遇到存储》的主题演讲,通过介绍先智数据的发展历程,主营业务以及产品解决方案,表明了先智数据未来以人工智能技术为重要发展方向的市场策略,并进一步阐述了人工智能与存储之间的融合创新模式。
先智数据北京代表处高级总监李晓芳
李晓芳表示,公司在成立之初就明确了人工智能的重要性,所有产品技术宗旨都围绕"AI融入存储"这一核心,在存储系统构建、运维,存储系统性能提升和可靠性提升等方面,利用人工智能进行不断地创新。
据介绍,目前先智数据主要有四款产品:
Federator:带外存储资源管理平台,类似OpenStack Cinder、EMC ViPR,但扩展了智能化能力。存储资源终归是被动性资源,如果想实现真正的按需调度,必须能够提前预测。Federator可以通过机器学习认知客户应用负载变动模式,提前预测应用的性能和容量需求变化,提前调配资源到位。
Stellar Flash:包含智能预测能力的全闪存阵列和混合块存储阵列。功能包括采用流量模型模块(TMM)和弹性资源控制(ERC)技术进行智能缓存;对磁盘故障进行监测预警,并根据资源和业务负载状况规划提前修复数据;支持本地重复数据删除和压缩技术。
DR Prophet:针对当下复杂多变的云化数据中心场景,基于Federator平台实现,面向业务需求的数据保护解决方案。主要功能包括可设置的自动数据保护,基于应用感知的数据保护,镜像磁盘容错和本地保护,无破坏性的灾难演练等。
Disk Prophet:智能化的故障数据分析解决方案。功能为磁盘故障预测,也就是为磁盘"算命",综合运用了大量机器学习和磁盘故障细节知识,旨在利用人工智能技术实现精准故障预测,消除因磁盘故障而出现不可预期的QoS波动,同时提升数据可靠性和资源效率。
企事录张广彬,《大话存储》作者冬瓜哥,日知录技术社区何晓峰,中国云报郭涛(从左向右)
会上,企事录张广彬,日知录技术社区何晓峰,《大话存储》作者冬瓜哥,中国云报郭涛作为嘉宾参与了趣味对话环节,对话深入探讨了"存储行业是否已经夕阳西下?"和"AI是否已经过度炒作?"两个问题,第一个问题围绕"存储行业是否已经夕阳西下"展开,讨论在互联网碾压下,包括传统存储与新存储的存储行业未来的发展乐观与否,以及存储如何实现价值差异化展开讨论,并提出存储唯一的出路就是智能化,存储需要感知业务等观点。
而"AI是否已经过度炒作?"话题,四位嘉宾首先就AI的范围界定阐述了各自的看法,提出新技术的过度炒作是一个必经的过程,而它们的区别在于能否生存下去等观点,并就人工智能在行业内是否具备实用价值,行业与人工智能的融合形式等进行了讨论。
针对市场需求与与发展趋势,先智数据表示针对AI与存储的融合,公司产品的具体实践大致分为两个阶段:
第一阶段是智能化提前预判性能和空间资源要求,并提前调配到位,也就是Federator产品所提供的智能化能力。这种智能化成分实际上也体现了新型的存储资源管理模式。
因此AI与存储结合的第二阶段,在于存储设备本身可以借助AI技术构建新型的智能化存储。智能化的故障数据分析解决方案Disk Prophet的推出就是旨在帮助二次元存储转变为三维的智能存储。因为预测能力可以把磁盘故障这种随机事件,变成可计划事件,使得冗余程度大大降低,破局二次元存储的可靠性与性能无法共存的困境。
先智数据中国区总经理董唯元在最后的会议总结中表示,先智数据未来会更多专注存储与AI结合的领域,并延展到运维领域,以目前AI现有的技术帮助运维人员实现存储运维流程优化以及存储系统管理自动化。随着技术的不断发展,行业划分在未来将会有新的结合方式,在新的行业格局变化下,先智数据将会是一家介于人工智能,存储,运维之间的跨界企业。
③ 分布式块存储和 分布式文件存储有是什么区别
分布式块存储和 分布式文件存储有是什么区别
分布式文件系统(dfs)和分布式数据库都支持存入,取出和删除。但是分布式文件系统比较暴力,可以当做key/value的存取。分布式数据库涉及精炼的数据,传统的分布式关系型数据库会定义数据元组的schema,存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS(未开源),HDFS(Hadoop distributed file system)。分布式数据库现在出名的有Hbase,oceanbase。其中Hbase是基于HDFS,而oceanbase是自己内部实现的分布式文件系统,在此也可以说分布式数据库以分布式文件系统做基础存储。
分布式存储是什么?选择什么样的分布式存储更好?
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
联想超融合ThinkCloud AIO超融合云一体机是联想针对企业级用户推出的核心产品。ThinkCloud AIO超融合云一体机实现了对云管理平台、计算、网络和存储系统的无缝集成,构建了云计算基础设施即服务的一站式解决方案,为用户提供了一个高度简化的一站式基础设施云平台。这不仅使得业务部署上线从周缩短到天,而且与企业应用软件、中间件及数据库软件完全解耦,能够有效提升企业IT基础设施运维管理的效率和关键应用的性能
MongoDB 适合做分布式图片文件存储么?
如果硬件上舍得投入(比如N台32GB起的大内存机),gridfs很合适海量小文件, 不过两台机我觉得还不如把静态文件这块外包给第三方云存储
软件定义存储和 分布式存储的区别
软件定义存储其实是个伪命题,你可以看下冬瓜哥的一篇文章。你也可以这么理解,分布式存储就是软件定义存储的一种方式。
集中式存储和分布式存储有什么区别
分布式 存储就是DAS ,就是服务器里面放着硬盘,多台服务器的话就是分布式存储,数据分散,不易于管理。
集中存储就是 NAS,SAN,将服务器和硬盘分开,数据都存放NAS设备中,NAS设备再级联磁盘阵列,然后多个服务器对这个NAS设备进行访问,操作,集中数据管理,提高利用率,解放服务器!
分布式存储与软件定义存储的区别?
分布式存储是一种存储的方式,其“分布式”的理念是软件定义存储的基础,从概念上来说,软件定义存储的范围更大,除了存储之外,还包括管理、计算、网络接口等相关概念。或者说,分布式存储就是一种链接方式,而软件定义存储就是类似元核云存储、华为等企业所研发的软件产品。
统一存储和融合存储以及分布式存储的区别
统一存储具体概念:
统一存储,实质上是一个可以支持基于文件的网络附加存储(NAS)以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储,因此也被称为多协议存储。
基本简介:
统一存储(有时也称网络统一存储或者NUS)是一个能在单一设备上运行和管理文件和应用程序的存储系统。为此,统一存储系统在一个单一存储平台上整合基于文件和基于块的访问,支持基于光纤通道的SAN、基于IP的SAN(iSCSI)和NAS(网络附加存储)。
工作方式:
既然是一个集中化的磁盘阵列,那么就支持主机系统通过IP网络进行文件级别的数据访问,或通过光纤协议在SAN网络进行块级别的数据访问。同样,iSCSI亦是一种非常通用的IP协议,只是其提供块级别的数据访问。这种磁盘阵列配置多端口的存储控制器和一个管理接口,允许存储管理员按需创建存储池或空间,并将其提供给不同访问类型的主机系统。最通常的协议一般都包括了NAS和FC,或iSCSI和FC。当然,也可以同时支持上述三种协议的,不过一般的存储管理员都会选FC或iSCSI中的一种,它们都提供块级别的访问方式,和文件级别的访问方式(NAS方式)组成统一存储。
什么是分布式数据存储
定义:
分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上,以获取更大的存储容量和更高的并发访问量。近年来,随着数据量的高速增长,分布式数据库技术也得到了快速的发展,传统的关系型数据库开始从集中式模型向分布式架构发展,基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下,从集中式存储走向分布式存储,从集中式计算走向分布式计算。
特点:
1.高可扩展性:分布式数据库必须具有高可扩展性,能够动态地增添存储节点以实现存储容量的线性扩展。
2 高并发性:分布式数据库必须及时响应大规模用户的读/写请求,能对海量数据进行随机读/写。
3. 高可用性:分布式数据库必须提供容错机制,能够实现对数据的冗余备份,保证数据和服务的高度可靠性。