‘壹’ ipfs是什么ipfs投资者靠什么赚钱
IPFS是一种网络传输协议,用于创建持久的分布式存储和文件共享。它是一个内容可寻址的点对点超媒体分发协议。IPFS网络中的节点构成了一个分布式文件系统。这是一个开源项目,由协议实验室在开源社区的帮助下从2014年开始开发。
Ipfs本质上是一种技术,通过参与Ipfs系统的操作机制来获取文件。你储存的空间越多,你获得的就越多。ecoin与IPFS是共生的,使用的IPFS网络越多,对Filecoin的需求就越大。也就是说,ipFS收入取决于ipFS奖励层fil的值。IPFS技术的发展到今天,作为区块链中的一项新的创新技术,IPFS改变了我们生活中的数据网络,使我们的数据隐私更加安全,使互联网进入了数据的快车道,促进了我国网络数据领域的发展。分布式存储技术把互联网带入了数字时代。总之,IPFS的本质是数据存储。IPFS刚出现的时候,大家都认为IPFS只是一种简单的网络数据传输模式。到目前为止,IPFS与区块链的结合已经颠覆了原来的认知。
‘贰’ 简述数字媒体关键技术及其主要应用领域
数字媒体技术是一种开放式的平台,主要包含场景设计、角色形象设计、游戏程序设计、多媒体后期处理、人机交互技术,是主要针对游戏开发、网站美工和创意设计类工作设计的技术。
其主要应用领域是数字信息处理技术、计算机技术、数字通信和网络技术等的交叉学科和技术领域。
数字媒体技术通过现代计算和通信手段,综合处理文字、声音、图形、图像等信息,使抽象的信息变成可感知、可管理和可交互。
数字媒体技术主要研究与数字媒体信息的获取、处理、存储、传播、管理、安全、输出等相关的理论、方法、技术与系统。
由此可见,数字媒体技术是包括计算机技术、通信技术和信息处理技术等各类信息技术的综合应用技术,其所涉及的关键技术及内容主要包括数字信息的获取与输出技术、数字信息存储技术、数字信息处理技术、数字传播技术、数字信息管理与安全等。
(2)国内数字存储技术发展扩展阅读
数字媒体技术专业培养德智体美全面发展的、面向当今信息化时代的、从事数字媒体开发与数字传播的专业人才。
毕业生将兼具信息传播理论、数字媒体技术和设计管理能力,可在党政机关、新闻媒体、出版、商贸、教育、信息咨询及IT相关等领域,从事数字媒体开发、音视频数字化、网页设计与网站维护、多媒体设计制作、信息服务及数字媒体管理等工作。
要求学生通过四年的系统学习能够做到:
(1)掌握扎实的计算机基础理论和基本技能;
(2)接受数字媒体软件开发的良好训练;
(3)具有独立工作和从事数字媒体设计和应用开发的能力。
‘叁’ 数字经济时代,高性能数据分析存储迎来新机遇
数字经济时代,数据已成为新的核心生产要素,其重要战略资源地位和核心科学决策作用已日渐凸显。数据潜能的激发,有赖于数据的采集、存储、计算、管理和应用,其中,作为数据采集后进行处理的第一道关口,数据存储无疑是数字经济最重要的“底盘”。
海量数据爆发,数据存储成关键
当前,数据呈现指数级增长,数据规模已经从之前的GB、TB、PB,上升到EB级、甚至ZB级。据Hyperion预测,到2025年,全球数据空间将增长到163ZB,这是2011年HPC产生数据16.1ZB的10倍。爆炸式增长的数据,哺育了数字技术发展和应用,但是同时也对计算和存储提出了更高的要求。
在高性能计算(HPDA)中,计算、存储、网络三大部件缺一不可。以前,产业创新的焦点都在追求更高的算力。而随着大数据、多样性算力等相关技术的快速发展,高性能计算的重心开始从以计算为核心,向以数据为中心的计算演进;传统HPC开始向高性能数据分析(HPDA)方向演进。据IDC统计,全球67%的高性能计算中心(HPC)已经在使用AI、大数据相关技术,HPC与AI、大数据加速融合,走向以数据密集型为典型特征的高性能数据分析HPDA时代。
HPDA时代下,各行业数据量迎来了井喷式增长。地震勘探从二维向三维的演进中,数据量增加了10-20倍;电影渲染从2K升级到8K的革命中,数据量增长16倍;卫星测绘领域,探测精准度由20米缩小到2米,数据量同比增长近70倍。
数据规模激增之外,业务模型复杂以及分析效率较低等挑战,也都在呼唤着更高效率的存储。
存储作为数据的承载者,逐步成为推动HPC产业发展的新动能。然而,传统的HPC存储在混合负载性能、成本、跨协议访问等多方面存在壁垒,无法匹配HPDA场景的需求。如何打破存储性能、成本、效率的限制,充分释放数据潜能,成为制约HPC产业升级换代的掣肘。
高性能数据分析存储,加速HPC产业发展
当前,作为数据应用和数据分析的支撑平台,以及 科技 强国的关键基础设施,数据存储已成为国之重器,在金融核心交易、新型油气勘探、基因测序、自动驾驶、气象预测、宇宙 探索 等领域发挥重要作用。数据的存储与处理能力已经成为提升政府管理水平、提高企业经营效率、增强企业发展韧性的关键,数据存储正成为加速数字化转型的坚实底座。
新的产业变化以及数据存储的重要地位,对高端存储提出了新的挑战,同时也在加速存储技术的革新——从HPC部分场景向HPC/HPDA全场景扩展,存储开始承担起加速产业向“数据密集型”转型的重任。根据国际权威分析师机构Hyperion Research 2020年针对HPC市场空间的数据显示,数据存储的增速第一,远高于整体市场平均增速。
高性能数据分析(HPDA)存储,能够匹配各HPDA场景的高端存储,可以让基因测序、气象海洋、超算中心、能源勘探、科研与工业创新、智能医疗、深度学习、人脸识别等数据密集型HPDA应用场景,在效率、品质、性价比等方面实现飞跃式提升。
值得注意的是,华为OceanStor Pacific系列下一代高性能数据分析(HPDA)存储,可以高效应对超高密设计、混合负载设计以及多协议互通上的关键挑战,推动HPC产业向数据密集型升级。目前已经成功应用于自动驾驶、基因测序、气象预测、卫星遥感等众多国内外高性能计算场景企业及机构。
存储作为高性能数据分析的重要引擎,正全面释放HPC的应用价值,驱动着HPC产业不断进步,跨越“计算密集型”到“数据密集型”的鸿沟,持续推动人类 社会 繁荣 健康 发展。
‘肆’ 大数据时代的安防数据存储安全
大数据时代的安防数据存储安全
近几年随着平安城市、智能交通、智能楼宇等行业的快速发展,大集成、大联网推动安防行业进入了大数据时代。安防行业大数据的存在已经被越来越多的人熟知,特别是安防行业海量的非结构化视频数据,以及飞速增长的特征数据(卡口过车数据、人像抓拍数据、异常行为数据等),带动了大数据的数据安全一系列问题,吸引着行业的关注。
大数据引发监控数据安全性问题突出
大数据的本质是系统通过处理采集到的所有数据,去提取其特征和共性的信息。通过大数据的处理使得所有的数据都有价值。通过大数据的处理,把传统认为没有价值的信息也能够产生非常有价值的信息,这就叫做数据挖掘。同样的数据摆在我们面前不同的挖掘方法,不同的挖掘目标可以为各种各样的业务的应用产生有价值的信息。对于安防行业,监控技术如今正面临日新月异的变革,模拟视频监控正在向IP网络监控转变,巨大转变的同时对安全性也提出了更高的要求。我们探讨数据安全,包括产品本身的物理安全和产生数据的安全。所以,大数据时代引发监控数据安全性问题有以下几点:
1、基础设备的风险:包括监控中心的存储设备、服务器和前端节点设备的安全性、网络设备的安全性、传输线缆的安全性等。设备的安全可靠是整个大数据安防系统安全运行的基础。
2、信息存取的风险:包括用户非法访问、数据丢失、数据被篡改等。系统信息的安全,主要运用各种加密技术、存储技术、及备份方案来达到系统信息的安全。
3、信息在网络上传输的风险:包括视频信息、录像数据信息、用户信息等在传输过程中保密性、完整性的保障以及传输链路上的节点设备的安全。另外还包括前端采集设备、社会监控资源接入公安监控专网的安全。
4、系统运行的风险:包括接入设备的识别和认证、设备运行故障、软件病毒、恶意代码、以及设备控制的优先级调度等。系统运行时的风险控制主要依靠视频监控软件平台来保障,该软件平台可以完成设备管理、故障监控、访问控制、用户管理、鉴权机制等一系列的功能来保障整个系统的安全运行。
基于以上4点,从存储设备的角度我们主要谈及前面两点。
大数据也催生监控存储方式变革
在一个时代下,必然会发生诸多变革。
视频监控的存储技术和介质从VCR模拟存储、DVR数字存储,逐渐向NVR、NAS、SAN等网络存储发展。而在存储方式上,主要有集中式存储和分布式存储两种。大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。为此,我们关注点是,大数据下的信息安全问题将衍生新的机遇,提升安防的价值。
随着安防形势的复杂多变和大数据时代的来临,对视频录像文件分析的需求越来越多。视频监控系统中也越来越多的使用了高级的数据存储设备和系统,例如专业的磁盘阵列系统等等。同理,安防行业使用这些专业存储设备时,需要充分了解这些软硬件的特性,而不要仅仅把它们当作超级外接大硬盘来使用。在系统设计和实施过程中可以充分利用这些设备中自带的一些数据保护软件来保护自己的数据。常用和流行的数据安全保护技术主要有以下七种:
磁盘阵列:磁盘阵列是指把多个类型、容量、接口甚至品牌一致的专用磁盘或普通硬盘连成一个阵列,使其以更快的速度、准确、安全的方式读写磁盘数据,从而加快数据读取速度、提高数据保存的安全性。
SAN:SAN允许服务器在共享存储装置的同时仍能高速传送数据。这一方案具有带宽高、可用性高、容错能力强的优点,而且它可以轻松升级,容易管理,有助于改善整个系统的总体成本状况。我们推荐FCSAN方案,它能为大数据时代的视频监控,相较于IPSAN方案,大幅减少存储设备台数,从而大幅降低成本,在数据安全方面由于自身设备超高的稳定性和性能来得以保障。
数据备份:备份管理包括数据备份的计划,自动操作,备份日志的保存。
双机容错:双机容错的目的在于保证系统数据和服务的在线性,即当某一系统发生故障时,仍然能够正常的向网络系统提供数据和服务,使得系统不至于停顿,双机容错的目的在于保证数据不丢失和系统不停机。
NAS解决方案通常配置为作为文件服务的设备,由工作站或服务器通过网络协议和应用程序来进行文件访问,大多数NAS链接在工作站客户机和NAS文件共享设备之间进行。这些链接依赖于企业的网络基础设施来正常运行;NAS提供视频监控系统后期视频文件批量处理分析的基本可能。
数据迁移:由在线存储设备和离线存储设备共同构成一个协调工作的存储系统,该系统在在线存储和离线存储设备间动态的管理数据,使得访问频率高的数据存放于性能较高的在线存储设备中,而访问频率低的数据存放于较为廉价的离线存储设备中;视频录像的归档可以充分利用高级存储设备的数据迁移手段;分层存储有效降低存储系统的整体成本。
异地容灾:以异地实时备份为基础的、高效的、可靠的远程数据存储,在各单位的IT系统中,必然有核心部分,通常称之为生产中心。往往给生产中心配备一个备份中心,改备份中心是远程的,并且在生产中心的内部已经实施了各种各样的数据保护。不管怎么保护,当火灾、地震这种灾难发生时,一旦生产中心瘫痪了,备份中心会接管生产,继续提供服务;视频监控的多中心配置越来越多,各个中心的系统和数据容灾应该借鉴IT的容灾技术考虑。
结束语
大数据是继云计算、物联网之后信息产业当前科技创新、产业政策及国家安全领域的又一次知识新增长点。在大数据的背景下信息安全面临着很多的挑战,特别是现阶段视频监控已有的信息安全手段已经不能满足大数据时代的信息安全的实际要求,因此研究大数据时代视频监控所面临的信息安全问题具有重要意义。
以上是小编为大家分享的关于大数据时代的安防数据存储安全的相关内容,更多信息可以关注环球青藤分享更多干货
‘伍’ “东数西算”全面启动:数据大迁徙背后,看见存储产业的未来轮廓
近日,国家发展改革委等部门联合印发文件,同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。至此,全国一体化大数据中心体系完成总体布局设计,“东数西算”已成为国家级战略工程,浩浩荡荡地站上了 历史 舞台。
“东数西算”被认为是继“南水北调”“西电东送”“西气东输”之后的又一重大基础设施工程,将成为“新基建”的新抓手。具体而言,“东数西算”就是将东部产生的数据和需求,放到西部数据中心去计算和处理。这有利于为数据中心提供源源不断的可再生能源,大幅降低其运行维护成本,同时能够推动中国数字经济和西部地区发展。
乘着“东数西算”的政策东风,存储、计算产业也将迎来巨大的发展机遇。其中,基于分布式存储架构的SDS(软件定义存储)作为先锋力量、“热门选手”,天生具有可扩展性以及灵活性,必然会为新基建时代带来革命性的数据储存手段。
然而,机遇往往与挑战并存,一个不能忽略的问题是,随着东数西算工程纵深推进,存储需求激增,同时5G、AI、云等技术加速更迭的背景下,与之相伴而生的SDS由于还在沿用十年前的技术,也必然需要同频进化。
01
被行业拥簇的SDS(软件定义存储)
2013年,“软件定义一切”被首次提出时,还是个令人怀疑的技术畅想。尤其是当它与存储绑定在一起,在一些传统储存厂商眼里是不着边际的。但事实证明,SDS(软件定义存储)的诞生,不仅优化了传统存储的弊端,并在日后的十年里逐渐繁荣。
根据IDC公布的2021年三季度中国软件定义存储(SDS)市场报告显示,前三季度中国SDS市场获得高速增长,市场规模同比增长54%,成为中国存储市场的增长引擎。早就发布过软件定义是趋势的Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署,包括本地部署或在公有云上。
SDS在市场上的狂飙突进,一方面是基于创新技术。近几年,由于数据爆炸式增长,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,而软件定义存储则可以实现软硬解耦,让硬件成本尽可能的降低,使得软件发挥更大价值。通过软件的设计,来决定存储的性能和边界,不用再受硬件设备、服务器的限制。其方向在于帮助用户在传统数据中心或云内实现存储资源的池化和服务化,以及在多云之间实现数据的统一管理和自由流动。
另一方面,是源于 历史 的进程,被时代选择。随着云计算、大数据和人工智的发展,非结构数据爆发式增长——文本、图像、影视、超媒体等,面对这些数据,传统存储方式难以招架,而SDS存储正是包含针对文件的存储、对象的存储,自然就成了相关行业的首选。此外,企业云化在近几年成为了主流。在上云浪潮下,不同种类业务在池化的资源池中拿到相匹配的资源。这种业务场景天然适合软件定义存储的分布式架构、软件定义、水平扩展、基于统一存储引擎向上提供多种接口等特性。
02
SDS已站在新十年的转弯处
带着这样的优势,伴随着行业的拥簇,SDS转眼已来到新十年的转弯处。周遭环境飞速变化,数字浪潮奔腾汹涌,一些厂商、企业赫然发现,这个阶段的SDS竟然依然处于1.0时代,还在沿用十年前的开源技术,基于旧的硬件架构设计,似乎已无法更好的应对未来的新兴需求。
例如,与10多年前相比,现在的存储硬件、网络以及相关的技术方案已经发生了很多的变化,如果在软件层面不做出新的变革,数据存储系统就无法发挥出最大的价值。
还有介质方面,存储已经实现了大规模的从机械硬盘向SSD固态硬盘的过渡,由此带来了超高的IOPS、超低的时延;网络的提升更是惊人,100G已经司空见惯,400G也已经渐行渐近。
当然,也面临着“云”的追赶。我们都知道,目前,企业云化已经成为必答题,云的发展日新月异,从私有云到多公有云、边缘云、分布式云,企业选择上云的部署方式越来越多元,数据可能存放在任意的地理位置,存储平台需要构建全局统一的存储资源池,让数据在多数据中心、混合多云和边缘中按需流动,这都是目前SDS1.0需要突破的挑战。
03
触摸存储未来的轮廓,ExponTech抢先迈向SDS2.0
作为数据基础设施整体解决方案提供商—ExponTech华瑞指数云率先提出SDS2.0概念。在ExponTech看来,SDS从1.0需要迈向2.0时代,进化为2.0后,会为行业带来眼前一新的改变。
比如,SDS 2.0将支持可组合式架构,整合私有云、多个公有云,边缘云中的存储资源,提供不同IO模型,不同性能和可靠性要求以及许多种协议接口(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由组合及灵活部署使用。
还有,SDS2.0将与云原生高度协同。无论在计算、网络、数据亦或业务的层面,都可以按照云原生的架构模式、部署模式和运营模式,实现与时俱进的进化。SDS 2.0需要按照云原生的方式,支持和适配企业云原生应用的发展。
最后,具备向上服务能力。SDS2.0在做好基础存储的服务、流动的同时,还会向上管理数据库,分发数据,帮助企业解决数据孤岛问题。
不仅如此,ExponTech认为,SDS2.0未来近乎要实现一个飞跃式的革新,是需要在引擎和架构方面做出全新的设计。
由此,ExponTech前瞻性地发布自主研发的新一代分布式数据存储引擎WiDE。和其他存储相比, WiDE既可以提供多池架构下的IO调度和数据流动,企业可以存储海量非结构数据,也能存储要求高性能高可靠的结构化数据,还可以做高性能的数据分析,真正实现数据原生于一个数据平台上,只保留一份数据却可以被各类应用以各种接口访问,避免各种数据孤岛和数据复制拷贝带来的问题。
此外,WiDE还全面覆盖数据新基建创新型应用场景。在覆盖现有分布式存储产品SDS1.0的主流业务场景之外, WiDE能在高性能数据分析HPDA、高性能云主机、高性能数据库底座、混合多云数据平台等业务场景发挥作用,弥补之前高端应用场景下吞吐和时延的缺陷。
引擎WiDE的问世,将会在SDS2.0时代更好地帮助企业应对数字化时代面临的业务快速迭代升级的需求,推动企业智能化。未来,ExponTech也将会打造更多前沿存储产品,助力国内数据存储和国产系统软件的发展。
伴随着对SDS2.0的展望和引擎WiDE的无限可能性,未来之窗的纱帘正在缓缓拉开,我们对于数字世界广阔前景的想象,变得更为具体可感了。
END
‘陆’ 存储技术发展历史
最早的外置存储器可以追溯到19世纪末。为了解决人口普查的需要,霍列瑞斯首先把穿孔纸带改造成穿孔卡片。
他把每个人所有的调查项目依次排列于一张卡片,然后根据调查结果在相应项目的位置上打孔。在以后的计算机系统里,用穿孔卡片输入数据的方法一直沿用到20世纪70年代,数据处理也发展成为电脑的主要功能之一。
2、磁带
UNIVAC-I第一次采用磁带机作外存储器,首先用奇偶校验方法和双重运算线路来提高系统的可靠性,并最先进行了自动编程的试验。此时这个磁带长达1200英寸、包含8个磁道,每英寸可存储128bits,每秒可记录12800个字符,容量也达到史无前例的184KB。从 此之后,磁带经历了迅速发展,后来广泛应用了录音、影像领域。
3、软盘(见过这玩意的一定是80后)
1967年 IBM公司推出世界上第一张“软盘”,直径32英寸。随着技术的发展,软盘的尺寸一直在减小,容量也在不断提升,大小从8英寸,减到到5.25英寸软盘,以及到后来的3.5英寸软盘,容量却从最早的81KB到后来的1.44MB。在80-90年代3.5英寸软盘达到了巅峰。直到CD-ROM、USB存储设备出现后,软盘销量才逐渐下滑。
4、CD
CD也就是我们常说的光盘、光盘,诞生于1982年,最早用于数字音频存储。1985年,飞利浦和索尼将其引入PC,当时称之为CD-ROM(只 读),后来又发展成CD-R(可读)。因为声频CD的巨大成功,今天这种媒体的用途已经扩大到进行数据储存,目的是数据存档和传递。
5、磁盘
第一台磁盘驱动器是由IBM于1956年生产,可存储5MB数据,总共使用了50个24英寸盘片。到1973年,IBM推出第一个现代“温彻斯特”磁盘驱动器3340,使用了密封组件、润滑主轴和小质量磁头。此后磁盘的容量一度提升MB到GB再到TB。
6、DVD
数字多功能光盘,简称DVD,是一种光盘存储器。起源于上世纪60年代,荷兰飞利浦公司的研究人员开始使用激光光束进行记录和重放信息的研究。1972年,他们的研究获得了成功,1978年投放市场。最初的产品就是大家所熟知的激光视盘(LD,Laser Vision Disc)系统。它们的直径多是120毫米左右。容量目前最大可到17.08GB。
7、闪存
浅谈存储器的进化历程
闪存(Flash Memory)是一种长寿命的非易失性(在断电情况下仍能保持所存储的数据信+息)的存储器。包含U盘、SD卡、CF卡、记忆棒等等种类。在1984年,东芝公司的发明人舛冈富士雄首先提出了快速闪存存储器(此处简称闪存)的概念。与传统电脑内存不同,闪存的特点是非易失性(也就是所存储的数据在主机掉电后不会丢失),其记录速度也非常快。Intel是世界上第一个生产闪存并将其投放市场的公司。到目前为止闪存形态多样,存储容量也不断扩展到256GB甚至更高。
随着存储器的更新换代,存储容量越来越大,读写速度也越来越快,企业级硬盘单盘容量已经达到10TB以上,目前使用的SSD固态硬盘,读速度达:3000+MB/s,写速度达:1700MB/s,用起来美滋滋啊。
‘柒’ 信息存储技术的发展过程
人类记录信息、存储信息方法经历了以下几大技术:
1,结绳记事;
2,文字纸张;
3,磁记录方式(磁鼓,磁带,磁盘等) 当前比较成熟,
4,半导体电记录(电路,电量或电容):ROM,RAM等;随着半导体技术的提升而不断提升、改进
5,光记录(光盘,光运算器件) 光计算和光存储也许会在不久的将来大力发展
‘捌’ 信息存储技术的背景 应用 发展以及趋势
信息存储技术作为信息技术的核心之一,一直伴随着、同时推动着IT业各方面技术的协同发展,是当今IT领域中少数发展最为迅速的热点之一。纸的发明记载了人类的历史和文明,现代信息存储技术则大大超越了纸张记录的含义。21世纪是数字化和多媒体化的信息时代,现代信息社会和经济的发展,所产生的信息量每年以指数方式上升,出现了信息爆炸的态势。据UC Berkley 2001年公布的数据显示,未来3年内所产生的数据将超过过去4万年中产生数据的总和,而且93%的新生成的信息为数字形式。当上世纪50年代计算机技术初现时,存储容量还只是以千位字节计…http://www.cnki.com.cn/Article/CJFD2006-CXJL200605012.htm
‘玖’ 华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”
2019年,我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型2.0阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。
对于企业来说,数字化转型是“雄关漫道”。IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。
攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的,就是新一代分布式企业级技术。
2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。
今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等操作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移,数据库技术也面临转型。
2018年,基于云计算技术的分布式数据库成为了业界的热点。简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心操作,挑战可想而之。特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。
2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。
在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。
本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。
更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。
汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。
在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。
GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 8.0则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。
IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了54.9%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了22.1%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。
FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 8.0在SPC-1的性能测试中,单节点性能达到了16.8万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。
此外,通过华为云的云上训练及本地AI芯片,FusionStorage 8.0将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。
汪涛在发布会上强调,新一代智能分布式存储FusionStorage 8.0通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。首先,“Storage for AI”通过融合共享,让AI分析更高效。其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。
辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。
值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的操作下沉到存储节点,极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。
除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。
总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。(文/宁川)