Ⅰ 数据库对一个国家的经济文化科技国家安全等有何影响
随着数据安全法、个人信息保护法的颁布实施,数据安全成为各行业数字化转型的重要一环,通过数据库技术创新助力数据安全成为业内热点。
记者调研采访发现,面对数据安全合规以及新应用新场景下的安全防护要求,传统数据库安全防护理念和技术已经开始转变。在大数据环境下进行顶层设计、标准制订,对各大数据组件进行安全审计、访问控制与风险识别,针对结构化与非结构化数据的安全脱敏、加密安全与隐私防护等,都是当前数据库安全防护新趋势的重要问题。
多因素驱动数据库安全发展
近年来,我国数字经济蓬勃发展。最新发布的《中国互联网发展报告2021》显示,2020年我国数字经济规模达到39.2万亿元,占GDP比重达38.6%。
“只有保障数据安全,才能筑牢数字经济发展的底线。”达梦数据库高级副总经理付铨表示,数据是数字经济的重要生产资料,是国家核心战略资源和社会重要财富。同时,数据安全问题是关乎数字经济健康有序可持续发展的重大问题。
绿盟科技集团副总裁李晨认为,数据库安全发展主要有两个驱动因素,一是数据库本身的发展促使数据库安全技术发展,二是数据安全相关法律法规和标准规范对数据库安全防护提出新的需求。从技术发展看,大规模的数据存储和处理需求,使得大数据、数据仓库、数据湖以及数据中台得到推广,并应用于分布式数据库、云端数据库等很多场景。从数据安全法律法规看,继等级保护2.0系列标准提出大数据应用场景的安全防护参考后,数据安全法和个人信息保护法又相继颁布实施,将数据安全要求提高到法律的高度。
在中国信通院数据库应用创新实验室、中国通信标准化协会大数据技术标准推进委员会近日举办的“数据库安全防护新趋势”沙龙上,清华大学计算机系长聘教授李国良表示,标准有助于落实产业政策,促进企业发展。希望更多企业重视相关工作,共同为数据库安全的发展做出贡献。
据中国信通院云大所工程师刘思源介绍,中国信通院深耕数据库领域标准研制、产业研究、政策支撑、评测评估等,依托中国通信标准化协会大数据技术标准推进委员会,已牵头编制近10项数据库领域行业标准和若干团体标准,累计发布数据库白皮书和研究报告近10本,并定期发布评测评估观察,为遴选优质标的提供重要依据。
数据库安全保障网络安全
数据库安全防护是数据安全治理体系的一部分。李晨表示,绿盟科技从数据安全建设顶层设计出发,提出“一个中心,四个领域,五个阶段”的数据安全体系建设思路。以数据安全防护为中心,在组织建设、制度流程、技术工具和人员能力四个领域同时开展建设工作,通过“知、识、控、察、行”五个步骤进行数据安全落地建设。仅就数据库安全技术而言,绿盟科技有数据分类分级、审计与访问控制、脱敏、水印、脱敏后风险评估、数据防护与态势感知和隐私计算相关技术等。
付铨表示,在信息技术快速发展的背景下,需要在网络信息安全关键技术上有更大突破,前提是独立研发,掌握核心技术。在安全问题上,只有数据库没有安全问题,数据才不会泄露或丢失,信息安全才能得到保障。可以说,只有底层的数据库安全了,网络安全才有保障。
据介绍,达梦数据库研发的数据共享集群实现了国产数据库在共享存储集群方面的突破,在性能上与国际同类产品持平。公司产品广泛应用于金融、能源、电信等50多个重要领域。
构筑多维度立体化安全防线
“随着数据价值重要性的凸显以及未来开放性环境下的安全风险日益突出,数据库需要围绕系统整体韧性能力和数据端到端全生命周期安全构建系统整体外部感知能力和机密计算能力,并完善内核审计追溯能力。”华为技术有限公司数据库技术专家朱金伟说。
勒索病毒是当前受到关注的网络安全风险。美创科技产品和解决方案中心总监胡大海表示,为有效抵御勒索病毒威胁,美创科技从防范实践出发,以“零信任”安全理念为基础,推出“勒索防御产品+安全保险+容灾备份”三位一体的勒索病毒风险解决方案,为机构数据安全构筑起多维度、立体化的安全防线。完善的数据容灾备份建设可以在攻击发生前对数据进行备份,在攻击发生后对数据进行恢复,最大程度降低由勒索病毒加密、窃取数据造成的数据丢失乃至业务中断等影响。
据腾讯云计算技术有限公司数据库高级产品经理程昌明介绍,目前腾讯云数据库已经能够从数据沉淀、业务学习、特征总结、风险模型、人为中心以及行为分析等方面,基于大数据分析进行安全治理。
Ⅱ 重庆维普资讯有限公司的公司发展
中国科技情报研究所重庆分所数据库研究中心成立于1989年。作为中国数据库产业的开拓者,数据库研究中心于同年自主研发并推出了《中文科技期刊篇名数据库》(CB ISTIC/CEPC Periodicals ChinaBase),这不但是中国第一个中文期刊文献数据库,也是中国最大的自建中文文献数据库。它的问世标志着我国中文期刊检索在实现计算机自动化方面达到了一个领先的水平,也结束了我国中文科技期刊检索难的历史。
1995年,在数据库研究中心基础上成立了重庆维普资讯有限公司,进行数据库等产品的运营。
在《中文科技期刊篇名数据库》的基础上,重庆维普资讯有限公司又研发了《中文科技期刊数据库》、《中国科技经济新闻数据库》、《中文科技期刊数据库(引文版)》、《外文科技期刊数据库》、《中国科学指标数据库》、中文科技期刊评价报告、中国基础教育信息服务平台、维普-google学术搜索平台、维普考试资源系统、图书馆学科服务平台、文献共享服务平台、维普期刊资源整合服务平台、维普机构知识服务管理系统、文献共享平台、维普论文检测系统等系列产品。
其中《中文科技期刊数据库》是中国第一个中文科技期刊全文数据库,也是国家新闻出版总署正式批准出版发行的中文期刊数据库。数据库收录了中国境内历年出版的中文期刊 12000 余种,全文4000 余万篇,引文7000 余万条,分三个版本(全文版、文摘版、引文版)和8个专辑(社会科学、自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学、图书情报)定期出版发行,是中国科技文献保障系统的重要组成部分,是我国科技工作者进行科技查新和科技查证的必备数据库。也是目前国内最重要的学术、科研、人力资源评价数据。 为了适应互联网的发展,使更多的科技工作者能够用上维普公司的相关产品,重庆维普资讯有限公司于2000年建立了维普资讯网,将《中文科技期刊数据库》等一系列产品搬到了互联网上,以服务更大的人群。经过多年的商业运营,维普资讯网(现更名为维普网)已经成为全球着名的中文专业信息服务网站,以及中国最大的综合性文献服务网站,同时也是中国主要的中文科技期刊论文搜索平台,也是国内主要提供的机构信息检测咨询服务提供单位的平台。2005年,维普资讯网和全球最大的搜索引擎提供商谷歌(Google)进行战略合作,成为谷歌学术搜索频道在中国的重要合作伙伴,并且成为谷歌学术搜索频道最大的中文内容提供商。现维普资讯网的注册用户数超过 1200 万,累计为读者提供了超过15亿篇次的文章阅读服务。
Ⅲ 国产分布式数据库到底怎么样
分布式是趋势。
推荐一款有幸用过,使用效果很好的国产分布式数据库——思极有容数据库。
趋势价值分析
1)分布式是趋势,但是技术门槛高,对研发,运维的水平要求高。;
2)思极有容数据库作为分布式解决方案对应用透明,研发人员精力集中在业务实现,而不是被分库分表耗费过多精力,从而提高效率,这是一个很有价值和意义的事情。
如果和传统国产数据库厂家,例如达梦、人大、神通等相比,思极有容数据库采用原生分布式架构,在集群扩展性和大规模部署后集群性能方面有较大优势;同时思极有容数据库 完全兼容和继承MySQL生态,非常的易用易适配,可以无缝衔接大量第三方数据处理组件,有巨大的生态优势。
和开源数据库MySQL/PostgreSQL相比,思极有容数据库 具备强大的扩展能力和准线性的性能提升优势,在数据存储容量、事务吞吐性能、数据库原生高可用方面具备碾压优势。
和新兴分布式数据库厂家,例如阿里DRDS、腾讯TDSQL等相比,思极有容数据库具备更加完备的SQL语法支持,具备更加强大的事务吞吐性能,对应用适配更加友好。
Ⅳ 企业数据上云必有一战,华为云12.12云数据库2折起
每年的Gartner全球数据库魔力象限都会对未来三年的市场进行预测,而2020年的预测相比于2019年的预测出现一个显着的变化,那就是全球75%数据库将被部署或迁移到云平台的时间表提前了一年——从2023年提前到了2022年。进入2020年底,我们将迎来数据库行业的世纪之战,企业数据上云与治理面临着重大抉择:本地数据库与云数据库的PK。特别是受2020全球疫情的影响,越来越多的企业正加速数字化转型,云数据库以及云上数据治理的时代将很快到来。
2020年12月12日双十二之际,华为云打出了云数据库2折起的大幅折扣,包括:MySQL等热门云数据库 2折起、迁移上云再加送6个月;GaussDB系列、数据管理服务DAS企业版等热销产品低至5折;数据加速与治理产品中也有Redis 4折的惊喜优惠。2020年又是华为云推出全场景数据库云服务GaussDB的第一年,而在2020年底打出云数据库2折起的大力度促销,彰显了华为云开打2021企业数据上云之战的决心。
2020年的一场疫情,让很多企业都将数字化转型提速,特别是让本来需要几年才能下的数字化转型决心和决定缩短到几个月;而新基建的推出,更刺激了基于数字技术的融合基础设施的大规模建设。无论是加速的数字化转型、急于上线的各种在线和互联网业务,还是筹建中的融合基础设施新基建,都为CIO们带来了头痛的问题:数据库的选型。
那么CIO怎么解决云数据库的选型难题呢?华为云数据库业务总裁苏光牛认为,CIO选型数据库,最常见的其实没有变化,就是稳定性和性能,以及云技术出现之后的扩展性和灰度等能力。但对于很多企业,特别是有 历史 遗留系统的,都涉及一个古老但无法回避的问题就是:生态。也就是如果招聘的DBA多是搞PostgreSQL,那么企业怎么能选择MySQL?反之亦然。或者当熟悉某个数据库的DBA干了几十年,又怎么转向另外一种数据库?
转型是必然的。数字化智能化升级,必然要求数据库跟上,苏光牛认为生态必须是开放的,否则就从一个火坑跳入另外一个火坑。选型之后,CIO都普遍担心,迁移的工作量有多大?CIO都需要有能自动化转换或者评估的工具,能把非确定的工作量转化为确定性的计划。然后就需要考虑迁移是否会中断或者中断多久,业务切换需要多久,对于在线迁移来说还要可控制的切换时间;随之,要考虑数据是否会丢失,因为从一个系统迁移到另一个系统,不可能100%覆盖所有的功能测试,没有覆盖到数据是否就丢失了,当然还要考虑数据安全等问题。
最后,必然要考虑成本以及让数据“活”起来。苏光牛认为,控制成本的最好方式是存储的融合,计算和存储分离的架构;而让数据活起来,就是要让存储的数据在不同系统之间流动起来,通过大的存储资源池解决数据孤岛问题,当然更好的数据迁移工具也能配合解决问题。
2020年11月,在Gartner发布的2020全球云数据库魔力象限中,华为云凭借GaussDB系列产品首次晋级全球顶级云数据库行列。Gartner对华为云的评价是:华为云专注于提供全面的混合堆栈,构建了全面、稳健的产品组合,能够满足跨云和本地环境的全方位数据管理用例,其许多产品与云基础架构紧密集成,以提供增强的性能和可靠性。Gartner还认为,华为在全球电信和网络行业有很强的影响力,很多为管理华为全球行业业务而构建的数据管理能力,面向政企行业普遍可用。
2020年下半年,华为云宣布GaussDB数据库战略升级为华为云数据库全场景服务,以及发布GaussDB云数据库服务GaussDB(for MySQL)、GaussDB(openGauss)以及GaussDB NoSQL,而GaussDB NoSQL非关系型数据库则支持MongoDB、Cassandra、时序InfluxDB、KV数据库Redis等,具有多模式数据管理能力。
就GaussDB来说,通过计算和存储分离实现分布式处理,在一套架构下,可以对接MySQL、PostgreSQL、MongoDB、Cassandra等多种开源数据库引擎,实现这些开源数据库的良好商用性能。GaussDB以华为云为底座,保证了良好可扩展性、弹性、安全可靠等性能要求,特别是通过底层统一的智能化DFV分布式存储架构,满足企业上云对于云数据库的各种需求。
在数据迁移方面,华为云推出的数据库和应用迁移 UGO,是一款专注于异构数据库对象迁移和应用迁移的专业化工具,而华为云数据复制服务DRS,支持更大数据量、更长时间等多种复杂迁移场景,支持数据库上云和云上业务数据实时回传至云外的混合云架构。UGO+DRS形成了完整的迁移产品形态。
GaussDB是为政企打造的数据库一站式上云解决方案,提供全场景数据管理业务、全开放生态和安全可信,彻底解决政企以及互联网行业在数据库选型方面的痛点,真正做到数据库选型安心、迁移放心、管理省心。
苏光牛表示:“华为将持续战略投入数据库,布局全球7大区域囊括1000+数据库专家与人才。此次战略升级是华为云数据库积极构建高安全、高可靠、高性能的全场景云服务,拥抱开源生态的具体举措,华为云GaussDB数据库会持续打造多元生态服务,全方位满足客户的需求,加速政企客户数字化创新发展。”
正如Gartner所观察到的,如今华为云数据库业务在亚太地区,尤其是中国市场实现规模化部署,其中超过一半的客户来自公共管理、电信、金融保险等行业。华为云数据库,特别是GaussDB能够被广大政企用户认可,这首先来自于经历了华为内部的千锤百炼。从2007年开始,就因为华为的无线、网络、交换机等产品而发展起来了GaussDB,从2009年开始基于存算分离的架构而考虑分布式数据库的设计,2015年起基于广泛认知的生态如MySQL或者PostgreSQL等以及NoSQL数据库,逐步推出了分布式的数据库,同时还打造华为自己的openGauss生态。
2020年,华为云数据库品牌更加清晰,GaussDB是华为自有数据库品牌,既兼容MySQL、PostgreSQL等广泛认知的生态,又有自有的生态openGauss,openGauss于2020年6月正式对外开源。苏光牛强调,华为公司将长期投入GaussDB的开发,基于混合云和公有云的方式,联合ISV等伙伴一起,全方位服务好客户。
总结下来,GaussDB有四大特色:第一,开放的生态,拥抱开源生态的同时,打造华为自有生态。华为云认为未来一定是开放的生态,开放的生态才能保护客户投资,避免从一个封闭体系走向另外一个封闭体系。
第二,存算分离的架构,数据库的稳定性是第一位的,特别是交易型数据库,华为云数据库最核心的特色是存储的稳定性。华为云GaussDB基于与企业存储相同的分布式存储架构,经过千行百业的磨炼而不仅仅是单一的某种交易流量,另外各种存储能力如重删、压缩、跨AZ等特性让快速备份恢复、性价比都具备非常好的优势。
第三,安全合规,GaussDB经过了ICSL的安全认证,以及很多白盒的代码层面的认证。特别是随着欧洲GDPR等标准的实施,以及政企对数据安全性要求的增加,华为云GaussDB的代码级、架构级别安全设计,以及多年来在电信级高标准行业的锤炼,经历了很多实际客户的严苛考验,让政企在使用数据库的时候更加放心。
第四,软硬件全栈协同。华为云具备软硬件全栈研发的实力,无论存储底座和RDMA高速网络,还是虚拟化和容器之上的性能调优,以及GuestOS上的协议栈优化,特别是基于云技术之后的全栈优化和云服务能力,更加是华为云的优势。
当然,更为重要的是,云数据库采用云的模式实现了数据库运维管理的集中化,极大简化了数据库的安装、部署、配置、迁移和优化,大幅提升运维管理效率,让政企可以投入更多精力聚焦在核心业务创新上。
总结而言: 企业数据上云和云上数据治理将成为2021年政企数字化转型的重中之重,各大技术厂商都在争夺云数据库市场份额。以华为云全场景数据库GaussDB为代表的新一代云数据库,将满足政企数字化转型的全面需求。特别是以华为云和华为云Stack为底座,GaussDB可以跨公有云以及企业本地部署,其技术符合云及企业本地的要求,同时具有华为云的高性能、高可用、高安全等保证,可以说政企数字化转型的全场景保障!(文/宁川)
Ⅳ MongoDB挑战传统数据库:非结构化数据库的迭新不容小觑
相比甲骨文中国在中国市场的裁员风波,同为数据库服务的MongoDB显得更为乐观。“MongoDB是中国开发者最喜欢用的一个数据库。”MongoDB全球渠道及亚太区销售高级副总裁Alan Chhabra带着一点自信和骄傲在媒体面前宣称。
中国企业的数字化转型正进入关键期,在打造开放、高效、灵活、共享的云计算基础设施的同时,数据库的更新换代也被提上了日程。
日前,非结构化数据库平台提供商MongoDB在上海举办用户大会,MongoDB全球渠道及亚太区销售高级副总裁Alan Chhabra接受了亿欧企业服务频道的采访, 并针对去年修改开源协议,在SSPL的不同许可机制下授权服务器软件的争议以及其他疑问作出回应。
数据库的本质是解决数据的存储和管理问题。 Alan Chhabra表示,对企业发展具有战略意义的数据库正在催生巨大的市场。
在这些潜力颇大的数据库中,市场上目前存在着的是关系型的传统数据库和以Mongo DB为代表的非关联式新型数据库。传统数据库比较典型的是甲骨文旗下的Oracle数据库、IBM推出的大数据平台Hadoop和Stream Computing、微软的SQL Server、SAP以及EMC Greenplum。 他们的主要差别在于数据库的结构化和非结构化。
结构化的数据是指可以使用关系型数据库表示和存储,表现为二维形式的数据,存储和排列很有规律,这对查询和修改等操作很有帮助,但扩展性和灵活性欠佳。 非结构化数据库就是各种文档、图片、视频/音频等没有固定结构的数据,一般直接整体进行存储为二进制的数据格式。 目前涵盖分布式数据库、图数据库、流数据库、时空数据库和众包数据库等多个领域。
MongoDB是文档型的非结构化新型数据库,Alan Chhabra表示, 与传统数据库相比,更能满足用户数据存储量大、计算灵活的需求。“在某些客户某些案例上,我们已经取代了传统数据库,比如甲骨文。”
当前, 软件对于商业模式的改变、开发人员地位的提高,以及企业向云端迁移的趋势 都让数据服务公司的发展得到了助力。但从毕马威会计事务所对首席信息官的调查结果来看, 88%的首席信息官认为他们未能从数字化战略中充分获益;82%的首席信息官认为其所在机构在利用技术推动业务发展方面并非“卓有成效”。 也就是说, 大多数公司的数字化战略是以失败告终的。
在此背景下,更加灵活、性能更加强大的新型数据库在一些领域获得了试验田丰收,并且可以看到,随着客户数据需求的繁杂程度的日益增加,传统数据库也在自我革新,以迎头赶上数据浪潮的大变革。
MongoDB成立于2007年,2017年在纳斯达克上市。最初,MongoDB是一项面向技术爱好者的技术,如今已成为一项企业级的业务关键技术。通过不断开发数据库即服务(Database-as-a-Service)产品,积极拥抱云计算,MongoDB在过去十年里,为开发人员提供了处理数据的方法。正因如此,它也成了企业数字化转型战略的一个关键部分。
MongoDB提供的产品主要包括MongoDB云服务MongoDB Atlas、MongoDB Mobile、MongoDB企业版和MongoDB Stitch等十余个相关产品。Alan Chhabra表示,产品包括了 开源版、付费版和云版。
2018 年 10 月,MongoDB宣布其开源许可证将从GNU AGPLv3切换到SSPL,新许可证将适用于新版本的MongoDB Community Server以及打过补丁的旧版本,这一举动引发了行业热议。基于GNU AGPLv3协议,企业可以将MongoDB作为公共服务但这需要企业开源自己的软件或是获得MongoDB的商业授权,事实却是MongoDB发现许多企业正在违反协议“疯狂试探”甚至已经违反协议。 SSPL( Server Side Public License)顾名思义,要求使用者必须得到服务器端公共许可证,这一协议会进一步约束商业公司使用MongoDB服务。
Alan Chhabra向亿欧解释, SSPL 针对的是提供MongoDB托管服务的云服务厂商。 也就是说,如果不是云服务厂商,没有公然售卖MongoDB产品,而只是作为应用后台数据库来使用的话,那么无论你是电商、物联网、金融、社交、 游戏 、移动应用等等,一概都不会有任何影响。 “MongoDB的宗旨还是为了始终支持并保护创新开放。”
但此开源协议的修改明显带来了市场用户的“掉粉”,比如Linux 社区的接连“弃用”,以及AWS 、IBM、微软推出了兼容MongoDB的相关产品来服务用户。
数据库开源的商业变现与创新形成的矛盾,目前似乎还尚未找到解决方案。
Alan Chhabra在大会上也透露了MongoDB的未来计划, 即将基于智能运营数据平台和下一代基础架构、文化、方法论和安全,推动原有系统的现代化、数据即服务、云数据策略、业务敏捷性,进而帮助客户实现以数据驱动的数字化转型。
针对MongoDB在中国的发展情况, Alan Chhabra表示,公司将以创新立足,持续引领数据库技术发展潮流,与合作伙伴携手助力中国企业的数字化转型。
MongoDB北亚区副总裁苏玉龙认为:“中国是数据大国,而数据就是未来的石油。如何利用好数据,让数据石油助力中国企业腾飞是MongoDB希望在中国达成的事情。随着中国企业数字化转型逐渐走向深入,MongoDB数据库的价值得到不断释放。”
本文作者龚晨霞,微信Gcx847076575,欢迎关注企业服务和产业互联网的朋友加微信交流。
Ⅵ 华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”
2019年,我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型2.0阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。
对于企业来说,数字化转型是“雄关漫道”。IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。
攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的,就是新一代分布式企业级技术。
2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。
今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等操作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移,数据库技术也面临转型。
2018年,基于云计算技术的分布式数据库成为了业界的热点。简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心操作,挑战可想而之。特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。
2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。
在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。
本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。
更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。
汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。
在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。
GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 8.0则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。
IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了54.9%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了22.1%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。
FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 8.0在SPC-1的性能测试中,单节点性能达到了16.8万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。
此外,通过华为云的云上训练及本地AI芯片,FusionStorage 8.0将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。
汪涛在发布会上强调,新一代智能分布式存储FusionStorage 8.0通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。首先,“Storage for AI”通过融合共享,让AI分析更高效。其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。
辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。
值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的操作下沉到存储节点,极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。
除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。
总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。(文/宁川)
Ⅶ 传统的关系型数据库面临的挑战有哪些
挑战一:数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧,每年新增数据量仅为美国的7%,欧洲的12%,其中政府和制造业的数据资源积累远远落后于国颂毁外。就已有有限的数据资源来说,还存在标准化、准确性、完整性低,利用价值不高的情况,这大大降低了数据的价值
挑战二:数据挖掘分析模型建立
步入大数据时代,人们纷纷在谈论大数据,似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利,并且促成新的经济繁薯樱念荣
挑战三:数据开数困放与隐私的权衡
数据应用的前提是数据开放,这已经是共识。有专业人士指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护