‘壹’ 华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”
2019年,我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型2.0阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。
对于企业来说,数字化转型是“雄关漫道”。IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。
攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的,就是新一代分布式企业级技术。
2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。
今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等操作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移,数据库技术也面临转型。
2018年,基于云计算技术的分布式数据库成为了业界的热点。简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心操作,挑战可想而之。特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。
2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。
在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。
本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。
更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。
汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。
在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。
GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 8.0则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。
IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了54.9%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了22.1%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。
FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 8.0在SPC-1的性能测试中,单节点性能达到了16.8万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。
此外,通过华为云的云上训练及本地AI芯片,FusionStorage 8.0将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。
汪涛在发布会上强调,新一代智能分布式存储FusionStorage 8.0通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。首先,“Storage for AI”通过融合共享,让AI分析更高效。其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。
辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。
值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的操作下沉到存储节点,极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。
除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。
总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。(文/宁川)
‘贰’ 易鲸捷与华为共同发布数据库一体化联合解决方案
5月27日,贵州易鲸捷信息技术有限公司(以下简称“易鲸捷”)与华为公司在2019中国国际大数据产业博览会上签署合作协议。易鲸捷是全球领先的融合架构分布式数据库平台厂商,华为具备领先的芯片设计与研发能力,此次双方共同发布面向未来的数据库一体化联合解决方案。
华为中国智能计算业务部总裁万志表示,华为始终坚持自主研发,携手合作伙伴打造共赢生态。作为华为在金融领域最重要的合作伙伴之一,易鲸捷拥有丰富的行业经验和良好的客户基础。华为希望与易鲸捷强强联手,更好地服务于客户,助力客户在数字化、智能化转型中赢得商机。
易鲸捷执行董事李静表示,在万物互联的未来,数据的价值远远超过了传统货币的价值,而数据库则是数据世界的金库,这个金库的钥匙必须抓在自己的手中,通过自主研发的高性能、高可靠性的数据库,确保我们的关键数据不流失、不被篡改与窥探,保障金融行业的信息安全底线。易鲸捷研发的分布式数据库已经在贵阳银行与贵阳农商银行的核心交易系统正式应用,替换原有的集中式架构国际巨头数据库,完成分布式数据库领域里程碑式的胜利。希望易鲸捷的“钱库”数据库与华为自研鲲鹏920芯片的TaiShan服务器的结合,将能够为客户提供更高效、更可靠的客户体验。
华为中国智能计算业务部副总裁张英梗发表主题演讲,他表示,华为与易鲸捷携手,从底层架构到数据库层,为客户提供一套完整的数据库一体化解决方案。未来,我们希望把这个解决方案应用到金融核心领域,推动金融行业的高速发展。
易鲸捷执行董事李静与华为中国智能计算业务部总裁万志分别代表双方完成签约。易鲸捷CEO丁洪、易鲸捷售前与解决方案技术总监马敬涛、华为中国智能计算业务部副总裁张英梗、华为智能计算贵州区域总经理张昕出席仪式并见证签约。
‘叁’ 华为FusionData:源于数据,高于数据
自首台计算机ENIAC诞生起,人们便对数据收集、整理、分析和使用产生了高度依赖。
这种依赖随着数据应用的不断扩展,逐步发展到数据驱动与转化阶段。
那些有志于在数字化转型中先拔头筹的企业深知,数据驱动与转化意味着庞大的数据资源必将通过计算、交互产生智慧与财富。
而另一方面,企业也看到前所未有的挑战近在咫尺:数据应用呈现出大规模、多元异构、跨行业、实时联动等形态,此场景的背后则是数据接入难、分析难、消费难的“三难”窘境。
根据华为全球产业展望(GIV)报告显示,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。
与之形成对比,企业生产活动产生的数据中只有不到 2% 被保存,而其中得到分析利用的不足 10% ,显然,数据价值的充分释放距理想状态相去甚远。
正视数据“三难”
在如何科学而有效的利用数据潜在价值这一问题上,不乏用户端的声音— 来自金融行业的某企业CIO曾这样评价:若要从根本上解决企业面临的数据三难,应当具备“两重视”、“+智能”的应用思维。
所谓“两重视”,即重视数据“主权”与数据“提纯”,前者旨在强调企业对数据湖中的数据资源实现主导,并全方位掌握数据的流向与接入,其重要性不言而喻—让数据百分之百地满足自身业务所需;而后者旨在强调数据的精确应用,让有效数据对接明确需求,高效精准的使能业务成长。
其次便是“+智能”!顾名思义,通过基于多样算力的AI技术,将杂乱而无序的海量关联数据实现智能聚合、分析,形成精准化、有序化、结构化的数据,数据应用的场景价值才会由此得以全面释放。
FusionData,华为新近发布的智能数据解决方案,显然并有意从上述应用需求中切入,力求点亮客户在数据应用道路上的新锐脚步—强有力的迈向智能数据的大产能时代。
华为Cloud & AI产品与服务总裁侯金龙
正如华为Cloud & AI产品与服务总裁侯金龙于FusionData发布会现场所言:“数据成为新生产资料,智能成为新生产力,企业需要构建领先的数据基础设施,从而打通数据供应全流程,使能数据与业务全连接,提升业务敏捷性!
侯金龙的语义背后或许还存在另一提示—各种经济时代的区别,不在于生产什么,而在于用什么生产资料,怎样生产。
FusionData即是数据大产能时代最需要的生产工具,而它的使命即是基于数据资料,完成对数字化转型的数据使能!
与之相呼应,FusionData的特质也确有“一切源于数据,高于数据”深刻意味。
源于数据 —FusionData从数据服务需求的根本—(数据汇聚)出发,通过聚合数据源,提供‘采-存-算-管-用’全生命周期管理能力,让数据存得下、流得动、算得快、用得好,助力客户将数据资源转变为数据资产。
高于数据 —FusionData将数据的应用提升到万物互联的智能世界之上。而FusionData的终极目标则要实现一家企业一个数据湖,一座城市一个数据湖,满足居民的生产与生活、企业的运营和发展、城市政府的管理和服务等各项需求,加速全 社会 的智能化进程。
华为IT产品线副总裁、智能数据与存储领域总裁周跃峰
在FusionData发布会现场,华为IT产品线副总裁、智能数据与存储领域总裁周跃峰,用数据服务的线性图形将FusionData的“完美实力”展现于业界。
笔者的直观感受是:有高度、够清晰、全方位地触达到数据服务的各项能力环节。FusionData重定义着数据基础设施,其声量可谓振聋发聩,而其精彩内容包括:底层多样性算力平台、数据接入、存储、处理以及使能项。
其中,结合FusionData的特质,令华为引以为傲的三项重点—聚焦于数据接入、数据处理和数据使能三个层面,力图通过“连接”、“处理”、“使能”三个关键词让用户明白,任何复杂、异构、海量的数据难题都能在华为FusionData的全生命周期的管理能力下一一化解,同时还有意外“惊喜”。
FusionData的实力与惊喜
下文便通过三个关键词在细节上对FusionData做出一番简要总结,一窥其实力与惊喜之处。
“连接”:多样与高效
要做到企业用户理想中的数据智能全连接并非易事,因为只要让数据连接就意味着要与多源异构数据深度关联,后者直接引发的结果即是割裂的数据孤岛,而数据孤岛还是非统一,且形态各异。
事实上,传统的数据融合接入方式处理的对象多聚焦在来源相同、结构类似、维度单一的数据单元。而面对两多一异(多源、多维、异构)的数据源,华为选择了智能数据连接部件ROMA完成对多数据源接入、消息和API的统一管理,同时智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。
形象地说,FusionData的全智能“连接力”做到了让数据湖在“海纳百川”中“浑然一体”,且“四通八达”。
所谓“海纳百川”即是在接入能力上,FusionData做到了支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源。最大限度地容纳数据多样性,找到各类数据的平衡点,让各类数据相互融合的同时将其本色充分保留,并完美地体现在分析应用管道中。
做到“浑然一体”旨在强调界面式的一触即达,即基于统一的管理平台实现分布式消息和API服务的跨网跨域跨云集成,让数据自由流动的同时提升数据应用的效率。
不忘提及的一项重点是针对跨网跨域跨云集成,华为在云、管、端的基础设施平台上具备了其它业界友商并不完全具备的核心优势,这一点,华为已拔得头筹。
实现“四通八达”,则是来自智能通道的选择,即支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。
“处理”-重定义数据智能化
尽管FusionData是作为智能数据整体解决方案亮相于业界,但其光芒仍然被其两个重要组件-业界首创的 AI Native 分布式数据库 GaussDB 和分布式存储产品 FusionStorage 8.0所占据。
两大角色性格分明:GaussDB将 AI 技术引入数据库,大幅提升数据库自动化管理和优化能力;FusionStorage 8.0则实现一套存储系统同时支持块、文件、对象、HDFS、数据库协议,适用于全业务场景混合负载,满足云上云下数据流动并保障一致性体验。
两者再搭配FusionInsight,通过多类型数据融合存储、融合分析引擎完成了从单一处理到智能融合处理,加速了数据价值的转化。综合而言,三者结合极大提升数据处理平台的速度,即处理数据的效率;宽度,数据应用的范围得以扩展;能力,处理数据的质量直接提升。
作为FusionData的一大灵魂角色,GaussDB在此值得为其浓墨重彩一番,这主要得益于其极为抢眼的创新表现力:其作为首个将AI技术融入分布式数据库的全生命周期中的 AI-Native数据库,一并实现了自运维、自管理、自调优、故障自诊断和自愈,形成了自家独特的数据库内生管理力;其次,作为首款支持ARM架构的企业级数据库,更能充分发挥X86、GPU、NPU的综合算力优势,在算力出口上不存在桎梏,也无配额,而是实现计算资源配置价值的最大化释放。
值得强调的一点是,GaussDB搭载的融合分析引擎,能够做到支持数据库、大数据、AI多引擎融合分析和多样性算力统一调度,实现极简分析。
使能-数据先感知再驱动
使能数据,即通过智能技术加速数据的提纯,并快速转化其潜在价值。这一过程,用户需要考虑在海量、异构数据中如何让信息能够精准地触达应用所需,而不至于埋没在数据洪流中。简而言之,选择有效数据,淘汰无效数据,但此项工作并不轻松—基于数据平台工具对数据进行感知、过滤再实现筛选。
FusionData中,智能元数据感知功能便通过AI技术,自动感知和采集多个系统的元数据,对数据进行智能化分级分类,生成全局统一的数据视图,零数据归纳、筛选达到秒级响应。其遵循数据提纯的精准、合理即有效性原则,避免了用户对海量数据提纯的劳力费神。
而接下来的数据加工流程中,FusionData提供了OneQuery Tuobo工具,让数据访问接口实现统一,实现多数据源、多类型数据的统一访问,简化数据加工流程,数据获取速度提升10倍以上。
FusionData的生态家园
不容否认,数据应用的本质是信任与共享。FusionData生态发展同样如此。
诠释“信任”,华为智能数据解决方案FusionData已经应用于全球60多个国家及地区,服务于1500多个客户,拥有500多家商业合作伙伴,并广泛应用于金融、运营商、政府、大企业等行业。这一连串的数字表明,FusionData已成为业界用户与伙伴极为信任的数据服务方案品牌。
诠释“共享”,华为生态圈的各个参与者共享着数据创新所带来的回报,其不仅体现在业务层面,更体现在携手共赢之处—华为正在联合客户和合作伙伴,从行业应用、平台工具、标准组织和社区三个层面完善产业生态,让FusionData在真正的数据应用共同体的道路上走得更宽,更远。
如果向华为生态圈的伙伴们问及对FusionData的深刻印象,答案一定是:源于数据,高于数据。