当前位置:首页 » 网页前端 » 前端数据湖
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

前端数据湖

发布时间: 2023-01-11 00:56:25

⑴ 数据中台特征

数据中台是中台的核心平台之一,简单来说就是数据仓库,是将传统数据仓库扩展到企业级所有数据的更大领域,对这些数据进行数据采集、数据建模、数据服务,并提供给前端开展不同维度的数据应用。

“数据中台”重构了企业数据系统的架构,将其分为三个层级:

底层

底层是数据收集层,就是数据湖,来自ERP、SRM等各个信息化系统中的业务数据、财务数据、大数据,结构化和非结构化数据直接汇入这层数据湖中,实现统一、集中的数据收集。


核心层

中间的核心层是数据存储与计算层,核心是通过数据建模,形成服务化的数据应用。数据模型可以分为基础模型、融合模型和挖掘模型。基础模型一般是关系建模,主要实现数据的标准化;融合模型一般是维度建模,主要实现跨越数据的整合,整合的形式可以是汇总、关联、解析;挖掘模型是偏应用的模型,作为企业的知识沉淀在中台内,可在数据应用端调取进行复用。

上层

上层是业务应用层,聚焦于对数据的应用和展现,核心层的数据模型可以共享到这个层级中并实现复用,赋能企业业务发展。数据应用通过将数据融入企业具体的业务经营场景中,基于丰富的数据模型开展场景化应用,用数据解决具体的业务问题,具体应用包括产销协同分析、投资分析、产品定价、商品推荐、客户画像等,数据展现聚焦于以多样化的形式展现数据分析应用的结果,这些形式包括管理驾驶舱、即席分析、自助报告、数据大屏、移动APP等,系统可以根据不同用户在不同场景下的需求调整合适的展现方式。

⑵ 滴普科技:为什么越来越多的企业会选择“湖仓一体”

数据库行业正走向分水岭。

过去几年,全球数据库行业发展迅猛。2020年,Gartner首次把数据库领域的魔力象限重新定义为Cloud DBMS,把云数据库作为唯一的评价方向;2021年,Gartner魔力象限又发生了两个关键的变化: 1、Snowflake和Databricks两个云端数据仓库进入领导者象限;2、放开了魔力象限的收入门槛限制,SingleStore、Exasol、MariaDB、Couchbase等数据库新势力首次进入榜单

某种程度上,这种变化的背后,暗示着全球数据库已经进入发展的黄金时代,也是一众新兴势力的加速崛起之年。其中,最为典型的例子是Snowflake和Databricks经常隔空喊话,前者是云端数仓的代表玩家,去年继续保持了1倍以上的业务增长;后者因推出“湖仓一体”,估值一路飙升至360亿美金,两者之争,其实是数据库新旧架构之争。

随着企业数字化驶入深水区,对于数据使用场景也呈现多元化的趋势,过去容易被企业忽略的数据,开始从幕后走到台前,如何为众多场景选择一款合适的数据库产品,已经成了很多CIO和管理者的一道必答题。 但有一点可以确定的是,过去的数据库已难以匹配眼下日益增长的数据复杂度需求,基于扩展性和可用性划分,分布式架构突破单机、共享、集群架构下的数据库局限,近些年发展态势迅猛。 为此,这篇文章我们将主要分析:

1、数据仓、数据湖、湖仓一体究竟是什么?

2、架构演进,为什么说湖仓一体代表了未来?

3、现在是布局湖仓一体的好时机吗?

01:数据湖+数据仓 湖仓一体

在湖仓一体出现之前,数据仓库和数据湖是被人们讨论最多的话题。

正式切入主题前,先跟大家科普一个概念,即大数据的工作流程是怎样的?这里就要涉及到两个相对陌生的名词: 数据的结构化程度 数据的信息密度 。前者描述的是数据本身的规范性,后者描述的是单位存储体积内、包含信息量的大小。

一般来说,人们获取到的原始数据大多是非结构化的,且信息密度比较低,通过对数据进行清洗、分析、挖掘等操作,可以排除无用数据、找到数据中的关联性,在这个过程中,数据的结构化程度、信息密度也随之提升,最后一步,就是把优化过后的数据加以利用,变成真正的生产资料。

简而言之,大数据处理的过程其实是一个提升数据结构化程度和信息密度的过程。 在这个过程中,数据的特征一直在发生变化,不同的数据,适合的存储介质也有所不同,所以才有了一度火热的数据仓库和数据湖之争。

我们先来聊聊数据仓库,它诞生于1990年,是一个面向主题的、集成的、相对稳定的、反映 历史 变化的数据集合,主要用于支持管理决策和信息的全局共享。 简单点说,数据仓库就像是一个大型图书馆,里面的数据需要按照规范放好,你可以按照类别找到想要的信息

就目前来说,对数据仓库的主流定义是位于多个数据库上的大容量存储库,它的作用在于存储大量的结构化数据,为管理分析和业务决策提供统一的数据支持,虽然存取过程相对比较繁琐,对于数据类型有一定限制,但在那个年代,数据仓库的功能性已经够用了,所以在2011年前后,市场还是数据仓库的天下。

到了互联网时代,数据量呈现“井喷式”爆发,数据类型也变得异构化。受数据规模和数据类型的限制,传统数据仓库无法支撑起互联网时代的商业智能,随着Hadoop与对象存储的技术成熟,数据湖的概念应用而生,在2011年由James Dixon提出。

相比于数据仓库,数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施。 它就像一个大型仓库,可以存储任何形式(包括结构化和非结构化)和任何格式(包括文本、音频、视频和图像)的原始数据,数据湖通常更大,存储成本也更为廉价 。但它的问题也很明显,数据湖缺乏结构性,一旦没有被治理好,就会变成数据沼泽。

从产品形态上来说,数据仓库一般是独立标准化产品,数据湖更像是一种架构指导,需要配合着系列周边工具,来实现业务需要。换句话说,数据湖的灵活性,对于前期开发和前期部署是友好的;数据仓库的规范性,对于大数据后期运行和公司长期发展是友好的,那么,有没有那么一种可能,有没有一种新架构,能兼具数据仓库和数据湖的优点呢?

于是,湖仓一体诞生了。 依据DataBricks公司对Lakehouse 的定义,湖仓一体是一种结合了数据湖和数据仓库优势的新范式,在用于数据湖的低成本存储上,实现与数据仓库中类似的数据结构和数据管理功能。湖仓一体是一种更开放的新型架构,有人把它做了一个比喻,就类似于在湖边搭建了很多小房子,有的负责数据分析,有的运转机器学习,有的来检索音视频等,至于那些数据源流,都可以从数据湖里轻松获取。

就湖仓一体发展轨迹来看,早期的湖仓一体,更多是一种处理思想,处理上将数据湖和数据仓库互相打通,现在的湖仓一体,虽然仍处于发展的初期阶段,但它已经不只是一个纯粹的技术概念,而是被赋予了更多与厂商产品层面相关的含义和价值。

这里需要注意的是,“湖仓一体”并不等同于“数据湖”+“数据仓”,这是一个极大的误区,现在很多公司经常会同时搭建数仓、数据湖两种存储架构,一个大的数仓拖着多个小的数据湖,这并不意味着这家公司拥有了湖仓一体的能力,湖仓一体绝不等同于数据湖和数据仓简单打通,反而数据在这两种存储中会有极大冗余度。

02:为什么说湖仓一体是未来?

回归开篇的核心问题:湖仓一体凭什么能代表未来?

关于这个问题,我们其实可以换一个问法,即 在数据智能时代,湖仓一体会不会成为企业构建大数据栈的必选项? 就技术维度和应用趋势来看,这个问题的答案几乎是肯定的,对于高速增长的企业来说,选择湖仓一体架构来替代传统的独立仓和独立湖,已经成为不可逆转的趋势。

一个具有说服力的例证是,现阶段,国内外各大云厂商均陆续推出了自己的“湖仓一体”技术方案,比如亚马逊云 科技 的Redshift Spectrum、微软的Azure Databricks、华为云的Fusion Insight、滴普 科技 的FastData等,这些玩家有云计算的老牌龙头,也有数据智能领域的新势力。

事实上,架构的演进是由业务直接驱动的,如果业务侧提出了更高的性能要求,那么在大数据架构建设的过程中,就需要数据库架构建设上进行技术升级。 以国内数字化企业服务领域成长最快的独角兽滴普 科技 为例,依托新一代湖仓一体、流批一体的数据分析基础平台FastData,基于对先进制造、生物医药、消费流通等行业的深度洞察,滴普 科技 从实际场景切入,为客户提供了一站式的数字化解决方案。

滴普方面认为,“ 在数据分析领域,湖仓一体是未来。它 可以更好地应对AI时代数据分析的需求,在存储形态、计算引擎、数据处理和分析、开放性以及面向AI的演进等方面,要领先于过去的分析型数据库。”以AI应用层面为例,湖仓一体架构天然适合AI类的分析(包括音视频非结构化数据存储,兼容AI计算框架,具有模型开发和机器学习全生命周期的平台化能力),也更适合大规模机器学习时代。

这一点,和趋势不谋而合。

就在前不久,Gartner发布了湖仓一体的未来应用场景预测:湖仓一体架构需要支持三类实时场景,第一类是实时持续智能;第二类是实时按需智能;第三类是离线按需智能,这三类场景将可以通过快照视图、实时视图以及实时批视图提供给数据消费者,这同样是未来湖仓一体架构需要持续演进的方向。

03:现在是布局湖仓一体的好时机吗?

从市场发展走向来看,“湖仓一体”架构是基于技术发展进程的必经之路。

但由于这个新型开放架构仍处于发展早期,国内外企业数字化水平和市场认知的不同,造成了解决方案也存在着较大的差异。在业内投资人看来,“ 虽然美国的企业服务市场比我们成熟的多,也有很多路径可以参考,但中国市场却有着很多中国特色。以对标Databricks的滴普 科技 为例,美国企业服务市场往往卖产品就可以了,但中国大客户群体需要更与客户资深场景深度融合的解决方案,解决方案需要兼顾通用性和定制化。

在此前与滴普 科技 的合作中,百丽国际就已经完成了统一数仓的搭建,实现了多个业务线的数据采集和各个业务域的数据建设。在保证前端数据正常运行、“热切换”底层应用的前提下,滴普 科技 和百丽国际紧密协作,在短短几个月时间里将多个数仓整合为统一数仓,有效统一了业务口径,大幅缩减了开发运维工作量,整个业务价值链也形成了闭环。

这也是“湖仓一体”的能力价值所在:随着数据结构的逐渐多样性,3D图纸、直播视频、会议视频、音频等数据资料越来越多,为深度挖掘数据价值,依托于领先的湖仓一体技术架构,百丽国际可先将海量的多模数据存储入湖,在未来算力允许时,及挖掘深度的业务分析场景后,从数据湖中抓取数据分析。

举个简单的例子,某个设计师想要设计一款鞋子,一般会从 历史 数据中找有效信息参考,设计师也许只需要一张货品照片,就能像浏览电影般,了解到该商品多年来全生命周期的销售业绩、品牌故事、竞品分析等数据,赋能生产及业务决策,实现数据价值的最大化。

一般来说,大体量的企业想要保持持续增长,往往需要依靠大量、有效的数据输出,进而实现智慧决策。很多企业出于 IT 建设能力的限制,导致很多事情没法做,但通过湖仓一体架构,让之前被限制的数据价值得以充分发挥,如果企业能够在注重数据价值的同时,并有意识地把它保存下来,企业就完成了数字化转型的重要命题之一。

我们也有理由相信,随着企业数字化转型加速,湖仓一体架构也会有更为广阔的发展空间。

⑶ 数据管理和分析趋势正在改变世界

数据管理和分析趋势正在改变世界
现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数据转移到云端;GDPR将使数据保护成为每个公司的首要任务。你知道这些,但也许会对这种夸大其词的说法有点怀疑。
那么到底发生了什么实质性的变化?在制定架构和采购策略并在这些领域做出决策时,你需要注意什么?接下来我们会讨论在分析领域发生的7个影响深远的变化,并将它们一一呈现。
Hadoop始终是根基
是的,那些大数据项目的失败率很高;并且Spark在某种程度上已经取代了Hadoop,越来越多的客户开始独立运行它,所以业界开始指责Hadoop…并且不再提到它的名字。所以你认为Hadoop一定已经过时了,对吧?

错!现在每个人都在谈论数据湖,很多时候,那只是Hadoop的代码。而且,虽然许多公司正在云存储中实现他们的数据湖,也经常使用Hadoop生态系统技术来分析这些数据。除此之外,当开始使用云存储来模拟HDFS、Hadoop的文件系统时,你就会意识到云数据湖和Hadoop数据湖并没有本质区别。
好消息是,今年Hadoop将会做它一直应该做的事情:低调地被很多企业接受,并将成为众多数据工具之一,发挥其战略作用。正是这些数据技术的结合,包括Hadoop、Spark、Business Intelligence (BI)和数据仓库,使得当前的分析市场如此令人兴奋。
再见!企业级商业智能栈
今年早些时候,作为一家企业级商业智能公司,MicroStrategy宣布向其前端竞争对手做出让步,引入他们的产品。MicroStrategy相信可以通过利用后端OLAP平台以及相关的数据处理来盈利。该公司似乎意识到了在数据可视化和仪表板方面的竞争是比较困难的,即使能够取得成功,也会带来收益递减。
那么后端是否足以维持企业收入并持续增长?我们拭目以待。但有一点是肯定的,单一的企业级商业智能堆栈已经开始解体,新的挑战即将开始。
数据分层
也许你熟悉数据分层的概念,比如数据存储与其访问频率的相关性。“热门”数据,即最常用的数据,有时访问请求会被路由到非常快的存储,比如固态硬盘,甚至是CPU缓存中;而冷门数据通常存储在更老的,但更便宜的旋转硬盘驱动器之中。
随着存储层次的完善,我们将在今年看到其他层次结构被逐渐认可。例如,分析涉及从与特定团队或业务单位相关的实验数据集到对整个企业都有用的高度结构化,审核和共识驱动的数据。 中间是结构化数据集,可能由于大小或清洁程度而被视为略低于生产水平。
实验数据集存储在数据湖中最好;逻辑上,高度审查的数据集最好存储在数据仓库中。中级数据集可能比较适合放在Hadoop或云存储中,但通常会使用IBM Big SQL,Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具从关系型数据库中进行查询。

还有一种层次结构可能会根据数据是用于设计机器学习模型还是仅用于分析来对数据进行分层,其他的层次结构可能由数据源的可信度来定义。
层次结构之所以重要,是因为相应的工具和技术也存在分级,包括查询端的商业智能和大数据分析工具,以及存储库端的事务型数据库,NoSQL数据库,数据仓库和数据湖。虽然最终,层次结构可能会得到简化,技术可能会趋于整合,但是现在有了这么多的技术选择,我们就需要数据中的层次结构来规定我们在工具链部署中的最佳实践。
可视化商品
MicroStrategy宣布与Tableau,Qlik和Power BI进行合作不仅仅是对竞争对手的让步。事实上,这三种自助商业智能工具现在已经成为行业标准,进一步为其他想在可视化领域大显身手的公司设置了障碍。
他们也对整个行业实现了商品化。在Tableau Public,Qlik Sense Cloud Basic和Power BI Desktop(以及Power BI云服务的免费层)之间,可以免费体验入门级分析功能,随着添加像plotly这样的可视化工具,体验D3生态系统和开源的地理空间/地图平台,你会发现你的分析能力从受时间限制变成了受金钱限制,你需要通过付费来获得更好的产品功能。
如今,用户已经将良好的数据处理能力看作理所当然,他们虽然对此印象深刻,但并不满足于此,好的产品不会具有很明显的竞争优势,但差的产品必然处于竞争劣势。
数据治理
虽然在过去的一段时间里,数据治理技术并未受到应有的重视,但如今也开始获得了一些尊重。欧盟的“通用数据保护条例”(GDPR)就是一个例子-而最终,缺乏足够的治理是今年对有效治理工具需求的一个非常重要的痛点。
即使遵循法规是催化剂,但治理背后还有其他驱动因素。其中最大的一项是数据分类,它们使数据湖中的数据集更有条理,并且更易于发现。数据发现工具可以帮助您通过查看数据库和数据湖,报告其数据内部和数据之间的关系和数据流。从另一个角度来讲,这些工具使数据湖本身更具有可用性,对其投资更加有效。随着公司对前几年投资寻求更好的回报,数据分类和发现工具将越来越受欢迎,进一步推动了治理技术的发展。
云数据湖 = 云数据锁定
我们已经谈到了基于云存储的数据湖的发展趋势。但事实是,这不是一个随机出现的有趣的上云案例,这是主要云供应商的中心卖点和销售策略。
在特定的云平台上,你存储的数据越多,你就会在这个平台上针对这些数据做更多的工作,包括但不限于数据准备,分析,预测建模和模型训练(在高端的gpu加速虚拟机上)。云之战是数据存储之战,赢家可能会让你深陷其中。
容器革命
大家都知道,基于Docker的容器技术在数据中心和软件开发领域正在改变一切。这种变革影响巨大且不容小觑。
但是您是否知道数据和分析世界中也在发生着类似的变化?这很难说,因为尽管这种转变不太明显,但它是真实发生的:
MapR已经通过其PACC(持久应用客户端容器)重新定位了融合数据平台
云提供商利用容器技术更快地部署节点,并促进更多资源共享 - 从而使临时集群看起来更持久
Hadoop最近刚刚发布了3.0版本,它很快就会支持在Docker容器中运行YARN资源管理器,从而使Hadoop作业代码的依赖项可以根据集群中每个节点上安装的代码而不同。
越来越清楚的是,每个软件供应商,其产品都依赖于其他软件的基础版本,都逐渐意识到容器可以消除版本冲突问题 - 为他们和他们的客户。
下一步,做决定
对大趋势进行识别和预测是非常有趣的。那些行业中发生的具体而突出的变化,以及供应商和客户追求的策略,可以帮助您制定自己的发展计划,他们为您的决定提供了依据:你今年要做什么,你不会做什么,以及你合理期待的结果。对于像数据分析这样的创新热点,您需要不断规划您的方案并进行大笔投注,但您也需要采取一定的保障措施。我们希望并相信这七个趋势分析可以帮助您做到这两点。

⑷ 阿里云架构师解读四大主流游戏架构

游戏 行业是阿里云最早聚焦的行业之一,近年来 游戏 行业的变化、云计算产品技术的变化都与日俱进。随着行业业务的变化、技术架构的演进以及阿里云产品的迭代演进,整体的产品技术选型在不同的 游戏 场景、业务场景也不尽相同。本文将聚焦阿里云弹性计算产品在 游戏 行业的方案实践经验。

当前, 游戏 行业的各种场景和行业发展密不可分。简单回顾电子 游戏 的发展,80年代的黑白机,90年代的PC单机 游戏 ,00年代前夕随着互联网的发展网络 游戏 开始盛行,2010年后随着移动设备的逐渐普及,手游在国内开始兴起。

从 游戏 终端来区别,主要有:主机 游戏 (往往是3A 游戏 )、PC 游戏 、移动 游戏 和网页 游戏 等。目前出现跨平台多端 游戏 ,以及云 游戏 化的趋势。

关于 游戏 的品类区别会有非常多的维度:RPG(角色扮演)、MOBA类、竞技类、FPS(射击类)、休闲类、卡牌类、棋牌类、SLG(策略类)等等。目前有多品类融合玩法裂变的趋势。

随着国内防沉迷、版号因素,近年来 游戏 行业诞生了越来越多的精品 游戏 ,出海全球化乃至区域化,以及整体存量用户增速放缓,长线运营、精细运营以及私域社区等运营方式也在悄然变化。

不同的业务场景技术架构不尽相同,如竞技类 游戏 和卡牌类 游戏 对计算的需求就有所区别,云 游戏 与常规的网络 游戏 架构也有所区别。这里主要从 游戏 服和 游戏 平台、大数据、云 游戏 这四个目前常见的场景简单介绍其架构。

游戏 服,从 游戏 类型来看有RPG、FPS、MOBA、SLG、棋牌、休闲等等;从 游戏 平台来看通常有主机、手机、PC等;从业务发行来看有全球、国内、海外,从部署架构来看有集中部署和分区部署;从技术架构来看, 游戏 行业也有逐渐分层解耦的趋势,但与互联网应用相比,有一定其独特性。

因为 游戏 的强交互性特点, 游戏 技术架构与其他互联网应用相比有一定独特性。 游戏 需要保持会话连接,也就是从一个客户端到服务端的长连接,便于对客户端中玩家的操作、行为等进行及时的反馈以及推送给共同 游戏 或对战的其他玩家,所以 游戏 普遍对网络质量更加敏感,网络质量较差的情况会使长连接断开或重连,引起玩家掉线。 游戏 也需要保持会话的状态,既服务端会保持一份玩家的实体,当玩家进行操作时,下次通信的数据会依赖之前的通信的数据,这也是一些MMO(多人在线)大型 游戏 对网络吞吐性能要求较高的原因之一。再比如FPS、MOBA类等多人对战类 游戏 ,交互性更强,对网络延迟容忍度更低,要求低延迟。因为 游戏 需要比较高密度的记录玩家的操作以及结果,所以有频繁写入数据的特点,这类场景需要较强的IO性能。因为 游戏 强交互性、低延迟的特点,其技术架构也和互联网应用不同,在逐渐分层解耦的同时,需要保证 游戏 玩家的交互效果,同时也会依赖到底层服务器的计算能力。

这些都是 游戏 场景普遍存在的特点:长连接保持会话、保持状态、低延迟网络、高IO吞吐、高计算性能。

游戏 的部署架构会结合 游戏 业务特点、 游戏 运营需求来制定 游戏 服务,有分区分服、全区全服业务逻辑,分区分服还是全区全服,最大的架构差异在于数据是不是一套。而从部署方式看,主要是集中式部署和分区域部署。

集中部署就是不论 游戏 玩家在哪里, 游戏 服务集中在一个区域,适合对网络延迟要求通常不高的 游戏 类型,如休闲类;分区部署是指 游戏 服务器根据 游戏 玩家地域分布,分区域部署,方便就近接入,适合对网络延迟要求较高的 游戏 类型,如MOBA、FPS类。

典型架构

MMO类有高并发特点,大量玩家并发的高计算量负载对服务器的计算能力和稳定性有着极高的要求。同时MMO类 游戏 有着比较强的PVE或PVP特性,对网络延迟的容忍度较低。

其中网关服务器负责所有网络数据包的转发,通常是网络负载较集中的点,对于网络吞吐能力要求较高。单个 游戏 区承载玩家数量高,逻辑服务器通常按照场景地图来划分,规模再大会通过分区的方式实现。

数据中心服务器负责缓存玩家数据并异步入库,保障玩家客户快速获取和写入数据,对于可用性要求较高,需要配合应用层实现数据容错机制。

日志服务器承载了大区所有业务行为的日志收集及处理的压力,对磁盘写入性能要求较高,通常采用多台分组方式实现。

(1)MMO 游戏 服性能与稳定需求,建议使用最第7代ECS实例,根据实际需求选型c计算型(CPU与内存配比1:2)/g通用型(1:4)/r内存型(1:8),Intel Ice Lake 2.9GHz基频3.5GHz睿频提供超高性能,能更好地优化 游戏 体验。

(2)异步落库以及日志服务器,对于磁盘读写性能要求高的场景,建议云上使用ESSD PL 0/1/2/3根据业务性能需要选择,避免磁盘读写瓶颈。

(3)在 游戏 日常版本更新中,需要各个地域Region镜像的快速复制,基于ESSD快照异地复制的能力,能够提升镜像复制效率。

(4)分区分服等场景往往需要快速地开服滚服合服,通过CADT云速搭、ESS弹性伸缩、OOS运维编排、ROS资源编排等云上运维工具搭配产品使用,能够提升云上运维效率。

ii. FPS、MOBA类 游戏 架构介绍

MOBA类 游戏 主要包括PVP系统、PVE系统、 游戏 平台等几个主要部分,其中PVP战斗是MOBA/FPS 游戏 的核心。

PVP、PVE、 游戏 平台功能部署于同一VPC中,构成 游戏 大区;战斗服务器(往往)单独跨地域部署。

游戏 客户端首先接入到登录服务器中,完成登录认证、计费等 游戏 平台逻辑。为避免单点问题,所以 游戏 平台服务往往需要高可用方案。可利用云上高可用方案,包括便捷的运维工具满足业务高可用需求。

FPS/MOBA竞技 游戏 ,往往对延迟特别敏感,可以想象,竞技类 游戏 中对战的 游戏 场景:玩家操控人物,在地图里步伐飘逸,枪声密集,每一颗子弹都是一次时间加上空间的矢量计算,而且需要在主进程中完成计算,那么算力需求就随着房间玩家数量上升而指数爆炸,5V5的房间和大房间100人(吃鸡)对算力的需求完全不同。

游戏 这部分重算力场景,推荐阿里云7代高主频或七代实例,更高的单核性能提供更好的战斗效果。

战斗房间类 游戏 ,因为业务本身峰谷特性,灵活地使用云上资源的弹性能力,往往会较好地优化整体的资源使用成本。阿里云弹性计算本身提供了非常灵活的付费方式,包括常规的按量实例、包月包年实例、以及通过节省计划/预留实例券去抵扣按量实例资源,兼顾资源灵活使用的同时达到更优的成本。

此外,为更进一步释放开发运维的效率,当前一些 游戏 也采用了容器化技术架构,阿里云的ACK+ECS/ECI弹性容器实例组合搭配使用,更进一步释放了基础资源的灵活性和弹性能力。

业务场景

游戏 平台(不限于FPS、MOBA类)主要提供的服务:官网、客服、注册、登录、充值、兑换、商城、推送、公告、社区、SDK及邮件、短信等公共服务;包括内容审核、视频录制、弹幕、转码、剪辑、RTC这些业务需要的基础服务,以及运维监控、发布平台、测试平台这些运维等平台服务。

这部分更接近于通用的互联网技术架构,以服务为颗粒度解耦,接入->网关->应用->数据库。

技术特点

这往往通常需要构建高可用基础架构来提升稳定性,业务突发期往往需要一定的弹性能力。相比于 游戏 服务这部分容器化就更加普及,也更容易通过云上的比如弹性容器实例去应对流量峰值场景。在视频录制场景,对实时性要求较高时,往往会基于GPU能力构建,这部分阿里云也提供了vGPU/cGPU能力,释放GPU的灵活性。

大数据是当前 游戏 业务经营、 游戏 运营主要的技术手段,主要面向平台数据运营、 游戏 数据分析、广告转化分析、安全运营分析等 游戏 核心运营场景。不同的场景对实时性要求不同,实时查询检索通常是经营分析、客户受理、玩家监测、在线等场景;离线报表通常是玩家行为分析、用户画像、特征挖掘等场景。

总体而言,实时性业务更多是业务查询类、简单计算类任务,比如买量转化的分析;离线类基本是分析类、预测类任务,比如 游戏 玩法分析。

从技术架构来看,得益于开源社区技术栈的高丰富度,大数据具体的技术选择非常之多,整体从存算一体到存算分离,也诞生像数据仓库、数据湖乃至湖仓一体等概念。

从数据架构流程来看,从数据源->数据采集、传输->数据计算、存储->数据应用,其中可选看技术方案也需要因地制宜。

从部署架构来看,不同的 游戏 公司处在不同的数据建设阶段,会有不同的选择倾向,包括完全自建、基于云自建大数据、基于云上托管、以及利用更多云上成熟的产品技术去丰富整体的大数据能力集,而后者也成为越来越多客户的选择。

拿云上大数据方案举例来讲,比如实时计算部分,选择SLS采集、Kafka数据网关通道,通过Flink做数据计算,通过ES或CK做数据分析,通过ADB以及QuickBI做数据应用展示。离线方案通过OSS做冷数据存储,Spark、Hive、HDFS等组件做数据计算存储,通过CK汇聚分析,通过Dataworks做数据应用。

具体计算存储的产品选型,主要根据不同的业务特性以及大数据应用特性来区分,根据数据容量、IOPS、吞吐、读写特点以及性价比来选择。

如刚刚举例的实时计算/近实时计算场景,Flink具备高性能、低延迟特点,所以是计算密集、网络性能高场景,推荐选型七代ECS实例或6代增强实例;如HDFS需要超大存储容量,高吞吐,推荐D系列本地盘实例,如D2S存储型本地盘实例。Remote Shuffle Service等处理结果多的场景,读写处理频繁如大量的join计算,需要综合来看计算、网络、存储性能以及综合成本来选择通用实例(如第7代ECS实例)或i系列本地盘实例。所以,最终在云上的资源选型,在性能满足的前期下,需要评估通过网络传输数据成本高(云盘),还是就地取材计算成本高(本地盘),不同模型、不同量级选择不同。

从内存处理(成本最高、性能最好、存储容量最小)、SSD本地盘、HDD本地盘、ESSD云盘、OSS对象存储(成本最优、性能一般、存储容量最大),逐渐分层解耦,还带来一个好处:充分释放了云上弹性的能力,可以利用更轻巧的弹性计算产品(如SPOT抢占式实例方式,或ECI容器实例)进行大数据计算,达到更好的弹性能力去满足业务需求的同时也能节约更多的成本。

云 游戏 主要分终端和云端。终端部分基于Windows、iOS、Linux等操作系统的终端设备包括手机、平板、电脑、电视机、VR一体机等。云端架构主要是 游戏 应用层、云 游戏 平台层、IaaS基础资源层,应用层包括PC 游戏 、手游、VR 游戏 、H5 游戏 等多种类型的 游戏 应用;平台层云 游戏 必须的运营平台、支撑平台、流化技术平台等;IaaS基础资源层包括基础网络、基于X86架构以及ARM架构的GPU服务器。

云 游戏 落地,在技术上也经历了诸多挑战,为满足端到端高性能低时延,网络调度、指令串流、编解码、多终端的SDK适配等等都是云 游戏 场景中不可避免的技术问题。

对于云端算力来讲,阿里云解决了云端渲染、串流以及编解码问题,并通过全系列GPU产品来满足云手游、端游、VR乃至企业级视觉渲染场景的需求。

总结来讲,阿里云弹性计算通过云上的串流、编码加速、渲染加速等全套的技术帮助 游戏 客户给云 游戏 玩家提供更好的性能体验,通过基于阿里云全球数据中心可以帮助云 游戏 客户覆盖更多的用户,通过GPU多种产品形态和整体的弹性能力,也帮助到 游戏 客户去更快捷更灵活的构建其云 游戏 业务。

阿里云通过多年的技术积累和持续的运营,提供了大规模的基础设施云服务,目前在全球部署了26个地域、82个可用区,通过优异稳定的性能表现帮助 游戏 客户高效稳定地运行 游戏 业务,为玩家提供极致顺滑的 游戏 体验,并通过技术手段不断地帮助 游戏 客户优化用云成本。

国内的业务出海、 游戏 出海也是现阶段大的趋势之一,很多 游戏 公司已经把出海从业务可选项变成了必选项之一。在2022年3月,阿里云上线了韩国和泰国两大Region,能够为本地化的 游戏 业务提供更流畅、更稳定的 游戏 体验,以此希望能在 游戏 客户出海的业务领域,提供更多的帮助。

当然,作为内容与 科技 两大热门领域的交叉领域, 游戏 产业日新月异,架构也随着前端业务的需要不断改变。阿里云弹性计算也针对 游戏 厂商的不同架构,陆续推出了不同的云服务器类型和付费方式,以及云上运维套件,以帮助客户降本增效。

原文链接:http://click.aliyun.com/m/1000336551/