當前位置:首頁 » 網頁前端 » 前端數據湖
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

前端數據湖

發布時間: 2023-01-11 00:56:25

⑴ 數據中台特徵

數據中台是中台的核心平台之一,簡單來說就是數據倉庫,是將傳統數據倉庫擴展到企業級所有數據的更大領域,對這些數據進行數據採集、數據建模、數據服務,並提供給前端開展不同維度的數據應用。

「數據中台」重構了企業數據系統的架構,將其分為三個層級:

底層

底層是數據收集層,就是數據湖,來自ERP、SRM等各個信息化系統中的業務數據、財務數據、大數據,結構化和非結構化數據直接匯入這層數據湖中,實現統一、集中的數據收集。


核心層

中間的核心層是數據存儲與計算層,核心是通過數據建模,形成服務化的數據應用。數據模型可以分為基礎模型、融合模型和挖掘模型。基礎模型一般是關系建模,主要實現數據的標准化;融合模型一般是維度建模,主要實現跨越數據的整合,整合的形式可以是匯總、關聯、解析;挖掘模型是偏應用的模型,作為企業的知識沉澱在中台內,可在數據應用端調取進行復用。

上層

上層是業務應用層,聚焦於對數據的應用和展現,核心層的數據模型可以共享到這個層級中並實現復用,賦能企業業務發展。數據應用通過將數據融入企業具體的業務經營場景中,基於豐富的數據模型開展場景化應用,用數據解決具體的業務問題,具體應用包括產銷協同分析、投資分析、產品定價、商品推薦、客戶畫像等,數據展現聚焦於以多樣化的形式展現數據分析應用的結果,這些形式包括管理駕駛艙、即席分析、自助報告、數據大屏、移動APP等,系統可以根據不同用戶在不同場景下的需求調整合適的展現方式。

⑵ 滴普科技:為什麼越來越多的企業會選擇「湖倉一體」

資料庫行業正走向分水嶺。

過去幾年,全球資料庫行業發展迅猛。2020年,Gartner首次把資料庫領域的魔力象限重新定義為Cloud DBMS,把雲資料庫作為唯一的評價方向;2021年,Gartner魔力象限又發生了兩個關鍵的變化: 1、Snowflake和Databricks兩個雲端數據倉庫進入領導者象限;2、放開了魔力象限的收入門檻限制,SingleStore、Exasol、MariaDB、Couchbase等資料庫新勢力首次進入榜單

某種程度上,這種變化的背後,暗示著全球資料庫已經進入發展的黃金時代,也是一眾新興勢力的加速崛起之年。其中,最為典型的例子是Snowflake和Databricks經常隔空喊話,前者是雲端數倉的代表玩家,去年繼續保持了1倍以上的業務增長;後者因推出「湖倉一體」,估值一路飆升至360億美金,兩者之爭,其實是資料庫新舊架構之爭。

隨著企業數字化駛入深水區,對於數據使用場景也呈現多元化的趨勢,過去容易被企業忽略的數據,開始從幕後走到台前,如何為眾多場景選擇一款合適的資料庫產品,已經成了很多CIO和管理者的一道必答題。 但有一點可以確定的是,過去的資料庫已難以匹配眼下日益增長的數據復雜度需求,基於擴展性和可用性劃分,分布式架構突破單機、共享、集群架構下的資料庫局限,近些年發展態勢迅猛。 為此,這篇文章我們將主要分析:

1、數據倉、數據湖、湖倉一體究竟是什麼?

2、架構演進,為什麼說湖倉一體代表了未來?

3、現在是布局湖倉一體的好時機嗎?

01:數據湖+數據倉 湖倉一體

在湖倉一體出現之前,數據倉庫和數據湖是被人們討論最多的話題。

正式切入主題前,先跟大家科普一個概念,即大數據的工作流程是怎樣的?這里就要涉及到兩個相對陌生的名詞: 數據的結構化程度 數據的信息密度 。前者描述的是數據本身的規范性,後者描述的是單位存儲體積內、包含信息量的大小。

一般來說,人們獲取到的原始數據大多是非結構化的,且信息密度比較低,通過對數據進行清洗、分析、挖掘等操作,可以排除無用數據、找到數據中的關聯性,在這個過程中,數據的結構化程度、信息密度也隨之提升,最後一步,就是把優化過後的數據加以利用,變成真正的生產資料。

簡而言之,大數據處理的過程其實是一個提升數據結構化程度和信息密度的過程。 在這個過程中,數據的特徵一直在發生變化,不同的數據,適合的存儲介質也有所不同,所以才有了一度火熱的數據倉庫和數據湖之爭。

我們先來聊聊數據倉庫,它誕生於1990年,是一個面向主題的、集成的、相對穩定的、反映 歷史 變化的數據集合,主要用於支持管理決策和信息的全局共享。 簡單點說,數據倉庫就像是一個大型圖書館,裡面的數據需要按照規范放好,你可以按照類別找到想要的信息

就目前來說,對數據倉庫的主流定義是位於多個資料庫上的大容量存儲庫,它的作用在於存儲大量的結構化數據,為管理分析和業務決策提供統一的數據支持,雖然存取過程相對比較繁瑣,對於數據類型有一定限制,但在那個年代,數據倉庫的功能性已經夠用了,所以在2011年前後,市場還是數據倉庫的天下。

到了互聯網時代,數據量呈現「井噴式」爆發,數據類型也變得異構化。受數據規模和數據類型的限制,傳統數據倉庫無法支撐起互聯網時代的商業智能,隨著Hadoop與對象存儲的技術成熟,數據湖的概念應用而生,在2011年由James Dixon提出。

相比於數據倉庫,數據湖是一種不斷演進中、可擴展的大數據存儲、處理、分析的基礎設施。 它就像一個大型倉庫,可以存儲任何形式(包括結構化和非結構化)和任何格式(包括文本、音頻、視頻和圖像)的原始數據,數據湖通常更大,存儲成本也更為廉價 。但它的問題也很明顯,數據湖缺乏結構性,一旦沒有被治理好,就會變成數據沼澤。

從產品形態上來說,數據倉庫一般是獨立標准化產品,數據湖更像是一種架構指導,需要配合著系列周邊工具,來實現業務需要。換句話說,數據湖的靈活性,對於前期開發和前期部署是友好的;數據倉庫的規范性,對於大數據後期運行和公司長期發展是友好的,那麼,有沒有那麼一種可能,有沒有一種新架構,能兼具數據倉庫和數據湖的優點呢?

於是,湖倉一體誕生了。 依據DataBricks公司對Lakehouse 的定義,湖倉一體是一種結合了數據湖和數據倉庫優勢的新範式,在用於數據湖的低成本存儲上,實現與數據倉庫中類似的數據結構和數據管理功能。湖倉一體是一種更開放的新型架構,有人把它做了一個比喻,就類似於在湖邊搭建了很多小房子,有的負責數據分析,有的運轉機器學習,有的來檢索音視頻等,至於那些數據源流,都可以從數據湖裡輕松獲取。

就湖倉一體發展軌跡來看,早期的湖倉一體,更多是一種處理思想,處理上將數據湖和數據倉庫互相打通,現在的湖倉一體,雖然仍處於發展的初期階段,但它已經不只是一個純粹的技術概念,而是被賦予了更多與廠商產品層面相關的含義和價值。

這里需要注意的是,「湖倉一體」並不等同於「數據湖」+「數據倉」,這是一個極大的誤區,現在很多公司經常會同時搭建數倉、數據湖兩種存儲架構,一個大的數倉拖著多個小的數據湖,這並不意味著這家公司擁有了湖倉一體的能力,湖倉一體絕不等同於數據湖和數據倉簡單打通,反而數據在這兩種存儲中會有極大冗餘度。

02:為什麼說湖倉一體是未來?

回歸開篇的核心問題:湖倉一體憑什麼能代表未來?

關於這個問題,我們其實可以換一個問法,即 在數據智能時代,湖倉一體會不會成為企業構建大數據棧的必選項? 就技術維度和應用趨勢來看,這個問題的答案幾乎是肯定的,對於高速增長的企業來說,選擇湖倉一體架構來替代傳統的獨立倉和獨立湖,已經成為不可逆轉的趨勢。

一個具有說服力的例證是,現階段,國內外各大雲廠商均陸續推出了自己的「湖倉一體」技術方案,比如亞馬遜雲 科技 的Redshift Spectrum、微軟的Azure Databricks、華為雲的Fusion Insight、滴普 科技 的FastData等,這些玩家有雲計算的老牌龍頭,也有數據智能領域的新勢力。

事實上,架構的演進是由業務直接驅動的,如果業務側提出了更高的性能要求,那麼在大數據架構建設的過程中,就需要資料庫架構建設上進行技術升級。 以國內數字化企業服務領域成長最快的獨角獸滴普 科技 為例,依託新一代湖倉一體、流批一體的數據分析基礎平台FastData,基於對先進製造、生物醫葯、消費流通等行業的深度洞察,滴普 科技 從實際場景切入,為客戶提供了一站式的數字化解決方案。

滴普方面認為,「 在數據分析領域,湖倉一體是未來。它 可以更好地應對AI時代數據分析的需求,在存儲形態、計算引擎、數據處理和分析、開放性以及面向AI的演進等方面,要領先於過去的分析型資料庫。」以AI應用層面為例,湖倉一體架構天然適合AI類的分析(包括音視頻非結構化數據存儲,兼容AI計算框架,具有模型開發和機器學習全生命周期的平台化能力),也更適合大規模機器學習時代。

這一點,和趨勢不謀而合。

就在前不久,Gartner發布了湖倉一體的未來應用場景預測:湖倉一體架構需要支持三類實時場景,第一類是實時持續智能;第二類是實時按需智能;第三類是離線按需智能,這三類場景將可以通過快照視圖、實時視圖以及實時批視圖提供給數據消費者,這同樣是未來湖倉一體架構需要持續演進的方向。

03:現在是布局湖倉一體的好時機嗎?

從市場發展走向來看,「湖倉一體」架構是基於技術發展進程的必經之路。

但由於這個新型開放架構仍處於發展早期,國內外企業數字化水平和市場認知的不同,造成了解決方案也存在著較大的差異。在業內投資人看來,「 雖然美國的企業服務市場比我們成熟的多,也有很多路徑可以參考,但中國市場卻有著很多中國特色。以對標Databricks的滴普 科技 為例,美國企業服務市場往往賣產品就可以了,但中國大客戶群體需要更與客戶資深場景深度融合的解決方案,解決方案需要兼顧通用性和定製化。

在此前與滴普 科技 的合作中,百麗國際就已經完成了統一數倉的搭建,實現了多個業務線的數據採集和各個業務域的數據建設。在保證前端數據正常運行、「熱切換」底層應用的前提下,滴普 科技 和百麗國際緊密協作,在短短幾個月時間里將多個數倉整合為統一數倉,有效統一了業務口徑,大幅縮減了開發運維工作量,整個業務價值鏈也形成了閉環。

這也是「湖倉一體」的能力價值所在:隨著數據結構的逐漸多樣性,3D圖紙、直播視頻、會議視頻、音頻等數據資料越來越多,為深度挖掘數據價值,依託於領先的湖倉一體技術架構,百麗國際可先將海量的多模數據存儲入湖,在未來算力允許時,及挖掘深度的業務分析場景後,從數據湖中抓取數據分析。

舉個簡單的例子,某個設計師想要設計一款鞋子,一般會從 歷史 數據中找有效信息參考,設計師也許只需要一張貨品照片,就能像瀏覽電影般,了解到該商品多年來全生命周期的銷售業績、品牌故事、競品分析等數據,賦能生產及業務決策,實現數據價值的最大化。

一般來說,大體量的企業想要保持持續增長,往往需要依靠大量、有效的數據輸出,進而實現智慧決策。很多企業出於 IT 建設能力的限制,導致很多事情沒法做,但通過湖倉一體架構,讓之前被限制的數據價值得以充分發揮,如果企業能夠在注重數據價值的同時,並有意識地把它保存下來,企業就完成了數字化轉型的重要命題之一。

我們也有理由相信,隨著企業數字化轉型加速,湖倉一體架構也會有更為廣闊的發展空間。

⑶ 數據管理和分析趨勢正在改變世界

數據管理和分析趨勢正在改變世界
現在的數據世界正在發生什麼,它將如何影響2018年的市場?比如這些頭條新聞:人工智慧無處不在,並將改變一切;企業繼續將他們的基礎設施和數據轉移到雲端;GDPR將使數據保護成為每個公司的首要任務。你知道這些,但也許會對這種誇大其詞的說法有點懷疑。
那麼到底發生了什麼實質性的變化?在制定架構和采購策略並在這些領域做出決策時,你需要注意什麼?接下來我們會討論在分析領域發生的7個影響深遠的變化,並將它們一一呈現。
Hadoop始終是根基
是的,那些大數據項目的失敗率很高;並且Spark在某種程度上已經取代了Hadoop,越來越多的客戶開始獨立運行它,所以業界開始指責Hadoop…並且不再提到它的名字。所以你認為Hadoop一定已經過時了,對吧?

錯!現在每個人都在談論數據湖,很多時候,那隻是Hadoop的代碼。而且,雖然許多公司正在雲存儲中實現他們的數據湖,也經常使用Hadoop生態系統技術來分析這些數據。除此之外,當開始使用雲存儲來模擬HDFS、Hadoop的文件系統時,你就會意識到雲數據湖和Hadoop數據湖並沒有本質區別。
好消息是,今年Hadoop將會做它一直應該做的事情:低調地被很多企業接受,並將成為眾多數據工具之一,發揮其戰略作用。正是這些數據技術的結合,包括Hadoop、Spark、Business Intelligence (BI)和數據倉庫,使得當前的分析市場如此令人興奮。
再見!企業級商業智能棧
今年早些時候,作為一家企業級商業智能公司,MicroStrategy宣布向其前端競爭對手做出讓步,引入他們的產品。MicroStrategy相信可以通過利用後端OLAP平台以及相關的數據處理來盈利。該公司似乎意識到了在數據可視化和儀錶板方面的競爭是比較困難的,即使能夠取得成功,也會帶來收益遞減。
那麼後端是否足以維持企業收入並持續增長?我們拭目以待。但有一點是肯定的,單一的企業級商業智能堆棧已經開始解體,新的挑戰即將開始。
數據分層
也許你熟悉數據分層的概念,比如數據存儲與其訪問頻率的相關性。「熱門」數據,即最常用的數據,有時訪問請求會被路由到非常快的存儲,比如固態硬碟,甚至是CPU緩存中;而冷門數據通常存儲在更老的,但更便宜的旋轉硬碟驅動器之中。
隨著存儲層次的完善,我們將在今年看到其他層次結構被逐漸認可。例如,分析涉及從與特定團隊或業務單位相關的實驗數據集到對整個企業都有用的高度結構化,審核和共識驅動的數據。 中間是結構化數據集,可能由於大小或清潔程度而被視為略低於生產水平。
實驗數據集存儲在數據湖中最好;邏輯上,高度審查的數據集最好存儲在數據倉庫中。中級數據集可能比較適合放在Hadoop或雲存儲中,但通常會使用IBM Big SQL,Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具從關系型資料庫中進行查詢。

還有一種層次結構可能會根據數據是用於設計機器學習模型還是僅用於分析來對數據進行分層,其他的層次結構可能由數據源的可信度來定義。
層次結構之所以重要,是因為相應的工具和技術也存在分級,包括查詢端的商業智能和大數據分析工具,以及存儲庫端的事務型資料庫,NoSQL資料庫,數據倉庫和數據湖。雖然最終,層次結構可能會得到簡化,技術可能會趨於整合,但是現在有了這么多的技術選擇,我們就需要數據中的層次結構來規定我們在工具鏈部署中的最佳實踐。
可視化商品
MicroStrategy宣布與Tableau,Qlik和Power BI進行合作不僅僅是對競爭對手的讓步。事實上,這三種自助商業智能工具現在已經成為行業標准,進一步為其他想在可視化領域大顯身手的公司設置了障礙。
他們也對整個行業實現了商品化。在Tableau Public,Qlik Sense Cloud Basic和Power BI Desktop(以及Power BI雲服務的免費層)之間,可以免費體驗入門級分析功能,隨著添加像plotly這樣的可視化工具,體驗D3生態系統和開源的地理空間/地圖平台,你會發現你的分析能力從受時間限制變成了受金錢限制,你需要通過付費來獲得更好的產品功能。
如今,用戶已經將良好的數據處理能力看作理所當然,他們雖然對此印象深刻,但並不滿足於此,好的產品不會具有很明顯的競爭優勢,但差的產品必然處於競爭劣勢。
數據治理
雖然在過去的一段時間里,數據治理技術並未受到應有的重視,但如今也開始獲得了一些尊重。歐盟的「通用數據保護條例」(GDPR)就是一個例子-而最終,缺乏足夠的治理是今年對有效治理工具需求的一個非常重要的痛點。
即使遵循法規是催化劑,但治理背後還有其他驅動因素。其中最大的一項是數據分類,它們使數據湖中的數據集更有條理,並且更易於發現。數據發現工具可以幫助您通過查看資料庫和數據湖,報告其數據內部和數據之間的關系和數據流。從另一個角度來講,這些工具使數據湖本身更具有可用性,對其投資更加有效。隨著公司對前幾年投資尋求更好的回報,數據分類和發現工具將越來越受歡迎,進一步推動了治理技術的發展。
雲數據湖 = 雲數據鎖定
我們已經談到了基於雲存儲的數據湖的發展趨勢。但事實是,這不是一個隨機出現的有趣的上雲案例,這是主要雲供應商的中心賣點和銷售策略。
在特定的雲平台上,你存儲的數據越多,你就會在這個平台上針對這些數據做更多的工作,包括但不限於數據准備,分析,預測建模和模型訓練(在高端的gpu加速虛擬機上)。雲之戰是數據存儲之戰,贏家可能會讓你深陷其中。
容器革命
大家都知道,基於Docker的容器技術在數據中心和軟體開發領域正在改變一切。這種變革影響巨大且不容小覷。
但是您是否知道數據和分析世界中也在發生著類似的變化?這很難說,因為盡管這種轉變不太明顯,但它是真實發生的:
MapR已經通過其PACC(持久應用客戶端容器)重新定位了融合數據平台
雲提供商利用容器技術更快地部署節點,並促進更多資源共享 - 從而使臨時集群看起來更持久
Hadoop最近剛剛發布了3.0版本,它很快就會支持在Docker容器中運行YARN資源管理器,從而使Hadoop作業代碼的依賴項可以根據集群中每個節點上安裝的代碼而不同。
越來越清楚的是,每個軟體供應商,其產品都依賴於其他軟體的基礎版本,都逐漸意識到容器可以消除版本沖突問題 - 為他們和他們的客戶。
下一步,做決定
對大趨勢進行識別和預測是非常有趣的。那些行業中發生的具體而突出的變化,以及供應商和客戶追求的策略,可以幫助您制定自己的發展計劃,他們為您的決定提供了依據:你今年要做什麼,你不會做什麼,以及你合理期待的結果。對於像數據分析這樣的創新熱點,您需要不斷規劃您的方案並進行大筆投注,但您也需要採取一定的保障措施。我們希望並相信這七個趨勢分析可以幫助您做到這兩點。

⑷ 阿里雲架構師解讀四大主流游戲架構

游戲 行業是阿里雲最早聚焦的行業之一,近年來 游戲 行業的變化、雲計算產品技術的變化都與日俱進。隨著行業業務的變化、技術架構的演進以及阿里雲產品的迭代演進,整體的產品技術選型在不同的 游戲 場景、業務場景也不盡相同。本文將聚焦阿里雲彈性計算產品在 游戲 行業的方案實踐經驗。

當前, 游戲 行業的各種場景和行業發展密不可分。簡單回顧電子 游戲 的發展,80年代的黑白機,90年代的PC單機 游戲 ,00年代前夕隨著互聯網的發展網路 游戲 開始盛行,2010年後隨著移動設備的逐漸普及,手游在國內開始興起。

從 游戲 終端來區別,主要有:主機 游戲 (往往是3A 游戲 )、PC 游戲 、移動 游戲 和網頁 游戲 等。目前出現跨平台多端 游戲 ,以及雲 游戲 化的趨勢。

關於 游戲 的品類區別會有非常多的維度:RPG(角色扮演)、MOBA類、競技類、FPS(射擊類)、休閑類、卡牌類、棋牌類、SLG(策略類)等等。目前有多品類融合玩法裂變的趨勢。

隨著國內防沉迷、版號因素,近年來 游戲 行業誕生了越來越多的精品 游戲 ,出海全球化乃至區域化,以及整體存量用戶增速放緩,長線運營、精細運營以及私域社區等運營方式也在悄然變化。

不同的業務場景技術架構不盡相同,如競技類 游戲 和卡牌類 游戲 對計算的需求就有所區別,雲 游戲 與常規的網路 游戲 架構也有所區別。這里主要從 游戲 服和 游戲 平台、大數據、雲 游戲 這四個目前常見的場景簡單介紹其架構。

游戲 服,從 游戲 類型來看有RPG、FPS、MOBA、SLG、棋牌、休閑等等;從 游戲 平台來看通常有主機、手機、PC等;從業務發行來看有全球、國內、海外,從部署架構來看有集中部署和分區部署;從技術架構來看, 游戲 行業也有逐漸分層解耦的趨勢,但與互聯網應用相比,有一定其獨特性。

因為 游戲 的強交互性特點, 游戲 技術架構與其他互聯網應用相比有一定獨特性。 游戲 需要保持會話連接,也就是從一個客戶端到服務端的長連接,便於對客戶端中玩家的操作、行為等進行及時的反饋以及推送給共同 游戲 或對戰的其他玩家,所以 游戲 普遍對網路質量更加敏感,網路質量較差的情況會使長連接斷開或重連,引起玩家掉線。 游戲 也需要保持會話的狀態,既服務端會保持一份玩家的實體,當玩家進行操作時,下次通信的數據會依賴之前的通信的數據,這也是一些MMO(多人在線)大型 游戲 對網路吞吐性能要求較高的原因之一。再比如FPS、MOBA類等多人對戰類 游戲 ,交互性更強,對網路延遲容忍度更低,要求低延遲。因為 游戲 需要比較高密度的記錄玩家的操作以及結果,所以有頻繁寫入數據的特點,這類場景需要較強的IO性能。因為 游戲 強交互性、低延遲的特點,其技術架構也和互聯網應用不同,在逐漸分層解耦的同時,需要保證 游戲 玩家的交互效果,同時也會依賴到底層伺服器的計算能力。

這些都是 游戲 場景普遍存在的特點:長連接保持會話、保持狀態、低延遲網路、高IO吞吐、高計算性能。

游戲 的部署架構會結合 游戲 業務特點、 游戲 運營需求來制定 游戲 服務,有分區分服、全區全服業務邏輯,分區分服還是全區全服,最大的架構差異在於數據是不是一套。而從部署方式看,主要是集中式部署和分區域部署。

集中部署就是不論 游戲 玩家在哪裡, 游戲 服務集中在一個區域,適合對網路延遲要求通常不高的 游戲 類型,如休閑類;分區部署是指 游戲 伺服器根據 游戲 玩家地域分布,分區域部署,方便就近接入,適合對網路延遲要求較高的 游戲 類型,如MOBA、FPS類。

典型架構

MMO類有高並發特點,大量玩家並發的高計算量負載對伺服器的計算能力和穩定性有著極高的要求。同時MMO類 游戲 有著比較強的PVE或PVP特性,對網路延遲的容忍度較低。

其中網關伺服器負責所有網路數據包的轉發,通常是網路負載較集中的點,對於網路吞吐能力要求較高。單個 游戲 區承載玩家數量高,邏輯伺服器通常按照場景地圖來劃分,規模再大會通過分區的方式實現。

數據中心伺服器負責緩存玩家數據並非同步入庫,保障玩家客戶快速獲取和寫入數據,對於可用性要求較高,需要配合應用層實現數據容錯機制。

日誌伺服器承載了大區所有業務行為的日誌收集及處理的壓力,對磁碟寫入性能要求較高,通常採用多台分組方式實現。

(1)MMO 游戲 服性能與穩定需求,建議使用最第7代ECS實例,根據實際需求選型c計算型(CPU與內存配比1:2)/g通用型(1:4)/r內存型(1:8),Intel Ice Lake 2.9GHz基頻3.5GHz睿頻提供超高性能,能更好地優化 游戲 體驗。

(2)非同步落庫以及日誌伺服器,對於磁碟讀寫性能要求高的場景,建議雲上使用ESSD PL 0/1/2/3根據業務性能需要選擇,避免磁碟讀寫瓶頸。

(3)在 游戲 日常版本更新中,需要各個地域Region鏡像的快速復制,基於ESSD快照異地復制的能力,能夠提升鏡像復制效率。

(4)分區分服等場景往往需要快速地開服滾服合服,通過CADT雲速搭、ESS彈性伸縮、OOS運維編排、ROS資源編排等雲上運維工具搭配產品使用,能夠提升雲上運維效率。

ii. FPS、MOBA類 游戲 架構介紹

MOBA類 游戲 主要包括PVP系統、PVE系統、 游戲 平台等幾個主要部分,其中PVP戰斗是MOBA/FPS 游戲 的核心。

PVP、PVE、 游戲 平台功能部署於同一VPC中,構成 游戲 大區;戰斗伺服器(往往)單獨跨地域部署。

游戲 客戶端首先接入到登錄伺服器中,完成登錄認證、計費等 游戲 平台邏輯。為避免單點問題,所以 游戲 平台服務往往需要高可用方案。可利用雲上高可用方案,包括便捷的運維工具滿足業務高可用需求。

FPS/MOBA競技 游戲 ,往往對延遲特別敏感,可以想像,競技類 游戲 中對戰的 游戲 場景:玩家操控人物,在地圖里步伐飄逸,槍聲密集,每一顆子彈都是一次時間加上空間的矢量計算,而且需要在主進程中完成計算,那麼算力需求就隨著房間玩家數量上升而指數爆炸,5V5的房間和大房間100人(吃雞)對算力的需求完全不同。

游戲 這部分重算力場景,推薦阿里雲7代高主頻或七代實例,更高的單核性能提供更好的戰斗效果。

戰斗房間類 游戲 ,因為業務本身峰谷特性,靈活地使用雲上資源的彈性能力,往往會較好地優化整體的資源使用成本。阿里雲彈性計算本身提供了非常靈活的付費方式,包括常規的按量實例、包月包年實例、以及通過節省計劃/預留實例券去抵扣按量實例資源,兼顧資源靈活使用的同時達到更優的成本。

此外,為更進一步釋放開發運維的效率,當前一些 游戲 也採用了容器化技術架構,阿里雲的ACK+ECS/ECI彈性容器實例組合搭配使用,更進一步釋放了基礎資源的靈活性和彈性能力。

業務場景

游戲 平台(不限於FPS、MOBA類)主要提供的服務:官網、客服、注冊、登錄、充值、兌換、商城、推送、公告、社區、SDK及郵件、簡訊等公共服務;包括內容審核、視頻錄制、彈幕、轉碼、剪輯、RTC這些業務需要的基礎服務,以及運維監控、發布平台、測試平台這些運維等平台服務。

這部分更接近於通用的互聯網技術架構,以服務為顆粒度解耦,接入->網關->應用->資料庫。

技術特點

這往往通常需要構建高可用基礎架構來提升穩定性,業務突發期往往需要一定的彈性能力。相比於 游戲 服務這部分容器化就更加普及,也更容易通過雲上的比如彈性容器實例去應對流量峰值場景。在視頻錄制場景,對實時性要求較高時,往往會基於GPU能力構建,這部分阿里雲也提供了vGPU/cGPU能力,釋放GPU的靈活性。

大數據是當前 游戲 業務經營、 游戲 運營主要的技術手段,主要面向平台數據運營、 游戲 數據分析、廣告轉化分析、安全運營分析等 游戲 核心運營場景。不同的場景對實時性要求不同,實時查詢檢索通常是經營分析、客戶受理、玩家監測、在線等場景;離線報表通常是玩家行為分析、用戶畫像、特徵挖掘等場景。

總體而言,實時性業務更多是業務查詢類、簡單計算類任務,比如買量轉化的分析;離線類基本是分析類、預測類任務,比如 游戲 玩法分析。

從技術架構來看,得益於開源社區技術棧的高豐富度,大數據具體的技術選擇非常之多,整體從存算一體到存算分離,也誕生像數據倉庫、數據湖乃至湖倉一體等概念。

從數據架構流程來看,從數據源->數據採集、傳輸->數據計算、存儲->數據應用,其中可選看技術方案也需要因地制宜。

從部署架構來看,不同的 游戲 公司處在不同的數據建設階段,會有不同的選擇傾向,包括完全自建、基於雲自建大數據、基於雲上託管、以及利用更多雲上成熟的產品技術去豐富整體的大數據能力集,而後者也成為越來越多客戶的選擇。

拿雲上大數據方案舉例來講,比如實時計算部分,選擇SLS採集、Kafka數據網關通道,通過Flink做數據計算,通過ES或CK做數據分析,通過ADB以及QuickBI做數據應用展示。離線方案通過OSS做冷數據存儲,Spark、Hive、HDFS等組件做數據計算存儲,通過CK匯聚分析,通過Dataworks做數據應用。

具體計算存儲的產品選型,主要根據不同的業務特性以及大數據應用特性來區分,根據數據容量、IOPS、吞吐、讀寫特點以及性價比來選擇。

如剛剛舉例的實時計算/近實時計算場景,Flink具備高性能、低延遲特點,所以是計算密集、網路性能高場景,推薦選型七代ECS實例或6代增強實例;如HDFS需要超大存儲容量,高吞吐,推薦D系列本地盤實例,如D2S存儲型本地盤實例。Remote Shuffle Service等處理結果多的場景,讀寫處理頻繁如大量的join計算,需要綜合來看計算、網路、存儲性能以及綜合成本來選擇通用實例(如第7代ECS實例)或i系列本地盤實例。所以,最終在雲上的資源選型,在性能滿足的前期下,需要評估通過網路傳輸數據成本高(雲盤),還是就地取材計算成本高(本地盤),不同模型、不同量級選擇不同。

從內存處理(成本最高、性能最好、存儲容量最小)、SSD本地盤、HDD本地盤、ESSD雲盤、OSS對象存儲(成本最優、性能一般、存儲容量最大),逐漸分層解耦,還帶來一個好處:充分釋放了雲上彈性的能力,可以利用更輕巧的彈性計算產品(如SPOT搶占式實例方式,或ECI容器實例)進行大數據計算,達到更好的彈性能力去滿足業務需求的同時也能節約更多的成本。

雲 游戲 主要分終端和雲端。終端部分基於Windows、iOS、Linux等操作系統的終端設備包括手機、平板、電腦、電視機、VR一體機等。雲端架構主要是 游戲 應用層、雲 游戲 平台層、IaaS基礎資源層,應用層包括PC 游戲 、手游、VR 游戲 、H5 游戲 等多種類型的 游戲 應用;平台層雲 游戲 必須的運營平台、支撐平台、流化技術平台等;IaaS基礎資源層包括基礎網路、基於X86架構以及ARM架構的GPU伺服器。

雲 游戲 落地,在技術上也經歷了諸多挑戰,為滿足端到端高性能低時延,網路調度、指令串流、編解碼、多終端的SDK適配等等都是雲 游戲 場景中不可避免的技術問題。

對於雲端算力來講,阿里雲解決了雲端渲染、串流以及編解碼問題,並通過全系列GPU產品來滿足雲手游、端游、VR乃至企業級視覺渲染場景的需求。

總結來講,阿里雲彈性計算通過雲上的串流、編碼加速、渲染加速等全套的技術幫助 游戲 客戶給雲 游戲 玩家提供更好的性能體驗,通過基於阿里雲全球數據中心可以幫助雲 游戲 客戶覆蓋更多的用戶,通過GPU多種產品形態和整體的彈性能力,也幫助到 游戲 客戶去更快捷更靈活的構建其雲 游戲 業務。

阿里雲通過多年的技術積累和持續的運營,提供了大規模的基礎設施雲服務,目前在全球部署了26個地域、82個可用區,通過優異穩定的性能表現幫助 游戲 客戶高效穩定地運行 游戲 業務,為玩家提供極致順滑的 游戲 體驗,並通過技術手段不斷地幫助 游戲 客戶優化用雲成本。

國內的業務出海、 游戲 出海也是現階段大的趨勢之一,很多 游戲 公司已經把出海從業務可選項變成了必選項之一。在2022年3月,阿里雲上線了韓國和泰國兩大Region,能夠為本地化的 游戲 業務提供更流暢、更穩定的 游戲 體驗,以此希望能在 游戲 客戶出海的業務領域,提供更多的幫助。

當然,作為內容與 科技 兩大熱門領域的交叉領域, 游戲 產業日新月異,架構也隨著前端業務的需要不斷改變。阿里雲彈性計算也針對 游戲 廠商的不同架構,陸續推出了不同的雲伺服器類型和付費方式,以及雲上運維套件,以幫助客戶降本增效。

原文鏈接:http://click.aliyun.com/m/1000336551/