當前位置:首頁 » 服務存儲 » Google全球存儲架構
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

Google全球存儲架構

發布時間: 2023-05-03 21:32:46

A. GOOGLE是怎樣運營的

有新聞分析稱,盡管Google不得不通過傳統的方式解決像發布財政收入和跟蹤工程項目普通的商業問題,但Google有時候並沒有照千篇一律的方式這樣做下去。為了解決預期的問題,Google甚至採用了非傳統的,但卻十分高效的方式。其實,不管是採用何種方式達到目的地,首先走到目的地的終歸是獲勝者,當然,必須得排除用非法手段。正是因為Google這種非傳統的做法,使得它像芝麻開花節節高,而其它的企業也正在跟隨,並主張這種非傳統的運營方式。

當Google全球副總裁Douglas Merrill無拘束的走向Arizona Biltmore Resort & SPA的演講台時,其神態和裝束有些亂七八糟,看上去儼然像即將開始講課的大學教授。事實上,Merrill出現在Arizona Biltmore Resort & SPA是在一個四月的早上,其目的是講述他作為Google內部技術主管時的工作,而在講台下面則聚集了很多的CIO。

Google作為一家全球搜索引擎公司,在2005年,其收入增長了92%,至61億美元。如此大的成爛襲功,讓Google成為了全世界所公認的知名公司,並得到了廣泛的認可。如果要說到Google的成功,我們必須提到其創新的信息基礎架構管理——它基於世界上其中一個最大的分布式計算/檢索系統。

在講台上,Merrill對於Google的未來走向只進行了只言片語的描述。因為他演講的主題是闡明Google的運營模式,以及其背後的計算系統。

其實,Google在光環照耀下的今天,同時也要面臨著巨大的壓力。為了給員工解壓,公司甚至允許員工帶著自己的愛犬去上班。而Google的這些壓力主要來自於其股票飢擾兄的價值、市場份額的共享、一系列等著發布的Beta產品,以及和微軟之間的死亡競爭。另外,Google還需解決一些最基本的問題,例如,廣告、收集、發布財政報告和跟蹤工程項目、租用承包人、招聘和評估員工和管理視頻會議系統等等。換句話說,這些都是一些普通的商業問題。

雖說,這些最基本的問題都解決了,但這並不意味Google是通過一個傳統的方式把這些問題解決好的,Merrill做出了如此的解釋。

「其實,在過去,我們一直是按傳統的模式去解決這些最普通的商業問題。但這都是過去的事情了,現在我們需要的是一個最佳的解決方案,而不是傳統的方法。」 Merrill表示。

如果把這些問題擱置到其它領域,也就意味著Google在標準的硬體上並沒有配置標準的商業應用程序。取而代之的是,Google使用了文本解析技術,該技術同樣用於推動其搜索引擎在電子郵件中的析取應用,這種技術有別於基於數據登錄窗口的傳統用戶界面。

「我們並不局限於在一台傳統的伺服器上配置一個應用程序,我們有可能把這個應用程序配置到所有的伺服器群集架構,這樣就在全世界范圍內的數據中心進行運行操作。」 Merrill 表示。

據相關人員估計,Google當前所擁有的計算機伺服器超過了45萬台,分布在全世界25個地區。並且估計到2011年,這個數字將會變成80萬台,這也就意味著Google在全世界各地都將有數據中心。而到目前為止,Google甚至已經在都柏林、維吉尼亞和加利福尼亞都設置有數據中心。最近,Google還在亞特蘭大成立了一個新的數據中心。另外,在達拉斯還將成立兩個足球場大小的數據中心。

眾所周知,Google為世界范圍內的網路用戶提供了快速的搜索引擎。之所以在搜索時的速度會如此之快,這主要是因為互聯網上的任何兩台電腦之間的連接速度非常快,這是搜索速度快的重要因素(除了由於網路轉換和路由器引起的延遲以外)。盡管搜索是Google謀利的重要手段,但是這些強大的伺服器組目前也正在運行其它的程序,例如,Gmail、Blogger,以及基於網路的文書處理器和電子數據表格。

這也就是為什麼眾人把Google當作微軟殺手最直觀的原因,不僅如此,Google還被當作網路的李渣領頭羊,並打敗了Windows的不敗地位,一躍拿下這個頭銜,讓眾人不得不刮目相看。不管你相不相信,這已經成為了一個事實。也許你會認為在這次爭斗中,微軟依靠其老牌資格,會爭得頭牌。但幾個爭斗下來,事實並沒有像你預料的那樣,Google在很大程度打擊了微軟的囂張氣焰。另外,有消息稱,微軟計劃於今年在伺服器和數據基礎架構領域投資150億美元。如果Google想維持在該領域的領導地位,還必須加大投資力度,因為Google在2005年僅僅在該領域投資了8.38億美元。

對於Google而言,大規模的系統技術同樣也是十分重要。在2005年,Google可以索引80億個網頁。同時,Google的市場份額也在不斷的上升。據網路流量測量公司ComScore Networks最近提供的一份調查結果顯示,在美國的互聯網用戶中,4月份Google的搜索市場份額上升到43%;排在第二位的是雅虎,市場份額是28%;而通過微軟MSN 進行的搜索次數在繼續下滑,使得它的市場份額由去年4 月份的16.1% 下滑到了12.9%。

雖說雅虎和微軟的搜索市場份額在下降,但Google的市場份額卻在不斷上升,Google去年4 月份的市場份額才達到36.5%,今年4月份卻達到了43%。同一份調查報告還顯示,美國在4月份的搜索市場已經達到了66億美元,較之3月份提升了3個百分點。如果按市場的百分比計算,Google 4月份在搜索這一塊的收入就達到了29億美元,排在第二的是雅虎,為19億美元,而微軟MSN僅僅為8.58億美元。

Google的市場份額之所以有如此大幅度的提升,其豐富的可擴展技術也是其重要的功臣。最近,Google在向美國證券交易委員會(SEC)提交年度報告時表示:「我們的商業依靠自主的軟體和硬體基礎架構,可以以成本提供堅實的計算資源。最近,我們還在群組電腦上運行使用了集現成和自定義軟體的工具。雖說,我們還在為這個正在發展的基礎架構投入資金,但我們已經看到它所產生的利潤。首先,它可以使存儲簡單化;第二,可以處理多量的數據;第三,可以使整個發展變的相當簡單和容易;第四,可以作用於大規模的全球產品和服務;第五,在管理大規模的群組電腦時可以實現自動化。」

為了通過基礎架構提供最大限度的控制,Google所使用的電腦設備都是購買的,而不是像其它企業一樣只是租用。對此,Google的首席執行官Eric Schmidt和在金融分析師的一次通話中表示,「我們之所有構建自己的基礎架構,完全是為了提高我們的競爭優勢。」

而Google的野心並沒有僅僅局限於此,它不只是簡單的購買很多的電腦級的伺服器,並將它們用於基礎架構當中。「我們現在做的,僅僅只是一個開始,我們最終的目的是把超級計算機應用到基礎架構當中。」 Schmidt表示。

此外,Google在操作上採用了如此極端的規模,這些的系統是值得我們借鑒和學習的,特別是對於那些正從事或評估網格計算(grid computing)策略的組織而言,更應該對此多學習。如此規模的系統在進行高端計算任務處理時可由許多低花費的計算工作完成。

我們暫且不論Google是否對這種基礎架構有些自誇,但Google的基礎架構設計師都謝絕了所有的媒體采訪, Merrill的采訪只是一次例外。Merrill在菲尼克斯的一次演講中回答了類似的問題,並談論了有關向企業客戶出售的Search Appliance產品的一些細節。

但是,Google在回答有關後端系統這個問題時,出現了一些分裂。面對媒體,Google的答案是,「對不起,對於基礎價構,我們並不想說太多。」另外,Google工程師在選擇計算科學員工時,把大門敞的非常開,並表示只要大學畢業生對這一項工作感興趣的話,Google的大門隨時為他們打開。

B. 谷歌的雲計算主要由什麼組成

Google App Engine: PaaS
Google Compute Engine: IaaS
Google Cloud Storage: 存儲服務
Google Cloud Datastore: 高可用的NoSQL非關系數據存儲
Google Cloud SQL: MySQ資料庫
Google BigQuery: 數據分析工具
Google Cloud Endpoints: 在GAE中創建易於iOS,Android和JavaScript連接的服務的工具
Google Cloud DNS:DNS服務

C. 谷歌框架是什麼,對手機有什麼影響

Google服務框架全稱 Google Mobile Service(即GMS)。身為框架的GMS是用戶想要體驗整套Google服務不可繞開的一環,Google地圖、Play商店等一系列的得應用都需要它的支持,否則就會無法打開或無法使用全部功能,我們要使用Google Play,手機中就少不了GMS。

如果是主要使用谷歌相關軟體的手機,那麼谷歌框架是必不可少的。

(3)Google全球存儲架構擴展閱讀:

與軟體框架不同,服務框架基於業務對應用SaaS分發模式的服務進行整合,納孫以產生新的應洞早鏈用,其具有如下的特點:

1、它是面向特定領域的可復用軟體集成平台;

2、反映了該領域應用的一般需求和結構;

3、具有部分實現的特性,包括一組與業務功能的整合密切相關、相互協作的組件;

4、服務框架中,與業務相關,但與業務功能的整合無關的組件以外部服務形式引入。

5、基於服務框架開發應用是通過擴展和復用外部服務實現的。

比照軟體框架的定義,服務框架可定義為某領域一類服務的可復用設計與不完整的實現。與軟體框架不同的是,服務框架同時體現著面向服務,一個服務框架通常由一組用於服務整合的關聯組件和一組外部服務構成。

從構建應用的角度,一個服務框架也可以分為兩個主要部分:服務引睜野擎(Service Engine)和引入的外部服務。服務引擎定義了框架及目標服務的一般結構,並提供一組內部組件用以支持服務的整合,框架核心還可以包括實現本領域內應用的一些典型功能的具體實現,同時也支持應用框架內組件擴展新的業務功能。

引入的外部服務被服務引擎驅動來參與業務,它往往以獨立(例如第三方提供)的外部服務形式出現,在基於框架構建服務時直接應用。

參考資料來源:網路 服務框架

D. 誰能幫忙說一下超融合架構的技術邏輯

一種新架構的出現,肯定是為了解決現有架構出現的問題,所以,想了解超融合架構的技術邏輯,首先必須要知道下面幾個問題:

  • 超融合替代的是什麼:傳統架構;

  • 傳統架構出現了什麼問題;

  • 超融合架構的來源,以及是怎麼決絕這些問題的;

一、傳統架構是什麼,出了什麼問題;

據麥肯錫研究顯示,全球的 IT 數據每年在以 40% 的速度增加中。數據正在逐步影響商業,企業通過數據的分析來做決策與管理。完成快速的分析決策和管理,就需要藉助強大的數據中心。下圖為傳統 SAN 存儲:


正因為這種擴展性很好的共享存儲,使得整個 Google 的業務得以順暢地運轉。

三、硬體的快速發展,使得超融合成為可能

另外,超融合近幾年得以快速發展的原因,這要歸功於硬體設備。CPU 核數越來越多,伺服器的內存容量越來越大,SSD 設備和網路互聯網設備越來越快,這意味著:

  • 伺服器的資源除了運行業務以外,仍然可以預留出來足夠的CPU,內存資源來運行存儲軟體。將存儲軟體和業務運行到一塊,既減少了設備量,減少了電力使用,本地讀取也提高了 I/O 的存取效率。這在幾年前是做不到的,因為 CPU 和內存太有限了。

  • 網路互聯越來越快,無論是萬兆,40Gb 乙太網,還是 Infiniband(無限寬頻技術),使得我們的軟體能夠將獨立的存儲設備進行互連,通過分布式文件系統形成共享的存儲池,供上層應用使用。

  • 如果說 SSD 等硬體廠商讓單個存儲設備跑的更快,我們的軟體的意義在於,讓超大量的這些存儲設備,一起工作,提供無止境的整體性能和容量。