當前位置:首頁 » 服務存儲 » 澳大利亞存儲設計
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

澳大利亞存儲設計

發布時間: 2023-02-07 06:39:41

① 電腦是什麼呀

電腦就是計算機
電子計算機是一種根據一系列指令來對數據進行處理的機器。所相關的技術研究叫計算機科學,由數據為核心的研究稱信息技術。

計算機種類繁多。實際來看,計算機總體上是處理信息的工具。根據圖靈機理論,一部具有最基本功能的計算機應當能夠完成任何其它計算機能做的事情。因此,只要不考慮時間和存儲因素,從個人數碼助理(PDA)到超級計算機都應該可以完成同樣的作業。即是說,即使是設計完全相同的計算機,只要經過相應改裝,就應該可以被用於從公司薪金管理到無人駕駛飛船操控在內的各種任務。由於科技的飛速進步,下一代計算機總是在性能上能夠顯著地超過其前一代,這一現象有時被稱作「摩爾定律」。

計算機在組成上形式不一。早期計算機的體積足有一間房屋大小,而今天某些嵌入式計算機可能比一副撲克牌還小。當然,即使在今天,依然有大量體積龐大的巨型計算機為特別的科學計算或面向大型組織的事務處理需求服務。比較小的,為個人應用而設計的計算機稱為微型計算機,簡稱微機。我們今天在日常使用「計算機」一詞時通常也是指此。不過,現在計算機最為普遍的應用形式卻是嵌入式的。嵌入式計算機通常相對簡單,體積小,並被用來控制其它設備—無論是飛機,工業機器人還是數碼相機。

上述對於電子計算機的定義包括了許多能計算或是只有有限功能的特定用途的設備。然而當說到現代的電子計算機,其最重要的特徵是,只要給予正確的指示,任何一台電子計算機都可以模擬其他任何計算機的行為(只受限於電子計算機本身的存儲容量和執行的速度)。據此,現代電子計算機相對於早期的電子計算機也被稱為通用型電子計算機。

歷史

ENIAC是電腦發展史上的一個里程碑本來,計算機的英文原詞「computer」是指從事數據計算的人。而他們往往都需要藉助某些機械計算設備或模擬計算機。這些早期計算設備的祖先包括有算盤,以及可以追溯到公元前87年的被古希臘人用於計算行星移動的安提基特拉機制。隨著中世紀末期歐洲數學與工程學的再次繁榮,1623年由Wilhelm Schickard率先研製出了歐洲第一台計算設備,這是一個能進行六位以內數加減法,並能通過鈴聲輸出答案的「計算鍾」。使用轉動齒輪來進行操作。

1642年法國數學家Pascal 在WILLIAM Oughtred計算尺的基礎上,將計算尺加以改進,能進行八位計算。還賣出了許多製品,成為當時一種時髦的商品。

1801年,Joseph Marie Jacquard對織布機的設計進行了改進,其中他使用了一系列打孔的紙卡片來作為編織復雜圖案的程序。Jacquard式織布機,盡管並不被認為是一台真正的計算機,但是它的出現確實是現代計算機發展過程中重要的一步。

查爾斯・巴比奇(Charles Babbage)是構想和設計一台完全可編程計算機的第一人,當時是1820年。但由於技術條件,經費限制,以及無法忍耐對設計不停的修補,這台計算機在他有生之年始終未能問世。約到19世紀晚期,許多後來被證明對計算機科學有著重大意義的技術相繼出現,包括打孔卡片以及真空管。Hermann Hollerith設計了一台製表用的機器,就實現了應用打孔卡片的大規模自動數據處理。

在20世紀前半葉,為了迎合科學計算的需要,許許多多單一用途的並不斷深化復雜的模擬計算機被研製出來。這些計算機都是用它們所針對的特定問題的機械或電子模型作為計算基礎。20世紀三四十年代,計算機的性能逐漸強大並且通用性得到提升,現代計算機的關鍵特色被不斷地加入進來。

1937年由克勞德·艾爾伍德·香農(Claude Shannon)發表了他的偉大論文《對繼電器和開關電路中的符號分析》,文中首次提及數字電子技術的應用。他向人們展示了如何使用開關來實現邏輯和數學運算。此後,他通過研究Vannevar Bush的微分模擬器進一步鞏固了他的想法。這是一個標志著二進制電子電路設計和邏輯門應用開始的重要時刻,而作為這些關鍵思想誕生的先驅,應當包括:Almon Strowger,他為一個含有邏輯門電路的設備申請了專利;尼古拉・特斯拉(Nikola Tesla),他早在1898年就曾申請含有邏輯門的電路設備;Lee De Forest,於1907年他用真空管代替了繼電器。

Commodore公司在20世紀八十年代生產的Amiga 500電腦沿著這樣一條上下求索的漫漫長途去定義所謂的「第一台電子計算機」可謂相當困難。1941年5月12日,Konrad Zuse完成了他的機電共享設備「Z3」,這是第一台具有自動二進制數學計算特色以及可行的編程功能的計算機,但還不是「電子」計算機。此外,其他值得注意的成就主要有:1941年夏天誕生的阿塔納索夫-貝瑞計算機是世界上第一台電子計算機,它使用了真空管計算器,二進制數值,可復用內存;在英國於1943年被展示的神秘的巨像計算機(Colossus computer),盡管編程能力極其有限,但是它的的確確告訴了人們使用真空管既值得信賴又能實現電氣化的再編程;哈佛大學的Harvard Mark I;以及基於二進制的「埃尼阿克」(ENIAC,1944年),這是第一台通用意圖的計算機,但由於其結構設計不夠彈性化,導致對它的每一次再編程都意味著電氣物理線路的再連接。

開發埃尼愛克的小組針對其缺陷又進一步完善了設計,並最終呈現出今天我們所熟知的馮·諾伊曼結構(程序存儲體系結構)。這個體系是當今所有計算機的基礎。20世紀40年代中晚期,大批基於此一體系的計算機開始被研製,其中以英國最早。盡管第一台研製完成並投入運轉的是「小規模實驗機」(Small-Scale Experimental Machine,SSEM),但真正被開發出來的實用機很可能是EDSAC。

在整個20世紀50年代,真空管計算機居於統治地位。1958年 9月12日 在Robert Noyce(INTEL公司的創始人)的領導下,發明了集成電路。不久又推出了微處理器。1959年到1964年間設計的計算機一般被稱為第二代計算機。

到了60年代,晶體管計算機將其取而代之。晶體管體積更小,速度更快,價格更加低廉,性能更加可靠,這使得它們可以被商品化生產。1964年到1972年的計算機一般被稱為第三代計算機。大量使用集成電路,典型的機型是IBM360系列。

到了70年代,集成電路技術的引入極大地降低了計算機生產成本,計算機也從此開始走向千家萬戶。1972年以後的計算機習慣上被稱為第四代計算機。基於大規模集成電路,及後來的超大規模集成電路。1972年4月1日 INTEL推出8008微處理器。1976年Stephen Wozinak和Stephen Jobs創辦蘋果計算機公司。並推出其Apple I 計算機。1977年5月 Apple II 型計算機發布。1979年6月1日 INTEL發布了8位元的8088微處理器。

1982年,微電腦開始普及,大量進入學校和家庭。1982年1月Commodore 64計算機發布,價格:595美元。 1982 年2月80286發布。時鍾頻率提高到20MHz,並增加了保護模式,可訪問16M內存。支持1GB以上的虛擬內存。每秒執行270萬條指令,集成了134000個晶體管。

1990年11月: 第一代MPC (多媒體個人電腦標准)發布。處理器至少80286/12MHz,後來增加到80386SX/16 MHz ,及一個光碟機,至少150 KB/sec的傳輸率。1994年10月10日 Intel 發布75 MHz Pentium處理器。1995年11月1日Pentium Pro發布。主頻可達200 MHz ,每秒鍾完成4.4億條指令,集成了550萬個晶體管。1997年1月8日Intel發布Pentium MMX。對游戲和多媒體功能進行了增強。

此後計算機的變化日新月異,1965年發表的摩爾定律發表不斷被應證,預測在未來10~15年仍依然適用。

原理

個人電腦的主要結構:
顯示器
主板
CPU (中央處理器)
主要儲存器 (內存)
擴充卡
電源供應器
光碟機
次要儲存器 (硬碟)
鍵盤
滑鼠

盡管計算機技術自20世紀40年代第一台電子通用計算機誕生以來以來有了令人目眩的飛速發展,但是今天計算機仍然基本上採用的是存儲程序結構,即馮·諾伊曼結構。這個結構實現了實用化的通用計算機。

存儲程序結構間將一台計算機描述成四個主要部分:算術邏輯單元(ALU),控制電路,存儲器,以及輸入輸出設備(I/O)。這些部件通過一組一組的排線連接(特別地,當一組線被用於多種不同意圖的數據傳輸時又被稱為匯流排),並且由一個時鍾來驅動(當然某些其他事件也可能驅動控制電路)。

概念上講,一部計算機的存儲器可以被視為一組「細胞」單元。每一個「細胞」都有一個編號,稱為地址;又都可以存儲一個較小的定長信息。這個信息既可以是指令(告訴計算機去做什麼),也可以是數據(指令的處理對象)。原則上,每一個「細胞」都是可以存儲二者之任一的。

算術邏輯單元(ALU)可以被稱作計算機的大腦。它可以做兩類運算:第一類是算術運算,比如對兩個數字進行加減法。算術運算部件的功能在ALU中是十分有限的,事實上,一些ALU根本不支持電路級的乘法和除法運算(由是使用者只能通過編程進行乘除法運算)。第二類是比較運算,即給定兩個數,ALU對其進行比較以確定哪個更大一些。

輸入輸出系統是計算機從外部世界接收信息和向外部世界反饋運算結果的手段。對於一台標準的個人電腦,輸入設備主要有鍵盤和滑鼠,輸出設備則是顯示器,列印機以及其他許多後文將要討論的可連接到計算機上的I/O設備。

控制系統將以上計算機各部分聯系起來。它的功能是從存儲器和輸入輸出設備中讀取指令和數據,對指令進行解碼,並向ALU交付符合指令要求的正確輸入,告知ALU對這些數據做哪些運算並將結果數據返回到何處。控制系統中一個重要組件就是一個用來保持跟蹤當前指令所在地址的計數器。通常這個計數器隨著指令的執行而累加,但有時如果指令指示進行跳轉則不依此規則。

20世紀80年代以來ALU和控制單元(二者合成中央處理器,CPU)逐漸被整合到一塊集成電路上,稱作微處理器。這類計算機的工作模式十分直觀:在一個時鍾周期內,計算機先從存儲器中獲取指令和數據,然後執行指令,存儲數據,再獲取下一條指令。這個過程被反復執行,直至得到一個終止指令。

由控制器解釋,運算器執行的指令集是一個精心定義的數目十分有限的簡單指令集合。一般可以分為四類:1)、數據移動(如:將一個數值從存儲單元A拷貝到存儲單元B)2)、數邏運算(如:計算存儲單元A與存儲單元B之和,結果返回存儲單元C)3)、條件驗證(如:如果存儲單元A內數值為100,則下一條指令地址為存儲單元F)4)、指令序列改易(如:下一條指令地址為存儲單元F)

指令如同數據一樣在計算機內部是以二進制來表示的。比如說,10110000就是一條Intel x86系列微處理器的拷貝指令代碼。某一個計算機所支持的指令集就是該計算機的機器語言。因此,使用流行的機器語言將會使既成軟體在一台新計算機上運行得更加容易。所以對於那些機型商業化軟體開發的人來說,它們通常只會關注一種或幾種不同的機器語言。

更加強大的小型計算機,大型計算機和伺服器可能會與上述計算機有所不同。它們通常將任務分擔給不同的CPU來執行。今天,微處理器和多核個人電腦也在朝這個方向發展。

超級計算機通常有著與基本的存儲程序計算機顯著區別的體系結構。它們通常有著數以千計的CPU,不過這些設計似乎只對特定任務有用。在各種計算機中,還有一些微控制器採用令程序和數據分離的哈佛架構(Harvard architecture)。

計算機的數字電路實現

以上所說的這些概念性設計的物理實現是多種多樣的。如同我們前述所及,一台存儲程序式計算機既可以是巴比奇的機械式的,也可以是基於數字電子的。但是,數字電路可以通過諸如繼電器之類的電子控制開關來實現使用2進制數的算術和邏輯運算。香農的論文正是向我們展示了如何排列繼電器來組成能夠實現簡單布爾運算的邏輯門。其他一些學者很快指出使用真空管可以代替繼電器電路。真空管最初被用作無線電電路中的放大器,之後便開始被越來越多地用作數字電子電路中的快速開關。當電子管的一個針腳被通電後,電流就可以在另外兩端間自由通過。

通過邏輯門的排列組合我們可以設計完成很多復雜的任務。舉例而言,加法器就是其中之一。該器件在電子領域實現了兩個數相加並將結果保存下來—在計算機科學中這樣一個通過一組運算來實現某個特定意圖的方法被稱做一個演算法。最終,人們通過數量可觀的邏輯門電路組裝成功了完整的ALU和控制器。說它數量可觀,只需看一下CSIRAC這台可能是最小的實用化電子管計算機。該機含有2000個電子管,其中還有不少是雙用器件,也即是說總計合有2000到4000個邏輯器件。

真空管對於製造規模龐大的門電路明顯力不從心。昂貴,不穩(尤其是數量多時),臃腫,能耗高,並且速度也不夠快—盡管遠超機械開關電路。這一切導致20世紀60年代它們被晶體管取代。後者體積更小,易於操作,可靠性高,更省能耗,同時成本也更低。

集成電路是現今電子計算機的基礎20世紀60年代後,晶體管開始逐漸為將大量晶體管、其他各種電器元件和連接導線安置在一片硅板上的集成電路所取代。70年代,ALU和控制器作為組成CPU的兩大部分,開始被集成到一塊晶元上,並稱為「微處理器」。沿著集成電路的發展史,可以看到一片晶元上所集成器件的數量有了飛速增長。第一塊集成電路只不過包含幾十個部件,而到了2006年,一塊Intel Core Duo處理器上的晶體管數目高達一億五千一百萬之巨。

無論是電子管,晶體管還是集成電路,它們都可以通過使用一種觸發器設計機制來用作存儲程序體系結構中的「存儲」部件。而事實上觸發器的確被用作小規模的超高速存儲。但是,幾乎沒有任何計算機設計使用觸發器來進行大規模數據存儲。最早的計算機是使用Williams電子管向一個電視屏或若干條水銀延遲線(聲波通過這種線時的走行速度極為緩慢足夠被認為是「存儲」在了上面)發射電子束然後再來讀取的方式來存儲數據的。當然,這些盡管有效卻不怎麼優雅的方法最終還是被磁性存儲取而代之。比如說磁芯存儲器,代表信息的電流可在其中的鐵質材料內製造恆久的弱磁場,當這個磁場再被讀出時就實現了數據恢復。動態隨機存儲器(DRAM)亦被發明出來。它是一個包含大量電容的集成電路,而這些電容器件正是負責存儲數據電荷—電荷的強度則被定義為數據的值。

輸入輸出設備

輸入輸出設備(I/O)是對將外部世界信息發送給計算機的設備和將處理結果返回給外部世界的設備的總稱。這些返回結果可能是作為使用者能夠視覺上體驗的,或是作為該計算機所控制的其他設備的輸入:對於一台機器人,控制計算機的輸出基本上就是這台機器人本身,如做出各種行為。

第一代計算機的輸入輸出設備種類非常有限。通常的輸入用設備是打孔卡片的讀卡機,用來將指令和數據導入內存;而用於存儲結果的輸出設備則一般是磁帶。隨著科技的進步,輸入輸出設備的豐富性得到提高。以個人計算機為例:鍵盤和滑鼠是用戶向計算機直接輸入信息的主要工具,而顯示器、列印機、擴音器、耳機則返回處理結果。此外還有許多輸入設備可以接受其他不同種類的信息,如數碼相機可以輸入圖像。在輸入輸出設備中,有兩類很值得注意:第一類是二級存儲設備,如硬碟,光碟或其他速度緩慢但擁有很高容量的設備。第二個是計算機網路訪問設備,通過他們而實現的計算機間直接數據傳送極大地提升了計算機的價值。今天,國際互聯網成就了數以千萬計的計算機彼此間傳送各種類型的數據。

程序

簡單說,計算機程序就是計算機執行指令的一個序列。它既可以只是幾條執行某個簡單任務的指令,也可能是可能要操作巨大數據量的復雜指令隊列。許多計算機程序包含有百萬計的指令,而其中很多指令可能被反復執行。在2005年,一台典型的個人電腦可以每秒執行大約30億條指令。計算機通常並不會執行一些很復雜的指令來獲得額外的機能,更多地它們是在按照程序員的排列來運行那些較簡單但為數眾多的短指令。

一般情況下,程序員們是不會直接用機器語言來為計算機寫入指令的。那麼做的結果只能是費時費力、效率低下而且漏洞百出。所以,程序員一般通過「高級」一些的語言來寫程序,然後再由某些特別的計算機程序,如解釋器或編譯器將之翻譯成機器語言。一些編程語言看起來很接近機器語言,如匯編程序,被認為是低級語言。而另一些語言,如即如抽象原則的Prolog,則完全無視計算機實際運行的操作細節,可謂是高級語言。對於一項特定任務,應該根據其事務特點,程序員技能,可用工具和客戶需求來選擇相應的語言,其中又以客戶需求最為重要(美國和中國軍隊的工程項目通常被要求使用Ada語言)。

計算機軟體是與計算機程序並不相等的另一個詞彙。計算機軟體一個較為包容性較強的技術術語,它包含了用於完成任務的各種程序以及所有相關材料。舉例說,一個視頻游戲不但只包含程序本身,也包括圖片、聲音以及其他創造虛擬游戲環境的數據內容。在零售市場,在一台計算機上的某個應用程序只是一個面向大量用戶的軟體的一個副本。這里老生常談的例子當然還是微軟的office軟體組,它包括一些列互相關聯的、面向一般辦公需求的程序。

利用那些極其簡單的機器語言指令來實現無數功能強大的應用軟體意味著其編程規模註定不小。Windows XP這個操作系統程序包含的C++高級語言源代碼達到了4000萬行。當然這還不是最大的。如此龐大的軟體規模也顯示了管理在開發過程中的重要性。實際編程時,程序會被細分到每一個程序員都可以在一個可接受的時長內完成的規模。

即便如此,軟體開發的過程仍然進程緩慢,不可預見且遺漏多多。應運而生的軟體工程學就重點面向如何加快作業進度和提高效率與質量。

庫與操作系統

在計算機誕生後不久,人們發現某些特定作業在許多不同的程序中都要被實施,比如說計算某些標准數學函數。出於效率考量,這些程序的標准版本就被收集到一個「庫」中以供各程序調用。許多任務經常要去額外處理種類繁多的輸入輸出介面,這時,用於連接的庫就能派上用場。

20世紀60年代,隨著計算機工業化普及,計算機越來越多地被用作一個組織內不同作業的處理。很快,能夠自動安排作業時續和執行的特殊軟體出現了。這些既控制硬體又負責作業時序安排的軟體被稱為「操作系統」。一個早期操作系統的例子是IBM的OS/360。

在不斷地完善中,操作系統又引入了時間共享機制——並發。這使得多個不同用戶可以「同時」地使用機器執行他們自己的程序,看起來就像是每個人都有一台自己的計算機。為此,操作系統需要像每個用戶提供一台「虛擬機」來分離各個不同的程序。由於需要操作系統控制的設備也在不斷增加,其中之一便是硬碟。因之,操作系統又引入了文件管理和目錄管理(文件夾),大大簡化了這類永久儲存性設備的應用。此外,操作系統也負責安全控制,確保用戶只能訪問那些已獲得允許的文件。

當然,到目前為止操作系統發展歷程中最後一個重要步驟就是為程序提供標准圖形用戶界面(GUI)。盡管沒有什麼技術原因表明操作系統必須得提供這些界面,但操作系統供應商們總是希望並鼓勵那些運行在其系統上的軟體能夠在外觀和行為特徵上與操作系統保持一致或相似。

除了以上這些核心功能,操作系統還封裝了一系列其他常用工具。其中一些雖然對計算機管理並無重大意義,但是於用戶而言很是有用。比如,蘋果公司的Mac OS X就包含視頻剪輯應用程序。

一些用於更小規模的計算機的操作系統可能沒用如此眾多的功能。早期的微型計算機由於記憶體和處理能力有限而不會提供額外功能,而嵌入式計算機則使用特定化了的操作系統或者乾脆沒有,它們往往通過應用程序直接代理操作系統的某些功能。

應用

由電腦控制的機械在工業中十分常見

很多現代大量生產的玩具,如Furby,是不能沒有便宜的嵌入式處理器

起初,體積龐大而價格昂貴的數字計算機主要是用做執行科學計算,特別是軍用課題。如ENIAC最早就是被用作火炮彈道計算和設計氫彈時計算斷面中子密度的(如今許多超級計算機仍然在模擬核試驗方面發揮著巨大作用)。澳大利亞設計的首台存儲程序計算機CSIR Mk I型負責對水電工程中的集水地帶的降雨情形進行評估。還有一些被用於解密,比如英國的「巨像」可編程計算機。除去這些早年的科學或軍工應用,計算機在其他領域的推廣亦十分迅速。

從一開始,存儲程序計算機就與商業問題的解決息息相關。早在IBM的第一台商用計算機誕生之前,英國J. Lyons等就設計製造了LEO以進行資產管理或迎合其他商業用途。由於持續的體積與成本控制,計算機開始向更小型的組織內普及。加之20世紀70年代微處理器的發明,廉價計算機成為了現實。80年代,個人計算機全面流行,電子文檔寫作與印刷,計算預算和其他重復性的報表作業越來越多地開始依賴計算機。

隨著計算機便宜起來,創作性的藝術工作也開始使用它們。人們利用合成器,計算機圖形和動畫來創作和修改聲音,圖像,視頻。視頻游戲的產業化也說明了計算機在娛樂方面也開創了新的歷史。

計算機小型化以來,機械設備的控制也開始仰仗計算機的支持。其實,正是當年為了建造足夠小的嵌入式計算機來控制阿波羅宇宙飛船才刺激了集成電路技術的躍進。今天想要找一台不被計算機控制的有源機械設備要比找一台哪怕是部分計算機控制的設備要難得多。可能最著名的計算機控制設備要非機器人莫屬,這些機器有著或多或少人類的外表和並具備人類行為的某一子集。在批量生產中,工業機器人已是尋常之物。不過,完全的擬人機器人還只是停留在科幻小說或實驗室之中。

機器人技術實質上是人工智慧領域中的物理表達環節。所謂人工智慧是一個定義模糊的概念但是可以肯定的是這門學科試圖令計算機擁有目前它們還沒有但作為人類卻固有的能力。數年以來,不斷有許多新方法被開發出來以允許計算機做那些之前被認為只有人才能做的事情。比如讀書、下棋。然而,到目前為止,在研製具有人類的一般「整體性」智能的計算機方面,進展仍十分緩慢。

網路、國際互聯網

20世紀50年代以來計算機開始用作協調來自不同地方之信息的工具,美國軍方的賢者系統(SAGE)就是這方面第一個大規模系統。之後「軍刀」等一系列特殊用途的商業系統也不斷涌現出來。

② 亞馬遜雲科技的雲存儲,最應該知道的有這三點

傳統存儲在以各種方式對接公有雲生態,公有雲的雲上服務類型也在不斷完善,作為企業信息化負責人要做的是更多地了解公有雲,然後,考慮如何充分利用公有雲的優勢。

本文通過介紹亞馬遜雲 科技 存儲服務的三個關鍵點,帶您認識雲存儲的現狀。

正文:

乘著互聯網產業的春風,雲存儲在過去近二十年走過了可遇不可求的發展歷程。也讓從90年代開始,就一直坐著冷板凳,負責數據歸檔的對象存儲,一躍成為整個互聯網數據的基石。

如今,絕大部分互聯網上可訪問的數據都靠對象存儲來存,偶爾曝出的數據泄露事件也大多都跟對象存儲有關,當然,問題不在於對象存儲本身。

從2006年,亞馬遜雲 科技 的對象存儲服務Amazon S3發布,到現在,算起來也有十六年的時間了,這也是亞馬遜雲 科技 推出的第一款雲服務。

從市場表現來看,Amazon S3是非常成功的,前兩年有人推測說,亞馬遜雲 科技 在存儲方面的營收規模非常大,甚至被稱作是全球最大的存儲公司,Amazon S3無疑是功勞最大的一個。

有人說,許多亞馬遜雲 科技 用戶使用的第一個產品就是Amazon S3對象存儲,在所有亞馬遜雲 科技 的用戶案例,在所有技術文檔里,Amazon S3的出鏡率都非常高。

雲上原生存儲Amazon S3的主線任務:不斷降低成本

如果亞馬遜雲 科技 的用戶沒用過Amazon S3,就好比去包子鋪吃飯沒點包子,光顧燒烤店沒吃烤串一樣,令人費解。

Amazon S3的易用性高、可用性高,開發者很喜歡,Amazon S3幾乎不丟數據的可靠性,穩定性也很高,運維管理人員很喜歡,Amazon S3在互聯網應用場景被普遍應用。

如今,Amazon S3上存著超過100萬億個對象,每秒需要處理上千百萬次請求。

Amazon S3一開始解決了可靠性和可用性以及安全方面的基本問題,性能也一直在提升,多年看下來,最大的工作重點就是不斷降低成本。

亞馬遜雲 科技 大中華區產品部總經理 陳曉建介紹稱,同樣存儲一份數據,如果2006年需要100塊錢,而在2022年就只需要大概15塊錢,16年間,Amazon S3的存儲成本降低了大約7倍。

2021年12月,亞馬遜雲 科技 宣布在全球九大區域,將Amazon S3 Standard In Frequent Access和Amazon S3 One Zone In Frequent Access的價格降低了31%。

Amazon S3存儲分了八個層級。

對於需要經常訪問的數據,首選標准版的Amazon S3,它具有毫秒級的訪問表現,而不太經常訪問的數據就選Amazon S3 Standard-IA上,相較於前者能節省大概40%的費用。

而對於那些很少訪問的數據,則可以選擇放在Amazon S3 Glacier DeepArcihve上,它的成本非常低,大約1美刀1個TB,但代價是,想把數據拿回來就得多等等,大概需要12到48個小時。

有人覺得這等的時間也太長了,於是,亞馬遜雲 科技 又推出了Amazon S3 Glacier Flexible Retrieval,只需要等上幾分鍾到幾小時。

就沒有一種,既可以便宜,訪問性能又高的存儲嗎?還真有。

這就是Amazon S3 Glacier Instant Retrieval,它是最新的一個存儲層級,拿回數據的速度是毫秒級的,成本與Amazon S3 Glacier相當,適合每季度才訪問一次、又需要毫秒級取回的海量數據。

另外,Amazon S3 One Zone-IA的成本也很低,顧名思義,數據只存在單個可用區上,而其他S3存儲的數據都在多個可用區上存著好幾分,相比之下,理論上丟數據的風險高了些。

最後,出於合規的要求,用戶有些數據不能上雲,亞馬遜雲 科技 可以提供Amazon Outposts,把雲的硬體放到了用戶的數據中心裡。使用Amazon S3 on Outposts,就像在雲上使用S3一樣。

總的來說,Amazon S3的存儲層級還是挺多的,但問題是,這給選型和管理也帶來了負擔。

為此,亞馬遜雲 科技 推出了Amazon S3 Intelligent-Tiering(智能分層),它會根據對象被訪問的次數在多個存儲層級間進行自動化遷移。

如果不能確定要選什麼或者存儲需求會變,那就選它,它不僅能解除選擇困難症,還能避免用戶自行管理數據分層的麻煩。

一家在東南亞和北美市場非常有影響力的互聯網公司,在亞馬遜雲 科技 上存放了大約幾十PB的數據,原本主要使用的是Amazon S3 Standard—IA,在使用Amazon S3智能分層後,沒有進行任何額外操作,就將存儲成本降低了62%。

亞馬遜雲 科技 最早在2018年就推出了Amazon S3智能分層功能,如今,Amazon S3智能分層已經涵蓋了Amazon S3家族的幾乎所有存儲類別,最多可節省68%的成本。

不僅如此,如今數據分層還拓展到文件存儲Amazon EFS,Amazon EFS提供四種文件存儲等級,數據分層能節省高達72%的存儲成本。

打通雲應用與傳統應用的隔閡:靠多種文件存儲

如果說,對象存儲是雲存儲的標配的話,那文件存儲就是雲存儲連接本地存儲的橋梁。

如今常見的應用分為兩類。

一類是雲原生的現代化應用,也就是在雲上開發的、充分利用雲架構優勢的應用,比如電商、 游戲 、社交媒體等平台。對應需要的存儲,大部分是對象存儲Amazon S3來滿足,少部分需要文件存儲Amazon EFS。

另一類是傳統企業應用,它誕生在公有雲之前,常見的有高性能計算、EDA、視頻渲染等場景,通常由本地的文件存儲系統,比如NAS來支撐的,為提升安全性和可靠性,通常都帶有快照、鏡像、遠程復制等功能特性。

這類工作負載並沒有根據雲架構的特點來設計,如果強行上雲,不僅需要調整應用本身,而且還可能出現兼容性的問題,為了避免此類問題,亞馬遜雲 科技 推出了FSx文件存儲家族。

從2018年開始,陸續推出了面向Windows環境的Amazon FSx for Windows,面向高性能計算場景的Amazon FSx for Lustre,面向大數據分析場景推出了Amazon FSx for OpenZFS。

金風慧能採用了亞馬遜雲 科技 構建HPC高性能計算系統,其中使用了Amazon FSx for Lustre共享存儲系統,不僅使氣象預測系統性能提升了10%,氣象計算時間縮短了1/3,還將成本降低了70%,運維復雜度也大大降低。

此外,還與知名存儲廠商NetApp合作推出了Amazon FSx for NetApp ONTAP,把NetApp的經典NAS文件存儲系統NetApp ONTAP放到了公有雲上。

NetApp在2015年就提出了Data Fabric的概念,大意就是想要實現數據在雲上和雲下的自由流動,是比較早積極擁抱混合雲的存儲廠商之一。

與一些存儲廠商的雲上託管服務不同,Amazon FSx for NetApp ONTAP沒有刪減任何功能,它是雲上唯一完整且全託管的NetApp ONTAP文件存儲系統,能夠無縫地跟企業本地的ONTAP系統對接,所以,用戶的IT系統不需要做任何改動,就能使用雲上服務。

2019年,NetApp與聯想成立合資公司——聯想凌拓,聯想凌拓在中國區提供相關服務,聯想凌拓產品管理與營銷高級總監林佑聲表示,從發布到現在,Amazon FSx for NetApp ONTAP得到了非常多客戶的認可,包括金融、醫療、石油以及高 科技 行業客戶。

嘉里物流原本是本地存儲NetApp ONTAP的用戶,隨著業務全球化發展,在數據擴容以及數據共享方面碰到的問題越來越多,通過使用亞馬遜雲 科技 提供的Amazon FSx for NetApp ONTAP,將數據從本地遷到雲上,解決了這些問題。

上雲之後,不僅可以使用原來NetApp ONTAP自帶的快照和備份等功能,同時,還可以使用亞馬遜雲 科技 遍布全球的數據中心,實現跨區域的災備。

補足數據保護方面的短板:Amazon Backup

一直以來,雲存儲被詬病的點還在於缺少數據災備功能,在如何維持業務連續性方面有一些爭議,而亞馬遜雲 科技 正在試著消除這一顧慮,這就是Amazon Backup。

由於缺少與業務價值的強關聯性,數據保護經常容易被忽視,同時,由於數據保護系統本身很復雜,合規的要求還特別多,實踐起來也特別麻煩,所以,數據保護的實踐相對落後。

可能也是基於這樣的考慮,亞馬遜雲 科技 的數據保護服務Amazon Backup才特別喜歡強調「一站式」「操作簡單」的特點,讓用戶知道,數據保護也沒有那麼麻煩。

於是我們看到,Amazon Backup能覆蓋旗下的幾乎所有存儲產品,包括塊存儲(Amazon EBS)、對象存儲、文件存儲、資料庫,以及計算和存儲網關等相關產品。

Amazon Backup的操作比較簡單,通過圖形的界面即可完成大部分操作,用戶還可以通過預設的策略進行自動化的備份,降低手動備份帶來的問題。

安全合規的問題讓許多用戶頭疼,Amazon Backup深度集成了亞馬遜雲 科技 自帶的KMS數據加密服務,整個備份操作許可權、數據訪問許可權都可以用IAM進行細顆粒度監控,滿足個人信息安全規范、信息安全等級保護等方面的合規要求。

Amazon Backup避免讓數據保護帶來太多的成本負擔,因此也用上了智能分層技術,用戶通過冷熱分層策略可以有效降低約75%的成本。

澳大利亞石油天然氣的供應商Santos要對Amazon EBS塊存儲做備份,原本都是用手動備份的方案,但隨著業務量的發展,備份的出錯率越來越高,成功率越來越低。

而在用了Amazon Backup後,平均備份任務用時和運營成本均有大幅降低,備份成功率到了100%,而且還完全做到企業數據合規。

結束語

確實如陳曉建所言,亞馬遜雲 科技 存儲服務已經成為IT行業的「水」和「電」,讓各行各業的業務都能從存儲服務中獲得價值。

亞馬遜雲 科技 的存儲服務類型和存儲的相關實踐都非常有代表性,而且,很多做法已經成了上雲的參考實踐,企業用戶應該多少了解亞馬遜雲 科技 的雲存儲,特別是有上雲打算的企業。

當然,上雲帶來的便捷和靈活,穩定性和安全性,以及對運維的解放都很吸引人。

還有顧慮?據我個人了解,亞馬遜雲 科技 非常在意企業在雲上的成功和成本節省,不僅會幫企業不斷優化。除此之外,市場上有一些專門的服務,幫助企業做規劃實施,讓你充分利用雲的優勢。

③ 如何做好倉庫存儲的方案設計

存儲業的重點在於倉庫的管理,合理的倉庫管理可以有效地縮短存取貨物的時間,降低存儲管理的成本。
由於貨物要在倉庫的不同區域和單位移動,企業在倉庫管理上需要作出合適的方案來布置倉庫,從而使倉庫貨物的搬運量達到最小。通常倉庫寄存的貨物有專門的存放點,每一個存放單位都是隔開的,便於貨物的區分。所以一般情況下,貨物的搬運都發生在出入口和貨物區,並不存在各個貨物單位之間的搬運工作。由此對於倉庫倉儲的設計會有兩種方案可以借鑒。
第一種情況是在各種物品所需貨區面積相同時,我們只需要把搬運次數最多的貨物單位區布置在靠近出入口的地方,得到最小的總負荷數。
第二種情況是各種物品所需貨區面積不同下,我們需要先將貨物的搬運次數和所需貨區數量之比計算出來,從中取比值最大者做為靠近出入口的貨物放置點,並且依次往下排列。
以上兩種情況倉庫貨區布置方法,都是以總負荷數最小為目標,設計簡單而又科學。但是在實際的貨物存儲中,還要需要更多不同的倉庫布置方案來解決每一貨物存放的位置和途徑。
就比如引入新技術可以讓貨物存放的位置更加准確,只要有計算機倉庫管理系統,就可以讓揀運人員快速知道貨物的存放位置,並且為貨物的出行路線提供最佳的方案給揀運人員做選擇,加速了整個貨物存取的工作效率和正確性,也節約了工作人員在確認貨物區域上的時間。

④ 大數據下的地質資料信息存儲架構設計

頡貴琴 胡曉琴

(甘肅省國土資源信息中心)

摘要 為推進我國地質資料信息服務集群化產業化工作,更大更好地發揮地質資料信息的價值,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。

關鍵詞 大數據 地質資料 存儲 NoSQL 雙資料庫

0 引言

新中國成立60多年來,我國形成了海量的地質資料信息,為國民經濟和社會發展提供了重要支撐。但在地質資料管理方面長期存在資料信息分散、綜合研究不夠、數字化信息化程度不高、服務渠道不暢、服務能力不強等問題,使地質資料信息的巨大潛在價值未能得到充分發揮。為進一步提高地質工作服務國民經濟和社會發展的能力,充分發揮地質資料信息的服務功能,擴大服務領域,國土資源部根據國內外地質工作的先進經驗,做出了全面推進地質資料信息服務集群化產業化工作的部署。

目前,全國各省地質資料館都在有條不紊地對本省成果、原始和實物地質資料進行清理,並對其中重要地質資料進行數字化和存儲工作。然而,由於我國地質資源豐富,經過幾十年的積累,已經形成了海量的地質資料,數據量早已經超過了幾百太位元組(TB)。在進行地質資料信息服務集群化工作中,隨著共享數據量的不斷增大,傳統的數據存儲方式和管理系統必然會展現出存儲和檢索方面的不足以及系統管理方面的缺陷。為了解決該問題,需要設計更加先進的數據存儲架構來實現海量地質資料的存儲。

而大數據(Big Data)作為近年來在雲計算領域中出現的一種新型數據,科技工作者在不斷的研究中,設計了適合大數據存儲管理的非關系型資料庫NoSQL進行大數據的存儲和管理。本文將針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,提出一種海量地質資料存儲架構,改進現有系統存儲架構,以便於我國全面推進地質資料信息服務集群化產業化工作。

1 工作現狀

1.1 國內外地質資料信息的存儲現狀

在美國,主要有兩大地質資料公共服務平台,分別是地球科學信息中心(ESIC)、地球資源觀測和科學中心(EROS),其目的是通過為社會和政府提供更加便利、快速的地質信息服務。20世紀90年代初,澳大利亞出台了國家地球科學填圖協議,採用先進的科學方法和技術進行數據存儲,從而形成了第二代澳大利亞陸地地質圖。

目前,我國地質資料信息服務集群化產業化工作剛剛起步,雖然國土資源部信息中心已經開發了地質資料信息集群化共享服務平台,並倡導各地方用戶使用該系統。但由於各個地方早期的工作背景不一致,因此各地方所使用的存儲系統也不盡相同,主要有Access、SQL Server、Oracle、MySQL等系統。本文以國土資源部信息中心開發的地質資料信息集群化共享服務平台的存儲系統MySQL為例說明。該系統是基於關系資料庫管理系統MySQL的一套分布式存儲檢索系統。該系統的部署使得我國地質資料信息服務集群化產業化工作取得了重大進展,同時也為我國建立標准統一的地質資料信息共享服務平台和互聯互通的網路服務體系奠定了堅實的基礎。然而,該系統的研發並沒有考慮到地質資料信息進一步集群化以及在未來地質資料信息進入大數據時代的信息共享和存儲管理問題,也沒有給出明確的解決方案。

1.2 大數據的存儲架構介紹

大數據是近年在雲計算領域中出現的一種新型數據,具有數據量大、數據結構不固定、類型多樣、查詢分析復雜等特點。傳統關系型資料庫管理系統在數據存儲規模、檢索效率等方面已不再適合大數據存儲。NoSQL(Not Only SQL)是與關系資料庫相對的一類資料庫的總稱。這些資料庫放棄了對關系資料庫的支持,轉而採用靈活的、分布式的數據存儲方式管理數據,從而可以滿足大數據存儲和處理的需求。NoSQL基於非關系型數據存儲的設計理念,以鍵值對進行存儲,採用的數據字的結構不固定,每一個元組可以有不一樣的欄位,且每個元組可以根據自己的需要增加一些自己的鍵值對,可以減少一些檢索時間和存儲空間。目前,應用廣泛的 NoSQL 資料庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大數據下的地質資料信息存儲架構設計

根據國土資源部做出的全面推進地質資料信息服務集群化產業化工作的部署,國土資源部倡導全國地質資料館使用國土資源部信息中心開發的地質資料信息集群化共享服務平台,實現地質資料信息的存儲和共享。該系統採用了資料庫管理系統MySQL作為數據存儲系統。

為了與現有系統和現有的工作進行對接,並為將來地質資料進入大數據時代後的存儲工作做准備,本文設計了一種能用於海量地質資料信息存儲並且兼容MySQL的分布式的數據存儲架構(圖1)。

整個系統可以根據不同的用戶等級分為不同的用戶管理層,由於圖幅限制,在圖1 中僅僅展示了3級:國家級管理層(即共享服務平台用戶層)、省級管理層以及市級管理層(可根據實際需要延伸至縣級)。

每級管理層的每個用戶可以單獨管理一個伺服器。如國土資源部信息中心可以單獨管理一個伺服器;甘肅省國土資源信息中心可以單獨管理一個伺服器,陝西省國土資源信息中心可以單獨管理一個伺服器;甘肅的若干個市級國土資源局可以根據需要分別管理各自的伺服器。

在伺服器上分別安裝兩套資料庫管理系統,一套是原有的MySQL資料庫管理系統,另一套是為大數據存儲而配備的NoSQL型資料庫管理系統。在伺服器上還專門開發一個資料庫管理器中間件,用於進行用戶層和資料庫的通信以及兩套資料庫之間的通信。

由於各個管理層都各自維護自己的資料庫和數據。當用戶需要進行數據存儲時,他所影響的資料庫僅僅是本地資料庫,存儲效率較高;當用戶需要從多個資料庫讀取數據時,頂層的共享服務平台會根據用戶需求進行任務分解,將任務分發給下層的管理層進行資料庫讀取,由於各個資料庫並行讀取,從而提高了資料庫讀取效率。

圖1 大數據下的地質資料信息存儲架構框圖

2.1 用戶管理層

用戶管理層根據許可權范圍,分為多層(本文以3層為例)。

位於頂層的國家級管理層(共享服務平台用戶層)負責用戶訪問許可權的分配、與其直接關聯的資料庫的訪問、下級管理層任務的分配等工作。

用戶訪問許可權的分配是指為訪問本共享服務平台的個人用戶和單位用戶分配數據的使用許可權、安全性的設計等。

與其直接關聯的資料庫訪問是指直接存儲在其本地資料庫上的數據的訪問。在該資料庫中不僅要存儲所需要的地質資料,還要存儲注冊用戶信息等數據。

下級管理層任務分配是指如果用戶需要訪問多個下層資料庫,用戶只需要輸入查詢這幾個下層資料庫的命令,而如何查找下層資料庫則由該功能來完成。例如某用戶要查找甘肅、陝西、上海、北京的鐵礦分布圖,則用戶只需要輸入這幾個地方及鐵礦等查詢條件,系統將自動把各個省的資料庫查詢任務分派到下級管理層。

同理,位於下層的省級管理層和市級管理層除了沒有用戶訪問許可權功能外,其餘功能與國家級管理層是相同的。各層之間的資料庫通過互聯網相互連接成分布式的資料庫系統。

2.2 MySQL和NoSQL的融合

MySQL是關系型資料庫,它支持SQL查詢語言,而NoSQL是非關系型資料庫,它不支持SQL查詢語言。用戶要想透明地訪問這兩套資料庫,必須要設計資料庫管理器中間件,作為用戶訪問資料庫的統一入口和兩套資料庫管理系統的通信平台。本文所設計的資料庫管理器簡單模型如圖2所示。

圖2 資料庫管理器模型

伺服器管理器通過用戶程序介面與應用程序進行通訊,通過MySQL資料庫介面與MySQL伺服器通訊,通過NoSQL資料庫介面與NoSQL資料庫介面通訊。當應用程序介面接收到一條資料庫訪問命令之後,交由資料庫訪問命令解析器進行命令解析,從而形成MySQL訪問命令或者NoSQL訪問命令,通過相應的資料庫介面訪問資料庫;資料庫返回訪問結果後經過匯總,由應用程序介面返回給應用程序。

兩套資料庫可以通過雙資料庫通信協議進行相互的通信和互訪。此通信協議的建立便於地質工作人員將已經存入MySQL資料庫的不適合結構化存儲的數據轉存到NoSQL資料庫中,從而便於系統的升級和優化。

2.3 系統的存儲和檢索模式

在本存儲框架設計中,系統採用分布式網路存儲模式,即採用可擴展的存儲結構,利用分散在全國各地的多台獨立的伺服器進行數據存儲。這種方式不僅分擔了伺服器的存儲壓力,提高了系統的可靠性和可用性,還易於進行系統擴展。另外,由於地質資料信息存儲的特殊性,各地方用戶的數據存儲工作基本都是在本地伺服器進行,很少通過網路進行遠程存儲,所以數據存儲效率較高。

在一台資料庫伺服器上安裝有MySQL和NoSQL型兩套資料庫管理系統,分別用於存儲地質資料信息中的結構化數據和非結構化數據。其中,NoSQL型資料庫作為主資料庫,用於存儲一部分結構化數據和全部的非結構化數據;而MySQL資料庫作為輔助資料庫,用於存儲一部分結構化的數據,以及舊系統中已經存儲的數據。使用兩套資料庫不僅可以存儲結構化數據而且還可以適用於大數據時代地質資料信息的存儲,因此系統具有很好的適應性和靈活性。

2.4 安全性設計

地質資料信息是國家的機密,地質工作人員必須要保證它的安全。地質資料信息進入數字化時代之後,地質資料常常在計算機以及網路上進行傳輸,地質資料信息的安全傳輸和保存更是地質工作人員必須關注和解決的問題。在本存儲架構的設計中設計的安全問題主要有資料庫存儲安全、數據傳輸安全、數據訪問安全等問題。

資料庫設計時採用多邊安全模型和多級安全模型阻止資料庫中信息和數據的泄露來提高資料庫的安全性能,以保障地質信息在資料庫中的存儲安全;當用戶登錄系統訪問資料庫時,必須進行用戶甄別和實名認證,這主要是對用戶的身份進行有效的識別,防止非法用戶訪問資料庫;在對地質資料進行網路傳輸時,應該首先將數據進行加密,然後再進行網路傳輸,以防止地質信息在傳輸過程中被竊取。

3 結語

提高地質資料數字化信息化水平,是國外地質工作強國的普遍做法。為推進我國地質資料信息服務集群化產業化工作,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。該存儲架構的設計只涉及了簡單模型的構建,具體詳細復雜的功能設計和軟體實現還需要在進一步的研究工作中完成。

參考文獻

[1]吳金朋.一種大數據存儲模型的研究與應用[D].北京:北京郵電大學計算機學院,2012.

[2]吳廣君,王樹鵬,陳明,等.海量結構化數據存儲檢索系統[J].計算機研究與發展,2012,49(Suppl):1~5.

[3]黃

,易曉東,李姍姍,等.面向高性能計算機的海量數據處理平台實現與評測[J].計算機研究與發展,2012,49(Suppl):357~361.

⑤ 科技大爆炸的今天,可不可以實現把夏天的熱能儲存到冬天用

在古代,人們會在冬天把冰塊包裹稻草存在地窖里,然後在夏天拿出來消暑。但一個地窖只能開一次,開啟後就不再具有保溫性能了。對於存在溫差的場合,可以使用斯特林發動機來獲得能量,但以地球上的條件來說這種溫差環境不太好找,且差值可產生的能量也不大。高溫或低溫其本身都不足以產生能量,只有溫差才可以。

一年有365天,每天的溫差即使按照貌不驚人的20度來計算,這座設施也更適合用晝夜溫差來發電。這樣即使季節溫差高達60度,晝夜溫差也可以用三四個發電周期將其秒殺。除了發電功能,該設施還可以用來從空氣中凝結水分——夜間外界環境溫度降低,但設施內的溫度由於集熱板繼續散熱的緣故仍然較高,因此熱空氣會在較冷的玻璃板(或框架上)冷凝形成水珠,然後水珠體積增大後因重力原因滑下,進入回收池提供人畜飲水或環境綠化。當然說得好不等於實際可行,大片的玻璃不但昂貴,而且在沙漠環境里也面臨著維護清潔等一系列坑爹問題。大家看看就好,不要當真。個人以為利用溫差發電多半還要等到我們到那些真正有溫差的星球上才有實施的動力,就拿上面那個設施來說,在外星球還有空間隔絕的作用(當然氣體得完全封閉運行),但該作用在地球上幾乎沒有價值。畢竟地球上的環境太過溫柔,這點溫差實在不夠玩的。

⑥ 數據存儲雲存儲的公司

1、阿里雲

阿里雲在全球各地部署高效節能的綠色數據中心,利用清潔計算為萬物互聯的新世界提供源源不斷的能源動力,開服的區域包括中國(華北、華東、華南、香港)、新加坡、美國(美東、美西)、歐洲、中東、澳大利亞、日本。

⑦ 雲存儲為什麼可以做到大容量

雲存儲實現技術(一)
——雲存儲理解

在當今風起「雲」涌的時代,雲存儲作為「雲」的基礎架構和最廣泛的應用得到了極大的重視。萬丈高樓平地起,只有將底層的基礎打牢,才有可能實現雲中的摩天大樓。
實現的前提在於理解,到底應該如何理解雲存儲呢?沒有一個放之四海皆準的概念,不同的角度,不同的背景得到的答案肯定不同。這里我想從廣義和狹義的角度分別來理解。廣義上來說,雲存儲發展於分布式存儲,融合了並行與網格技術,延伸了虛擬化概念,通過對網路中大量異構存儲設備的統一協調處理,最終實現了遠程存儲服務的提供。狹義上要從三種視角出發來理解:雲製造商,雲使用商,個人。
1.對於雲製造商來說,雲存儲是一種架構。是對底層異構存儲伺服器的整合,對網路存儲技術的創新,對硬體存儲晶元升級。現在被各大廠商應用的底層雲模式主要有兩種:網路存儲架構,分布式集群存儲技術。
網路存儲模式是在分散的基礎存儲設備上,實現一個統一管理存儲設備系統。存儲設備可以是FC光纖通道存儲設備,可以是NAS和 iSCSI等IP存儲設備,也可以是 SCSI或SAS等 DAS存儲設備。而管理系統主要實現設備虛擬化管理,冗餘鏈路管理,設備監控及安全備份處理。來看看IBM和色卡司公司提出的存儲系統。色卡司推出的新一代的5-bay NAS,融合了NAS/DAS/iSCSI三為一體,提供iSCSI的堆疊擴充功能以及多重RAID技術,為底層存儲提供了極大的應用彈性和數據保護機制。而IBM XIV存儲系統則通過轉架單個磁碟的轉速瓶頸,將性能提升了一大步,但是基於硬體的網路存儲模式終究還是存在容量與性能的擴展瓶頸。
分布式集群存儲技術能夠很好的解決上述瓶頸,不需要構建SAN模型,所依託的只是分布式文件系統,不但能夠很好的支持異構機的搭建,還很容易擴充,高效的演算法實現也帶來了性能的突破。如Googal的GFS,Hadoop架構中的HDFS以及一些輕型的如FastDFS等。這種模型的前景一片明亮,只要人的腦袋足夠聰明,高效的演算法性能的提升終究要快於硬體的提升。
2.對於雲使用商來說,雲存儲是一種服務。這里理解為提供服務與使用服務。提供的服務包括:原始的存儲伺服器,透明的大容量存儲服務,存儲機器與上層應用的綜合體。相對於製造者而言,提供服務商亟需解決的是雲服務的安全性,如何保證商業數據不泄密,如何實現企業數據冗餘備份。還有一些細節方面的諸如可定製性,可擴展性,透明性,簡易性,可靠性等都是雲存儲面臨的困難。
對於使用服務者來說,雲存儲就是一個低成本,遠端控制,安全的企業存儲應用平台,他們不用再為高昂的硬體設備發愁,也不用為後期數據擴展空間擔憂,只要專注與基於服務介面的開發即可。這里存儲面對的最大問題是網路帶寬與數據安全的問題。如何實現遠端數據的高訪問性,如何避免傳輸過程的數據損失及竊聽。雲存儲需要的是各方面技術的支撐。
3.一切技術的發展都源於人對更高品質生活的需求,雲存儲也不例外。未來存儲最大的應用應該是個人存儲。即一切輕型移動設備之間信息互通,個人信息的最終雲端化。最近UIT和Inter的合作也在向個人存儲進軍,通過與電信服務商的合作,將個人存儲放在雲上,實現隨時隨地的訪問。可以想像不久的將來,信息的整合將在雲中孕育。

雲存儲實現技術(二)
——雲存儲遐想

對於雲存儲來說,異構平台的的設備整合是最大的問題。既然稱之為「雲」,就不是某一單台伺服器或一個機群提供的單一的硬碟數據存儲功能。而是分布在全球多台設備之間的虛擬化管理。如何協調設備之間的統一部署,統一訪問,這將成為巨大的瓶頸,如得不到實現,雲將無法成型,終究只是廣闊互聯網中零星散落的水蒸氣。現在的解決方案多是基於集群技術,分布式文件系統及網格計算技術。
如果不打破現有的觀念,瓶頸終究是瓶頸,技術的發展也只是拖長了瓶頸的到來時間。以下讓我們拋棄傳統的架構模型,遐想下雲存儲。
1.高維度信息的存儲
根據常識,我們在知道維度的大小可以決定存儲容量的大小。傳統我們對數據的存儲都是基於二維結構的。現在我們跌入了二維瓶頸無法自拔,那麼為何不放棄二維存儲而轉向高維呢?
維度的理解可以從宏觀與微觀兩方面理解。
(1)微觀方面,即存儲介質本身的維擴展,令人欣喜的是澳大利亞科學家已經開發了一種新的能夠感知激光波長和偏振材料,可以實現五個維度上的存儲數據。這對於雲存儲容量擴展提供了不可估量的技術支持。
(2)宏觀方面可以考慮存儲數據的三維結構。可以這樣理解,網路是種極其鬆散的空間拓撲結構,我們可以在其中設定一個笛卡兒坐標系,坐標中規定單位信息元數據。信息的存儲就可以演變為坐標的存儲。這里需要考慮的是單位數據的大小。對於結構數據,可以設置為一個字母,一個漢字或一個數據;對於非結構數據,可以是一個頻繁詞,一個tag 。但是對於龐大的信息而言,這又會造成更嚴重的維災難。
考慮下我們現實世界中的信息冗餘部分:
每一天,多少人在轉載,復制,粘貼別人的信息。
每一分鍾,有多少人在記錄同一句話,計算同一數據。
以上這些佔用了我們大量的存儲設備而毫無意義。所以如何設置高效的單位元數據,如何利用已有的單位數據是亟需考慮的。
(3)笛卡兒坐標的引入對於數據安全方面也有所幫助,我們可以通過數據加密來改變每個用戶的參考坐標系。
(4)在三維結構的基礎上,我們還可以考慮引入時間的四維空間,因為計算機處理每個人的存儲命令時間肯定是不同的,這一維的利用可以加快檢索及訪問速度。
2.人工智慧的雲存儲
這里的人工智慧是有別與馮諾依曼計算機體系的人工智慧。
想想我們的大腦,一個1350立方米的空間容納了無法估量的信息,僅這一條就足可以推翻容量與存儲的關系。我們腦中的信息可以動態的加強和減弱(除了一些主觀因素),可以快速檢索而不需要索引表。這些靠的是什麼?聯想,記憶,信號的刺激與傳導。那麼我們是否可以考慮硬體的仿神經突觸的設計。
我們好象也有過多的考慮冗餘備份,在需要時,我們只需拿張紙記錄就好。那麼我們是否可以考慮減輕存儲伺服器的任務,將備份問題交給某些固定的外設就好。
人工智慧這條路也許還有好長路要走,但我們堅信,創新就會有發展