當前位置:首頁 » 服務存儲 » 湖南存儲料線設計
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

湖南存儲料線設計

發布時間: 2023-06-01 08:31:53

『壹』 存儲器的發展史

存儲器設備發展

1.存儲器設備發展之汞延遲線

汞延遲線是基於汞在室溫時是液體,同時又是導體,每比特數據用機械波的波峰(1)和波谷(0)表示。機械波從汞柱的一端開始,一定厚度的熔融態金屬汞通過一振動膜片沿著縱向從一端傳到另一端,這樣就得名「汞延遲線」。在管的另一端,一感測器得到每一比特的信息,並反饋到起點。設想是汞獲取並延遲這些數據,這樣它們便能存儲了。這個過程是機械和電子的奇妙結合。缺點是由於環境條件的限制,這種存儲器方式會受各種環境因素影響而不精確。

1950年,世界上第一台具有存儲程序功能的計算機EDVAC由馮.諾依曼博士領導設計。它的主要特點是採用二進制,使用汞延遲線作存儲器,指令和程序可存入計算機中。

1951年3月,由ENIAC的主要設計者莫克利和埃克特設計的第一台通用自動計算機UNIVAC-I交付使用。它不僅能作科學計算,而且能作數據處理。

2.存儲器設備發展之磁帶

UNIVAC-I第一次採用磁帶機作外存儲器,首先用奇偶校驗方法和雙重運算線路來提高系統的可靠性,並最先進行了自動編程的試驗。

磁帶是所有存儲器設備發展中單位存儲信息成本最低、容量最大、標准化程度最高的常用存儲介質之一。它互換性好、易於保存,近年來,由於採用了具有高糾錯能力的編碼技術和即寫即讀的通道技術,大大提高了磁帶存儲的可靠性和讀寫速度。根據讀寫磁帶的工作原理可分為螺旋掃描技術、線性記錄(數據流)技術、DLT技術以及比較先進的LTO技術。

根據讀寫磁帶的工作原理,磁帶機可以分為六種規格。其中兩種採用螺旋掃描讀寫方式的是面向工作組級的DAT(4mm)磁帶機和面向部門級的8mm磁帶機,另外四種則是選用數據流存儲技術設計的設備,它們分別是採用單磁頭讀寫方式、磁帶寬度為1/4英寸、面向低端應用的Travan和DC系列,以及採用多磁頭讀寫方式、磁帶寬度均為1/2英寸、面向高端應用的DLT和IBM的3480/3490/3590系列等。

磁帶庫是基於磁帶的備份系統,它能夠提供同樣的基本自動備份和數據恢復功能,但同時具有更先進的技術特點。它的存儲容量可達到數百PB,可以實現連續備份、自動搜索磁帶,也可以在驅動管理軟體控制下實現智能恢復、實時監控和統計,整個數據存儲備份過程完全擺脫了人工干涉。

磁帶庫不僅數據存儲量大得多,而且在備份效率和人工佔用方面擁有無可比擬的優勢。在網路系統中,磁帶庫通過SAN(Storage Area Network,存儲區域網路)系統可形成網路存儲系統,為企業存儲提供有力保障,很容易完成遠程數據訪問、數據存儲備份或通過磁帶鏡像技術實現多磁帶庫備份,無疑是數據倉庫、ERP等大型網路應用的良好存儲設備。

3.存儲器設備發展之磁鼓

1953年,隨著存儲器設備發展,第一台磁鼓應用於IBM 701,它是作為內存儲器使用的。磁鼓是利用鋁鼓筒表面塗覆的磁性材料來存儲數據的。鼓筒旋轉速度很高,因此存取速度快。它採用飽和磁記錄,從固定式磁頭發展到浮動式磁頭,從採用磁膠發展到採用電鍍的連續磁介質。這些都為後來的磁碟存儲器打下了基礎。

磁鼓最大的缺點是利用率不高, 一個大圓柱體只有表面一層用於存儲,而磁碟的兩面都利用來存儲,顯然利用率要高得多。 因此,當磁碟出現後,磁鼓就被淘汰了。

4.存儲器設備發展之磁芯

美國物理學家王安1950年提出了利用磁性材料製造存儲器的思想。福雷斯特則將這一思想變成了現實。

為了實現磁芯存儲,福雷斯特需要一種物質,這種物質應該有一個非常明確的磁化閾值。他找到在新澤西生產電視機用鐵氧體變換器的一家公司的德國老陶瓷專家,利用熔化鐵礦和氧化物獲取了特定的磁性質。

對磁化有明確閾值是設計的關鍵。這種電線的網格和芯子織在電線網上,被人稱為芯子存儲,它的有關專利對發展計算機非常關鍵。這個方案可靠並且穩定。磁化相對來說是永久的,所以在系統的電源關閉後,存儲的數據仍然保留著。既然磁場能以電子的速度來閱讀,這使互動式計算有了可能。更進一步,因為是電線網格,存儲陣列的任何部分都能訪問,也就是說,不同的數據可以存儲在電線網的不同位置,並且閱讀所在位置的一束比特就能立即存取。這稱為隨機存取存儲器(RAM),在存儲器設備發展歷程中它是互動式計算的革新概念。福雷斯特把這些專利轉讓給麻省理工學院,學院每年靠這些專利收到1500萬~2000萬美元。

最先獲得這些專利許可證的是IBM,IBM最終獲得了在北美防衛軍事基地安裝「旋風」的商業合同。更重要的是,自20世紀50年代以來,所有大型和中型計算機也採用了這一系統。磁芯存儲從20世紀50年代、60年代,直至70年代初,一直是計算機主存的標准方式。

5.存儲器設備發展之磁碟

世界第一台硬碟存儲器是由IBM公司在1956年發明的,其型號為IBM 350 RAMAC(Random Access Method of Accounting and Control)。這套系統的總容量只有5MB,共使用了50個直徑為24英寸的磁碟。1968年,IBM公司提出「溫徹斯特/Winchester」技術,其要點是將高速旋轉的磁碟、磁頭及其尋道機構等全部密封在一個無塵的封閉體中,形成一個頭盤組合件(HDA),與外界環境隔絕,避免了灰塵的污染,並採用小型化輕浮力的磁頭浮動塊,碟片表面塗潤滑劑,實行接觸起停,這是現代絕大多數硬碟的原型。1979年,IBM發明了薄膜磁頭,進一步減輕了磁頭重量,使更快的存取速度、更高的存儲密度成為可能。20世紀80年代末期,IBM公司又對存儲器設備發展作出一項重大貢獻,發明了MR(Magneto Resistive)磁阻磁頭,這種磁頭在讀取數據時對信號變化相當敏感,使得碟片的存儲密度比以往提高了數十倍。1991年,IBM生產的3.5英寸硬碟使用了MR磁頭,使硬碟的容量首次達到了1GB,從此,硬碟容量開始進入了GB數量級。IBM還發明了PRML(Partial Response Maximum Likelihood)的信號讀取技術,使信號檢測的靈敏度大幅度提高,從而可以大幅度提高記錄密度。

目前,硬碟的面密度已經達到每平方英寸100Gb以上,是容量、性價比最大的一種存儲設備。因而,在計算機的外存儲設備中,還沒有一種其他的存儲設備能夠在最近幾年中對其統治地位產生挑戰。硬碟不僅用於各種計算機和伺服器中,在磁碟陣列和各種網路存儲系統中,它也是基本的存儲單元。值得注意的是,近年來微硬碟的出現和快速發展為移動存儲提供了一種較為理想的存儲介質。在快閃記憶體晶元難以承擔的大容量移動存儲領域,微硬碟可大顯身手。目前尺寸為1英寸的硬碟,存儲容量已達4GB,10GB容量的1英寸硬碟不久也會面世。微硬碟廣泛應用於數碼相機、MP3設備和各種手持電子類設備。

另一種磁碟存儲設備是軟盤,從早期的8英寸軟盤、5.25英寸軟盤到3.5英寸軟盤,主要為數據交換和小容量備份之用。其中,3.5英寸1.44MB軟盤占據計算機的標准配置地位近20年之久,之後出現過24MB、100MB、200MB的高密度過渡性軟盤和軟碟機產品。然而,由於USB介面的快閃記憶體出現,軟盤作為數據交換和小容量備份的統治地位已經動搖,不久會退出存儲器設備發展歷史舞台。

6. 存儲器設備發展之光碟

光碟主要分為只讀型光碟和讀寫型光碟。只讀型指光碟上的內容是固定的,不能寫入、修改,只能讀取其中的內容。讀寫型則允許人們對光碟內容進行修改,可以抹去原來的內容,寫入新的內容。用於微型計算機的光碟主要有CD-ROM、CD-R/W和DVD-ROM等幾種。

上世紀60年代,荷蘭飛利浦公司的研究人員開始使用激光光束進行記錄和重放信息的研究。1972年,他們的研究獲得了成功,1978年投放市場。最初的產品就是大家所熟知的激光視盤(LD,Laser Vision Disc)系統。

從LD的誕生至計算機用的CD-ROM,經歷了三個階段,即LD-激光視盤、CD-DA激光唱盤、CD-ROM。下面簡單介紹這三個存儲器設備發展階段性的產品特點。

LD-激光視盤,就是通常所說的LCD,直徑較大,為12英寸,兩面都可以記錄信息,但是它記錄的信號是模擬信號。模擬信號的處理機制是指,模擬的電視圖像信號和模擬的聲音信號都要經過FM(Frequency Molation)頻率調制、線性疊加,然後進行限幅放大。限幅後的信號以0.5微米寬的凹坑長短來表示。

CD-DA激光唱盤 LD雖然取得了成功,但由於事先沒有制定統一的標准,使它的開發和製作一開始就陷入昂貴的資金投入中。1982年,由飛利浦公司和索尼公司制定了CD-DA激光唱盤的紅皮書(Red Book)標准。由此,一種新型的激光唱盤誕生了。CD-DA激光唱盤記錄音響的方法與LD系統不同,CD-DA激光唱盤系統首先把模擬的音響信號進行PCM(脈沖編碼調制)數字化處理,再經過EMF(8~14位調制)編碼之後記錄到盤上。數字記錄代替模擬記錄的好處是,對干擾和雜訊不敏感,由於盤本身的缺陷、劃傷或沾污而引起的錯誤可以校正。

CD-DA系統取得成功以後,使飛利浦公司和索尼公司很自然地想到利用CD-DA作為計算機的大容量只讀存儲器。但要把CD-DA作為計算機的存儲器,還必須解決兩個重要問題,即建立適合於計算機讀寫的盤的數據結構,以及CD-DA誤碼率必須從現有的10-9降低到10-12以下,由此就產生了CD-ROM的黃皮書(Yellow Book)標准。這個標準的核心思想是,盤上的數據以數據塊的形式來組織,每塊都要有地址,這樣一來,盤上的數據就能從幾百兆位元組的存儲空間上被迅速找到。為了降低誤碼率,採用增加一種錯誤檢測和錯誤校正的方案。錯誤檢測採用了循環冗餘檢測碼,即所謂CRC,錯誤校正採用里德-索洛蒙(Reed Solomon)碼。黃皮書確立了CD-ROM的物理結構,而為了使其能在計算機上完全兼容,後來又制定了CD-ROM的文件系統標准,即ISO 9660。

在上世紀80年代中期,光碟存儲器設備發展速度非常快,先後推出了WORM光碟、磁光碟(MO)、相變光碟(Phase Change Disk,PCD)等新品種。20世紀90年代,DVD-ROM、CD-R、CD-R/W等開始出現和普及,目前已成為計算機的標准存儲設備。

光碟技術進一步向高密度發展,藍光光碟是不久將推出的下一代高密度光碟。多層多階光碟和全息存儲光碟正在實驗室研究之中,可望在5年之內推向市場。

7.存儲器設備發展之納米存儲

納米是一種長度單位,符號為nm。1納米=1毫微米,約為10個原子的長度。假設一根頭發的直徑為0.05毫米,把它徑向平均剖成5萬根,每根的厚度即約為1納米。與納米存儲有關的主要進展有如下內容。

1998年,美國明尼蘇達大學和普林斯頓大學制備成功量子磁碟,這種磁碟是由磁性納米棒組成的納米陣列體系。一個量子磁碟相當於我們現在的10萬~100萬個磁碟,而能源消耗卻降低了1萬倍。

1988年,法國人首先發現了巨磁電阻效應,到1997年,採用巨磁電阻原理的納米結構器件已在美國問世,它在磁存儲、磁記憶和計算機讀寫磁頭等方面均有廣闊的應用前景。

2002年9月,美國威斯康星州大學的科研小組宣布,他們在室溫條件下通過操縱單個原子,研製出原子級的硅記憶材料,其存儲信息的密度是目前光碟的100萬倍。這是納米存儲材料技術研究的一大進展。該小組發表在《納米技術》雜志上的研究報告稱,新的記憶材料構建在硅材料表面上。研究人員首先使金元素在硅材料表面升華,形成精確的原子軌道;然後再使硅元素升華,使其按上述原子軌道進行排列;最後,藉助於掃瞄隧道顯微鏡的探針,從這些排列整齊的硅原子中間隔抽出硅原子,被抽空的部分代表「0」,餘下的硅原子則代表「1」,這就形成了相當於計算機晶體管功能的原子級記憶材料。整個試驗研究在室溫條件下進行。研究小組負責人赫姆薩爾教授說,在室溫條件下,一次操縱一批原子進行排列並不容易。更為重要的是,記憶材料中硅原子排列線內的間隔是一個原子大小。這保證了記憶材料的原子級水平。赫姆薩爾教授說,新的硅記憶材料與目前硅存儲材料存儲功能相同,而不同之處在於,前者為原子級體積,利用其製造的計算機存儲材料體積更小、密度更大。這可使未來計算機微型化,且存儲信息的功能更為強大。

以上就是本文向大家介紹的存儲器設備發展歷程的7個關鍵時期

『貳』 存儲器設計方法:使用128M×8位SRAM晶元設計一個512M×32位的存儲器

需要16片128M*8位的晶元!

『叄』 存儲器可分為哪三類

存儲器不僅可以分為三類。因為按照不同的劃分方法,存儲器可分為不同種類。常見的分類方法如下。

一、按存儲介質劃分

1. 半導體存儲器:用半導體器件組成的存儲器。

2. 磁表面存儲器:用磁性材料做成的存儲器。

二、按存儲方式劃分

1. 隨機存儲器:任何存儲單元的內容都能被隨機存取,且存取時間和存儲單元的物理位置無關。

2. 順序存儲器:只能按某種順序來存取,存取時間和存儲單元的物理位置有關。

三、按讀寫功能劃分

1. 只讀存儲器(ROM):存儲的內容是固定不變的,只能讀出而不能寫入的半導體存儲器。

2. 隨機讀寫存儲器(RAM):既能讀出又能寫入的存儲器。

二、選用各種存儲器,一般遵循的選擇如下:

1、內部存儲器與外部存儲器

一般而言,內部存儲器的性價比最高但靈活性最低,因此用戶必須確定對存儲的需求將來是否會增長,以及是否有某種途徑可以升級到代碼空間更大的微控制器。基於成本考慮,用戶通常選擇能滿足應用要求的存儲器容量最小的微控制器。

2、引導存儲器

在較大的微控制器系統或基於處理器的系統中,用戶可以利用引導代碼進行初始化。應用本身通常決定了是否需要引導代碼,以及是否需要專門的引導存儲器。

3、配置存儲器

對於現場可編程門陣列(FPGA)或片上系統(SoC),可以使用存儲器來存儲配置信息。這種存儲器必須是非易失性EPROM、EEPROM或快閃記憶體。大多數情況下,FPGA採用SPI介面,但一些較老的器件仍採用FPGA串列介面。

4、程序存儲器

所有帶處理器的系統都採用程序存儲器,但是用戶必須決定這個存儲器是位於處理器內部還是外部。在做出了這個決策之後,用戶才能進一步確定存儲器的容量和類型。

5、數據存儲器

與程序存儲器類似,數據存儲器可以位於微控制器內部,或者是外部器件,但這兩種情況存在一些差別。有時微控制器內部包含SRAM(易失性)和EEPROM(非易失)兩種數據存儲器,但有時不包含內部EEPROM,在這種情況下,當需要存儲大量數據時,用戶可以選擇外部的串列EEPROM或串列快閃記憶體器件。

6、易失性和非易失性存儲器

存儲器可分成易失性存儲器或者非易失性存儲器,前者在斷電後將丟失數據,而後者在斷電後仍可保持數據。用戶有時將易失性存儲器與後備電池一起使用,使其表現猶如非易失性器件,但這可能比簡單地使用非易失性存儲器更加昂貴。

7、串列存儲器和並行存儲器

對於較大的應用系統,微控制器通常沒有足夠大的內部存儲器。這時必須使用外部存儲器,因為外部定址匯流排通常是並行的,外部的程序存儲器和數據存儲器也將是並行的。

8、EEPROM與快閃記憶體

存儲器技術的成熟使得RAM和ROM之間的界限變得很模糊,如今有一些類型的存儲器(比如EEPROM和快閃記憶體)組合了兩者的特性。這些器件像RAM一樣進行讀寫,並像ROM一樣在斷電時保持數據,它們都可電擦除且可編程,但各自有它們優缺點。

參考資料來源:網路——存儲器

『肆』 硬碟的存儲原理

硬碟是一種採用磁介質的數據存儲設備,數據存儲在密封於潔凈的硬碟驅動器內腔的若干個磁碟片上。這些碟片一般是在以的片基表面塗上磁性介質所形成,在磁碟片的每一面上,以轉動軸為軸心、以一定的磁密度為間隔的若干個同心圓就被劃分成磁軌(track),每個磁軌又被劃分為若干個扇區(sector),數據就按扇區存放在硬碟上。

硬碟的第一個扇區(0道0頭1扇區)被保留為主引導扇區。在主引導區內主要有兩項內容:主引導記錄和硬碟分區表。主引導記錄是一段程序代碼,其作用主要是對硬碟上安裝的操作系統進行引導;硬碟分區表則存儲了硬碟的分區信息。

計算機啟動時將讀取該扇區的數據,並對其合法性進行判斷(扇區最後兩個位元組是否為0x55AA或0xAA55 ),如合法則跳轉執行該扇區的第一條指令。所以硬碟的主引導區常常成為病毒攻擊的對象,從而被篡改甚至被破壞。可引導標志:0x80為可引導分區類型標志;0表示未知;1為FAT12;4為FAT16;5為擴展分區等等。

(4)湖南存儲料線設計擴展閱讀:

數據存儲原理

既然要進行數據的恢復,當然數據的存儲原理我們不能不提,在這之中,我們還要介紹一下數據的刪除和硬碟的格式化相關問題……

操作系統從目錄區中讀取文件信息(包括文件名、後綴名、文件大小、修改日期和文件在數據區保存的第一個簇的簇號),我們這里假設第一個簇號是0023。

操作系統從0023簇讀取相應的數據,然後再找到FAT的0023單元,如果內容是文件結束標志(FF),則表示文件結束,否則內容保存數據的下一個簇的簇號,這樣重復下去直到遇到文件結束標志。

『伍』 存儲晶元設計難度大嗎

存儲晶元設計難度大。根據查詢相關公開信息,存儲晶元設計難度大世培。存儲晶元,是嵌入式系統晶元的概念在存儲行業的具體應用。因此,無論是系統晶元還是存儲晶元,都是通過在單一晶元中嵌入軟體,實現多功能和高性能,以及對多種協議、多種硬體和不同應用的支持。對於存儲和數據容災,薯姿虛擬化、數據保護、數據安全(加密)、數據壓縮、重復數據刪除、自動精簡配置等功能日益成為解決方案的標准功能。用更少的資源管理更多的數據正在成為市場的必然趨勢。以上提及的這些優化功能都需要消搜手唯耗大量的CPU資源。如何快速實現多功能的產品化進程,保證優化後系統的高性能,是存儲晶元發展的市場驅動力。

『陸』 層次化存儲器結構的設計是依據什麼原理

層次化存儲器凳信結構設計的依據是訪問局部性原理。為了解決存儲容量、存取速度和價格之間的矛盾,把各種不同存儲容量手粗並、不同存取速度的存儲畢跡器,按一定的體系結構組織起來,形成一個統一整體的存儲系統。層次化存儲器結構設計的依據是訪問局部性原理。

『柒』 大數據下的地質資料信息存儲架構設計

頡貴琴 胡曉琴

(甘肅省國土資源信息中心)

摘要 為推進我國地質資料信息服務集群化產業化工作,更大更好地發揮地質資料信息的價值,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。

關鍵詞 大數據 地質資料 存儲 NoSQL 雙資料庫

0 引言

新中國成立60多年來,我國形成了海量的地質資料信息,為國民經濟和社會發展提供了重要支撐。但在地質資料管理方面長期存在資料信息分散、綜合研究不夠、數字化信息化程度不高、服務渠道不暢、服務能力不強等問題,使地質資料信息的巨大潛在價值未能得到充分發揮。為進一步提高地質工作服務國民經濟和社會發展的能力,充分發揮地質資料信息的服務功能,擴大服務領域,國土資源部根據國內外地質工作的先進經驗,做出了全面推進地質資料信息服務集群化產業化工作的部署。

目前,全國各省地質資料館都在有條不紊地對本省成果、原始和實物地質資料進行清理,並對其中重要地質資料進行數字化和存儲工作。然而,由於我國地質資源豐富,經過幾十年的積累,已經形成了海量的地質資料,數據量早已經超過了幾百太位元組(TB)。在進行地質資料信息服務集群化工作中,隨著共享數據量的不斷增大,傳統的數據存儲方式和管理系統必然會展現出存儲和檢索方面的不足以及系統管理方面的缺陷。為了解決該問題,需要設計更加先進的數據存儲架構來實現海量地質資料的存儲。

而大數據(Big Data)作為近年來在雲計算領域中出現的一種新型數據,科技工作者在不斷的研究中,設計了適合大數據存儲管理的非關系型資料庫NoSQL進行大數據的存儲和管理。本文將針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,提出一種海量地質資料存儲架構,改進現有系統存儲架構,以便於我國全面推進地質資料信息服務集群化產業化工作。

1 工作現狀

1.1 國內外地質資料信息的存儲現狀

在美國,主要有兩大地質資料公共服務平台,分別是地球科學信息中心(ESIC)、地球資源觀測和科學中心(EROS),其目的是通過為社會和政府提供更加便利、快速的地質信息服務。20世紀90年代初,澳大利亞出台了國家地球科學填圖協議,採用先進的科學方法和技術進行數據存儲,從而形成了第二代澳大利亞陸地地質圖。

目前,我國地質資料信息服務集群化產業化工作剛剛起步,雖然國土資源部信息中心已經開發了地質資料信息集群化共享服務平台,並倡導各地方用戶使用該系統。但由於各個地方早期的工作背景不一致,因此各地方所使用的存儲系統也不盡相同,主要有Access、SQL Server、Oracle、MySQL等系統。本文以國土資源部信息中心開發的地質資料信息集群化共享服務平台的存儲系統MySQL為例說明。該系統是基於關系資料庫管理系統MySQL的一套分布式存儲檢索系統。該系統的部署使得我國地質資料信息服務集群化產業化工作取得了重大進展,同時也為我國建立標准統一的地質資料信息共享服務平台和互聯互通的網路服務體系奠定了堅實的基礎。然而,該系統的研發並沒有考慮到地質資料信息進一步集群化以及在未來地質資料信息進入大數據時代的信息共享和存儲管理問題,也沒有給出明確的解決方案。

1.2 大數據的存儲架構介紹

大數據是近年在雲計算領域中出現的一種新型數據,具有數據量大、數據結構不固定、類型多樣、查詢分析復雜等特點。傳統關系型資料庫管理系統在數據存儲規模、檢索效率等方面已不再適合大數據存儲。NoSQL(Not Only SQL)是與關系資料庫相對的一類資料庫的總稱。這些資料庫放棄了對關系資料庫的支持,轉而採用靈活的、分布式的數據存儲方式管理數據,從而可以滿足大數據存儲和處理的需求。NoSQL基於非關系型數據存儲的設計理念,以鍵值對進行存儲,採用的數據字的結構不固定,每一個元組可以有不一樣的欄位,且每個元組可以根據自己的需要增加一些自己的鍵值對,可以減少一些檢索時間和存儲空間。目前,應用廣泛的 NoSQL 資料庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大數據下的地質資料信息存儲架構設計

根據國土資源部做出的全面推進地質資料信息服務集群化產業化工作的部署,國土資源部倡導全國地質資料館使用國土資源部信息中心開發的地質資料信息集群化共享服務平台,實現地質資料信息的存儲和共享。該系統採用了資料庫管理系統MySQL作為數據存儲系統。

為了與現有系統和現有的工作進行對接,並為將來地質資料進入大數據時代後的存儲工作做准備,本文設計了一種能用於海量地質資料信息存儲並且兼容MySQL的分布式的數據存儲架構(圖1)。

整個系統可以根據不同的用戶等級分為不同的用戶管理層,由於圖幅限制,在圖1 中僅僅展示了3級:國家級管理層(即共享服務平台用戶層)、省級管理層以及市級管理層(可根據實際需要延伸至縣級)。

每級管理層的每個用戶可以單獨管理一個伺服器。如國土資源部信息中心可以單獨管理一個伺服器;甘肅省國土資源信息中心可以單獨管理一個伺服器,陝西省國土資源信息中心可以單獨管理一個伺服器;甘肅的若干個市級國土資源局可以根據需要分別管理各自的伺服器。

在伺服器上分別安裝兩套資料庫管理系統,一套是原有的MySQL資料庫管理系統,另一套是為大數據存儲而配備的NoSQL型資料庫管理系統。在伺服器上還專門開發一個資料庫管理器中間件,用於進行用戶層和資料庫的通信以及兩套資料庫之間的通信。

由於各個管理層都各自維護自己的資料庫和數據。當用戶需要進行數據存儲時,他所影響的資料庫僅僅是本地資料庫,存儲效率較高;當用戶需要從多個資料庫讀取數據時,頂層的共享服務平台會根據用戶需求進行任務分解,將任務分發給下層的管理層進行資料庫讀取,由於各個資料庫並行讀取,從而提高了資料庫讀取效率。

圖1 大數據下的地質資料信息存儲架構框圖

2.1 用戶管理層

用戶管理層根據許可權范圍,分為多層(本文以3層為例)。

位於頂層的國家級管理層(共享服務平台用戶層)負責用戶訪問許可權的分配、與其直接關聯的資料庫的訪問、下級管理層任務的分配等工作。

用戶訪問許可權的分配是指為訪問本共享服務平台的個人用戶和單位用戶分配數據的使用許可權、安全性的設計等。

與其直接關聯的資料庫訪問是指直接存儲在其本地資料庫上的數據的訪問。在該資料庫中不僅要存儲所需要的地質資料,還要存儲注冊用戶信息等數據。

下級管理層任務分配是指如果用戶需要訪問多個下層資料庫,用戶只需要輸入查詢這幾個下層資料庫的命令,而如何查找下層資料庫則由該功能來完成。例如某用戶要查找甘肅、陝西、上海、北京的鐵礦分布圖,則用戶只需要輸入這幾個地方及鐵礦等查詢條件,系統將自動把各個省的資料庫查詢任務分派到下級管理層。

同理,位於下層的省級管理層和市級管理層除了沒有用戶訪問許可權功能外,其餘功能與國家級管理層是相同的。各層之間的資料庫通過互聯網相互連接成分布式的資料庫系統。

2.2 MySQL和NoSQL的融合

MySQL是關系型資料庫,它支持SQL查詢語言,而NoSQL是非關系型資料庫,它不支持SQL查詢語言。用戶要想透明地訪問這兩套資料庫,必須要設計資料庫管理器中間件,作為用戶訪問資料庫的統一入口和兩套資料庫管理系統的通信平台。本文所設計的資料庫管理器簡單模型如圖2所示。

圖2 資料庫管理器模型

伺服器管理器通過用戶程序介面與應用程序進行通訊,通過MySQL資料庫介面與MySQL伺服器通訊,通過NoSQL資料庫介面與NoSQL資料庫介面通訊。當應用程序介面接收到一條資料庫訪問命令之後,交由資料庫訪問命令解析器進行命令解析,從而形成MySQL訪問命令或者NoSQL訪問命令,通過相應的資料庫介面訪問資料庫;資料庫返回訪問結果後經過匯總,由應用程序介面返回給應用程序。

兩套資料庫可以通過雙資料庫通信協議進行相互的通信和互訪。此通信協議的建立便於地質工作人員將已經存入MySQL資料庫的不適合結構化存儲的數據轉存到NoSQL資料庫中,從而便於系統的升級和優化。

2.3 系統的存儲和檢索模式

在本存儲框架設計中,系統採用分布式網路存儲模式,即採用可擴展的存儲結構,利用分散在全國各地的多台獨立的伺服器進行數據存儲。這種方式不僅分擔了伺服器的存儲壓力,提高了系統的可靠性和可用性,還易於進行系統擴展。另外,由於地質資料信息存儲的特殊性,各地方用戶的數據存儲工作基本都是在本地伺服器進行,很少通過網路進行遠程存儲,所以數據存儲效率較高。

在一台資料庫伺服器上安裝有MySQL和NoSQL型兩套資料庫管理系統,分別用於存儲地質資料信息中的結構化數據和非結構化數據。其中,NoSQL型資料庫作為主資料庫,用於存儲一部分結構化數據和全部的非結構化數據;而MySQL資料庫作為輔助資料庫,用於存儲一部分結構化的數據,以及舊系統中已經存儲的數據。使用兩套資料庫不僅可以存儲結構化數據而且還可以適用於大數據時代地質資料信息的存儲,因此系統具有很好的適應性和靈活性。

2.4 安全性設計

地質資料信息是國家的機密,地質工作人員必須要保證它的安全。地質資料信息進入數字化時代之後,地質資料常常在計算機以及網路上進行傳輸,地質資料信息的安全傳輸和保存更是地質工作人員必須關注和解決的問題。在本存儲架構的設計中設計的安全問題主要有資料庫存儲安全、數據傳輸安全、數據訪問安全等問題。

資料庫設計時採用多邊安全模型和多級安全模型阻止資料庫中信息和數據的泄露來提高資料庫的安全性能,以保障地質信息在資料庫中的存儲安全;當用戶登錄系統訪問資料庫時,必須進行用戶甄別和實名認證,這主要是對用戶的身份進行有效的識別,防止非法用戶訪問資料庫;在對地質資料進行網路傳輸時,應該首先將數據進行加密,然後再進行網路傳輸,以防止地質信息在傳輸過程中被竊取。

3 結語

提高地質資料數字化信息化水平,是國外地質工作強國的普遍做法。為推進我國地質資料信息服務集群化產業化工作,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。該存儲架構的設計只涉及了簡單模型的構建,具體詳細復雜的功能設計和軟體實現還需要在進一步的研究工作中完成。

參考文獻

[1]吳金朋.一種大數據存儲模型的研究與應用[D].北京:北京郵電大學計算機學院,2012.

[2]吳廣君,王樹鵬,陳明,等.海量結構化數據存儲檢索系統[J].計算機研究與發展,2012,49(Suppl):1~5.

[3]黃

,易曉東,李姍姍,等.面向高性能計算機的海量數據處理平台實現與評測[J].計算機研究與發展,2012,49(Suppl):357~361.

『捌』 存儲的架構有哪些

目前市場上的存儲架構如下:
(1)基於嵌入式架構的存儲系統
節點NVR架構主要面向小型高清監控系統,高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房,存儲容量相對較小,用戶體驗度、系統功能集成度要求較高。在市場應用層面,超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。
(2)基於X86架構的存儲系統
平台SAN架構主要面向中大型高清監控系統,前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分,前端監控數據通過錄像存儲管理模塊存儲到SAN中。
此種架構接入高清前端路數相對節點NVR有了較高提升,具備快捷便利的可擴展性,技術成熟。對於IPSAN而言,雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗,但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點,仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多,比如縣級或地級市高清監控項目,大數據量的並發讀寫對千兆網路交換提出了較大的挑戰,但應用FCSAN構建相對獨立的存儲子系統,可以有效解決上述問題。
(3)基於雲技術的存儲方案
當前,安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化,存儲和管理的視頻數據量已有海量之勢,雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務,在未來安防監控行業有著客觀的應用前景。
與傳統存儲設備不同,雲存儲不僅是一個硬體,而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心,通過應用層軟體對外提供數據存儲和業務服務。

『玖』 存儲器設計的模擬部分是什麼

存儲器設計的模擬部分通常指存儲器輸出端的模擬電路。根據查詢相關資襲友料信息顯示,在數字系統中,存儲器扮演著重要的角色。它能夠存儲和處理大量的數字信息,並在需要時將其讀取出來。由於數字信號具有高速、穩定、精確等優點,因此存儲器的輸入和輸出信號通常是以數字形式進行傳輸和處理的。然而,在實際電路中,存儲器的輸出信號往往需要與其他部分的電路進行連接和通訊,而這些電路拍鋒槐可能採用模擬信號進行處理。為了實現數字基敗信號到模擬信號的轉換,存儲器設計中的模擬部分非常重要。這部分包括輸出端的數模轉換電路以及輸出緩沖器等模擬電路,用於將數字信號轉化為模擬信號輸出。模擬電路的設計需要考慮運放、電容、電阻等元器件的選擇和電路拓撲結構的優化,以保證存儲器的輸出信號精度和穩定性,從而提升整個數字系統的可靠性和性能。