1. 存儲虛擬化是什麼集群存儲又是什麼
存儲虛擬化廣義上來說,就是通過映射或抽象的方式屏蔽物理設備復雜性,增加一個管理層面,激活一種資源並使之更易於透明控制。
存儲虛擬化(Storage Virtualization)最通俗的理解就是對存儲硬體資源進行抽象化表現。通過將一個(或多個)目標(Target)服務或功能與其它附加的功能集成,統一提供有用的全面功能服務。
集群存儲是指:由若干個「通用存儲設備」組成的用於存儲的集群,組成集群存儲的每個存儲系統的性能和容量均可通過「集群」的方式得以疊加和擴展。
2. mysql集群存儲實現負載均衡的優缺點。與oracle RAC相比呢
mysql
cluster
是無共享模式,即數據分布存放於每個節點中,而oracle
rac是共享存儲模式,數據集中存儲的,每個rac節點只是一個oracle實例,兩者實現原理不同
3. 分布式存儲是什麼
分布式存儲系統,是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
分布式和集中式存儲
集中存儲的優缺點是,物理介質集中布放;視頻流上傳到中心對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。
分布存儲,集中管理的優缺點是,物理介質分布到不同的地理位置;視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。
鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑,推進專業學位研究生產學研結合培養模式改革,構建應用型、復合型人才培養體系。
4. hadoop集群的存儲架構一般適宜採用das,nas,san或其他什麼架構
數據局部性(data locality):這是Hadoop的主要特性,指的是直接在存儲數據的節點上做CPU密集型計算。顯然,SAN/NAS不適用於任何形式的CPU密集型計算。
RAID:SAN/NAS採用RAID磁碟陣列進行存儲,而Hadoop框架通過復本來確保數據的可靠性和容錯性。
DAS採用JBOD磁碟數組進行存儲,如果Hadoop節點的內置存儲容量較小,可以採用DAS做擴展。如果只是想通過Hadoop做數據歸檔,沒有計算,好吧,SAN/NAS是個選擇。
5. 我要在hadoop集群上存儲一個100g的文件,但是我的空間剩餘只有20G
壓縮,如果壓縮過之後還是大於20G那就沒轍了,只能加大集群規模,或者加大單台機器的存儲空間,總之必須使得集群總存儲空間大於文件大小
6. 什麼是集群存儲
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集
群應用、網格技術或分布式文機房集中監控系統件系統等功能,將網路中大量各種不同類
型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的
一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就
需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一
個以數據存儲和管理為核心的雲計算系統。他們基於虛擬化技術和集群架構,具有強大的
橫向擴展能力。雲存儲設備橫向擴展的方式讓存儲系統具有了無限擴展的能力,它能夠實
現控制器與硬碟的同時擴展,也就是性能與容量可以同時實現線性擴展。
集群存儲是通過將數據分布到集群中各節點的存儲方式,提供單一的使用介面與界面,使
用戶可以方便地對所有數據進行統一使用與管理。集群中所有磁碟設備整合到單一的共享
存儲池中提供給前端的應用伺服器,極大提高了磁碟利用率,可以為非結構化數據提供具
備極高IO帶寬和靈活可擴展性的存儲解決方案。
7. 地質資料信息服務集群化和產業化標准規范研究報告
研究單位:全國地質資料館、上海市規劃和國土資源管理局、國土資源部信息中心、國土資源部油氣資源戰略研究中心、國土資源實物地質資料中心
子課題負責人:單昌昊
子課題研究人員:丁 鋒 馬飛飛 王正平 劉向東 李景朝
張立海 單昌昊 周 舟 賈文珏 顏世強
報告編寫人:顏世強 馬飛飛
第一章 地質資料信息制度標准規范現狀
一、地質資料信息制度標准規范總體框架
地質資料信息制度標准規范總體框架,縱向上由法律法規和標准規范兩個層次組成,法律法規包括法律、行政法規、各級規范性文件,標准包括不同級別的工作標准、規范,橫向上由地質專業制度標准、信息化制度標准、地質資料館藏服務制度標准組成,既有區別又緊密聯系。
本章重點介紹制度標准規范現狀,從地質資料服務、地質專業、地質信息化三個方面,分法律、標准兩類詳細說明。
(一)地質資料管理及服務工作制度標准規范現狀
1.地質資料管理和地質科技檔案管理法律、法規及有關規范性文件
主要有:中華人民共和國礦產資源法、中華人民共和國檔案法、中華人民共和國礦產資源法實施細則、中華人民共和國檔案法實施辦法、地質資料管理條例、地質資料管理條例實施辦法、地質行業地質科技檔案工作條例、地質礦產部岩礦心管理規定、原本地質檔案驗收辦法(試行)、實物地質資料管理辦法、涉密地質資料管理細則等11項。
2.地質資料檔案管理技術標准規范
主要有:地質資料檔案著錄細則、地質勘查鑽探岩礦心管理通則、檔案館建築設計要點、磁性載體檔案管理與保護規范、檔案工作基本術語、歸檔文件整理規則、電子文件歸檔與管理規范、科學技術檔案案卷構成的一般要求、油氣勘探與開發地質資料立卷歸檔要求、成果地質資料電子文件匯交格式要求、地質勘查鑽探岩礦心管理通則、原始地質資料立卷歸檔規則、油氣成果地質資料電子文件製作匯交細則、油氣成果地質資料計算機著錄細則、圖文地質資料掃描數字化規范(試行)、石油地質原本檔案立卷歸檔辦法(試行)、地質礦產部測繪檔案立卷歸檔辦法(試行)、地質礦產部基本建設檔案立卷歸檔辦法、海洋地質原本檔案立卷歸檔辦法(試行)、探礦工程檔案立卷歸檔辦法、設備檔案立卷歸檔辦法、地質礦產部實驗測試檔案立卷歸檔辦法(試行)、1∶5萬區域地質調查原本檔案立卷歸檔辦法(試行)、全國匯交地質報告質量驗收試行規定、礦產和地下水勘探報告審批辦法(試行)、原本地質檔案驗收辦法(試行)、地質礦產部地質學院科學技術檔案管理辦法(試行)、地質礦產部科學技術檔案工作暫行條例、水文地質工程地質鑽孔技術檔案說明、油氣勘探與開發地質資料立卷歸檔要求等29項。
3.地質資料保密相關規定
主要有:中華人民共和國保守國家秘密法、中華人民共和國保守國家秘密法實施辦法、國土資源管理工作國家秘密范圍的規定、國家秘密保密期限的規定、印刷復印等行業復制國家秘密載體暫行管理辦法、國土資源部保密文件管理暫行規定等6項。
4.地調局地質資料信息服務文件
主要有:中國地質調查局地質調查資料接收保管和服務管理辦法(試行)、中國地質調查局地質調查資料管理辦法等兩項。
(二)地質專業及資料信息化工作制度標准規范現狀
1.跨行業通用標准及其相關標准
(1)國土資源數據描述標准
國土資源信息元數據。
(2)國土資源應用系統與網路建設標准
國土資源應用軟體設計開發規范、國土資源應用軟體質量要求與測試、國土資源網路系統建設規范。
(3)通用標準的相關標准
推進地質資料信息服務集群化產業化
續表
續表
2.地質礦產行業信息化標准
(1)數據描述標准
地質圖用色標准及用色原則(1∶5萬)DZ/T0179、地質礦產術語分類代碼GB9649-88
(2)資料庫標准
推進地質資料信息服務集群化產業化
續表
續表
3.地質調查通用標准
推進地質資料信息服務集群化產業化
4.區域地質調查通用標准
推進地質資料信息服務集群化產業化
5.城市區域地質調查標准
城市區域地質調查技術要求(1∶50000)DZ/T0094-1994。
6.海洋區域地質調查與監測標准
海洋區域地質調查規范(1∶1000000)DZ/T0147-2009。
7.海洋礦產勘查標准
大洋金屬結核礦產勘查規程GB/T17229-1998。
8.海洋地質其他標准1∶50萬海區磁力異常平面圖編圖規范DZ/T0234-2006、1∶50萬海區地貌圖編圖規范DZ/T0235-2006、1∶50萬海區第四紀地質圖編圖規范DZ/T0236-2006、1∶50萬海區自由空間重力異常編圖規范DZ/T0237-2006
9.陸地油氣金屬非金屬礦產調查勘查通用標准
推進地質資料信息服務集群化產業化
10.陸地油氣金屬非金屬礦產調查標准
戰略性遠景調查規范(1∶5萬)DD2004-04、固體礦產推斷的內蘊經濟資源量和經工程驗證的預測資源量估算技術要求、煤田地質填圖規程(1∶50000、1∶25000、1∶10000、1∶5000)DZ/T0175-1997、自然重砂資料庫建設標准。
11.陸地油氣金屬非金屬礦產勘查標准
推進地質資料信息服務集群化產業化
12.水文工程環境災害地質調查勘查通用標准
推進地質資料信息服務集群化產業化
13.水文地質調查與監測標准
推進地質資料信息服務集群化產業化
14.工程地質調查標准
推進地質資料信息服務集群化產業化
15.環境地質調查與監測標准
區域環境地質調查總則DD2004-02、城市環境地質調查規范(1∶50000)DD2008-03。
16.地質災害調查監測與防治標准
推進地質資料信息服務集群化產業化
17.地球物理勘查與方法通用標准
地球物理勘查技術符號GB/T14499-1993、地球物理勘查圖圖示、圖例和代碼及色標DZ/T0069-1993、岩礦石物性測定技術規程DD2006-03
18.重力勘查與方法標准
推進地質資料信息服務集群化產業化
19.磁勘查與方法標准
推進地質資料信息服務集群化產業化
20.電勘查與方法標准
推進地質資料信息服務集群化產業化
21.地震勘查與方法標准
推進地質資料信息服務集群化產業化
22.放射性勘查與方法標准標准
推進地質資料信息服務集群化產業化
23.應用地球物理勘查與方法標准
固體礦產預查普查中物化探遙感工作要求DD2003-03。
24.地球化學勘查與方法通用標准
推進地質資料信息服務集群化產業化
25.岩石地球化學測量技術標准
岩石地球化學測量技術規范(含采樣、鑽孔、岩石、坑道)DZ/T0248-2006。
26.土壤地球化學測量技術標准
土壤地球化學測量規范(包括不同比例尺、各階段的要求)DZ/T0145-1994。
27.水系沉積物地球化學測量技術標准
推進地質資料信息服務集群化產業化
28.氣體地球化學測量技術標准
推進地質資料信息服務集群化產業化
29.生態地球化學調查評價標准
推進地質資料信息服務集群化產業化
30.應用地球化學勘查與方法標准
推進地質資料信息服務集群化產業化
31.遙感地質調查與方法標准
推進地質資料信息服務集群化產業化
32.應用遙感地質調查與方法標准
推進地質資料信息服務集群化產業化
33.鑽探坑探技術方法通用標准
推進地質資料信息服務集群化產業化
34.鑽探技術方法標准
推進地質資料信息服務集群化產業化
35.坑探技術方法標准
推進地質資料信息服務集群化產業化
36.地質測量通用標准
推進地質資料信息服務集群化產業化
37.地質圖底圖編繪標准
推進地質資料信息服務集群化產業化
38.地質專業測量標准
推進地質資料信息服務集群化產業化
39.地質實驗測試通用標准
推進地質資料信息服務集群化產業化
40.岩礦石樣品分析方法標准
推進地質資料信息服務集群化產業化
41.土壤樣品分析方法標准
推進地質資料信息服務集群化產業化
42.水樣品分析方法標准
推進地質資料信息服務集群化產業化
43.同位素方法標准
推進地質資料信息服務集群化產業化
44.物化性能測量標准
推進地質資料信息服務集群化產業化
45.地質實驗測試標准物質
推進地質資料信息服務集群化產業化
(三)各試點省集群化建設備用標准規范
1.上海和湖北集群化試點採用標准
結合上海地區地質資料的特點,既按照全國地質資料館有關地質資料信息化的要求執行,又要制定適合上海的地方具體信息化的要求標准。主要有:《地質資料管理條例》、《圖文地質資料掃描數字化規范SZ1999001-2000》、《地質資料檔案著錄細則DA/T23-2000》、《成果地質資料電子文件匯交格式SZ1999002-2001》、《歸檔文件整理規則156.5DA/T22-2000》、地質資料管理辦法、工程地質勘察項目匯交格式、地質資料信息化技術要求、工程地質勘察資料入庫數字化要求、上海城市三維地質信息系統各專業屬性表格設計。
湖北省參照上海市有關規范標准執行。
2.湖南省集群化試點採用標准
主要有:D2004-04戰略性礦產遠景調查技術要求(試行)、DD2005固體礦產勘查原始地質編錄規程、DZ/T0001-91區域地質調查總則(1∶50000)、DZ/T0127-94固體礦產礦點(床)地質數據文件格式、DZ/T0179-1997地質圖用色標准及用色原則(1∶50000)、DZ/T0078—93固體礦產勘查原始地質編錄規定、DZ/T0079-1993固體礦產勘查地質資料綜合整理研究規定、DZ/T0216-2002煤層氣資源/儲量規范、GB/T19308-2002固體礦產地質勘查規范總則、GB/T13687-92固體礦產普查總則、GB/T17766-1999固體礦產資源/儲量分類、GB/T13908-2002固體礦產地質勘查規范總則、GB/T14498-93工程地質術語、GB958-89區域地質圖圖例(1∶50000)、GB13923國土基礎信息數據分類與代碼、GB/T2260-1995中華人民共和國行政區劃代碼、GB/T9649-88地質礦產術語分類代碼、GB/T7408-2005/ISO8610∶2000數據元和交換格式信息交換日期和時間表示法、GB/T17798-2007地理空間數據交換格式等。
3.青海省集群化試點採用標准
主要有:GB2260-99中華人民共和國行政區劃代碼、GB958-89區域地質圖圖例(1∶50000)、GB9648-88地質礦產術語分類代碼、GB/T13989-92國家基本比例尺地形圖分幅編號、GBT17694-1999地理信息技術基本術語、DZ/T0001-91區域地質信息總則(1∶50000)、DZ/T0197-1997數字化地質圖圖層及屬性文件格式、DDB9702GIS圖層描述數據內容標准、DZ9701資源評價工作中地理信息系統工作細則、DZ/T0179-1997地質圖用色標准及用色原則、DZ地質資料著錄文件格式、地質礦產勘查標准匯編(1999)、全國地質工作程度資料庫建設工作指南(2006年9月修訂)、中國地質調查局地質調查技術標准(中國地質調查局,2008年7月)等。
二、地質資料信息工作制度標准規范存在問題
推進「兩化」需要標准先行,盡管已基本形成了地質資料服務、地質專業、國土資源信息及地質調查信息化標准體系,但從國家「兩化」的總體需求來看,已經形成的這些標准還遠不能滿足「兩化」工作的要求。統一規劃、統一標準是推進「兩化」的關鍵,在「兩化」建設的過程中,標準是關鍵,應用是核心。目前的標准化工作還存在以下不足:
(一)實現地質資料信息集群共享關鍵技術的標准顯得薄弱與研發滯後
與國外先進國家相比,目前我國在地質資料信息共享方面的標准制訂相對滯後,當前已經完成的標准主要集中在專業的代碼標准,支持空間數據網路共享的標准僅有空間數據格式轉換標准,然而由於地質資料數據的特殊性,在圖例、圖示方面,該標准尚不能滿足地質數據轉換的需求,為此這一方面的標准化工作任重道遠。「九五」和「十五」期間,國家在地理空間信息共享的標准、政策、運行模式方面開展了全面和卓有成效的研究工作,取得了顯著進展,為國家制訂實施空間信息基礎設施發展規劃和相關政策措施奠定了基礎。但大部分標准、政策還停留在「研究」和「建議」的水平。研究提出支持我國資源環境地理空間信息共享同時符合我國國情的政策、標准、管理運行模式已經成為當前各級空間信息共享建設和應用的迫切需要。為實現信息的廣泛共享,還應大力加強地質資料信息的分類編碼標准、數據訪問協議、數據分發標准、科學語言描述規范等標準的制定。
(二)標准體系不健全,地質資料信息服務方面的標准或規范嚴重缺乏
美國、英國、加拿大、澳大利亞、荷蘭等發達國家與地區經歷以社會信息化和信息社會化為標志的知識經濟發展過程,帶動了經濟全球化,建立健全了國家空間信息基礎設施,海量的地球空間信息提供利用,通過政府調控與市場調節相結合的政策導向和各種機制,使空間信息技術逐步實現了產業化,並因此獲得了巨大的經濟與社會利益。標准化建設是實現空間信息技術產業化的關鍵,沒有一體化的地質資料信息服務標准,就無法建立一體化的服務體系。
(三)已形成的標准多屬某個具體工作項目的技術約定,單個標准之間的協調性差,制約了地質資料信息集群化開展
目前的地質資料信息服務標准或技術約定的制定大部分都是根據具體的工作項目或是某一特定的地質任務而形成的,各標准之間的協調性較差,使今後海量、多源數據的綜合一體化管理和綜合應用受到限制。而應用GIS對地理、地質、地球物理、地球化學、遙感、環境、土地等多源地質資料信息進行管理與綜合分析,來解決資源(土地資源、礦產資源、海洋資源等)評價、災害預測與防治等問題越來越普遍。而且隨著GIS技術應用的深入,對多學科的地學空間信息進行集成管理、綜合分析的需求會越來越迫切。與此相適應,其標准化也必然具有綜合的性質。要滿足這樣的標准化需求,孤立的單個標準是無能為力的,需要多個標準的相互協調,才能在整體上達到效益最佳,從而實現多源地質資料信息的綜合應用,為政府決策、公司、企業等提供方便、快捷的綜合地學信息。
(四)地質資料服務相關標准落實,影響了集群化服務水平的提高
目前地質資料共享、保密、服務等信息服務相關政策法規不完善,導致地質資料服務分級分類五花八門,服務收費千差萬別。其中,涉密地質資料是影響社會化服務的一個重要因素,涉密標准不統一,地質資料數據相關服務機構在互聯網上提供的服務非常有限,只能限於地質資料的目錄檢索、一些元數據的發布、岩石地層資料庫的查詢,以及小比例尺地質圖的發布。一些重要的基礎地質資料庫,如1∶20萬、1∶50萬地質圖空間資料庫、重力資料庫、區域化探資料庫等都因為涉密而無法通過網路提供服務。
(五)標準的宣傳貫徹嚴重滯後
目前所完成的標准,只有有限的幾個公布實施。從標準的實施情況來看,明顯缺乏標準的宣傳力度,主要體現在對標準的理解程度不一致或錯誤,導致採集的數據有缺陷,為數據集成和應用帶來困難。同時支持這些標准規范實施的軟體工具嚴重缺乏。目前的標准投資,只有研製標準的資金,沒有支持標准規范實施的軟體工具開發經費和宣傳貫徹經費,直接的後果就是標准無法應用或很難應用。
第二章 地質資料信息標准規范建設主要目標及任務
一、指導思想
以科學發展觀為指導,以貫徹落實《國務院關於加強地質工作決定》中「推進地質資料開發利用」為目的,以執行《國土資源部推進地質資料信息服務集群化產業化工作方案》(國土資廳發〔2010〕113號)為綱領,按照部推進「兩化」總體部署,結合地質資料信息服務工作實際,針對「兩化」試點和推廣工作中標准規范應用現狀及問題,研究建立地質資料信息服務「兩化」標准體系框架,健全完善相關技術指南,為地質資料信息服務集群化產業化試點工作提供技術支撐,為全國推進「兩化」工作奠定基礎。
二、目標
根據「兩化」建設的總體目標,遵循國土資源標准化指南,建立與「兩化」建設相適應的地質資料信息服務標准化體系,從基礎標准、業務技術標准和行政管理標准三個層面,構建地質資料信息服務集群化產業化標准模型,形成一套比較完整、科學、實用的國家地質資料信息接收、保管、質量評價與驗收、存儲與分類、交換與共享、產品開發、數據結構、元數據、數據編碼、圖示表達、數據整合、地質資料信息服務、產業化發展等標准體系。
三、主要任務
圍繞上述目標的實現,「兩化」標准規范工作的主要任務是:根據國土資源標准化指南和地質資料信息服務工作實際,形成一套比較完整、科學、實用的地質資料信息服務集群化產業化標准體系,開展信息共享、數據集群、產品研發等推進地質資料信息集群化產業化需要的關鍵技術標准研究,構建標准化管理機制,為地質資料信息集群化產業化標准建設提供製度保證。
第三章 標准規范建設建議
一、工作原則
1.科學性
科學性是研製標准體系時應遵從的基本原則,也是標准體系可以很快應用計算機技術、資料庫技術貫徹執行的根本保障。
2.完整性
將描述地質資料信息所需的標准規范分門別類地納入相應的類別中,並使這些類別協調一致,相互配套,構成一個完整的框架,以完整地描述地質資料信息的主要特徵。
3.系統性
系統性是標准規范體系中各標准規范之間內部聯系和區別的體現,做到合理安排,層次合理、分明。
4.先進性
一方面,標准規范體系應充分體現國際標準的發展方向,與國際標準的發展趨勢接軌,同時做到與國家標准相協調;另一方面,標准規范體系應能就地質資料信息採集、生產、應用等方面先進的技術手段進行描述。
5.預見性
在研製標准規范體系時,既要考慮到目前的信息技術水平,也要對未來信息技術的發展有所預見,使標准規范體系能適應領域內各項應用技術的迅猛發展。
6.可擴充性
考慮信息化建設的發展對標准規范體系提出的更新、擴展和延伸的要求,以及水利行業不同流域、流區機構的用戶對《標准》的不同應用需求,要根據信息技術、專業領域的發展和相關國際標准、國家標准、行業標準的不斷完善而進行充實和更新。
二、工作重點
(一)構建標准體系參考模型
標准體系參考模型是標准體系的重要組成部分,也可以叫標准體系參考模型,用於約束和協調標準的制定和組織。它表現為一種標准分類方法,用來對標准進行粗線條的分類,通過它可以把大量的已制定的無序的標准映射為有序子體系,劃清各部分的界線,並能發現標准制定的空白領域,提出需要加強的方面。
(二)研製標准體系框架
標准體系表就是一定范圍內的標准體系內的標准按一定形式排列起來的圖表,它是標准體系的一種直觀表現形式,其組成單元是標准。主要分為:
1.基礎標准
基礎標準是以地質工作為對象,並且在地質資料信息工作中廣泛運用的標准。包括:
(1)名詞術語標准
地質資料信息服務專業領域的名詞術語,是表達地質資料工作事物和概念的。賦予地質資料專業領域事物和概念以規范的名詞術語,為地質資料的研究與交流提供了共同語言,也為制定其他有關標准奠定了基礎。
(2)地質報告標准
地質報告的質量決定著地質資料的質量和效益。制定地質報告標准,不僅是地質工作和地質管理工作的任務,也同地質資料工作密切相關。地質報告標准包括:制圖標准、地質報告格式、地質報告編寫內容和深度標准、地質報告編號標准、地質報告完整性標准等。
(3)專業符號標准
專業符號標准包括地質資料檢索語言中分類號的構成、地質資料檔案編號、地質資料館代號等標准。標准化的地質資料專業符號,對實現地質資料現代化管理有重要意義。
(4)案卷規格和質量標准
案卷是地質資料管理的基本單位,對地質資料工作影響很大,其標准包括:組卷方法標准,保管單位編目的項目、格式和方法標准,案卷內在質量標准,卷和標准等。
(5)庫房、設備標准
儲存和保護好地質資料需要有一定的庫房和設備條件,它們的質量直接關系地質資料的保護與安全,因此,必須制定庫房、設備標准。包括:庫房建築設計標准,地質資料櫃架的質地、規格標准,地質資料保護設備技術性能標准等。
(6)種類、計量單位標准
地質資料的種類是揭示地質資料內容、性質的標志,也是協調、指導地質資料工作合理、健康發展的依據。隨著社會實踐的發展,地質資料涵蓋的范圍越來越大,內容越來越豐富,必須提出其種類劃分的依據標准和基本種類標准。為了配合地質資料管理,還應針對地質資料的特點,規定其計量單位標准。
2.業務技術標准
業務技術標準是以地質資料工作的程序、手冊、職責、要求為對象制定的標准,以及某些與地質資料業務技術工作相關的標准。主要包括以下標准。
(1)業務建設標准
業務建設標準是針對地質資料實體管理工作制定的各項標准。包括:歸檔標准、接收標准、整理標准、鑒定標准、保管標准、統計標准等。
(2)著錄標引標准
著錄標引是地質資料信息儲存與檢索的主要手段,其標准包括著錄規則、標引規則等。
(3)開發、利用標准
開發、利用標準是規范地質資料服務的標准,包括地質資料利用范圍、閱覽室工作規范、有償服務與計價標准、利用效益計算標准、地質資料信息交流的規范、地質資料編研成品質量標准等。
(4)現代化管理標准
現代化管理標准,主要是指應用現代技術裝備管理地質資料的有關標准,如資料庫建設標准、新型地質資料材料質量標准、電子計算機使用與管理標准以及電子檢索系統功能的評價標准等。
(5)共享服務標准
共享服務標準是推進地質資料網下、網上共享、交流的統一標准,包括唯一標識、共享服務協議、產品分級方案、共享介面規范等。
3.地質檔案行政管理標准
行政管理標準是針對地質資料部門和地質資料工作者制定的標准。如地質資料信息共享機制、地質資料產業化發展支持政策、地質資料業務職責和機構設置標准、地質資料室職能標准、地質資料館工作規范、各種地質資料工作者的崗位責任制等。
(三)研製相關技術指南
推進地質資料信息服務集群化產業化是通過對不同類型的地質資料信息進行集群化開發,形成能滿足不同用戶需要的系列產品,並提供產業化服務的工作。因地質資料信息類型不同,對其進行集群化開發的技術方法也不同,因此應針對每一類地質資料信息的特點,分別編制適用於該類地質資料信息集群化開發的技術指南。主要包括:
1)原始地質資料清理技術指南
2)實物地質資料清理技術指南
3)重要成果、原始、實物地質資料數字化技術指南
4)重要鑽孔資料庫建設技術指南
5)國家和省級地質資料數據中心建設指南
6)三維可視化城市地質信息服務和管理系統建設技術指南
7)油氣地質資料信息服務集群化系統建設技術指南
8)地質工作程度資料庫建設技術指南
9)地質資料電子信息網路服務平台建設技術指南
10)重要成礦區帶地質資料信息服務集群化技術指南
11)典型礦床地質資料信息服務集群化技術指南
每一技術指南應包括以下內容:工作步驟;數據整理格式要求;所採用軟體系統或平台。
第四章 主要結論
當前我國建立了收、管、用等方面的地質資料信息服務標准規范,保證了各項工作的正常開展,但還不能適應推進地質資料信息服務集群化產業化的需要,尤其是在數據融合、資料庫建設、網路共享服務、產品加工、產業化發展等標准規范方面存在明顯不足,需要加強標准體系研究,構建地質資料信息服務集群化產業化標准體系模型和體系框架,研發地質資料清理、地質資料數字化、共享服務、產品開發、產業化發展、數據中心建設、資料庫整合等關鍵技術標准,為推進地質資料信息服務集群化產業化提供支撐。
8. 如何利用Linux和GFS打造集群存儲
負載均衡是一項困難的任務。我們經常需要通過NFS(網路文件系統)或其他機制來為數據提供中心地址,從而共享文件系統。雖然你的安全機制可能可以讓你免於Web伺服器節點的故障,但是你仍然需要通過中央存儲節點來共享數據。
通過GFS(全局文件系統)——Linux的一個免費集群文件系統——你可以創建一個不需要依賴其他伺服器的真正穩定的集群。在這篇文章中,我們將展示如何正確地設置GFS.
從概念上來說,一個集群文件系統可以允許多個操作系統載入同一個文件系統並可以在同一時間內向同一文件系統寫入數據。現在有許多集群文件系統,包括Sun的Lustre,Oracle的OCFS(Oracle集群文件系統),以及Linux的GFS.
有許多方法可以讓一個塊設備同時被多個伺服器所使用。你可以分區出一個對多個伺服器都可視的SAN(存儲區域網)LUN(邏輯單元號),設置好相應的iSCSI(互聯網小型計算機系統介面),或使用DRBD(分布式復制塊設備)在兩台伺服器之間復制一個分區。在使用DRBD的時候,你將需要在主/主節點中設置好DRBD以使用GFS.
GFS要求
運行GFS意味著你在運行一個集群。目前為止,運行GFS的最簡單的手段就是使用Red Hat Cluster Suite(RHCS:Red Hat集群套件)。這個套件在CentOS中就有。此外,還需要下面這些包:cman——集群管理器;lvm2-cluster——使LVM(邏輯卷管理器)可以支持集群的CLVM(集群邏輯卷管理器)包;kmod-gfs——GFS內核模塊;最後是gfs-utils.
集群管理器(cman)包含必要的工具,比如分布式鎖管理器。除非你希望花時間來確認各種不同的分發版本是如何採用cman的,否則我們強烈推薦使用CentOS或RHEL.同時,你還將獲得RH(Red Hat)所維護的各種最新版本的集群服務,此外你還可以獲得一個比較穩定的環境。
Fencing(阻絕)機制是絕對必要的。一些指導性文章建議將阻絕模式設定成"手動",因為阻絕設置有可能比較復雜。阻絕意味在集群中進行隔離,或馬上中斷某些危險節點的運作。如果集群無法阻絕某個發生故障的節點,那麼你的GFS將會出現很多問題,因此不要跳過這個步驟。
創建集群設置
你可以通過/etc/cluster/裡面的cluster.conf完成大部分的集群設置。我不建議使用各種集群管理應用程序來創建這個設置文件。即使是完全支持的RHEL應用程序,比如兩個月前發布的Conga,也經常會創建一些無效的cluster.conf文件,並且無法被必要的服務所解析。
下面是一個cluster.conf文件的例子。這個設置文件採用漂亮的XML格式,其內容非常直接。首先,我們對集群進行命名,我們將這個集群稱作"Web.1".
先跳過fence daemon選項,下一個部分就是集群主體的設置內容。你需要在clusternodes部分定義兩個節點。設置文件將同時存放在兩個節點上,這樣這兩個節點就都知道彼此的情況。
集群內的每個節點都聲明其阻絕方式的名稱是獨一無二的。在clusternames結束標簽下面,我們看到fencedevice部分定義了每個節點如何阻絕其他節點的方式。使用一個支持IPMI(智能平台管理介面)的伺服器是最好的方式,而且其設置也是相當簡單。你只要將IPMI的地點以及登錄方式告訴IP就可以了。為了避免在cluster.conf中留下密碼,你可以將它指向一個由根所擁有的腳本並由這個腳本來返回密碼。
我們還要指出的是我們在設置中定義了兩個節點。這是必須的,因為通常來說,除非大部分節點都同意自己的狀態,否則集群無法達到"Quorate"狀態。如果只有兩個節點的話,沒有肯定多數,因此這種方式讓集群只能在兩個節點下工作,而不能只在只有一個節點的情況下工作。這是設置基本集群的必要方式。
在每個節點上運行"service cman start",系統應該可以開始正常運作。你可以檢查"clustat"或"cman nodes"來確認節點是否良好運行。如果有哪個必要的部分沒有啟動,那麼集群將不會顯示"Quorate"狀態。
GFS設置
首先,我們需要設置CLVM,這樣我們才可以通過GFS使用LVM.激活CLVM只要在lvm.conf中設定"locking type=3"就可以了。
然後,就像平常一樣創建一個LVM卷組和卷,但是使用的是共享的塊設備。如果你使用的是DRBD,你將有可能使用/dev/drbd0.我創建了一個物理卷,然後創建一個名為vg01的卷組,然後創建一個名為web1的邏輯卷,這個卷在:/dev/vg01/web1.
最後,我們需要創建文件系統:
gfs_mkfs -t web1:mygfs -p lock_dlm -j 2 /dev/vg01/web1
-t中給定的名稱必須是集群的名稱,然後後面是你給這個文件系統所起的名字。只有web1集群的成員才可以載入這個文件系統。然後,設定分布式鎖管理器的鎖鑰類型,指明你需要兩份journal(因為這是一個雙節點集群)。如果你預計未來要增加更多的節點,那麼你需要在這時設定足夠高的journal數量。
總結
我們現在可以開始使用這個文件系統了。在兩個節點上啟動"clvmd"和"gfs"服務。現在你就可以通過"-t gfs"來將類型指定為GFS,從而載入文件系統。
在開始啟動之前,一定要設定好cman,clvmd和gfs服務。你最好能熟悉clustat和gfs_tool命令,因為在系統出現問題的時候,你可以用這些命令來查找問題所在。
不要指望GFS能很快。如果有一個節點在進行大量的寫入操作的話,那麼在訪問文件系統的時候出現停頓是很正常的。對於一個數據讀取操作比數據寫入操作多得多的Web集群來說,這倒不是什麼問題。如果出現明顯延遲,那麼首先要檢查一下所有組件的狀況,然後評估正在寫入的數據。防止延遲現象的最常見措施就是確保HTTP對話中的數據不是寫入GFS卷。
9. vmware 集群存儲怎麼做備份
可以先克隆一個,然後備份克隆的虛擬機
10. 分布式存儲和傳統存儲比較在哪些應用場景比較有優勢
1、分布式存儲優勢
分布式存儲可以使生產系統在線運行的情況下進行縱向擴展(Scale-Up)或橫向擴展(Scale-Out),且存儲系統在擴展後可以達到容量與性能均線性擴展的效果。其具有以下特性:
高性能
分布式存儲系統能夠將所有存儲節點的處理器資源、硬碟資源、網路資源進行整合,將任務切分給多台存儲節點,進行並發數據處理,避免了單個硬碟或設備造成的瓶頸,提升整個集群的處理能力。分布式存儲系統具有良好的性能擴展能力,可以滿足應用程序對存儲性能不斷增長的要求。
高擴展性
分布式存儲系統通過擴展集群存儲節點規模從而提高系統存儲容量、計算和性能的能力,通過增加和升級伺服器硬體,或者指通過增加存儲節點數量來提升服務能力。分布式存儲系統支持在線增加存儲節點,對前端業務透明,系統整體性能與存儲節點數量呈線性關系。
高可用性
分布式存儲系統同時基於硬體及軟體設計了高可用機制,在面對多種異常時(如存儲節點宕機、網路中斷、硬碟故障、數據損壞等)仍可提供正常服務,提高分布式存儲系統硬體的可用性可以通過增加存儲節點數量或者採用多種硬體冗餘機制保證。分布式存儲系統多採用副本機制或糾刪碼機制保證數據的高可用性,副本機制可以提供較高的數據冗餘度,但會降低存儲系統有效空間的利用率,糾刪碼機制可以在保證一定數據冗餘度的情況下,大幅提高存儲系統的有效空間利用率。
高安全性
分布式存儲系統支持可靠的許可權控制及互信確認機制,同時採用私有的數據切片及數據編碼機制,可以從多重角度保證集群系統不受惡意訪問和攻擊,保護存儲數據不被竊取。
2、分布式存儲應用場景
分布式的「四高」特性,使得其在高性能計算、大數據視頻雲及大數據分析等應用場景中有著廣泛的應用。
高性能計算場景
在如氣象氣候、地質勘探、航空航天、工程計算、材料工程等領域,基於集群的高性能計算,已成為必需的輔助工具。集群系統有極強的伸縮性,可通過在集群中增加或刪減節點的方式,在不影響原有應用與計算任務的情況下,隨時增加和降低系統的處理能力。根據不同的計算模式與規模,構成集群系統的節點數可以從幾個到成千上萬個。這些業務對後端的存儲系統提出了新的需求,包括統一的存儲空間、高效率的文件檢索、高帶寬的吞吐性能,高可靠的數據安全保障等。
大數據視頻雲應用場景
隨著視頻高清技術及超高清技術的普及,視頻大數據應用場景,如雪亮工程、平安城市、廣電媒資、影視製作、視頻網站等領域,對存儲設備提出了大容量、高讀寫性能、高可靠性、低延時及可擴展性等需求。針對這樣大規模視頻數據應用場景,就需要一個技術先進、性能優越的存儲系統作為後端數據存儲的支撐者。
大數據分析應用場景
伴隨著互聯網技術及人工智慧的發展,各種基於海量用戶/數據/終端的大數據分析及人工智慧業務模式不斷涌現,同樣需要充分考慮存儲功能集成度、數據安全性、數據穩定性,系統可擴展性、性能及成本各方面因素。
在數據爆發增長的「數字時代」,軟體定義的分布式存儲是存儲技術高速發展的結晶,並具有著很大的成長空間,必將應用於更廣泛的大數據業務場景。