当前位置:首页 » 服务存储 » 青海集群存储
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

青海集群存储

发布时间: 2022-11-02 17:56:18

1. 存储虚拟化是什么集群存储又是什么

存储虚拟化广义上来说,就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面,激活一种资源并使之更易于透明控制。
存储虚拟化(Storage Virtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个(或多个)目标(Target)服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。

集群存储是指:由若干个“通用存储设备”组成的用于存储的集群,组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。

2. mysql集群存储实现负载均衡的优缺点。与oracle RAC相比呢

mysql
cluster
是无共享模式,即数据分布存放于每个节点中,而oracle
rac是共享存储模式,数据集中存储的,每个rac节点只是一个oracle实例,两者实现原理不同

3. 分布式存储是什么

分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
分布式和集中式存储
集中存储的优缺点是,物理介质集中布放;视频流上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。

分布存储,集中管理的优缺点是,物理介质分布到不同的地理位置;视频流就近上传,对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

链乔教育在线旗下学硕创新区块链技术工作站是中国教育部学校规划建设发展中心开展的“智慧学习工场2020-学硕创新工作站 ”唯一获准的“区块链技术专业”试点工作站。专业站立足为学生提供多样化成长路径,推进专业学位研究生产学研结合培养模式改革,构建应用型、复合型人才培养体系。

4. hadoop集群的存储架构一般适宜采用das,nas,san或其他什么架构

数据局部性(data locality):这是Hadoop的主要特性,指的是直接在存储数据的节点上做CPU密集型计算。显然,SAN/NAS不适用于任何形式的CPU密集型计算。

RAID:SAN/NAS采用RAID磁盘阵列进行存储,而Hadoop框架通过复本来确保数据的可靠性和容错性。

DAS采用JBOD磁盘数组进行存储,如果Hadoop节点的内置存储容量较小,可以采用DAS做扩展。如果只是想通过Hadoop做数据归档,没有计算,好吧,SAN/NAS是个选择。

5. 我要在hadoop集群上存储一个100g的文件,但是我的空间剩余只有20G

压缩,如果压缩过之后还是大于20G那就没辙了,只能加大集群规模,或者加大单台机器的存储空间,总之必须使得集群总存储空间大于文件大小

6. 什么是集群存储

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集
群应用、网格技术或分布式文机房集中监控系统件系统等功能,将网络中大量各种不同类
型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的
一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就
需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一
个以数据存储和管理为核心的云计算系统。他们基于虚拟化技术和集群架构,具有强大的
横向扩展能力。云存储设备横向扩展的方式让存储系统具有了无限扩展的能力,它能够实
现控制器与硬盘的同时扩展,也就是性能与容量可以同时实现线性扩展。

集群存储是通过将数据分布到集群中各节点的存储方式,提供单一的使用接口与界面,使
用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享
存储池中提供给前端的应用服务器,极大提高了磁盘利用率,可以为非结构化数据提供具
备极高IO带宽和灵活可扩展性的存储解决方案。

7. 地质资料信息服务集群化和产业化标准规范研究报告

研究单位:全国地质资料馆、上海市规划和国土资源管理局、国土资源部信息中心、国土资源部油气资源战略研究中心、国土资源实物地质资料中心

子课题负责人:单昌昊

子课题研究人员:丁 锋 马飞飞 王正平 刘向东 李景朝

张立海 单昌昊 周 舟 贾文珏 颜世强

报告编写人:颜世强 马飞飞

第一章 地质资料信息制度标准规范现状

一、地质资料信息制度标准规范总体框架

地质资料信息制度标准规范总体框架,纵向上由法律法规和标准规范两个层次组成,法律法规包括法律、行政法规、各级规范性文件,标准包括不同级别的工作标准、规范,横向上由地质专业制度标准、信息化制度标准、地质资料馆藏服务制度标准组成,既有区别又紧密联系。

本章重点介绍制度标准规范现状,从地质资料服务、地质专业、地质信息化三个方面,分法律、标准两类详细说明。

(一)地质资料管理及服务工作制度标准规范现状

1.地质资料管理和地质科技档案管理法律、法规及有关规范性文件

主要有:中华人民共和国矿产资源法、中华人民共和国档案法、中华人民共和国矿产资源法实施细则、中华人民共和国档案法实施办法、地质资料管理条例、地质资料管理条例实施办法、地质行业地质科技档案工作条例、地质矿产部岩矿心管理规定、原本地质档案验收办法(试行)、实物地质资料管理办法、涉密地质资料管理细则等11项。

2.地质资料档案管理技术标准规范

主要有:地质资料档案着录细则、地质勘查钻探岩矿心管理通则、档案馆建筑设计要点、磁性载体档案管理与保护规范、档案工作基本术语、归档文件整理规则、电子文件归档与管理规范、科学技术档案案卷构成的一般要求、油气勘探与开发地质资料立卷归档要求、成果地质资料电子文件汇交格式要求、地质勘查钻探岩矿心管理通则、原始地质资料立卷归档规则、油气成果地质资料电子文件制作汇交细则、油气成果地质资料计算机着录细则、图文地质资料扫描数字化规范(试行)、石油地质原本档案立卷归档办法(试行)、地质矿产部测绘档案立卷归档办法(试行)、地质矿产部基本建设档案立卷归档办法、海洋地质原本档案立卷归档办法(试行)、探矿工程档案立卷归档办法、设备档案立卷归档办法、地质矿产部实验测试档案立卷归档办法(试行)、1∶5万区域地质调查原本档案立卷归档办法(试行)、全国汇交地质报告质量验收试行规定、矿产和地下水勘探报告审批办法(试行)、原本地质档案验收办法(试行)、地质矿产部地质学院科学技术档案管理办法(试行)、地质矿产部科学技术档案工作暂行条例、水文地质工程地质钻孔技术档案说明、油气勘探与开发地质资料立卷归档要求等29项。

3.地质资料保密相关规定

主要有:中华人民共和国保守国家秘密法、中华人民共和国保守国家秘密法实施办法、国土资源管理工作国家秘密范围的规定、国家秘密保密期限的规定、印刷复印等行业复制国家秘密载体暂行管理办法、国土资源部保密文件管理暂行规定等6项。

4.地调局地质资料信息服务文件

主要有:中国地质调查局地质调查资料接收保管和服务管理办法(试行)、中国地质调查局地质调查资料管理办法等两项。

(二)地质专业及资料信息化工作制度标准规范现状

1.跨行业通用标准及其相关标准

(1)国土资源数据描述标准

国土资源信息元数据。

(2)国土资源应用系统与网络建设标准

国土资源应用软件设计开发规范、国土资源应用软件质量要求与测试、国土资源网络系统建设规范。

(3)通用标准的相关标准

推进地质资料信息服务集群化产业化

续表

续表

2.地质矿产行业信息化标准

(1)数据描述标准

地质图用色标准及用色原则(1∶5万)DZ/T0179、地质矿产术语分类代码GB9649-88

(2)数据库标准

推进地质资料信息服务集群化产业化

续表

续表

3.地质调查通用标准

推进地质资料信息服务集群化产业化

4.区域地质调查通用标准

推进地质资料信息服务集群化产业化

5.城市区域地质调查标准

城市区域地质调查技术要求(1∶50000)DZ/T0094-1994。

6.海洋区域地质调查与监测标准

海洋区域地质调查规范(1∶1000000)DZ/T0147-2009。

7.海洋矿产勘查标准

大洋金属结核矿产勘查规程GB/T17229-1998。

8.海洋地质其他标准1∶50万海区磁力异常平面图编图规范DZ/T0234-2006、1∶50万海区地貌图编图规范DZ/T0235-2006、1∶50万海区第四纪地质图编图规范DZ/T0236-2006、1∶50万海区自由空间重力异常编图规范DZ/T0237-2006

9.陆地油气金属非金属矿产调查勘查通用标准

推进地质资料信息服务集群化产业化

10.陆地油气金属非金属矿产调查标准

战略性远景调查规范(1∶5万)DD2004-04、固体矿产推断的内蕴经济资源量和经工程验证的预测资源量估算技术要求、煤田地质填图规程(1∶50000、1∶25000、1∶10000、1∶5000)DZ/T0175-1997、自然重砂数据库建设标准。

11.陆地油气金属非金属矿产勘查标准

推进地质资料信息服务集群化产业化

12.水文工程环境灾害地质调查勘查通用标准

推进地质资料信息服务集群化产业化

13.水文地质调查与监测标准

推进地质资料信息服务集群化产业化

14.工程地质调查标准

推进地质资料信息服务集群化产业化

15.环境地质调查与监测标准

区域环境地质调查总则DD2004-02、城市环境地质调查规范(1∶50000)DD2008-03。

16.地质灾害调查监测与防治标准

推进地质资料信息服务集群化产业化

17.地球物理勘查与方法通用标准

地球物理勘查技术符号GB/T14499-1993、地球物理勘查图图示、图例和代码及色标DZ/T0069-1993、岩矿石物性测定技术规程DD2006-03

18.重力勘查与方法标准

推进地质资料信息服务集群化产业化

19.磁勘查与方法标准

推进地质资料信息服务集群化产业化

20.电勘查与方法标准

推进地质资料信息服务集群化产业化

21.地震勘查与方法标准

推进地质资料信息服务集群化产业化

22.放射性勘查与方法标准标准

推进地质资料信息服务集群化产业化

23.应用地球物理勘查与方法标准

固体矿产预查普查中物化探遥感工作要求DD2003-03。

24.地球化学勘查与方法通用标准

推进地质资料信息服务集群化产业化

25.岩石地球化学测量技术标准

岩石地球化学测量技术规范(含采样、钻孔、岩石、坑道)DZ/T0248-2006。

26.土壤地球化学测量技术标准

土壤地球化学测量规范(包括不同比例尺、各阶段的要求)DZ/T0145-1994。

27.水系沉积物地球化学测量技术标准

推进地质资料信息服务集群化产业化

28.气体地球化学测量技术标准

推进地质资料信息服务集群化产业化

29.生态地球化学调查评价标准

推进地质资料信息服务集群化产业化

30.应用地球化学勘查与方法标准

推进地质资料信息服务集群化产业化

31.遥感地质调查与方法标准

推进地质资料信息服务集群化产业化

32.应用遥感地质调查与方法标准

推进地质资料信息服务集群化产业化

33.钻探坑探技术方法通用标准

推进地质资料信息服务集群化产业化

34.钻探技术方法标准

推进地质资料信息服务集群化产业化

35.坑探技术方法标准

推进地质资料信息服务集群化产业化

36.地质测量通用标准

推进地质资料信息服务集群化产业化

37.地质图底图编绘标准

推进地质资料信息服务集群化产业化

38.地质专业测量标准

推进地质资料信息服务集群化产业化

39.地质实验测试通用标准

推进地质资料信息服务集群化产业化

40.岩矿石样品分析方法标准

推进地质资料信息服务集群化产业化

41.土壤样品分析方法标准

推进地质资料信息服务集群化产业化

42.水样品分析方法标准

推进地质资料信息服务集群化产业化

43.同位素方法标准

推进地质资料信息服务集群化产业化

44.物化性能测量标准

推进地质资料信息服务集群化产业化

45.地质实验测试标准物质

推进地质资料信息服务集群化产业化

(三)各试点省集群化建设备用标准规范

1.上海和湖北集群化试点采用标准

结合上海地区地质资料的特点,既按照全国地质资料馆有关地质资料信息化的要求执行,又要制定适合上海的地方具体信息化的要求标准。主要有:《地质资料管理条例》、《图文地质资料扫描数字化规范SZ1999001-2000》、《地质资料档案着录细则DA/T23-2000》、《成果地质资料电子文件汇交格式SZ1999002-2001》、《归档文件整理规则156.5DA/T22-2000》、地质资料管理办法、工程地质勘察项目汇交格式、地质资料信息化技术要求、工程地质勘察资料入库数字化要求、上海城市三维地质信息系统各专业属性表格设计。

湖北省参照上海市有关规范标准执行。

2.湖南省集群化试点采用标准

主要有:D2004-04战略性矿产远景调查技术要求(试行)、DD2005固体矿产勘查原始地质编录规程、DZ/T0001-91区域地质调查总则(1∶50000)、DZ/T0127-94固体矿产矿点(床)地质数据文件格式、DZ/T0179-1997地质图用色标准及用色原则(1∶50000)、DZ/T0078—93固体矿产勘查原始地质编录规定、DZ/T0079-1993固体矿产勘查地质资料综合整理研究规定、DZ/T0216-2002煤层气资源/储量规范、GB/T19308-2002固体矿产地质勘查规范总则、GB/T13687-92固体矿产普查总则、GB/T17766-1999固体矿产资源/储量分类、GB/T13908-2002固体矿产地质勘查规范总则、GB/T14498-93工程地质术语、GB958-89区域地质图图例(1∶50000)、GB13923国土基础信息数据分类与代码、GB/T2260-1995中华人民共和国行政区划代码、GB/T9649-88地质矿产术语分类代码、GB/T7408-2005/ISO8610∶2000数据元和交换格式信息交换日期和时间表示法、GB/T17798-2007地理空间数据交换格式等。

3.青海省集群化试点采用标准

主要有:GB2260-99中华人民共和国行政区划代码、GB958-89区域地质图图例(1∶50000)、GB9648-88地质矿产术语分类代码、GB/T13989-92国家基本比例尺地形图分幅编号、GBT17694-1999地理信息技术基本术语、DZ/T0001-91区域地质信息总则(1∶50000)、DZ/T0197-1997数字化地质图图层及属性文件格式、DDB9702GIS图层描述数据内容标准、DZ9701资源评价工作中地理信息系统工作细则、DZ/T0179-1997地质图用色标准及用色原则、DZ地质资料着录文件格式、地质矿产勘查标准汇编(1999)、全国地质工作程度数据库建设工作指南(2006年9月修订)、中国地质调查局地质调查技术标准(中国地质调查局,2008年7月)等。

二、地质资料信息工作制度标准规范存在问题

推进“两化”需要标准先行,尽管已基本形成了地质资料服务、地质专业、国土资源信息及地质调查信息化标准体系,但从国家“两化”的总体需求来看,已经形成的这些标准还远不能满足“两化”工作的要求。统一规划、统一标准是推进“两化”的关键,在“两化”建设的过程中,标准是关键,应用是核心。目前的标准化工作还存在以下不足:

(一)实现地质资料信息集群共享关键技术的标准显得薄弱与研发滞后

与国外先进国家相比,目前我国在地质资料信息共享方面的标准制订相对滞后,当前已经完成的标准主要集中在专业的代码标准,支持空间数据网络共享的标准仅有空间数据格式转换标准,然而由于地质资料数据的特殊性,在图例、图示方面,该标准尚不能满足地质数据转换的需求,为此这一方面的标准化工作任重道远。“九五”和“十五”期间,国家在地理空间信息共享的标准、政策、运行模式方面开展了全面和卓有成效的研究工作,取得了显着进展,为国家制订实施空间信息基础设施发展规划和相关政策措施奠定了基础。但大部分标准、政策还停留在“研究”和“建议”的水平。研究提出支持我国资源环境地理空间信息共享同时符合我国国情的政策、标准、管理运行模式已经成为当前各级空间信息共享建设和应用的迫切需要。为实现信息的广泛共享,还应大力加强地质资料信息的分类编码标准、数据访问协议、数据分发标准、科学语言描述规范等标准的制定。

(二)标准体系不健全,地质资料信息服务方面的标准或规范严重缺乏

美国、英国、加拿大、澳大利亚、荷兰等发达国家与地区经历以社会信息化和信息社会化为标志的知识经济发展过程,带动了经济全球化,建立健全了国家空间信息基础设施,海量的地球空间信息提供利用,通过政府调控与市场调节相结合的政策导向和各种机制,使空间信息技术逐步实现了产业化,并因此获得了巨大的经济与社会利益。标准化建设是实现空间信息技术产业化的关键,没有一体化的地质资料信息服务标准,就无法建立一体化的服务体系。

(三)已形成的标准多属某个具体工作项目的技术约定,单个标准之间的协调性差,制约了地质资料信息集群化开展

目前的地质资料信息服务标准或技术约定的制定大部分都是根据具体的工作项目或是某一特定的地质任务而形成的,各标准之间的协调性较差,使今后海量、多源数据的综合一体化管理和综合应用受到限制。而应用GIS对地理、地质、地球物理、地球化学、遥感、环境、土地等多源地质资料信息进行管理与综合分析,来解决资源(土地资源、矿产资源、海洋资源等)评价、灾害预测与防治等问题越来越普遍。而且随着GIS技术应用的深入,对多学科的地学空间信息进行集成管理、综合分析的需求会越来越迫切。与此相适应,其标准化也必然具有综合的性质。要满足这样的标准化需求,孤立的单个标准是无能为力的,需要多个标准的相互协调,才能在整体上达到效益最佳,从而实现多源地质资料信息的综合应用,为政府决策、公司、企业等提供方便、快捷的综合地学信息。

(四)地质资料服务相关标准落实,影响了集群化服务水平的提高

目前地质资料共享、保密、服务等信息服务相关政策法规不完善,导致地质资料服务分级分类五花八门,服务收费千差万别。其中,涉密地质资料是影响社会化服务的一个重要因素,涉密标准不统一,地质资料数据相关服务机构在互联网上提供的服务非常有限,只能限于地质资料的目录检索、一些元数据的发布、岩石地层数据库的查询,以及小比例尺地质图的发布。一些重要的基础地质数据库,如1∶20万、1∶50万地质图空间数据库、重力数据库、区域化探数据库等都因为涉密而无法通过网络提供服务。

(五)标准的宣传贯彻严重滞后

目前所完成的标准,只有有限的几个公布实施。从标准的实施情况来看,明显缺乏标准的宣传力度,主要体现在对标准的理解程度不一致或错误,导致采集的数据有缺陷,为数据集成和应用带来困难。同时支持这些标准规范实施的软件工具严重缺乏。目前的标准投资,只有研制标准的资金,没有支持标准规范实施的软件工具开发经费和宣传贯彻经费,直接的后果就是标准无法应用或很难应用。

第二章 地质资料信息标准规范建设主要目标及任务

一、指导思想

以科学发展观为指导,以贯彻落实《国务院关于加强地质工作决定》中“推进地质资料开发利用”为目的,以执行《国土资源部推进地质资料信息服务集群化产业化工作方案》(国土资厅发〔2010〕113号)为纲领,按照部推进“两化”总体部署,结合地质资料信息服务工作实际,针对“两化”试点和推广工作中标准规范应用现状及问题,研究建立地质资料信息服务“两化”标准体系框架,健全完善相关技术指南,为地质资料信息服务集群化产业化试点工作提供技术支撑,为全国推进“两化”工作奠定基础。

二、目标

根据“两化”建设的总体目标,遵循国土资源标准化指南,建立与“两化”建设相适应的地质资料信息服务标准化体系,从基础标准、业务技术标准和行政管理标准三个层面,构建地质资料信息服务集群化产业化标准模型,形成一套比较完整、科学、实用的国家地质资料信息接收、保管、质量评价与验收、存储与分类、交换与共享、产品开发、数据结构、元数据、数据编码、图示表达、数据整合、地质资料信息服务、产业化发展等标准体系。

三、主要任务

围绕上述目标的实现,“两化”标准规范工作的主要任务是:根据国土资源标准化指南和地质资料信息服务工作实际,形成一套比较完整、科学、实用的地质资料信息服务集群化产业化标准体系,开展信息共享、数据集群、产品研发等推进地质资料信息集群化产业化需要的关键技术标准研究,构建标准化管理机制,为地质资料信息集群化产业化标准建设提供制度保证。

第三章 标准规范建设建议

一、工作原则

1.科学性

科学性是研制标准体系时应遵从的基本原则,也是标准体系可以很快应用计算机技术、数据库技术贯彻执行的根本保障。

2.完整性

将描述地质资料信息所需的标准规范分门别类地纳入相应的类别中,并使这些类别协调一致,相互配套,构成一个完整的框架,以完整地描述地质资料信息的主要特征。

3.系统性

系统性是标准规范体系中各标准规范之间内部联系和区别的体现,做到合理安排,层次合理、分明。

4.先进性

一方面,标准规范体系应充分体现国际标准的发展方向,与国际标准的发展趋势接轨,同时做到与国家标准相协调;另一方面,标准规范体系应能就地质资料信息采集、生产、应用等方面先进的技术手段进行描述。

5.预见性

在研制标准规范体系时,既要考虑到目前的信息技术水平,也要对未来信息技术的发展有所预见,使标准规范体系能适应领域内各项应用技术的迅猛发展。

6.可扩充性

考虑信息化建设的发展对标准规范体系提出的更新、扩展和延伸的要求,以及水利行业不同流域、流区机构的用户对《标准》的不同应用需求,要根据信息技术、专业领域的发展和相关国际标准、国家标准、行业标准的不断完善而进行充实和更新。

二、工作重点

(一)构建标准体系参考模型

标准体系参考模型是标准体系的重要组成部分,也可以叫标准体系参考模型,用于约束和协调标准的制定和组织。它表现为一种标准分类方法,用来对标准进行粗线条的分类,通过它可以把大量的已制定的无序的标准映射为有序子体系,划清各部分的界线,并能发现标准制定的空白领域,提出需要加强的方面。

(二)研制标准体系框架

标准体系表就是一定范围内的标准体系内的标准按一定形式排列起来的图表,它是标准体系的一种直观表现形式,其组成单元是标准。主要分为:

1.基础标准

基础标准是以地质工作为对象,并且在地质资料信息工作中广泛运用的标准。包括:

(1)名词术语标准

地质资料信息服务专业领域的名词术语,是表达地质资料工作事物和概念的。赋予地质资料专业领域事物和概念以规范的名词术语,为地质资料的研究与交流提供了共同语言,也为制定其他有关标准奠定了基础。

(2)地质报告标准

地质报告的质量决定着地质资料的质量和效益。制定地质报告标准,不仅是地质工作和地质管理工作的任务,也同地质资料工作密切相关。地质报告标准包括:制图标准、地质报告格式、地质报告编写内容和深度标准、地质报告编号标准、地质报告完整性标准等。

(3)专业符号标准

专业符号标准包括地质资料检索语言中分类号的构成、地质资料档案编号、地质资料馆代号等标准。标准化的地质资料专业符号,对实现地质资料现代化管理有重要意义。

(4)案卷规格和质量标准

案卷是地质资料管理的基本单位,对地质资料工作影响很大,其标准包括:组卷方法标准,保管单位编目的项目、格式和方法标准,案卷内在质量标准,卷和标准等。

(5)库房、设备标准

储存和保护好地质资料需要有一定的库房和设备条件,它们的质量直接关系地质资料的保护与安全,因此,必须制定库房、设备标准。包括:库房建筑设计标准,地质资料柜架的质地、规格标准,地质资料保护设备技术性能标准等。

(6)种类、计量单位标准

地质资料的种类是揭示地质资料内容、性质的标志,也是协调、指导地质资料工作合理、健康发展的依据。随着社会实践的发展,地质资料涵盖的范围越来越大,内容越来越丰富,必须提出其种类划分的依据标准和基本种类标准。为了配合地质资料管理,还应针对地质资料的特点,规定其计量单位标准。

2.业务技术标准

业务技术标准是以地质资料工作的程序、手册、职责、要求为对象制定的标准,以及某些与地质资料业务技术工作相关的标准。主要包括以下标准。

(1)业务建设标准

业务建设标准是针对地质资料实体管理工作制定的各项标准。包括:归档标准、接收标准、整理标准、鉴定标准、保管标准、统计标准等。

(2)着录标引标准

着录标引是地质资料信息储存与检索的主要手段,其标准包括着录规则、标引规则等。

(3)开发、利用标准

开发、利用标准是规范地质资料服务的标准,包括地质资料利用范围、阅览室工作规范、有偿服务与计价标准、利用效益计算标准、地质资料信息交流的规范、地质资料编研成品质量标准等。

(4)现代化管理标准

现代化管理标准,主要是指应用现代技术装备管理地质资料的有关标准,如数据库建设标准、新型地质资料材料质量标准、电子计算机使用与管理标准以及电子检索系统功能的评价标准等。

(5)共享服务标准

共享服务标准是推进地质资料网下、网上共享、交流的统一标准,包括唯一标识、共享服务协议、产品分级方案、共享接口规范等。

3.地质档案行政管理标准

行政管理标准是针对地质资料部门和地质资料工作者制定的标准。如地质资料信息共享机制、地质资料产业化发展支持政策、地质资料业务职责和机构设置标准、地质资料室职能标准、地质资料馆工作规范、各种地质资料工作者的岗位责任制等。

(三)研制相关技术指南

推进地质资料信息服务集群化产业化是通过对不同类型的地质资料信息进行集群化开发,形成能满足不同用户需要的系列产品,并提供产业化服务的工作。因地质资料信息类型不同,对其进行集群化开发的技术方法也不同,因此应针对每一类地质资料信息的特点,分别编制适用于该类地质资料信息集群化开发的技术指南。主要包括:

1)原始地质资料清理技术指南

2)实物地质资料清理技术指南

3)重要成果、原始、实物地质资料数字化技术指南

4)重要钻孔数据库建设技术指南

5)国家和省级地质资料数据中心建设指南

6)三维可视化城市地质信息服务和管理系统建设技术指南

7)油气地质资料信息服务集群化系统建设技术指南

8)地质工作程度数据库建设技术指南

9)地质资料电子信息网络服务平台建设技术指南

10)重要成矿区带地质资料信息服务集群化技术指南

11)典型矿床地质资料信息服务集群化技术指南

每一技术指南应包括以下内容:工作步骤;数据整理格式要求;所采用软件系统或平台。

第四章 主要结论

当前我国建立了收、管、用等方面的地质资料信息服务标准规范,保证了各项工作的正常开展,但还不能适应推进地质资料信息服务集群化产业化的需要,尤其是在数据融合、数据库建设、网络共享服务、产品加工、产业化发展等标准规范方面存在明显不足,需要加强标准体系研究,构建地质资料信息服务集群化产业化标准体系模型和体系框架,研发地质资料清理、地质资料数字化、共享服务、产品开发、产业化发展、数据中心建设、数据库整合等关键技术标准,为推进地质资料信息服务集群化产业化提供支撑。

8. 如何利用Linux和GFS打造集群存储

负载均衡是一项困难的任务。我们经常需要通过NFS(网络文件系统)或其他机制来为数据提供中心地址,从而共享文件系统。虽然你的安全机制可能可以让你免于Web服务器节点的故障,但是你仍然需要通过中央存储节点来共享数据。
通过GFS(全局文件系统)——Linux的一个免费集群文件系统——你可以创建一个不需要依赖其他服务器的真正稳定的集群。在这篇文章中,我们将展示如何正确地设置GFS.
从概念上来说,一个集群文件系统可以允许多个操作系统载入同一个文件系统并可以在同一时间内向同一文件系统写入数据。现在有许多集群文件系统,包括Sun的Lustre,Oracle的OCFS(Oracle集群文件系统),以及Linux的GFS.
有许多方法可以让一个块设备同时被多个服务器所使用。你可以分区出一个对多个服务器都可视的SAN(存储局域网)LUN(逻辑单元号),设置好相应的iSCSI(互联网小型计算机系统接口),或使用DRBD(分布式复制块设备)在两台服务器之间复制一个分区。在使用DRBD的时候,你将需要在主/主节点中设置好DRBD以使用GFS.
GFS要求
运行GFS意味着你在运行一个集群。目前为止,运行GFS的最简单的手段就是使用Red Hat Cluster Suite(RHCS:Red Hat集群套件)。这个套件在CentOS中就有。此外,还需要下面这些包:cman——集群管理器;lvm2-cluster——使LVM(逻辑卷管理器)可以支持集群的CLVM(集群逻辑卷管理器)包;kmod-gfs——GFS内核模块;最后是gfs-utils.
集群管理器(cman)包含必要的工具,比如分布式锁管理器。除非你希望花时间来确认各种不同的分发版本是如何采用cman的,否则我们强烈推荐使用CentOS或RHEL.同时,你还将获得RH(Red Hat)所维护的各种最新版本的集群服务,此外你还可以获得一个比较稳定的环境。
Fencing(阻绝)机制是绝对必要的。一些指导性文章建议将阻绝模式设定成"手动",因为阻绝设置有可能比较复杂。阻绝意味在集群中进行隔离,或马上中断某些危险节点的运作。如果集群无法阻绝某个发生故障的节点,那么你的GFS将会出现很多问题,因此不要跳过这个步骤。
创建集群设置
你可以通过/etc/cluster/里面的cluster.conf完成大部分的集群设置。我不建议使用各种集群管理应用程序来创建这个设置文件。即使是完全支持的RHEL应用程序,比如两个月前发布的Conga,也经常会创建一些无效的cluster.conf文件,并且无法被必要的服务所解析。
下面是一个cluster.conf文件的例子。这个设置文件采用漂亮的XML格式,其内容非常直接。首先,我们对集群进行命名,我们将这个集群称作"Web.1".
先跳过fence daemon选项,下一个部分就是集群主体的设置内容。你需要在clusternodes部分定义两个节点。设置文件将同时存放在两个节点上,这样这两个节点就都知道彼此的情况。
集群内的每个节点都声明其阻绝方式的名称是独一无二的。在clusternames结束标签下面,我们看到fencedevice部分定义了每个节点如何阻绝其他节点的方式。使用一个支持IPMI(智能平台管理接口)的服务器是最好的方式,而且其设置也是相当简单。你只要将IPMI的地点以及登录方式告诉IP就可以了。为了避免在cluster.conf中留下密码,你可以将它指向一个由根所拥有的脚本并由这个脚本来返回密码。
我们还要指出的是我们在设置中定义了两个节点。这是必须的,因为通常来说,除非大部分节点都同意自己的状态,否则集群无法达到"Quorate"状态。如果只有两个节点的话,没有肯定多数,因此这种方式让集群只能在两个节点下工作,而不能只在只有一个节点的情况下工作。这是设置基本集群的必要方式。
在每个节点上运行"service cman start",系统应该可以开始正常运作。你可以检查"clustat"或"cman nodes"来确认节点是否良好运行。如果有哪个必要的部分没有启动,那么集群将不会显示"Quorate"状态。
GFS设置
首先,我们需要设置CLVM,这样我们才可以通过GFS使用LVM.激活CLVM只要在lvm.conf中设定"locking type=3"就可以了。
然后,就像平常一样创建一个LVM卷组和卷,但是使用的是共享的块设备。如果你使用的是DRBD,你将有可能使用/dev/drbd0.我创建了一个物理卷,然后创建一个名为vg01的卷组,然后创建一个名为web1的逻辑卷,这个卷在:/dev/vg01/web1.
最后,我们需要创建文件系统:
gfs_mkfs -t web1:mygfs -p lock_dlm -j 2 /dev/vg01/web1
-t中给定的名称必须是集群的名称,然后后面是你给这个文件系统所起的名字。只有web1集群的成员才可以载入这个文件系统。然后,设定分布式锁管理器的锁钥类型,指明你需要两份journal(因为这是一个双节点集群)。如果你预计未来要增加更多的节点,那么你需要在这时设定足够高的journal数量。
总结
我们现在可以开始使用这个文件系统了。在两个节点上启动"clvmd"和"gfs"服务。现在你就可以通过"-t gfs"来将类型指定为GFS,从而载入文件系统。
在开始启动之前,一定要设定好cman,clvmd和gfs服务。你最好能熟悉clustat和gfs_tool命令,因为在系统出现问题的时候,你可以用这些命令来查找问题所在。
不要指望GFS能很快。如果有一个节点在进行大量的写入操作的话,那么在访问文件系统的时候出现停顿是很正常的。对于一个数据读取操作比数据写入操作多得多的Web集群来说,这倒不是什么问题。如果出现明显延迟,那么首先要检查一下所有组件的状况,然后评估正在写入的数据。防止延迟现象的最常见措施就是确保HTTP对话中的数据不是写入GFS卷。

9. vmware 集群存储怎么做备份

可以先克隆一个,然后备份克隆的虚拟机

10. 分布式存储和传统存储比较在哪些应用场景比较有优势

1、分布式存储优势

分布式存储可以使生产系统在线运行的情况下进行纵向扩展(Scale-Up)或横向扩展(Scale-Out),且存储系统在扩展后可以达到容量与性能均线性扩展的效果。其具有以下特性:

高性能

分布式存储系统能够将所有存储节点的处理器资源、硬盘资源、网络资源进行整合,将任务切分给多台存储节点,进行并发数据处理,避免了单个硬盘或设备造成的瓶颈,提升整个集群的处理能力。分布式存储系统具有良好的性能扩展能力,可以满足应用程序对存储性能不断增长的要求。

高扩展性

分布式存储系统通过扩展集群存储节点规模从而提高系统存储容量、计算和性能的能力,通过增加和升级服务器硬件,或者指通过增加存储节点数量来提升服务能力。分布式存储系统支持在线增加存储节点,对前端业务透明,系统整体性能与存储节点数量呈线性关系。

高可用性

分布式存储系统同时基于硬件及软件设计了高可用机制,在面对多种异常时(如存储节点宕机、网络中断、硬盘故障、数据损坏等)仍可提供正常服务,提高分布式存储系统硬件的可用性可以通过增加存储节点数量或者采用多种硬件冗余机制保证。分布式存储系统多采用副本机制或纠删码机制保证数据的高可用性,副本机制可以提供较高的数据冗余度,但会降低存储系统有效空间的利用率,纠删码机制可以在保证一定数据冗余度的情况下,大幅提高存储系统的有效空间利用率。

高安全性

分布式存储系统支持可靠的权限控制及互信确认机制,同时采用私有的数据切片及数据编码机制,可以从多重角度保证集群系统不受恶意访问和攻击,保护存储数据不被窃取。

2、分布式存储应用场景

分布式的“四高”特性,使得其在高性能计算、大数据视频云及大数据分析等应用场景中有着广泛的应用。

高性能计算场景

在如气象气候、地质勘探、航空航天、工程计算、材料工程等领域,基于集群的高性能计算,已成为必需的辅助工具。集群系统有极强的伸缩性,可通过在集群中增加或删减节点的方式,在不影响原有应用与计算任务的情况下,随时增加和降低系统的处理能力。根据不同的计算模式与规模,构成集群系统的节点数可以从几个到成千上万个。这些业务对后端的存储系统提出了新的需求,包括统一的存储空间、高效率的文件检索、高带宽的吞吐性能,高可靠的数据安全保障等。

大数据视频云应用场景

随着视频高清技术及超高清技术的普及,视频大数据应用场景,如雪亮工程、平安城市、广电媒资、影视制作、视频网站等领域,对存储设备提出了大容量、高读写性能、高可靠性、低延时及可扩展性等需求。针对这样大规模视频数据应用场景,就需要一个技术先进、性能优越的存储系统作为后端数据存储的支撑者。

大数据分析应用场景

伴随着互联网技术及人工智能的发展,各种基于海量用户/数据/终端的大数据分析及人工智能业务模式不断涌现,同样需要充分考虑存储功能集成度、数据安全性、数据稳定性,系统可扩展性、性能及成本各方面因素。

在数据爆发增长的“数字时代”,软件定义的分布式存储是存储技术高速发展的结晶,并具有着很大的成长空间,必将应用于更广泛的大数据业务场景。