1. 开展微型数据存储技术创新研发抢占未来大数据存储技术高地的建议
我国数据存储核心技术长期落后,大数据中心按照传统的 科技 房地产的思路将面临资源约束。为了防止我国存储技术“卡脖子”,节省未来海量数据存储占地空间,系统化整合资源解决当前中国大数据存储技术产品的容量问题,建议国家立项 开展微型数据存储技术创新研发 。
我国数据储存的现状和面临的问题
计算机数据存储技术是信息技术应用的核心。一切计算机应用数据都需要由物理设备来存储,以便计算机系统进行读写等处理,数据应用与数据存储恰似树干与树根的密切关系。伴随着信息技术应用的持续高速发展,可以预见未来的数据量必将呈现爆炸式增长,随之而来的海量数据存储瓶颈问题必然日趋严重,加剧着数据存储领域长期面临的容量、安全、性能、扩充、维护、灾备、监管等诸多挑战。其中,容量困境,首当其冲。
当前痛点。 为了满足数据存储容量日益增长的需求,大数据存储中心建设必不可少。放眼当下全国各地的大数据存储中心建设,由于数据存储基础核心技术缺位,流行的模式是不可持续的“ 科技 房地产”,即单纯拓展占地面积盖楼建设数据中心,进而耗费宝贵自然资源。目前我国城市监控视频图像数据受限于数据中心存储容量空间,一般只能保留一个月左右,相关的数据应用严重受制。
应用基石。 底层数据存储是信息产业发展的基石,数据存储技术产品是信息应用系统的架构基础,也是我国的关键行业技术短板。有效的数据存储技术产品涉及到所有信息技术应用场景:人工智能,信息安全,智慧城市,大数据,云计算,区块链,城市大脑,雪亮工程,城市管理视频监控,医学影像识别,等等。
严峻局面。 追溯信息技术百年来的发展轨迹,中国在数据存储基础技术领域的贡献几乎为零。国内数据存储行业主要擅长于市场侧的商业应用创新,数据存储底层管理的核心技术研发严重依赖国外的开源开放。缺乏基础研发梯队,没有关键理论 探索 ;沿袭陈旧的发展思路,习于外购器件设备;底层技术积累短缺,核心创新能力薄弱;严峻的局面至今没有重大改变。
危情险势。 中国在核心存储产品、底层支撑技术、商业应用理念上长期跟跑,遭受外部势力釜底抽薪式的“存储底层关键核心技术精准打击”的隐患和风险极大。面对复杂多变的国际环境,一旦遭遇卡脖子,如外购存储产品断货或核心技术交流封锁,举国上下所有涉及信息技术应用的行业领域都必然窒息。从而直接降低相关产业迭代发展速度,掣肘 社会 前进步伐,削弱国家治理能力,进而危及影响到国家的政治和 社会 稳定。
时不我待。 我们需要立即行动起来,通过立项开展微型数据存储技术创新研发,凝聚国内外数据存储领域资源力量,构建数据存储专业核心技术团队;从研发软件定义的存储(数据去重)技术产品入手,填补国内技术产品领域空白;启动研发微型化(原子级)数据存储设备,抢占未来数据存储领域的制高点。这项举措也是解除我国数据存储技术产品创新研发“卡脖子”危机的最佳途径。
开展微型数据存储技术创新研发的思路
我国应抓住当前数据应用驱动信息技术升级换代的大数据发展 历史 契机,凝聚国内外资源力量,构建中国数据存储专业核心技术团队。近期:研发部署模块化数据去重技术产品,压缩海量数据存储空间需求,填补国内底层数据存储管理技术空白。远期:启动研发微型数据存储设备,抢占未来数据存储技术领域的制高点。
从开展微型数据存储技术创新研发入手,聚焦国际存储技术领域的战略性前沿技术趋势;联手科研院所、高等院校、生产企业、大型用户的资源,建设国家级核心技术团队;积极引进/培养数据存储技术人才,研发自主可控系列产品。
1.近期跟踪行业动态
对标国际顶级数据存储技术产品,砥砺学习底层模块级数据存储去重技术,压缩海量数据存储空间需求,实现自主可控国产数据存储技术管理软件产品的商务应用。基本原理是首先识别出重复的数据模块,然后优化存储多个重复数据模块中的单一模块,以及同其它重复模块的链接关系。进而减少企业级客户存储数据所需的物理空间占有量,降低采购部署数据存储设备的增量。
2.远期重点突出推进
探索 下一代数据存储技术,整合跨学科资源启动开展研发微型存储器,力图将现有基于磁盘/光盘/磁带的计算机数据存储器,转化为未来基于原子/电子运动状态的微型化数字信息采集与存取机制。其原理是将现在耗费数百万个原子的材料介质所表征的一位“0”或“1”二进制计算机数据,试图由单个原子状态变化来表征。于是,可以将现有数据存储设备体积缩小数十万乃至百万倍,最终将占地约足球场面积的大数据存储仓库缩小为便携式器件。
3.研发工作开展建议
开展微型数据存储技术创新研发应该建设成为国内领先、国际一流的数据存储技术研究机构、产业孵化温室、以及人才培养基地。
延揽数据存储技术专家领衔担纲咨询顾问。全球招聘在世界顶级数据存储公司工作多年的业界精英加盟指导。
构建中国数据存储技术研发团队。采用引进师资/开设培训课程等有效方式,积累培育国内数据存储技术力量。
结盟硅谷存储技术研究院。依托美国硅谷地区的数据存储实体公司,共享数据存储底层技术知识。
注册成立企业运营机构。开发软件定义存储(数据去重)技术产品,服务数据用户市场,遵循商务运作规律。
融资涵盖多种基金渠道。申报获取国家重大专项基础项目研发资金,吸引专业投资基金加盟。首期投资约需10亿元人民币(参考国际相关工程估值:美国IBM公司同类项目投资约600亿美元/10年)。
推动微型数据存储技术创新研发的建议
我国在开展新型基础设施建设的同时,应当抓住当前数据计算应用驱动信息技术升级换代的大数据发展 历史 契机,建立数据存储技术的自主知识产权体系,填补国内空白,保障数字中国建设长远规划实施,推进国产数据存储产品崛起,为相关产业发展铺路。
2.建议远期紧跟世界主流研发创新步伐,聚焦研发原子级微型化数据存储技术产品(2020-2040年),在2040年前研发出原子级大数据存储技术,并逐步实现产业化。
3.建议将微型化数据存储技术创新作为国家战略。搭建政产学研用共建共治共享的中国数据存储技术联合创新平台,建设国家级重点实验室。依托科研院所/高等院校/相关企业,奠定从微型数据存储理论、硬件设计、软件开发、结构设计、系统集成等一整套原子级微型数据存储技术研发工作的基础。
4.建议国家相关部委给予配套资金支持。加快推进原子级大数据存储技术研发和产业化转化。支持申报重大 科技 项目和专项扶持资金。
5.建议形成能够长期从事数据存储技术创新的人才队伍。借鉴全球数据存储技术创新研发经验,引进海内外数据存储技术领域顶尖科学家和工程师。在高等院校与科研院所开设数据存储技术专业课程,搭建完善的国内人才培养体系。
6.建议立项过程不宜采用常规项目申报、审批流程,亟需特事特办予以批准。主要是有鉴于本项目相关的科研生产领域中,国内现有技术力量薄弱分散,评估体系资源匮乏。
7.建议项目推进应当低调快速务实:不重造势,不扬虚名,不谋近利。主要是基于当前复杂敏感的国际政治经济形势,预计本项目势将关联国家核心产业战略布局,影响未来数十年中国数字经济命脉与发展。
作 者:中央 财经 大学中国互联网经济研究院研究员 欧阳日辉
通讯员:李 翀
战略性新兴产业专题报道 办事,“刷脸”就行
张家口敢闯敢试、先行先试,积极 探索 氢能产业创新发展的有益路径
“东数西算”正式启动,枢纽网络如何建设?
“十四五”浪潮下如何构建城市数据中心网络?
“我为群众办实事”北京市发展改革委发布第三批政策工具应用指南
大美密云 助推新兴产业发展
东方测控:打造智能制造示范工厂,引领矿山行业新未来
2. 数据中心建设方案
数据中心最初被称为计算中心,在科技发展越来越大的现代社会,数据中心建设起着至关重要的地位,施耐德电气针对现下的社会提出了数据中心建设方案。
数据中心是信息化社会的IT基础设施,作为机构信息系统的运行中心、测试中心和灾备中心,承担着机构的核心业务运营、信息资源服务、关键业务计算、数据存储和备份,以及确保业务连续性等重要任务。
数据中心是一个系统工程,从数据中心的六个基本要素和数据中心全生命周期的角度出发,可以分为以下组成部分:
1.数据中心发展现状及趋势:
2.数据中心可持续发展能力
3.数据中心规划
4.数据中心的节能
5.数据中心建设管理
6.数据中心专业化运维
7.数据中心成本分析
8.数据中心建设模式分析
9.数据中心与信息系统灾难恢复
10.企业级数据中心评价体系
当今社会,那些缺乏可持续发展能力的数据中心已暴露出了较多的问题,例如供电能力不足、无法实现在线扩容、机房送回风不顺畅产生局部热点、数据中心能耗巨大等。这些问题直接影响数据中心的可用性和可靠性,大大缩短了数据中心的正常生命周期。为避免这些问题,通过对数据中心建设方案的调查可表现在以下几个方面:
1.初期资源规划考虑不周、缺乏业务可持续性资源计划考虑。
2.数据中心机房功能性差,缺乏全局规划
3.建筑层高过低、结构承载能力不足,严重制约空间不合理。
4.供电设计密度低,系统可靠性差,不能在线扩容。
5.系统设计缺乏经济性考虑,日常运行能耗大、营运成本高。
6.运维管理缺乏长期性、稳定性及适应性的考量,易出现管理混乱。
数据中心建设已经完成了标准体系,为了有效地帮助各单位数据中心建设与管理者掌握最新技术与解决方案,不断提升建设与管理水平,从而有效加强数据中心置运行支撑能力,施耐德对此作出了数据建设方案,解决了用户在数据中心建设中遇到的难题、最新需求,提出了数据建设中的价值建议。
3. 大数据下的地质资料信息存储架构设计
颉贵琴 胡晓琴
(甘肃省国土资源信息中心)
摘要 为推进我国地质资料信息服务集群化产业化工作,更大更好地发挥地质资料信息的价值,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。
关键词 大数据 地质资料 存储 NoSQL 双数据库
0 引言
新中国成立60多年来,我国形成了海量的地质资料信息,为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题,使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力,充分发挥地质资料信息的服务功能,扩大服务领域,国土资源部根据国内外地质工作的先进经验,做出了全面推进地质资料信息服务集群化产业化工作的部署。
目前,全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理,并对其中重要地质资料进行数字化和存储工作。然而,由于我国地质资源丰富,经过几十年的积累,已经形成了海量的地质资料,数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中,随着共享数据量的不断增大,传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题,需要设计更加先进的数据存储架构来实现海量地质资料的存储。
而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据,科技工作者在不断的研究中,设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,提出一种海量地质资料存储架构,改进现有系统存储架构,以便于我国全面推进地质资料信息服务集群化产业化工作。
1 工作现状
1.1 国内外地质资料信息的存储现状
在美国,主要有两大地质资料公共服务平台,分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS),其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初,澳大利亚出台了国家地球科学填图协议,采用先进的科学方法和技术进行数据存储,从而形成了第二代澳大利亚陆地地质图。
目前,我国地质资料信息服务集群化产业化工作刚刚起步,虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台,并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致,因此各地方所使用的存储系统也不尽相同,主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展,同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而,该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题,也没有给出明确的解决方案。
1.2 大数据的存储架构介绍
大数据是近年在云计算领域中出现的一种新型数据,具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持,转而采用灵活的、分布式的数据存储方式管理数据,从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念,以键值对进行存储,采用的数据字的结构不固定,每一个元组可以有不一样的字段,且每个元组可以根据自己的需要增加一些自己的键值对,可以减少一些检索时间和存储空间。目前,应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。
2 大数据下的地质资料信息存储架构设计
根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署,国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台,实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。
为了与现有系统和现有的工作进行对接,并为将来地质资料进入大数据时代后的存储工作做准备,本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。
整个系统可以根据不同的用户等级分为不同的用户管理层,由于图幅限制,在图1 中仅仅展示了3级:国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。
每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器;甘肃省国土资源信息中心可以单独管理一个服务器,陕西省国土资源信息中心可以单独管理一个服务器;甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。
在服务器上分别安装两套数据库管理系统,一套是原有的MySQL数据库管理系统,另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件,用于进行用户层和数据库的通信以及两套数据库之间的通信。
由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时,他所影响的数据库仅仅是本地数据库,存储效率较高;当用户需要从多个数据库读取数据时,顶层的共享服务平台会根据用户需求进行任务分解,将任务分发给下层的管理层进行数据库读取,由于各个数据库并行读取,从而提高了数据库读取效率。
图1 大数据下的地质资料信息存储架构框图
2.1 用户管理层
用户管理层根据权限范围,分为多层(本文以3层为例)。
位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。
用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。
与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料,还要存储注册用户信息等数据。
下级管理层任务分配是指如果用户需要访问多个下层数据库,用户只需要输入查询这几个下层数据库的命令,而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图,则用户只需要输入这几个地方及铁矿等查询条件,系统将自动把各个省的数据库查询任务分派到下级管理层。
同理,位于下层的省级管理层和市级管理层除了没有用户访问权限功能外,其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。
2.2 MySQL和NoSQL的融合
MySQL是关系型数据库,它支持SQL查询语言,而NoSQL是非关系型数据库,它不支持SQL查询语言。用户要想透明地访问这两套数据库,必须要设计数据库管理器中间件,作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。
图2 数据库管理器模型
服务器管理器通过用户程序接口与应用程序进行通讯,通过MySQL数据库接口与MySQL服务器通讯,通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后,交由数据库访问命令解析器进行命令解析,从而形成MySQL访问命令或者NoSQL访问命令,通过相应的数据库接口访问数据库;数据库返回访问结果后经过汇总,由应用程序接口返回给应用程序。
两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中,从而便于系统的升级和优化。
2.3 系统的存储和检索模式
在本存储框架设计中,系统采用分布式网络存储模式,即采用可扩展的存储结构,利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力,提高了系统的可靠性和可用性,还易于进行系统扩展。另外,由于地质资料信息存储的特殊性,各地方用户的数据存储工作基本都是在本地服务器进行,很少通过网络进行远程存储,所以数据存储效率较高。
在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统,分别用于存储地质资料信息中的结构化数据和非结构化数据。其中,NoSQL型数据库作为主数据库,用于存储一部分结构化数据和全部的非结构化数据;而MySQL数据库作为辅助数据库,用于存储一部分结构化的数据,以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储,因此系统具有很好的适应性和灵活性。
2.4 安全性设计
地质资料信息是国家的机密,地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后,地质资料常常在计算机以及网络上进行传输,地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。
数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能,以保障地质信息在数据库中的存储安全;当用户登录系统访问数据库时,必须进行用户甄别和实名认证,这主要是对用户的身份进行有效的识别,防止非法用户访问数据库;在对地质资料进行网络传输时,应该首先将数据进行加密,然后再进行网络传输,以防止地质信息在传输过程中被窃取。
3 结语
提高地质资料数字化信息化水平,是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建,具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。
参考文献
[1]吴金朋.一种大数据存储模型的研究与应用[D].北京:北京邮电大学计算机学院,2012.
[2]吴广君,王树鹏,陈明,等.海量结构化数据存储检索系统[J].计算机研究与发展,2012,49(Suppl):1~5.
[3]黄
4. 如何面对存储虚拟化
第一、规划好企业的存储虚拟化策略
一个好的存储虚拟化策略将取得事半功倍的效果,因此作为一个存储管理人员必须先制定一个好的存储虚拟化策略,比如是否考虑到需要虚拟化策略?实施虚拟化之前,企业拥有哪些存储资源,实施虚拟化之后,企业又需要哪些资源?实施虚拟化之后,企业如何来管理每天的备份、数据保护、归档已经灾难恢复任务了,这和之前的管理又有什么区别?实施虚拟化之后,企业打算拥有多少数据中心,每个数据都肩负什么功能?
毫无疑问的是存储虚拟化能够带来降低存储管理复杂性、降低存储成本,但是决定何时实施存储虚拟化是一个关键因素,而且也非常困难。因为,评估企业当前和存储相关的业务就显得尤为重要。在实施虚拟化之前,存储系统可能处于一种分散、难于管理的状态,虚拟化之后,存储管理人员可以把多个存储系统整合到一个网络环境中去,而通过一个统一的方式去管理这个网络环境。许多企业的关键业务如何去面对这个新的存储环境是需要存储管理人员去认真考虑的。
一些企业的信息中心主管透漏,国内企业在规划存储虚拟化策略方面的确是做的很不足。在虚拟化日趋普及的今天,还是希望有关人士能够从第一步就做好,好的开始等于成功的一半,规划好企业的存储虚拟化策略的确是能够给企业的IT架构改造带来诸多益处。
第二、将企业业务数据进行合理分类规划
也许你看到这点会觉得很搞笑,你会觉得:企业数据中心的数据当然都是非常重要和关键的,根据他们的关键成都来分类数据是很难的和不必要的。这种一刀切的想法无疑是幼稚的,实践显示,很多公司都在这个环节上失误。企业在实施虚拟化的时候就需要考虑什么样的数据、多少数据你可以承受它们丢失。例如,当前的存储虚拟化技术在数据库的支持方面就不够,如果你对这些结构化的数据类型不太注意的话,造成的后果可能不堪设想。因此对企业业务数据进行合理分类规划是非常重要和有必要的。合理的分类能够让你的存储虚拟化效率更高,管理也更加方便和快捷。
第三、了解数据生命周期
对于一个存储管理人员,另外一个很重要的事情就是需要对企业的日常业务熟悉,特别是对公司数据的生命周期需要有比较深入的了解。如果作为一个存储管理人员现在还没概念,那么就需要思考一下自己对企业日常业务和企业数据生命周期有多少了解了。如何对公司的业务数据不了解的话,那么怎么知道什么时候该去归档了、什么时候该去备份了?
假设对公司业务数据了解的话,那么就知道什么时候把数据放在合适的存储类型上,以及懂得规划数据的分层次存储。
作为一个存储管理人员,针对数据周期的存储优化策略是必须的。毫无疑问的是,存储虚拟化在这方面具有非常大的优势。
通过存储虚拟化,存储管理人员可以讲所有不同的存储系统以及它们相关的卷就可以通过逻辑卷的方式进行统一管理了。而这就非常方便用户来实现数据从一个存储层到另一个存储层的迁移。
第四、规划好存储层次以及服务级别
决定一个公司存储成本的往往不是存储系统的硬件,而是存储平台和存储解决方案的选择,而对企业的存储层次和服务级别规划则决定了存储和存储解决方案的选择。因此规划好你的存储层次和服务级别对于存储虚拟化来说数据访问、数据可用性、数据安全、数据响应时间、数据保护等服务级别成为部署存储虚拟化的基础。
那么如何来平衡这些不同的存储层次服务、优化它们的可用性以及增强数据可管理型了?存储虚拟化可以帮助你来降低不同存储层次服务的复杂性和提高数据的可管理性。并且这种行为是不可见的。
我们来举个例子:一个企业应用需要在不同的数据中心上做灾难备份,这就举要一个高度可用的灾难恢复策略。面对这样的应用需求,我们该怎么办了?存储虚拟化能够轻松的平衡数据复制并且可以采用镜像技术让数据在相关的数据中心位置创建,这样的话,第一份主要的数据存在高性能的存储层次上,其他的备份则不一定是在这个存储服务层次上,所以存储虚拟化让企业选择不同的存储平台来满足数据使用的需求。
第五、考虑安全性和兼容性
也许安全性和兼容性是广大企业用户在实施存储虚拟化中最为担心的问题,实际上这种担心也是很正常的,因此我们在部署虚拟化的环境的时候就应该更加仔细的考虑安全因素。
存储虚拟化允许同一个虚拟池上存储设备的简单数据迁移以及异构磁盘子系统的复制,企业关键数据的第二份拷贝就必须有和第一份数据同样的安全级别。举个很简单的例子,针对灾难回复的企业重要数据的第二份拷贝就需要和第一份数据同样严格的安全级别,需要控制它的访问级别和安全保护。
在一些特殊的领域,诸如金融服务领域,存储虚拟化环境安全性的考虑都将影响存储虚拟化的使用。现在凡是在安全性要求高的行业里面,存储虚拟化的安全性都是重点考虑对象。
我是从IT号外知道的。
5. 信息中心如何服务基层
(一)积极应对,主动求变,适应职能转变和工作要求。
作为基层信息中心,应正确认识工作中面临的问题,以积极的态度应对新形势下的职能转变和工作要求。
首先,充分认识到信息中心的作用与地位。信息化建设任重道远,信息中心工作事关全局,责任重大,地位十分重要。应进一步增强工作的自豪感、责任感与使命感,站在全局的高度来思考与把握自身工作,要把工作放在整个税收工作中去衡量去把握,放眼全局,积极主动,围绕全局的工作中心来开展技术支持和服务工作。
其次,正确认识和对待信息中心职能变化。应当清醒地认识到一体化、集中处理是税收信息化建设的发展趋势,也是税收征管改革不断深化的结果,对因此而产生的巨大变化,不怨天尤人,也不妄自菲薄;要根据形势的变化以及工作的需要,进一步转变观念,主动研究,积极思考,创新思路,调整自身心态与工作重点,把握好发展方向,充分发挥自身的主观能动性,创造性地开展工作。
最后,明确工作思路。基层信息中心应围绕税收工作大局,以提高自身能力为突破口,把工作重点放在对税收业务的信息化支持和保障上来,加强队伍建设,完善运维体系,强化信息安全,深化数据利用,夯实管理基础,推进技术创新,为促进国税事业科学发展提供强有力的支持与保障。
围绕一个中心:围绕国税中心工作的要求来开展工作。
搞好“两个保障”:保障网络、设备和信息安全,建立健全安全防护体系;保障税收信息系统高效运行,完善市、区局两级运维体系。
实现“三个转变”:在系统运维方面,实现从“消防员”向“防疫员”转变,变“被动”运维为“主动”运维;在管理方面,实现从静态的、事后结果处理的粗放式管理向运用现代信息技术进行实时动态的、监控过程的集中式可控性管理转移;在应用工作方面,由侧重硬件网络建设的事务处理型逐步转向深度挖掘资源的信息服务型转变。
提高“四种能力”:增强基础设施支撑能力、运行维护能力,提高安全保障能力、技术服务水平。
(二)明晰职能,把握角色,找准职责定位与发展方向。
弄清岗位职责、找准职能定位是履行信息中心职能、做好信息中心工作的重要前提。当前信息中心的主要职能是:承担本系统信息化建设的技术服务、技术支持和技术保障工作;承担税收管理信息系统的运行维护工作;组织本系统技术基础设施建设管理与运维;参与拟订税收管理信息化建设规划和实施方案,参与税收管理信息化建设项目立项、技术标准、业务需求、资金使用等工作;组织本系统信息安全管理与实施。这不仅规定了信息中心的职能,同时对确定信息中心的主要工作、业务方向、服务对象具有权威性和指导性作用。基层信息中心应围绕“一个目标”、处理“两个关系”、履行“三项职能”、担当“四个使者”、建设“五大中心”,把握好角色定位。
1、围绕“一个目标”,明确职能定位。
围绕信息化建设的总体目标,省、市、区三级信息中心根据工作侧重点不同,明确职能定位。
省局信息中心作为全省信息化建设的主体,其职能定位是:研究、规划全省国税系统信息化发展战略、发展方向,制定信息化建设总体规划;组织、指导和实施全省国税系统信息化建设;制定全省国税系统各项信息管理制度和技术标准规范;领导全省国税系统的各类软件开发、测试及推广应用;实施全省各类信息系统的建设、运行和维护;负责全省国税系统信息安全体系的建设和管理;规划并组织全省国税系统信息技术人员的培训等。
市局信息中心的职能定位是:在省局信息中心的统一领导下,承担起全市的信息化基础设施建设、运行维护、信息安全工作,以及总局、省局下发软件的推广应用工作;根据本地实际需要开发简单、实用的应用软件,主动开展数据分析应用工作;在市局领导支持和相关部门配合下,积极开展对税务干部的计算机知识培训,不断提高全体税务干部的计算机知识水平与实际操作技能。
区局信息中心作为全省信息化建设的基础,支撑作用仍然很重要,应当在上级信息中心的业务指导下开展工作,其职能定位是:承担本单位的信息化基础设施建设、运行维护、信息安全工作,配合市局信息中心完成各类软件的推广应用工作,积极向上级信息中心反映本单位在信息化建设方面存在的问题及需求,做好技术服务,及时解决故障,完成操作培训,确保基层应用到位。
2、处理好“两个关系”,把握职责定位。
一是处理和协调好上下关系。加强与上下级信息中心的沟通与联系,信息中心的工作专业性很强,信息化工作本身非常复杂、变化较快,在落实执行上级工作安排与部署的过程中,遇到问题要及时联系,加强上下沟通,以获得帮助与支持。二是处理与协调好与业务部门的关系。在日常工作中,应主动与业务部门接触和协调,协助他们解决工作中的技术问题,帮助他们提高计算机操作应用水平,同时还应该经常深入征管一线,了解税收业务流程,熟悉业务操作技能;在为其他部门的同志解答难题或排除故障时,要谦虚,有耐心,切忌以“师傅”自居,以“专家”自诩;在配合或协助业务部门工作时,要以大局为重,以工作为重,不要过多地关注和计较部门得失、个人得失,在工作面前多一些主动,在成绩和荣誉面前多一些谦让;在应用软件开发过程中,要虚心向业务处室的同志学习,征求他们的意见,倾听他们的呼声,采纳他们的建议。
3、履行好“三项职能”,提高工作水平。
当前,信息中心要履行好“三项职能”:一是履行好“服务员”职能。信息中心的工作职责决定了其定位于服务的角色,即:为税收业务服务,为基层单位服务,为纳税人服务。二是要履行好“协作员”职能。要主动配合业务部门、积极协作,扎实做好信息化工作。三是履行好“辅导员”职能。积极开展计算机操作应用培训,帮助税务干部排除计算机故障,不断提高税务干部计算机操作应用水平。
4、担当好“四个使者”,把握自身角色。
基层信息中心在信息化建设中充当宣传者、探索者、实践者、守护者等角色。所谓宣传者。主动向本单位的领导和税务干部宣传税收信息化建设的重要性、长期性、复杂性,争取领导的支持和税务干部的理解。所谓探索者,就是站在用户的角度,积极探索为税收信息化提供技术管理、技术支持和技术保障的有效途径,不断为省局信息中心提供有效的建议和可靠的协助,实现技术创新与管理创新相结合,推动税收整体工作全面、协调发展。所谓实践者,就是基层信息中心应该充分发挥自己身处技术与业务“交集”的优势,主动实践,及时总结,为信息化建设积累实践经验,为上级信息中心的决策和工作部署提供参考依据。所谓守护者,基层信息中心应以安全体系建设为己任,充当信息化建设的守护者,切实提升本单位的安全防护能力,提高税务干部的安全防护意识,确保网络及各类应用系统的平稳运行。
5、建设好“五大中心”,安置功能定位。
根据新时期的信息中心职能,可以认为基层信息中心有五大功能定位:分别是网络服务及安全保障中心、设备管理维护中心、数据存储(备份)挖掘中心、系统运维管理中心、技术支持中心。
加强技术支持分中心建设,充分发挥技术支持分中心在信息化工作中的作用。
(三)苦练内功,提升能力,在信息化建设工作中再立新功。
搞好信息中心工作,关键在于人才队伍,其中队伍素质是前提,能力建设是基础,激发潜能是关键。
1、采取措施,稳定发展队伍。
健全信息中心组织机构,调整充实技术队伍,优化人力资源配置和人才结构,采取有效措施,稳定技术队伍,在政治上爱护、生活上关心、工作上支持、学习上鼓励、专业上尊重,畅通成长路径,搭建成长平台,努力为他们的健康成长和全面发展创造条件,使人才“育得好、用得当、留得住”。
2、深教严育,培养人才队伍。
加强技术队伍的培养、使用和管理,培养既精通技术、又熟悉业务的复合型人才,锻造一支具备良好素质、结构合理、能满足软件开发、系统维护和具体操作运用需要的、扎实肯干、相对稳定的、高素质人才队伍。
3、苦练内功,提升素质能力。
采取项目练兵、学习培训、技术交流等形式,不断更新和提升技术人员专业知识和综合素质。信息中心的同志要自觉加强学习,提高专业技术、税收业务、协调沟通、应对突发事件的能力。
4、以人为本,激发队伍活力。
着力营造“尊重人才、爱护人才、激活人才”的良好氛围,营造使他们各尽所能、各得其所又和谐相处的工作环境,用良好的人文环境凝聚人,用人性化管理激发人,充分调动技术人员的积极性、主动性、创造性。
总之,信息中心要加强自身素质能力建设,增强工作的主动性、预见性和超前性。信息中心的同志要继续发扬勇挑重担,无私奉献、开拓创新、积极进取的精神,在信息化建设工作中建功立业,为推动国税事业发展做出新的更大的贡献。
(四)发挥优势,务实创新,推动信息化工作深入发展。
基层信息中心应充分发挥具有一定技术力量,同时又接近基层、熟悉税收业务的优势,结合实际情况积极、主动地开展工作。紧紧围绕“基础管理、应用支持、技术服务、安全保障”方面下功夫,要突出重点抓基础,联系实际抓运用,优化支持抓服务,强化安全抓保障,注重创新抓管理。
第一,加强信息安全工作。决定信息安全成败的重要因素,除了技术,就是管理。安全技术是信息安全控制的重要手段,但仅有安全技术还远远不够,要让安全技术发挥应有的作用,必然要有适当的管理程序支持,否则,安全技术只能趋于僵化和失败。当然,无论是选择技术产品还是实施管理程序,要想真正实现信息安全,必须充分考虑信息安全多样性和动态性等特点,结合各种安全因素,从整体上把握信息安全建设的方方面面。
第二,增强运行维护能力。要按照要求,做好运维队伍、运维制度、运维流程三项基础性工作,以“服务”为核心,业务需求为驱动,按照规范的制度流程和一定的技术手段来加强系统事件管理、问题管理、变更管理和日常作业管理,完善运维体系建设,提升运维效率,确保全市各应用系统安全、稳定、高效运行。
第三,积极参与信息管税。信息中心在实施信息管税中能够发挥重要的作用,有许多工作可以做,对此,专业技术人员要有清醒的认识。信息中心不仅具有掌握数据、懂技术、业务中立的优势,而且具备数据分析的能力,要站在国税工作全局的高度,紧紧围绕服务税收核心业务,充分发挥自身的优势,积极参与“信息管税”工作,把工作重点转向数据资源的深度利用上来,充分发挥信息技术对纳税服务、税收征管及制度创新的支撑和促进作用。充分利用先进的数据仓库技术和数据挖掘技术,建立分析指标体系和分析模型,有针对性地利用现有信息进行综合性地分析和比对,并将分析结果迅速转化为指导税收工作的有效信息。要紧密围绕内部所有税源数据、税收收入数据和外部经济数据等各类历史数据的汇集,对大量涉税数据的各项业务指标从不同角度进行深层次、多维度分析,及时将税收数据分析的结果转化为现实的税收征管工作成果,保障税收收入的平稳较快增长,从而有力地推动全市“信息管税”工作的深入开展。
第四,加强内部管理。优化管理机制,做到分工精细化。以规范管理、提升效能为目标,以岗责、制度建设为重点,健全信息中心内控机制。健全计算机类设备管理维护制度,加强对设备使用人员及管理者的管理。建立健全定期督查制度和随机抽查制度,加强对软件推广运用、系统升级、网络安全等工作的考核落实。
第五,推动工作创新。技术、管理
面对信息中心工作职能转变,只要积极应对,主动求变,大胆探索,创造发展条件,不断探索和创新工作方法,谋求发展新思路,用科学的方法强化管理,用先进的技术提高成效,信息中心工作大有作为,信息化建设的明天会更加美好。
6. 基于SAN存储的国家级土地调查数据管理与集成系统建设
张定祥 戴建旺 李宪文 何欢乐
(中国土地勘测规划院,北京,100035)
摘要:本文在对国家级土地调查数据管理与集成系统建设项目背景分析的基础上,提出了系统建设的总体目标和任务,全面阐述了系统的总体设计、运行模式、系统功能设计思想,系统地介绍了各子系统的功能模块设计,最后本文对该管理与集成系统的应用进行了展望。
关键词:土地调查;数据集成;SAN (Storage Area Network);数据仓库
1 项目背景
目前,随着我国土地调查技术水平不断提高,数据的精度和现势性不断加强,数据资源发挥了越来越重要的作用。但是,我国土地调查数据管理方面还存在一些问题。主要表现在:①数据管理手段落后、数据整合集成度差。大量调查监测与评价数据以文件光盘或纸质方式存放,大多数没有建立集成化的空间数据库;土地资源调查监测数据内容不统一,不同时期数据成果的可比性差,难以形成管理和研究分析需要的区域性时间系列数据;土地数据库存在多种比例尺、多种格式等问题。②数据共享应用存在障碍,数据信息挖掘不够。由于多方面的原因,土地调查数据共享渠道还不够通畅,大量数据资源还未纳入管理,数据应用潜力远没有开发。
当前,建立国家级土地调查数据管理与集成系统的意义在于:①有效整合、集成土地资源调查工程数据成果,为工程提供系列化、标准化的展示成果;②为“金土工程”和“全国土地资源二次详查”等新项目提供标准化、集成化数据产品;③加强数据基础建设,并进行数据信息挖掘,形成土地管理科学决策的数据基础,提高土地科技创新能力和土地资源参与国民经济宏观调控的科学性;④挽救土地资源调查历史数据,加快数据共享应用,保护国家在土地调查多年巨额投资成果。鉴于以上考虑,“土地数据存储管理系统”采用现代数据仓库数据集成技术思路,以三个数据库(土地资料库、土地成果库、土地应用库)、数据整合集成工具包、数据分发和对内对外发布等开发为主要内容,将为国土资源大调查——土地调查原始数据管理、成果数据集成、应用数据产品开发、数据分发服务一体化提供集成的网络化管理与共享平台。该系统的建设将大大提高土地调查数据管理和集成信息化水平。
2 系统建设目标
本系统建设目标为:在对国家级土地数据现状和预测分析基础上,设计并建立基于SAN (Storage Area Network)存域网的土地数据管理与集成系统,实现客户端、数据存储中心和业务系统有机衔接,满足海量土地数据的动态存储、管理维护、更新、整合处理、查询检索等功能,实现土地数据的分布式共享和应用;能够实现对国家级土地调查、评价、规划等数据进行整合、编目、集成形成多层次专题数据建库,并加入数据管理系统;在此基础上,构建土地分中心对外服务共享平台,通过专题数据库整合、集成、网上发布,实现土地调查数据社会化共享。
3 总体设计
3.1 系统总体框架设计
基于SAN存储的国家级土地调查数据管理与集成系统由基础设施、数据和业务应用三层技术体系,安全和整合集成两个技术保障构成,具体的土地数据分中心总体设计架构如图1所示。
图1 土地数据分中心总体设计架构
3.1.1 基础设施层
基础设施层是系统建立及日常运行的基本软硬件环境,其中硬件环境构成了分中心的网络环境、存储环境及安全环境,软件环境则包括操作系统、数据库管理系统、GIS软件环境等。
3.1.2 数据层
数据层是系统建设的核心部分,该层构成了分中心的数据基础设施。全部数据通过建立统一的土地资料元数据实现集中管理与维护。数据层主要由土地资料数据库、土地成果数据库和土地应用数据库组成,数据库内所有土地资料信息在元数据库中管理维护。
3.1.3 业务应用层
业务应用层是分中心的运行层,所有具体的业务人员都在这个基础上实现土地数据分中心的应用。根据应用内容的不同,应用系统包括:土地数据库管理与维护;土地数据库信息检索与查询;土地数据的加工处理与整合;各种土地业务管理应用;国土资源辅助决策支持;科学数据共享服务网站六部分职能。
3.2 运行模式
国家级土地调查数据管理与集成系统日常运行模式有三种,即分中心内部运行模式、院内部运行模式以及院外部运行模式。分中心内部运行模式的核心是土地资料数据的汇交、存储、管理、元数据库维护、数据整合与整理等。院内部运行模式主要为非专业应用系统的普通土地数据用户则可以通过元数据的检索查询完成土地数据的信息浏览、数据下载、数据转换及数据应用工作;此外院内运行的各类土地专业应用系统通过计算机网络,通过访问、检索元数据库实现土地数据仓库的信息共享,从而达到不同格式的土地数据在不同部门和业务系统间的流通、交换和共享利用的目标。
规划院外运行模式涉及国务院各部委机关、国土资源部机关、相关数据中心及信息中心、各级省级国土资源数据中心、省级规划院系统等不同层次和需求用户。
3.3 系统功能设计
3.3.1 采用基于高性能的 SAN 的网络结构
SAN (Storage Area Network)是当前最先进的网络存储方式,本系统数据存储采用光纤布线的方式为用户提高数据传输的带宽和可靠性数据。系统硬件设备主要包括P650小型机、H16 SAN光纤交换机、FastT600光纤磁盘阵列、3583光纤磁带库、IBM EXP400阵列、IBM X365服务器及IBM X445服务器等IBM的设备、SUN的Blade2500图形工作站及Cisco的网络交换机(数据存储结构见图2)。
图2 数据存储结构图
3.3.2 高可扩展性存储设计
从存储容量来看,目前IBM FastT600磁盘阵列可以提供2 T的存储空间,最大可以扩展到16 T的存储容量。IBM 3583-L36光纤磁带库内有36个磁带的舱位,配置了4个磁带驱动器和40盘200 GB的磁带,正常情况下可以存储8 TB的数据,压缩的状态下可存储16 TB的数据。3583磁带库驱动器可以再增加2个,磁带的舱位可以增加到72个。离线磁带的数量理论上是没有限制的,只需更换新的磁带就可以了。
3.3.3 基于数据仓库设计思想的数据存储管理系统
针对国家级土地调查数据多源异构情况复杂而应用目标不十分明确的矛盾,借鉴数据仓库技术思想,设计了数据存储管理系统中土地数据整合集成技术流程。其核心思想在于国家级土地数据通过数据集成工具逐步形成土地资料库、土地成果库、专题产品库等系列产品。系统土地数据整合集成技术体系在以下方面:①外部历史数据进入资料库的元数据录入和数据入库规范,主要由人工处理和系统自动完成;②数据从资料库进入成果库之前的数据转换、抽取、重组、建模、综合和集成过程,主要由系统提供工具软件或数据接口人工操作完成;③成果数据进入应用库之前的数据裁减、融合、接边、格式转换等数据集成过程,以及数据成果库数据挖掘、决策分析功能,此部分主要通过Arc/Engine开发工具的模块和利用Oracle相应的数据挖掘功能实现。
4 功能模块设计
4.1 资料库管理子系统
土地资料库系统通过建立数据的管理元数据、数据命名、数据目录规范入库、构建资料库,实现基于元数据的检索、数据查询、数据预览等功能。土地数据资料进入资料库系统是数据资料的初步整合过程,纸质资料和电子数据进行分类管理,纸质资料只录入编目系统,资料本身不进入数据目录管理系统。电子数据纳入文件目录管理范畴,需要进行元数据录入和文件重命名和数据入库等过程。数据资料整合管理过程主要包括:数据内容选择、元数据录入、文件进入资料库文件目录系统(目录资料不入库)、文件的规范命名、元数据检查修改、元数据查询浏览、数据分发和发布等过程。
土地资料库管理子系统由数据库、管理和维护应用系统、土地数据对外服务系统构成。具体包括:①数据库。根据数据层次的不同,土地资料库管理子系统中含有经过重新目录组织和文件命名的土地资料数据和体现数据目录信息及其他内容的元数据。②数据管理维护系统。针对土地资料数据库、元数据库分别由土地资料管理维护系统、元数据管理维护系统提供相应数据内容的入库、检索、利用、存取控制、备份、恢复等。③土地数据对外服务与数据分发系统。土地数据对外服务系统基于互联网,向社会公众提供元数据、土地资料数据的浏览、查询、下载等土地数据服务。
4.2 成果库管理子系统
在数据库结构预先构建前提下,在经过数据整合和成果提取过程之后,成果数据存储在Oracle Spatial中,数据管理工作包括空间数据本地浏览、数据内容维护和数据库结构维护。具体包括以下几个方面。
4.2.1 成果数据管理
成果最小的组织单位是县,然后确定一个县的土地专题,如县级土地利用、县级动态监测等,系统建库标准参考相关国家建库标准。成果数据的体现按照树型来组织,第一级是成果主题,然后根据成果组织的类型分为分幅和行政区两种方式。分幅方式主要是根据标准比例尺将全国区域分为相应数量的逻辑尺寸,数据的组织采用这两种方式相结合,主要是因为目前有很多已有土地数据成果,本身就是采用分幅来汇交数据,在不改变原有数据的数据范围下就可以完成数据的拼接。另一方面,一般显示数据采用行政区省—市—县逐级索引的,便于数据检索。
(1)成果分幅管理 标准百万分幅、标准50 万分幅、标准25 万分幅、标准10 万分幅、标准5万分幅、标准2.5万分幅、标准1万分幅。
(2)成果行政区管理 省级索引图、市级索引图、县级实际成果数据 (图3)。
图3a 百万分幅索引图
图3b 全国省界索引图
图3c 广东省界索引图
图3d 县级土地利用专题数据
4.2.2 成果空间数据浏览
此功能模块主要用来实现对存储在Oracle Spatial中的成果数据进行预览,主要包括如下空间图形操作功能。放大、缩小、漫游、全图、查阅属性数据、查阅元数据。
4.2.3 成果整合管理
成果库的建立是通过整合工具将目标数据整合而成。成果的整合管理主要是指将数据整合到成果库的过程管理,系统提供整合入库向导辅助完成这个整合过程。整合过程包括如下步骤:①选择成果目标库;②查询选择整合数据源;③确定数据源与目标库(数据表)的对应关系,系统支持多种格式的数据源,包括Arcgis shape,Arcgis coverage,Map-gis,VCT 多种国内外主流 GIS 平台数据格式;④确定数据源属性表与成果库数据字段的对应关系;⑤确定数据源元数据与成果库元数据的对应关系;⑥调用数据整合工具完成目标数据源向成果库的整合。
4.2.4 成果建库管理
成果库包括两个部分,一个是核心库,包括分幅信息、行政区索引信息、成果元数据、县级标准主题库;另一个部分是成果扩展库,主要为了实现系统的兼容性和用户自定义。
由于成果核心数据库结构是预先生成,在系统正常运行阶段不提供用户接口进行调整,可提供根据预先生成的数据库脚本重新创建数据库框架;在不影响资料库数据整合入库和数据发布的情况下,通过和开发人员共同合作实现对数据库的调整。对于成果扩展库,系统提供建库向导辅助用户完成自定义扩展。扩建库建立向导主要完成如下功能:①定义扩展数据库、数据表结构;②确定扩展数据库、数据表与核心库关系;③定义数据获取与更新机制。
4.3 应用库管理子系统
数据的最终目的很大程度上是为了应用于专题中作为数据存储系统的重要功能,要求实现根据专题用户输入应用要求,实现数据提取。完成专题产品的来源可以来自于资料库和成果库,由于各种专题的要求并不一致,因此需要具有通用性且功能强大的通用工具,以便实现专题数据产品的生成。
4.4 数据发布管理子系统
土地数据管理模式采用土地数据存域网和土地数据中心对外发布平台的有机集成管理模式。中国土地勘测规划院内部土地数据管理由对内发布服务系统实现,社会共享数据和信息管理通过土地数据中心对外发布平台实现。土地数据资源要求可以被授权用户使用,使用方式将改变以前通过文件复制的方式,而采用更加方便而且安全有效的方式,即通过信息发布——用户下载的方式来实现。具体功能包括:①数据查询;②数据分发申请登记;③数据分发申请审核;④数据分发授权;⑤数据下载服务;⑥数据下载备案。
图4 数据产品下载申请登记
图5 数据分发审核管理
4.5 数据整合环境与集成工具包
数据整合处理环境由多个数据提取工具构成。利用数据模型构建工具,面向土地专题应用,构建相应的数据仓库框架,逐步扩充土地专题业务应用数据库所涵盖的土地分析专题;通过开发面向特定土地成果数据库或土地专题应用的整合特定数据源数据的数据提取工具,逐步充实数据整合处理环境的数据提取工具;通过运行数据提取工具,逐步充实土地成果数据库和土地专题数据仓库的内容。编写数据提取工具,从各土地资料数据库抽取数据到土地成果数据库中,由土地成果数据抽取数据到土地专题应用数据库中。
基于 ESRI Arc/Engine 组件工具,开发服务于“土地数据整合处理”的各种通用 GIS工具组件备用,同时开发具有友好图形用户界面,实现基于“土地资料库”或“土地成果数据库”及其元数据库提取特定专题应用产品数据库的流程管理的专题产品数据库提取与维护管理系统。考虑到数据产品数据库创建的复杂性,在系统实现过程中,只实现可自动化进行的流程的管理,对于无法自动化的过程,系统给出信息提示,实施手工处理。
图6a 数据整合处理环境提取工具
图6b 通用集成 GIS 工具组件
5 应用展望
当前,加快土地调查评价数据集成既是深化大调查成果的需要,也是国家土地管理新形势对土地资源调查监测数据集成提出的新要求。充分发挥土地调查评价数据的基础性作用,促进国家科技数据资源共享也必须对土地数据进行整合集成。如何对多年来取得的国家级土地调查评价数据,特别是大调查数据进行有效集成和管理,并为国家土地管理宏观决策提供快速、准确的信息服务是国家级土地调查评价数据集成面临的首要问题。基于 SAN 存储的国家级土地调查数据管理与集成系统,首次将土地数据仓库技术思想应用于土地数据管理系统建设中,提出资料库、成品库、应用库三库一体的数据仓库解决方案,对不同处理级别数据分级存储,为土地数据挖掘提供可能,也为不同应用目的数据集成提供实现有效途径。通过该系统建设将能够实现土地数据管理、土地数据处理和信息发布网络化,大大提高信息化建设水平。目前本系统已经初步建成,并处于试运行阶段,正利用本数据管理集成系统平台进行全国城市土地利用动态遥感监测数据、1∶1 万土地利用建库、土地详查1∶5 万县级土地利用栅格数据等土地调查监测数据的整合集成工作。目前已经完成2004年度全国土地利用动态遥感监测成果数据、“数字国土”工程1∶1 万土地利用建库200 多个县区、土地详查1∶5 万县级土地利用栅格数据全部数据(2000 多个县)的整合入库和元数据录入,并可实现对元数据和数据的管理。系统建设已经初见成效,实现了土地调查数据科学有效管理、避免重复投资,为国家宝贵的数据资源科学管理、有效集成和共享应用打下了坚实基础。可以预见,本系统平台将在国土资源大调查——土地资源调查数据整合集成发挥重要作用。当然由于受人员、时间,特别是水平等各方面条件的限制,本系统还需要在国家级土地调查监测的数据整合集成实践中不断地完善、提高。
7. 数据中心的构成是怎么样的
数据中心系统总体设计思想是以数据为中心,按照数据中心系统内在的关系来划分,数据中心系统的总体结构由基础设施层、信息资源层、应用支撑层、应用层和支撑体系五大部分构成。如下图所示:
数据中心总体架构
数据中心系统总体架构
数据中心从顶层上规划总体技术架构、设计技术路线和方法,保证网络、数据资源、应用系统、安全系统等各要素之间构成一个有机的整体,实现企业(机构)数据资源管理的联动和信息的及时监测、汇总与分析。具体各层介绍如下:
(1)基础设施层
基础设施层是指支持整个系统的底层支撑,包括机房、主机、存储、网络通信环境、各种硬件和系统软件。
(2)信息资源层
信息资源层包括数据中心的各类数据、数据库、数据仓库,负责整个数据中心数据信息的存储和规划,涵盖了信息资源层的规划和数据流程的定义,为数据中心提供统一的数据交换平台。
(3)应用支撑层
应用支撑层构建应用层所需要的各种组件,是基于组件化设计思想和重用的要求提出并设计的,也包括采购的第三方组件。
(4)应用层
应用层是指为数据中心定制开发的应用系统,他包括标准建设类应用、采集整合类应用、数据服务类应用和管理运维类应用,以及服务于不同对象的企业信息门户(包括内网门户和外网门户)。
(5)支撑体系
支撑体系包括标准规范体系、运维管理体系、安全保障体系和容灾备份体系。容灾备份体系在传统的数据中心系统中隶属于安全保障体系,随着数据地位的提高,容灾备份已自成体系。安全保障体系侧重于数据中心的立体安全防护,容灾备份体系专注于数据中心的数据和灾难恢复。