当前位置:首页 » 数据仓库 » 数据库多粒度
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

数据库多粒度

发布时间: 2023-07-06 10:27:24

A. 江西省萍乡市基于网络的县级土地利用数据库集成应用研究初探

胡辉1 谢梅生2

(1.江西省土地勘测规划院,江西南昌,330046;2.萍乡市国土资源勘测设计院,江西萍乡,337000)

摘要:本文介绍了江西省萍乡市建立基于网络的基级土地利用数据库集成的技术路线及方法,为今后开展县级土地利用数据库集成应用提供技术依据和工作思路。

关键词:基于网络;数据库;集成应用;研究

1 研究背景及可行性分析

1.1 研究背景

江西省于1999年启动全省1∶1 万县(市)级土地利用现状数据库建设。萍乡是中国近代工业的先驱,中国工人运动的策源地,秋收起义的主要爆发地,是红色革命圣地。萍乡市位于江西省西部,地处湘赣边界,现辖上栗、芦溪、莲花三县,安源、湘东两区和一个省级经济开发区——安源经济开发区。萍乡市从2000年起步,历经四年,完成了除莲花县外的四个区县的土地利用现状数据库建设,并通过了省厅组织的预检和验收,项目成果已在各地土地管理工作中发挥了重要作用。与此同时,相关的调研结果表明:数据库建设虽然全面开展并取得重要进展,但成果应用仍存在一定的问题,主要表现为以下两方面:①“闲库”、“死库”屡见不鲜,有些数据库在实际工作中没有发挥其应有的价值;②各县区的数据库成果整合困难,数据无法流通和共享,难以在地市级以上层面发挥作用。

当前,国家的土地管理制度和管理职能发生了重大变化,土地资源管理参与宏观调控,“金土工程”的启动对土地利用现状数据的管理也提出了新的要求。新的形势、新的管理制度和管理职能要求我们必须重新审视土地利用数据管理和应用模式。对于市级国土资源管理部门来说,怎样集成应用这些分散独立的 1∶1 万县(市)级土地利用数据库,使其为建设用地审批、耕地保护和土地利用规划等各项管理工作服务,是试点研究需要重点解决的问题。

1.2 可行性分析

1.2.1 伴随信息技术的迅猛发展,研究所需的关键技术已经成熟

近年来信息技术迅猛发展,海量数据存储与数据仓库技术、大型数据库技术、网络技术、基于 Web 的应用及通讯技术不断完善;“3 S”技术在国土资源调查中的应用日趋成熟;网络信息安全与保密技术日新月异,这些关键技术的迅猛发展为本试点研究的开展创造了良好的技术条件。

1.2.2 国土资源信息网络建设和各类相关技术标准试行为本研究奠定了基础

国土资源信息网络体系的建设使国土空间数据传输、交换、共享和集成应用成为现实;同时,国土资源部2001年颁布试行了《县(市)级土地利用数据库标准》和《县(市)级土地利用数据库技术规定》,同年组织了全国范围内的建库软件平台测评,使得江西省土地利用现状数据库建设在统一的数据格式标准和规范的技术路线及全省统一的MAPGIS 平台下进行,为本试点研究的开展奠定了坚实的基础。

1.2.3 领导重视是此项研究开展的有力保障

萍乡市国土资源局领导班子非常重视国土资源信息化建设工作,专门成立了由市局及各县区局长组成的“萍乡市基于网络的县级土地利用数据库集成应用试点领导小组”,保障此项研究工作的顺利开展。局党组按照“总体设计、分步实施、整合资源、滚动发展”的发展思路,把信息化建设纳入“一把手工程”亲自抓,先后投入近七百万元用于市政府所在地安源区380平方千米的航空摄影测量和相关的基础数据库及信息系统建设;另外,投资3800多万元萍乡市国土资源局智能化办公大楼于2005年6月底交付使用,已与政府网对接,实现了省、市、县多级数据共享,数据交换体系初步形成。

2 试点的总体目标和研究的主要内容

2.1 总体目标

在对土地利用数据库管理和应用进行充分调研的基础上,深入分析市级、县级国土资源管理部门的土地利用数据管理模式、数据更新机制和数据应用需求,提出基于网络的县级土地利用数据库集成应用体系建设方案并进行试点示范,并开展数据库成果集成应用方法研究,为解决1∶1 万土地利用现状数据库建设项目的数据库成果的共享和集成应用提供技术依据。

2.2 主要内容

(1)研究基于网络的县级土地利用数据库集成应用的框架体系和运行模式,重点研究基于网络的县级土地利用数据库集成应用基础数据更新体系和维护更新机制,在多种运行模式下,如何实现分布式多级管理,以达到各级数据的同步更新,确保数据库的现势性。

(2)研究土地利用现状数据库作为国土资源系统的基础数据,在分布式环境下,耕地保护、土地规划等应用系统的实现机制和构建框架,有效地为国土资源信息化服务。

(3)市级土地利用数据库建设应用示范。解决基于土地利用数据获取、加工、整合和土地利用数据综合分析,实现土地利用数据的统一管理、信息交换、信息分发、信息挖掘、数据增值等,为市级土地利用数据库建设应用提供示范工程。

3 集成应用需求分析

3.1 系统建设功能需求分析

3.1.1 业务应用需求

根据萍乡市国土资源管理业务开展的需要,此次开发的数据库集成应用系统在原有土地详查软件的基础上进一步突出数据的异地储存、管理,加强对异构、多元、多比例尺土地利用数据的管理,支持县区国土资源局在异地对存放在萍乡市局的土地数据进行提取、加工、处理、统计和分析,支持土地利用现状数据库在耕保、规划、利用等相关国土资源业务管理中的调用。

3.1.2 数据管理需求

能够合理存储和管理各类土地数据,包括空间图形数据、属性数据、表格数据和文本数据等,并能适应大数据量和即时数据分发的需要。

3.1.3 数据更新维护需求

为适应萍乡市土地利用数据实时更新、批量更新等维护应用的需要。包括:多级管理土地利用数据库的同步更新,包括:土地利用数据库同步更新、土地利用数据库更新技术路线,包括数据库复制、数据同步、数据报盘、数据网上传输等。

3.1.4 安全性与可扩展性要求

提供完善的安全体系,保证国土资源管理数据和系统的绝对安全,满足土地管理业务中为各级、各科股、各种需求提供服务时的系统和数据绝对安全。

3.1.5 制度化运行管理的要求

提供规范化的运行标准和制度,建立长期稳定的运行维护机制。

3.2 本项目建设需解决的问题分析

3.2.1 本项目建设应服从 “金土工程” 和国土资源电子政务建设

萍乡市土地利用数据库集成应用试点是该市国土资源管理的一次深化,也是该市各县区土地利用数据库建设的深层次应用,是萍乡市“金土工程”的组成部分。项目建设必须完全满足市县级土地管理应用的各项需求和工作需要,与全省国土资源电子政务建设体系相衔接,服从今后电子政务建设的大框架。

3.2.2 市级土地利用现状数据向上逐级更新的问题

根据“金土工程”实施指南的要求和国土资源信息化网络化管理的需要,市级土地利用数据必须逐级向上更新,系统设计时已经考虑到此项内容,充分利用分布式数据库的管理理念,实现了萍乡市局与各县区国土局之间数据的同步与共享。

4 技术路线与实现的技术方法

4.1 萍乡市县两级数据库集成应用总体框架体系和运行模式

根据萍乡市县分布的实际情况,系统采用以胖服务器、瘦客户端的B/S网络结构为主,具有良好的交互性的 C/S 网络结构为辅的模式结构。采用 MAPGIS软件为平台,充分利用 DBMS 的数据管理、服务器集群、目录服务、分布式组件及分布式事务管理等技术,实现了分布式海量数据管理和多级分布式协同工作机制。数据库组织形式为“逻辑单一,物理多个”方式,整个系统逻辑上为一个数据库,即:土地利用现状数据库物理上是由各个区县国土局的数据库构成的,这种形式各区局之间隔离得很好,数据安全容易保障,而且在业务上,允许各分局有不同的业务逻辑。

在萍乡市国土资源局建立了数据中心,购置了 IBM 高性能服务器,用于集中存储和管理市属各县区的多比例尺集成数据库。市局安装了与武汉中地信息工程有限公司合作开发的MAPGIS平台下的基于网络的县级土地利用数据库集成应用系统软件,各县区国土资源局无需建立信息中心,只需通过各地政务网专线和 IE 浏览器,经过授权就可访问、调用和管理各自的土地利用数据库,统计、分析、出图、出表、汇总等工作都可通过远程调用技术轻松完成;变更时由各县区国土局提供变化图斑范围的实测大地坐标和全套相应的用地批准材料,最后由市国土局统一完成数据库的更新和维护。

4.2 数据库集成应用实施方案

此次试点采用由武汉中地信息工程有限公司自主研发的基于MAPGIS平台的数据库集成系统软件来实现,实施方案于2005年12月28日通过国土资源部组织的专家评审。

萍乡市土地利用数据库建设采用全省统一的MAPGIS平台进行建库,且全市在同一中央经度内,不需要进行数据转换和投影转换。对未完成土地利用现状更新调查的县区安排尽快开展,以保证市级数据库集成的各个县区土地利用数据库的现势性。对各县区的土地利用现状数据库进行接边检查,发现错误后及时更正处理。按集中式的管理方式对各县区的土地利用现状数据库进行集成,形成可分可合的市级土地利用数据库。

4.3 基于网络的市县两级土地利用数据库集成应用功能设计

4.3.1 县级土地利用数据库集成应用功能设计

4.3.1.1 数据管理

(1)数据的存储 以县为单位组织和管理各类土地利用线状数据,同时建立可分可合的市级数据库,包括空间图形数据、属性数据等。

(2)数据的调阅 用户可以通过鼠标点击来调阅每个县、乡、村的数据,若该县的数据不存在,则会给出提示。

(3)数据的显示 用户可以通过鼠标对图形进行放大、缩小、平移等操作,还可以通过鼠标点击图层来控制该图层是否显示以及调整图层的叠加顺序。

4.3.1.2 信息查询

• 基本查询

(1)属性信息查询 用户通过鼠标点击图形能够查询各类土地利用专数据信息,如土地利用现状图斑及线状地物信息、宗地的基本信息、界址点信息、界址线信息、基础地理要素信息等,用户还可以通过输入条件查询空间图形信息。

(2)历史信息查询 用户可以查询某一空间图形的历史变化信息。

• 统计分析

(1)任意范围查询统计 对任意给定的范围能查询范围内各种专题数据,并能对查询结果按给定的条件统计、输出图形和表格。

(2)缓冲区查询统计 对选定的线状、点状地物按给定的缓冲区半径查询该缓冲区内各种专题数据,并能对查询结果按给定的条件统计、输出图形和表格。

(3)条件查询统计 按给定的条件对区域内的查询各种专题数据,并能对查询结果按给定的条件统计、输出图形和表格。

• 数据汇总

支持以村、乡(镇)、县(区)、市为统计单元土地利用现状数据汇总,得到各种专题汇总数据。

4.3.1.3 数据和用户角色权限维护

包括:数据字典的维护、数据上下载、数据缩编、数据输出等。

提供用户角色权限维护工具,用于建立和维护系统账户(用户名、密码)和用户权限的设置。

4.3.1.4 辅助审核管理

针对建设用地审批、土地利用总体规划执行情况检查等项工作过程中涉及的权属、地类、面积进行辅助审核管理。

4.3.2 市级土地利用数据库集成应用功能设计

在上述县级功能基础上加入变更数据获取及分布式数据库动态更新等数据的组织管理功能。

4.4 基于网络的市级土地利用数据库集成应用框架

萍乡市市级土地利用数据库是一种树状的基础空间数据库,通过多级分类编码体系构建多粒度的空间数据集,在海量数据库中使用空间数据库引擎和其独特的格网索引来访问数据,利用市、县粒度数据集之间分类编码形成的行政区划索引快速检索出相应数据。市级土地数据库采用树状结构集中管理市级粒度数据和县级粒度数据,在市级节点中点击专题可以调阅市级粒度的数据,在县级节点中点击专题可以调阅县级粒度的数据,也可以通过行政区索引调阅该行政区所在的县级粒度的数据。

通过这种机制最终实现在物理上分离的多源、多比例尺、多粒度数据的一体化管理,实现图形数据浏览查询统计的动态交互、自动切换,达到逻辑上所有数据完全一体,既方便了更新又便于使用。

4.5 本试点研究采用的主要技术

4.5.1 多元、海量空间数据的存储、管理技术

土地利用数据具有海量特点,利用关系数据库技术、空间数据库引擎的集成方法,通过关系数据库管理空间数据,使海量空间数据库得以存放在关系数据库中。空间数据库引擎允许用户在数据库服务器、客户端以及应用服务器之间实现 GIS 应用的分布式存储、管理。

4.5.2 远程调用技术

土地利用数据以数据库和网络技术为基础,研究网络服务器组建、管理、存储与远程调用等技术的实现数据的共享。

4.5.3 时空分析技术

时空分析技术的核心是如何有效地表达、记录和管理现实世界的实体随时间变化而发生的变化。这种时空变化表现为三种形式:①属性变化,其空间坐标或位置不变;②空间坐标或位置变化,而属性不变;③空间实体的空间坐标和属性都发生变化。

4.5.4 数据接边的技术

针对县市级土地利用数据库的数据存储方式和组织方式,研究数据库的图幅接边技术和行政区划接边技术。如图幅接边不受图幅数量限制、允许接边状态下的图形编辑和属性编辑。

4.6 即将整合完善的新机制、新技术

由于此次试点时间紧,任务重,通过试运行,将在今后把一些新技术整合到萍乡市基于网络的县级土地利用数据库集成应用系统中来。

4.6.1 新的土地利用数据更新维护机制

针对不同地区、不同数据源,进行遥感数据辅助县级土地利用变更,更新县级土地利用数据库,形成多种可操作的土地利用变更和土地利用数据库的更新技术流程和相对应的维护机制。

4.6.2 整合基于 “3S” 技术的土地利用数据更新技术方法

在集成现有技术的基础上,从数据获取和采集技术入手,将基于“3S”集成技术、基于“GPS+PDA”和“调查之星”技术的野外数据快速调查、数据采集整合,实现县级土地利用数据的快速获取、处理与更新,具体包括:基于航空遥感数据的正射影像图的快速、高效处理;卫星遥感数据的快速处理和土地变化信息提取,含高分辨率卫星数据的处理、信息自动判别、定量提取技术。

5 项目主要成果

(1)基于网络的萍乡市土地利用数据库集成应用管理系统;

(2)基于网络的萍乡市土地利用数据库集成应用数据更新体系和维护更新机制;

(3)基于网络的萍乡市土地利用数据库集成应用的框架体系、运行模式及关键技术研究的各类报告。

6 结语

本试点研究项目作为全国两个试点之一,是在中国土地勘测规划院的精心组织下,由江西省土地勘测规划院牵头,萍乡市国土资源局及其所辖各县区国土资源局按照统一方案实施的。经过立项审查、需求分析、方案设计、方案论证、组织实施等几个阶段的努力,通过试运行,新的应用需求不断提出,应用系统还在不断完善。

可喜的是,高效率的萍乡市基于网络的县级土地利用数据库集成应用系统,正在被萍乡市及所辖县区国土资源局逐步认同,应用系统也在经受实践工作的检验。同时,数据库更新观念和更新机制正在萍乡市各级国土管理部门逐步形成和规范。研究面向市级土地管理工作,建立基于网络县级土地利用数据的集成应用系统,形成协调、高速、统一的土地利用数字化信息的管理和共享机制,使县级土地利用数据库建设项目更好地为国土资源信息化服务,才是本试点研究的最终目标。

B. 数据仓库的主要特征

  • 面向主题:

  • 传统数据库中,最大的特点是面向应用进行数据的组织,各个业务系统可能是相互分离的。而数据仓库则是面向主题的。主题是一个抽象的概念,是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上,它是对应企业中某一宏观分析领域所涉及的分析对象。

  • 集成性:

  • 通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到了数据仓库的数据,这样保证了数据仓库内的数据关于整个企业的一致性。

    数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键、最复杂的一步,所要完成的工作有:

  • 非易失性(不可更新性)

  • 数据仓库的数据反映的是一段相当长的时间内历史数据的内容,是不同时点的数据库快照的集合,以及基于这些快照进行统计、综合和重组的导出数据。

    数据非易失性主要是针对应用而言。数据仓库的用户对数据的操作大多是数据查询或比较复杂的挖掘,一旦数据进入数据仓库以后,一般情况下被较长时间保留。数据仓库中一般有大量的查询操作,但修改和删除操作很少。因此,数据经加工和集成进入数据仓库后是极少更新的,通常只需要定期的加载和更新。

  • 时变性

  • 数据仓库包含各种粒度的历史数据。数据仓库中的数据可能与某个特定日期、星期、月份、季度或者年份有关。数据仓库的目的是通过分析企业过去一段时间业务的经营状况,挖掘其中隐藏的模式。虽然数据仓库的用户不能修改数据,但并不是说数据仓库的数据是永远不变的。分析的结果只能反映过去的情况,当业务变化后,挖掘出的模式会失去时效性。因此数据仓库的数据需要更新,以适应决策的需要。从这个角度讲,数据仓库建设是一个项目,更是一个过程。数据仓库的数据随时间的变化表现在以下几个方面:

    (1) 数据仓库的数据时限一般要远远长于操作型数据的数据时限。
    (2) 操作型系统存储的是当前数据,而数据仓库中的数据是历史数据。
    (3) 数据仓库中的数据是按照时间顺序追加的,它们都带有时间属性。

C. 数据库死锁,并发问题

补充楼主:
其实我没什么经验,只不过是了解一些基础的东西罢了。
一楼的 一朵瘩红花 实际经验很丰富,你可以向她咨询一下。

你问的问题挺好得。三个概念紧密联系在一起。
这样说吧:并发的几个事务同时发生,不加锁控制的话数据就会乱套了,而加了锁后,又是并发访问会出现死锁,所以就会出现避免死锁的一些措施。
首先谈并发:理论指的是在一段时间同时对某件事进行操作。 注意精度问题,修改数据库是在一段时间内操作,不是在某个时刻,而日志则会从 时刻 开始记录你的操作。

造成死锁的原因是为了防止 不同的用户同时间(不是时刻)都对某个数据修改,造成访问不一致的问题。
比如你读了数据库的一个数据然后把它修改了并存回去,是需要时间的(假如是student表中的有个grade属性,你改了一条记录的一个值)在这个过程当中,有人又访问了数据库并且恰恰访问的是存回去之前的数据,然后他要进行操作,过了一段时间,此时你已经存回去了数据。会发现原来的数据被改动了。这时数据就乱套了。(专业术语叫读脏数据,其实还有很多其他类似这种导致前后数据不一致的问题)所以为了限定这种操作,数据库设计了-----锁---来锁定这种操作。就是你正在操作某个数据的时候----通常之前会先锁定这个数据,这样别人就不能对此数据操作了(严格来说就是只能读,不能改),必须等你操作完才能对此数据修改等操作,这就在一定程度上避免了前后操作数据不一致的问题。

但是有了锁后,新问题出现了,就是死锁:

简单解释死锁:进程A等待进程B释放他的资源,B又等待A释放他的资源,这样就互相等待就形成死锁

官方解释死锁
死锁,根本原因在于对共享存储区的访问。在数据库中也一样,如果需要“修改”一条数据,首先数据库管理系统会在上面加锁,以保证在同一时间只有一个事务能进行修改操作。锁有多种实现方式,比如意向锁,共享-排他锁,锁表,树形协议,时间戳协议等等。锁还有多种粒度,比如可以在表上加锁,也可以在记录上加锁。

在并发控制中,锁是非常重要的。
至于在Oracle还是别的数据库管理系统中,死锁产生的原因没有不同,不同的顶多是锁的实现或者死锁的恢复等罢了

再来说说事务:
事务简单来说就是 一系列的对数据库的操作揉在一起,要么同时完成,要么就都不完成。
比如---你要取钱的过程就可以当成是一个小的事务: 插卡,输入取钱金额,取走钱,拿出来卡。此过程缺一不可。把所有这些过程细节封装起来就成为一个事务。
以oracle数据库为例:
一个事务(你可以认为是一系列业务的操作)起始于dml语句(insert、update、delete)
即一条dml语句就做为一个事务的起始,然后根据业务需要,进行其他的dml操作都算是事务的一部分。
最后碰到commit。或者rollback,或者其他意外什么的都算作一个事务的结束。
整个过程就是一个事务。
事务的理论解释就是那四个什么特性:什么原子性、一致性、隔离性和持久性
简称ACID

剩下的:数据库是建立在操作系统之上的一个层次。
你问的是数据库的存储机制??工作机制??还是什么的??
数据库就是存数据的。数据库管理系统是 对存的数据进行高效率的管理
大的结构分物理数据跟逻辑数据。
物理数据就是数据在存储设备上的存储方式,什么物理联系,物理结构,物理记录等 术语。
逻辑数据就是程序员和用户看到的数据形式。什么逻辑联系,逻辑结构==同上
数据库管理类系统就是把这些逻辑跟物理相互转换。 好比你输入的叫逻辑数据存储在磁盘上叫物理数据。等等。

废话了一堆,也不知道回答对你的问题没~~

D. 数据仓库有4个特征分别是

数据仓库的特点:

  • 数据仓库是面向主题的;操作型数据库的数据组织面向事务处理任务,而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。

  • 数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库; 数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。 数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。 数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到当前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。

  • 数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询;

  • 数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存,且不随时间改变。

  • 汇总的。操作性数据映射成决策可用的格式。

  • 大容量。时间序列数据集合通常都非常大。

  • 非规范化的。Dw数据可以是而且经常是冗余的。

  • 元数据。将描述数据的数据保存起来。

  • 数据源。数据来自内部的和外部的非集成操作系统。

可以参考这篇文章:数据仓库(1)什么是数据仓库 - 知乎 (hu.com)