A. 江西省萍鄉市基於網路的縣級土地利用資料庫集成應用研究初探
胡輝1 謝梅生2
(1.江西省土地勘測規劃院,江西南昌,330046;2.萍鄉市國土資源勘測設計院,江西萍鄉,337000)
摘要:本文介紹了江西省萍鄉市建立基於網路的基級土地利用資料庫集成的技術路線及方法,為今後開展縣級土地利用資料庫集成應用提供技術依據和工作思路。
關鍵詞:基於網路;資料庫;集成應用;研究
1 研究背景及可行性分析
1.1 研究背景
江西省於1999年啟動全省1∶1 萬縣(市)級土地利用現狀資料庫建設。萍鄉是中國近代工業的先驅,中國工人運動的策源地,秋收起義的主要爆發地,是紅色革命聖地。萍鄉市位於江西省西部,地處湘贛邊界,現轄上栗、蘆溪、蓮花三縣,安源、湘東兩區和一個省級經濟開發區——安源經濟開發區。萍鄉市從2000年起步,歷經四年,完成了除蓮花縣外的四個區縣的土地利用現狀資料庫建設,並通過了省廳組織的預檢和驗收,項目成果已在各地土地管理工作中發揮了重要作用。與此同時,相關的調研結果表明:資料庫建設雖然全面開展並取得重要進展,但成果應用仍存在一定的問題,主要表現為以下兩方面:①「閑庫」、「死庫」屢見不鮮,有些資料庫在實際工作中沒有發揮其應有的價值;②各縣區的資料庫成果整合困難,數據無法流通和共享,難以在地市級以上層面發揮作用。
當前,國家的土地管理制度和管理職能發生了重大變化,土地資源管理參與宏觀調控,「金土工程」的啟動對土地利用現狀數據的管理也提出了新的要求。新的形勢、新的管理制度和管理職能要求我們必須重新審視土地利用數據管理和應用模式。對於市級國土資源管理部門來說,怎樣集成應用這些分散獨立的 1∶1 萬縣(市)級土地利用資料庫,使其為建設用地審批、耕地保護和土地利用規劃等各項管理工作服務,是試點研究需要重點解決的問題。
1.2 可行性分析
1.2.1 伴隨信息技術的迅猛發展,研究所需的關鍵技術已經成熟
近年來信息技術迅猛發展,海量數據存儲與數據倉庫技術、大型資料庫技術、網路技術、基於 Web 的應用及通訊技術不斷完善;「3 S」技術在國土資源調查中的應用日趨成熟;網路信息安全與保密技術日新月異,這些關鍵技術的迅猛發展為本試點研究的開展創造了良好的技術條件。
1.2.2 國土資源信息網路建設和各類相關技術標准試行為本研究奠定了基礎
國土資源信息網路體系的建設使國土空間數據傳輸、交換、共享和集成應用成為現實;同時,國土資源部2001年頒布試行了《縣(市)級土地利用資料庫標准》和《縣(市)級土地利用資料庫技術規定》,同年組織了全國范圍內的建庫軟體平台測評,使得江西省土地利用現狀資料庫建設在統一的數據格式標准和規范的技術路線及全省統一的MAPGIS 平台下進行,為本試點研究的開展奠定了堅實的基礎。
1.2.3 領導重視是此項研究開展的有力保障
萍鄉市國土資源局領導班子非常重視國土資源信息化建設工作,專門成立了由市局及各縣區局長組成的「萍鄉市基於網路的縣級土地利用資料庫集成應用試點領導小組」,保障此項研究工作的順利開展。局黨組按照「總體設計、分步實施、整合資源、滾動發展」的發展思路,把信息化建設納入「一把手工程」親自抓,先後投入近七百萬元用於市政府所在地安源區380平方千米的航空攝影測量和相關的基礎資料庫及信息系統建設;另外,投資3800多萬元萍鄉市國土資源局智能化辦公大樓於2005年6月底交付使用,已與政府網對接,實現了省、市、縣多級數據共享,數據交換體系初步形成。
2 試點的總體目標和研究的主要內容
2.1 總體目標
在對土地利用資料庫管理和應用進行充分調研的基礎上,深入分析市級、縣級國土資源管理部門的土地利用數據管理模式、數據更新機制和數據應用需求,提出基於網路的縣級土地利用資料庫集成應用體系建設方案並進行試點示範,並開展資料庫成果集成應用方法研究,為解決1∶1 萬土地利用現狀資料庫建設項目的資料庫成果的共享和集成應用提供技術依據。
2.2 主要內容
(1)研究基於網路的縣級土地利用資料庫集成應用的框架體系和運行模式,重點研究基於網路的縣級土地利用資料庫集成應用基礎數據更新體系和維護更新機制,在多種運行模式下,如何實現分布式多級管理,以達到各級數據的同步更新,確保資料庫的現勢性。
(2)研究土地利用現狀資料庫作為國土資源系統的基礎數據,在分布式環境下,耕地保護、土地規劃等應用系統的實現機制和構建框架,有效地為國土資源信息化服務。
(3)市級土地利用資料庫建設應用示範。解決基於土地利用數據獲取、加工、整合和土地利用數據綜合分析,實現土地利用數據的統一管理、信息交換、信息分發、信息挖掘、數據增值等,為市級土地利用資料庫建設應用提供示範工程。
3 集成應用需求分析
3.1 系統建設功能需求分析
3.1.1 業務應用需求
根據萍鄉市國土資源管理業務開展的需要,此次開發的資料庫集成應用系統在原有土地詳查軟體的基礎上進一步突出數據的異地儲存、管理,加強對異構、多元、多比例尺土地利用數據的管理,支持縣區國土資源局在異地對存放在萍鄉市局的土地數據進行提取、加工、處理、統計和分析,支持土地利用現狀資料庫在耕保、規劃、利用等相關國土資源業務管理中的調用。
3.1.2 數據管理需求
能夠合理存儲和管理各類土地數據,包括空間圖形數據、屬性數據、表格數據和文本數據等,並能適應大數據量和即時數據分發的需要。
3.1.3 數據更新維護需求
為適應萍鄉市土地利用數據實時更新、批量更新等維護應用的需要。包括:多級管理土地利用資料庫的同步更新,包括:土地利用資料庫同步更新、土地利用資料庫更新技術路線,包括資料庫復制、數據同步、數據報盤、數據網上傳輸等。
3.1.4 安全性與可擴展性要求
提供完善的安全體系,保證國土資源管理數據和系統的絕對安全,滿足土地管理業務中為各級、各科股、各種需求提供服務時的系統和數據絕對安全。
3.1.5 制度化運行管理的要求
提供規范化的運行標准和制度,建立長期穩定的運行維護機制。
3.2 本項目建設需解決的問題分析
3.2.1 本項目建設應服從 「金土工程」 和國土資源電子政務建設
萍鄉市土地利用資料庫集成應用試點是該市國土資源管理的一次深化,也是該市各縣區土地利用資料庫建設的深層次應用,是萍鄉市「金土工程」的組成部分。項目建設必須完全滿足市縣級土地管理應用的各項需求和工作需要,與全省國土資源電子政務建設體系相銜接,服從今後電子政務建設的大框架。
3.2.2 市級土地利用現狀數據向上逐級更新的問題
根據「金土工程」實施指南的要求和國土資源信息化網路化管理的需要,市級土地利用數據必須逐級向上更新,系統設計時已經考慮到此項內容,充分利用分布式資料庫的管理理念,實現了萍鄉市局與各縣區國土局之間數據的同步與共享。
4 技術路線與實現的技術方法
4.1 萍鄉市縣兩級資料庫集成應用總體框架體系和運行模式
根據萍鄉市縣分布的實際情況,系統採用以胖伺服器、瘦客戶端的B/S網路結構為主,具有良好的交互性的 C/S 網路結構為輔的模式結構。採用 MAPGIS軟體為平台,充分利用 DBMS 的數據管理、伺服器集群、目錄服務、分布式組件及分布式事務管理等技術,實現了分布式海量數據管理和多級分布式協同工作機制。資料庫組織形式為「邏輯單一,物理多個」方式,整個系統邏輯上為一個資料庫,即:土地利用現狀資料庫物理上是由各個區縣國土局的資料庫構成的,這種形式各區局之間隔離得很好,數據安全容易保障,而且在業務上,允許各分局有不同的業務邏輯。
在萍鄉市國土資源局建立了數據中心,購置了 IBM 高性能伺服器,用於集中存儲和管理市屬各縣區的多比例尺集成資料庫。市局安裝了與武漢中地信息工程有限公司合作開發的MAPGIS平台下的基於網路的縣級土地利用資料庫集成應用系統軟體,各縣區國土資源局無需建立信息中心,只需通過各地政務網專線和 IE 瀏覽器,經過授權就可訪問、調用和管理各自的土地利用資料庫,統計、分析、出圖、出表、匯總等工作都可通過遠程調用技術輕松完成;變更時由各縣區國土局提供變化圖斑范圍的實測大地坐標和全套相應的用地批准材料,最後由市國土局統一完成資料庫的更新和維護。
4.2 資料庫集成應用實施方案
此次試點採用由武漢中地信息工程有限公司自主研發的基於MAPGIS平台的資料庫集成系統軟體來實現,實施方案於2005年12月28日通過國土資源部組織的專家評審。
萍鄉市土地利用資料庫建設採用全省統一的MAPGIS平台進行建庫,且全市在同一中央經度內,不需要進行數據轉換和投影轉換。對未完成土地利用現狀更新調查的縣區安排盡快開展,以保證市級資料庫集成的各個縣區土地利用資料庫的現勢性。對各縣區的土地利用現狀資料庫進行接邊檢查,發現錯誤後及時更正處理。按集中式的管理方式對各縣區的土地利用現狀資料庫進行集成,形成可分可合的市級土地利用資料庫。
4.3 基於網路的市縣兩級土地利用資料庫集成應用功能設計
4.3.1 縣級土地利用資料庫集成應用功能設計
4.3.1.1 數據管理
(1)數據的存儲 以縣為單位組織和管理各類土地利用線狀數據,同時建立可分可合的市級資料庫,包括空間圖形數據、屬性數據等。
(2)數據的調閱 用戶可以通過滑鼠點擊來調閱每個縣、鄉、村的數據,若該縣的數據不存在,則會給出提示。
(3)數據的顯示 用戶可以通過滑鼠對圖形進行放大、縮小、平移等操作,還可以通過滑鼠點擊圖層來控制該圖層是否顯示以及調整圖層的疊加順序。
4.3.1.2 信息查詢
• 基本查詢
(1)屬性信息查詢 用戶通過滑鼠點擊圖形能夠查詢各類土地利用專數據信息,如土地利用現狀圖斑及線狀地物信息、宗地的基本信息、界址點信息、界址線信息、基礎地理要素信息等,用戶還可以通過輸入條件查詢空間圖形信息。
(2)歷史信息查詢 用戶可以查詢某一空間圖形的歷史變化信息。
• 統計分析
(1)任意范圍查詢統計 對任意給定的范圍能查詢范圍內各種專題數據,並能對查詢結果按給定的條件統計、輸出圖形和表格。
(2)緩沖區查詢統計 對選定的線狀、點狀地物按給定的緩沖區半徑查詢該緩沖區內各種專題數據,並能對查詢結果按給定的條件統計、輸出圖形和表格。
(3)條件查詢統計 按給定的條件對區域內的查詢各種專題數據,並能對查詢結果按給定的條件統計、輸出圖形和表格。
• 數據匯總
支持以村、鄉(鎮)、縣(區)、市為統計單元土地利用現狀數據匯總,得到各種專題匯總數據。
4.3.1.3 數據和用戶角色許可權維護
包括:數據字典的維護、數據上下載、數據縮編、數據輸出等。
提供用戶角色許可權維護工具,用於建立和維護系統賬戶(用戶名、密碼)和用戶許可權的設置。
4.3.1.4 輔助審核管理
針對建設用地審批、土地利用總體規劃執行情況檢查等項工作過程中涉及的權屬、地類、面積進行輔助審核管理。
4.3.2 市級土地利用資料庫集成應用功能設計
在上述縣級功能基礎上加入變更數據獲取及分布式資料庫動態更新等數據的組織管理功能。
4.4 基於網路的市級土地利用資料庫集成應用框架
萍鄉市市級土地利用資料庫是一種樹狀的基礎空間資料庫,通過多級分類編碼體系構建多粒度的空間數據集,在海量資料庫中使用空間資料庫引擎和其獨特的格網索引來訪問數據,利用市、縣粒度數據集之間分類編碼形成的行政區劃索引快速檢索出相應數據。市級土地資料庫採用樹狀結構集中管理市級粒度數據和縣級粒度數據,在市級節點中點擊專題可以調閱市級粒度的數據,在縣級節點中點擊專題可以調閱縣級粒度的數據,也可以通過行政區索引調閱該行政區所在的縣級粒度的數據。
通過這種機制最終實現在物理上分離的多源、多比例尺、多粒度數據的一體化管理,實現圖形數據瀏覽查詢統計的動態交互、自動切換,達到邏輯上所有數據完全一體,既方便了更新又便於使用。
4.5 本試點研究採用的主要技術
4.5.1 多元、海量空間數據的存儲、管理技術
土地利用數據具有海量特點,利用關系資料庫技術、空間資料庫引擎的集成方法,通過關系資料庫管理空間數據,使海量空間資料庫得以存放在關系資料庫中。空間資料庫引擎允許用戶在資料庫伺服器、客戶端以及應用伺服器之間實現 GIS 應用的分布式存儲、管理。
4.5.2 遠程調用技術
土地利用數據以資料庫和網路技術為基礎,研究網路伺服器組建、管理、存儲與遠程調用等技術的實現數據的共享。
4.5.3 時空分析技術
時空分析技術的核心是如何有效地表達、記錄和管理現實世界的實體隨時間變化而發生的變化。這種時空變化表現為三種形式:①屬性變化,其空間坐標或位置不變;②空間坐標或位置變化,而屬性不變;③空間實體的空間坐標和屬性都發生變化。
4.5.4 數據接邊的技術
針對縣市級土地利用資料庫的數據存儲方式和組織方式,研究資料庫的圖幅接邊技術和行政區劃接邊技術。如圖幅接邊不受圖幅數量限制、允許接邊狀態下的圖形編輯和屬性編輯。
4.6 即將整合完善的新機制、新技術
由於此次試點時間緊,任務重,通過試運行,將在今後把一些新技術整合到萍鄉市基於網路的縣級土地利用資料庫集成應用系統中來。
4.6.1 新的土地利用數據更新維護機制
針對不同地區、不同數據源,進行遙感數據輔助縣級土地利用變更,更新縣級土地利用資料庫,形成多種可操作的土地利用變更和土地利用資料庫的更新技術流程和相對應的維護機制。
4.6.2 整合基於 「3S」 技術的土地利用數據更新技術方法
在集成現有技術的基礎上,從數據獲取和採集技術入手,將基於「3S」集成技術、基於「GPS+PDA」和「調查之星」技術的野外數據快速調查、數據採集整合,實現縣級土地利用數據的快速獲取、處理與更新,具體包括:基於航空遙感數據的正射影像圖的快速、高效處理;衛星遙感數據的快速處理和土地變化信息提取,含高解析度衛星數據的處理、信息自動判別、定量提取技術。
5 項目主要成果
(1)基於網路的萍鄉市土地利用資料庫集成應用管理系統;
(2)基於網路的萍鄉市土地利用資料庫集成應用數據更新體系和維護更新機制;
(3)基於網路的萍鄉市土地利用資料庫集成應用的框架體系、運行模式及關鍵技術研究的各類報告。
6 結語
本試點研究項目作為全國兩個試點之一,是在中國土地勘測規劃院的精心組織下,由江西省土地勘測規劃院牽頭,萍鄉市國土資源局及其所轄各縣區國土資源局按照統一方案實施的。經過立項審查、需求分析、方案設計、方案論證、組織實施等幾個階段的努力,通過試運行,新的應用需求不斷提出,應用系統還在不斷完善。
可喜的是,高效率的萍鄉市基於網路的縣級土地利用資料庫集成應用系統,正在被萍鄉市及所轄縣區國土資源局逐步認同,應用系統也在經受實踐工作的檢驗。同時,資料庫更新觀念和更新機制正在萍鄉市各級國土管理部門逐步形成和規范。研究面向市級土地管理工作,建立基於網路縣級土地利用數據的集成應用系統,形成協調、高速、統一的土地利用數字化信息的管理和共享機制,使縣級土地利用資料庫建設項目更好地為國土資源信息化服務,才是本試點研究的最終目標。
B. 數據倉庫的主要特徵
面向主題:
集成性:
非易失性(不可更新性)
時變性
傳統資料庫中,最大的特點是面向應用進行數據的組織,各個業務系統可能是相互分離的。而數據倉庫則是面向主題的。主題是一個抽象的概念,是較高層次上企業信息系統中的數據綜合、歸類並進行分析利用的抽象。在邏輯意義上,它是對應企業中某一宏觀分析領域所涉及的分析對象。
通過對分散、獨立、異構的資料庫數據進行抽取、清理、轉換和匯總便得到了數據倉庫的數據,這樣保證了數據倉庫內的數據關於整個企業的一致性。
數據倉庫中的綜合數據不能從原有的資料庫系統直接得到。因此在數據進入數據倉庫之前,必然要經過統一與綜合,這一步是數據倉庫建設中最關鍵、最復雜的一步,所要完成的工作有:
數據倉庫的數據反映的是一段相當長的時間內歷史數據的內容,是不同時點的資料庫快照的集合,以及基於這些快照進行統計、綜合和重組的導出數據。
數據非易失性主要是針對應用而言。數據倉庫的用戶對數據的操作大多是數據查詢或比較復雜的挖掘,一旦數據進入數據倉庫以後,一般情況下被較長時間保留。數據倉庫中一般有大量的查詢操作,但修改和刪除操作很少。因此,數據經加工和集成進入數據倉庫後是極少更新的,通常只需要定期的載入和更新。
數據倉庫包含各種粒度的歷史數據。數據倉庫中的數據可能與某個特定日期、星期、月份、季度或者年份有關。數據倉庫的目的是通過分析企業過去一段時間業務的經營狀況,挖掘其中隱藏的模式。雖然數據倉庫的用戶不能修改數據,但並不是說數據倉庫的數據是永遠不變的。分析的結果只能反映過去的情況,當業務變化後,挖掘出的模式會失去時效性。因此數據倉庫的數據需要更新,以適應決策的需要。從這個角度講,數據倉庫建設是一個項目,更是一個過程。數據倉庫的數據隨時間的變化表現在以下幾個方面:
(1) 數據倉庫的數據時限一般要遠遠長於操作型數據的數據時限。
(2) 操作型系統存儲的是當前數據,而數據倉庫中的數據是歷史數據。
(3) 數據倉庫中的數據是按照時間順序追加的,它們都帶有時間屬性。
C. 資料庫死鎖,並發問題
補充樓主:
其實我沒什麼經驗,只不過是了解一些基礎的東西罷了。
一樓的 一朵瘩紅花 實際經驗很豐富,你可以向她咨詢一下。
你問的問題挺好得。三個概念緊密聯系在一起。
這樣說吧:並發的幾個事務同時發生,不加鎖控制的話數據就會亂套了,而加了鎖後,又是並發訪問會出現死鎖,所以就會出現避免死鎖的一些措施。
首先談並發:理論指的是在一段時間同時對某件事進行操作。 注意精度問題,修改資料庫是在一段時間內操作,不是在某個時刻,而日誌則會從 時刻 開始記錄你的操作。
造成死鎖的原因是為了防止 不同的用戶同時間(不是時刻)都對某個數據修改,造成訪問不一致的問題。
比如你讀了資料庫的一個數據然後把它修改了並存回去,是需要時間的(假如是student表中的有個grade屬性,你改了一條記錄的一個值)在這個過程當中,有人又訪問了資料庫並且恰恰訪問的是存回去之前的數據,然後他要進行操作,過了一段時間,此時你已經存回去了數據。會發現原來的數據被改動了。這時數據就亂套了。(專業術語叫讀臟數據,其實還有很多其他類似這種導致前後數據不一致的問題)所以為了限定這種操作,資料庫設計了-----鎖---來鎖定這種操作。就是你正在操作某個數據的時候----通常之前會先鎖定這個數據,這樣別人就不能對此數據操作了(嚴格來說就是只能讀,不能改),必須等你操作完才能對此數據修改等操作,這就在一定程度上避免了前後操作數據不一致的問題。
但是有了鎖後,新問題出現了,就是死鎖:
簡單解釋死鎖:進程A等待進程B釋放他的資源,B又等待A釋放他的資源,這樣就互相等待就形成死鎖
官方解釋死鎖
死鎖,根本原因在於對共享存儲區的訪問。在資料庫中也一樣,如果需要「修改」一條數據,首先資料庫管理系統會在上面加鎖,以保證在同一時間只有一個事務能進行修改操作。鎖有多種實現方式,比如意向鎖,共享-排他鎖,鎖表,樹形協議,時間戳協議等等。鎖還有多種粒度,比如可以在表上加鎖,也可以在記錄上加鎖。
在並發控制中,鎖是非常重要的。
至於在Oracle還是別的資料庫管理系統中,死鎖產生的原因沒有不同,不同的頂多是鎖的實現或者死鎖的恢復等罷了
再來說說事務:
事務簡單來說就是 一系列的對資料庫的操作揉在一起,要麼同時完成,要麼就都不完成。
比如---你要取錢的過程就可以當成是一個小的事務: 插卡,輸入取錢金額,取走錢,拿出來卡。此過程缺一不可。把所有這些過程細節封裝起來就成為一個事務。
以oracle資料庫為例:
一個事務(你可以認為是一系列業務的操作)起始於dml語句(insert、update、delete)
即一條dml語句就做為一個事務的起始,然後根據業務需要,進行其他的dml操作都算是事務的一部分。
最後碰到commit。或者rollback,或者其他意外什麼的都算作一個事務的結束。
整個過程就是一個事務。
事務的理論解釋就是那四個什麼特性:什麼原子性、一致性、隔離性和持久性
簡稱ACID
剩下的:資料庫是建立在操作系統之上的一個層次。
你問的是資料庫的存儲機制??工作機制??還是什麼的??
資料庫就是存數據的。資料庫管理系統是 對存的數據進行高效率的管理
大的結構分物理數據跟邏輯數據。
物理數據就是數據在存儲設備上的存儲方式,什麼物理聯系,物理結構,物理記錄等 術語。
邏輯數據就是程序員和用戶看到的數據形式。什麼邏輯聯系,邏輯結構==同上
資料庫管理類系統就是把這些邏輯跟物理相互轉換。 好比你輸入的叫邏輯數據存儲在磁碟上叫物理數據。等等。
廢話了一堆,也不知道回答對你的問題沒~~
D. 數據倉庫有4個特徵分別是
數據倉庫的特點:
數據倉庫是面向主題的;操作型資料庫的數據組織面向事務處理任務,而數據倉庫中的數據是按照一定的主題域進行組織。主題是指用戶使用數據倉庫進行決策時所關心的重點方面,一個主題通常與多個操作型信息系統相關。
數據倉庫是集成的,數據倉庫的數據有來自於分散的操作型數據,將所需數據從原來的數據中抽取出來,進行加工與集成,統一與綜合之後才能進入數據倉庫; 數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的,必須消除源數據中的不一致性,以保證數據倉庫內的信息是關於整個企業的一致的全局信息。 數據倉庫的數據主要供企業決策分析之用,所涉及的數據操作主要是數據查詢,一旦某個數據進入數據倉庫以後,一般情況下將被長期保留,也就是數據倉庫中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的載入、刷新。 數據倉庫中的數據通常包含歷史信息,系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到當前的各個階段的信息,通過這些信息,可以對企業的發展歷程和未來趨勢做出定量分析和預測。
數據倉庫是不可更新的,數據倉庫主要是為決策分析提供數據,所涉及的操作主要是數據的查詢;
數據倉庫是隨時間而變化的,傳統的關系資料庫系統比較適合處理格式化的數據,能夠較好的滿足商業商務處理的需求。穩定的數據以只讀格式保存,且不隨時間改變。
匯總的。操作性數據映射成決策可用的格式。
大容量。時間序列數據集合通常都非常大。
非規范化的。Dw數據可以是而且經常是冗餘的。
元數據。將描述數據的數據保存起來。
數據源。數據來自內部的和外部的非集成操作系統。
可以參考這篇文章:數據倉庫(1)什麼是數據倉庫 - 知乎 (hu.com)