1. 開展微型數據存儲技術創新研發搶占未來大數據存儲技術高地的建議
我國數據存儲核心技術長期落後,大數據中心按照傳統的 科技 房地產的思路將面臨資源約束。為了防止我國存儲技術「卡脖子」,節省未來海量數據存儲佔地空間,系統化整合資源解決當前中國大數據存儲技術產品的容量問題,建議國家立項 開展微型數據存儲技術創新研發 。
我國數據儲存的現狀和面臨的問題
計算機數據存儲技術是信息技術應用的核心。一切計算機應用數據都需要由物理設備來存儲,以便計算機系統進行讀寫等處理,數據應用與數據存儲恰似樹干與樹根的密切關系。伴隨著信息技術應用的持續高速發展,可以預見未來的數據量必將呈現爆炸式增長,隨之而來的海量數據存儲瓶頸問題必然日趨嚴重,加劇著數據存儲領域長期面臨的容量、安全、性能、擴充、維護、災備、監管等諸多挑戰。其中,容量困境,首當其沖。
當前痛點。 為了滿足數據存儲容量日益增長的需求,大數據存儲中心建設必不可少。放眼當下全國各地的大數據存儲中心建設,由於數據存儲基礎核心技術缺位,流行的模式是不可持續的「 科技 房地產」,即單純拓展佔地面積蓋樓建設數據中心,進而耗費寶貴自然資源。目前我國城市監控視頻圖像數據受限於數據中心存儲容量空間,一般只能保留一個月左右,相關的數據應用嚴重受制。
應用基石。 底層數據存儲是信息產業發展的基石,數據存儲技術產品是信息應用系統的架構基礎,也是我國的關鍵行業技術短板。有效的數據存儲技術產品涉及到所有信息技術應用場景:人工智慧,信息安全,智慧城市,大數據,雲計算,區塊鏈,城市大腦,雪亮工程,城市管理視頻監控,醫學影像識別,等等。
嚴峻局面。 追溯信息技術百年來的發展軌跡,中國在數據存儲基礎技術領域的貢獻幾乎為零。國內數據存儲行業主要擅長於市場側的商業應用創新,數據存儲底層管理的核心技術研發嚴重依賴國外的開源開放。缺乏基礎研發梯隊,沒有關鍵理論 探索 ;沿襲陳舊的發展思路,習於外購器件設備;底層技術積累短缺,核心創新能力薄弱;嚴峻的局面至今沒有重大改變。
危情險勢。 中國在核心存儲產品、底層支撐技術、商業應用理念上長期跟跑,遭受外部勢力釜底抽薪式的「存儲底層關鍵核心技術精準打擊」的隱患和風險極大。面對復雜多變的國際環境,一旦遭遇卡脖子,如外購存儲產品斷貨或核心技術交流封鎖,舉國上下所有涉及信息技術應用的行業領域都必然窒息。從而直接降低相關產業迭代發展速度,掣肘 社會 前進步伐,削弱國家治理能力,進而危及影響到國家的政治和 社會 穩定。
時不我待。 我們需要立即行動起來,通過立項開展微型數據存儲技術創新研發,凝聚國內外數據存儲領域資源力量,構建數據存儲專業核心技術團隊;從研發軟體定義的存儲(數據去重)技術產品入手,填補國內技術產品領域空白;啟動研發微型化(原子級)數據存儲設備,搶占未來數據存儲領域的制高點。這項舉措也是解除我國數據存儲技術產品創新研發「卡脖子」危機的最佳途徑。
開展微型數據存儲技術創新研發的思路
我國應抓住當前數據應用驅動信息技術升級換代的大數據發展 歷史 契機,凝聚國內外資源力量,構建中國數據存儲專業核心技術團隊。近期:研發部署模塊化數據去重技術產品,壓縮海量數據存儲空間需求,填補國內底層數據存儲管理技術空白。遠期:啟動研發微型數據存儲設備,搶占未來數據存儲技術領域的制高點。
從開展微型數據存儲技術創新研發入手,聚焦國際存儲技術領域的戰略性前沿技術趨勢;聯手科研院所、高等院校、生產企業、大型用戶的資源,建設國家級核心技術團隊;積極引進/培養數據存儲技術人才,研發自主可控系列產品。
1.近期跟蹤行業動態
對標國際頂級數據存儲技術產品,砥礪學習底層模塊級數據存儲去重技術,壓縮海量數據存儲空間需求,實現自主可控國產數據存儲技術管理軟體產品的商務應用。基本原理是首先識別出重復的數據模塊,然後優化存儲多個重復數據模塊中的單一模塊,以及同其它重復模塊的鏈接關系。進而減少企業級客戶存儲數據所需的物理空間佔有量,降低采購部署數據存儲設備的增量。
2.遠期重點突出推進
探索 下一代數據存儲技術,整合跨學科資源啟動開展研發微型存儲器,力圖將現有基於磁碟/光碟/磁帶的計算機數據存儲器,轉化為未來基於原子/電子運動狀態的微型化數字信息採集與存取機制。其原理是將現在耗費數百萬個原子的材料介質所表徵的一位「0」或「1」二進制計算機數據,試圖由單個原子狀態變化來表徵。於是,可以將現有數據存儲設備體積縮小數十萬乃至百萬倍,最終將佔地約足球場面積的大數據存儲倉庫縮小為攜帶型器件。
3.研發工作開展建議
開展微型數據存儲技術創新研發應該建設成為國內領先、國際一流的數據存儲技術研究機構、產業孵化溫室、以及人才培養基地。
延攬數據存儲技術專家領銜擔綱咨詢顧問。全球招聘在世界頂級數據存儲公司工作多年的業界精英加盟指導。
構建中國數據存儲技術研發團隊。採用引進師資/開設培訓課程等有效方式,積累培育國內數據存儲技術力量。
結盟矽谷存儲技術研究院。依託美國矽谷地區的數據存儲實體公司,共享數據存儲底層技術知識。
注冊成立企業運營機構。開發軟體定義存儲(數據去重)技術產品,服務數據用戶市場,遵循商務運作規律。
融資涵蓋多種基金渠道。申報獲取國家重大專項基礎項目研發資金,吸引專業投資基金加盟。首期投資約需10億元人民幣(參考國際相關工程估值:美國IBM公司同類項目投資約600億美元/10年)。
推動微型數據存儲技術創新研發的建議
我國在開展新型基礎設施建設的同時,應當抓住當前數據計算應用驅動信息技術升級換代的大數據發展 歷史 契機,建立數據存儲技術的自主知識產權體系,填補國內空白,保障數字中國建設長遠規劃實施,推進國產數據存儲產品崛起,為相關產業發展鋪路。
2.建議遠期緊跟世界主流研發創新步伐,聚焦研發原子級微型化數據存儲技術產品(2020-2040年),在2040年前研發出原子級大數據存儲技術,並逐步實現產業化。
3.建議將微型化數據存儲技術創新作為國家戰略。搭建政產學研用共建共治共享的中國數據存儲技術聯合創新平台,建設國家級重點實驗室。依託科研院所/高等院校/相關企業,奠定從微型數據存儲理論、硬體設計、軟體開發、結構設計、系統集成等一整套原子級微型數據存儲技術研發工作的基礎。
4.建議國家相關部委給予配套資金支持。加快推進原子級大數據存儲技術研發和產業化轉化。支持申報重大 科技 項目和專項扶持資金。
5.建議形成能夠長期從事數據存儲技術創新的人才隊伍。借鑒全球數據存儲技術創新研發經驗,引進海內外數據存儲技術領域頂尖科學家和工程師。在高等院校與科研院所開設數據存儲技術專業課程,搭建完善的國內人才培養體系。
6.建議立項過程不宜採用常規項目申報、審批流程,亟需特事特辦予以批准。主要是有鑒於本項目相關的科研生產領域中,國內現有技術力量薄弱分散,評估體系資源匱乏。
7.建議項目推進應當低調快速務實:不重造勢,不揚虛名,不謀近利。主要是基於當前復雜敏感的國際政治經濟形勢,預計本項目勢將關聯國家核心產業戰略布局,影響未來數十年中國數字經濟命脈與發展。
作 者:中央 財經 大學中國互聯網經濟研究院研究員 歐陽日輝
通訊員:李 翀
戰略性新興產業專題報道 辦事,「刷臉」就行
張家口敢闖敢試、先行先試,積極 探索 氫能產業創新發展的有益路徑
「東數西算」正式啟動,樞紐網路如何建設?
「十四五」浪潮下如何構建城市數據中心網路?
「我為群眾辦實事」北京市發展改革委發布第三批政策工具應用指南
大美密雲 助推新興產業發展
東方測控:打造智能製造示範工廠,引領礦山行業新未來
2. 數據中心建設方案
數據中心最初被稱為計算中心,在科技發展越來越大的現代社會,數據中心建設起著至關重要的地位,施耐德電氣針對現下的社會提出了數據中心建設方案。
數據中心是信息化社會的IT基礎設施,作為機構信息系統的運行中心、測試中心和災備中心,承擔著機構的核心業務運營、信息資源服務、關鍵業務計算、數據存儲和備份,以及確保業務連續性等重要任務。
數據中心是一個系統工程,從數據中心的六個基本要素和數據中心全生命周期的角度出發,可以分為以下組成部分:
1.數據中心發展現狀及趨勢:
2.數據中心可持續發展能力
3.數據中心規劃
4.數據中心的節能
5.數據中心建設管理
6.數據中心專業化運維
7.數據中心成本分析
8.數據中心建設模式分析
9.數據中心與信息系統災難恢復
10.企業級數據中心評價體系
當今社會,那些缺乏可持續發展能力的數據中心已暴露出了較多的問題,例如供電能力不足、無法實現在線擴容、機房送回風不順暢產生局部熱點、數據中心能耗巨大等。這些問題直接影響數據中心的可用性和可靠性,大大縮短了數據中心的正常生命周期。為避免這些問題,通過對數據中心建設方案的調查可表現在以下幾個方面:
1.初期資源規劃考慮不周、缺乏業務可持續性資源計劃考慮。
2.數據中心機房功能性差,缺乏全局規劃
3.建築層高過低、結構承載能力不足,嚴重製約空間不合理。
4.供電設計密度低,系統可靠性差,不能在線擴容。
5.系統設計缺乏經濟性考慮,日常運行能耗大、營運成本高。
6.運維管理缺乏長期性、穩定性及適應性的考量,易出現管理混亂。
數據中心建設已經完成了標准體系,為了有效地幫助各單位數據中心建設與管理者掌握最新技術與解決方案,不斷提升建設與管理水平,從而有效加強數據中心置運行支撐能力,施耐德對此作出了數據建設方案,解決了用戶在數據中心建設中遇到的難題、最新需求,提出了數據建設中的價值建議。
3. 大數據下的地質資料信息存儲架構設計
頡貴琴 胡曉琴
(甘肅省國土資源信息中心)
摘要 為推進我國地質資料信息服務集群化產業化工作,更大更好地發揮地質資料信息的價值,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。
關鍵詞 大數據 地質資料 存儲 NoSQL 雙資料庫
0 引言
新中國成立60多年來,我國形成了海量的地質資料信息,為國民經濟和社會發展提供了重要支撐。但在地質資料管理方面長期存在資料信息分散、綜合研究不夠、數字化信息化程度不高、服務渠道不暢、服務能力不強等問題,使地質資料信息的巨大潛在價值未能得到充分發揮。為進一步提高地質工作服務國民經濟和社會發展的能力,充分發揮地質資料信息的服務功能,擴大服務領域,國土資源部根據國內外地質工作的先進經驗,做出了全面推進地質資料信息服務集群化產業化工作的部署。
目前,全國各省地質資料館都在有條不紊地對本省成果、原始和實物地質資料進行清理,並對其中重要地質資料進行數字化和存儲工作。然而,由於我國地質資源豐富,經過幾十年的積累,已經形成了海量的地質資料,數據量早已經超過了幾百太位元組(TB)。在進行地質資料信息服務集群化工作中,隨著共享數據量的不斷增大,傳統的數據存儲方式和管理系統必然會展現出存儲和檢索方面的不足以及系統管理方面的缺陷。為了解決該問題,需要設計更加先進的數據存儲架構來實現海量地質資料的存儲。
而大數據(Big Data)作為近年來在雲計算領域中出現的一種新型數據,科技工作者在不斷的研究中,設計了適合大數據存儲管理的非關系型資料庫NoSQL進行大數據的存儲和管理。本文將針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,提出一種海量地質資料存儲架構,改進現有系統存儲架構,以便於我國全面推進地質資料信息服務集群化產業化工作。
1 工作現狀
1.1 國內外地質資料信息的存儲現狀
在美國,主要有兩大地質資料公共服務平台,分別是地球科學信息中心(ESIC)、地球資源觀測和科學中心(EROS),其目的是通過為社會和政府提供更加便利、快速的地質信息服務。20世紀90年代初,澳大利亞出台了國家地球科學填圖協議,採用先進的科學方法和技術進行數據存儲,從而形成了第二代澳大利亞陸地地質圖。
目前,我國地質資料信息服務集群化產業化工作剛剛起步,雖然國土資源部信息中心已經開發了地質資料信息集群化共享服務平台,並倡導各地方用戶使用該系統。但由於各個地方早期的工作背景不一致,因此各地方所使用的存儲系統也不盡相同,主要有Access、SQL Server、Oracle、MySQL等系統。本文以國土資源部信息中心開發的地質資料信息集群化共享服務平台的存儲系統MySQL為例說明。該系統是基於關系資料庫管理系統MySQL的一套分布式存儲檢索系統。該系統的部署使得我國地質資料信息服務集群化產業化工作取得了重大進展,同時也為我國建立標准統一的地質資料信息共享服務平台和互聯互通的網路服務體系奠定了堅實的基礎。然而,該系統的研發並沒有考慮到地質資料信息進一步集群化以及在未來地質資料信息進入大數據時代的信息共享和存儲管理問題,也沒有給出明確的解決方案。
1.2 大數據的存儲架構介紹
大數據是近年在雲計算領域中出現的一種新型數據,具有數據量大、數據結構不固定、類型多樣、查詢分析復雜等特點。傳統關系型資料庫管理系統在數據存儲規模、檢索效率等方面已不再適合大數據存儲。NoSQL(Not Only SQL)是與關系資料庫相對的一類資料庫的總稱。這些資料庫放棄了對關系資料庫的支持,轉而採用靈活的、分布式的數據存儲方式管理數據,從而可以滿足大數據存儲和處理的需求。NoSQL基於非關系型數據存儲的設計理念,以鍵值對進行存儲,採用的數據字的結構不固定,每一個元組可以有不一樣的欄位,且每個元組可以根據自己的需要增加一些自己的鍵值對,可以減少一些檢索時間和存儲空間。目前,應用廣泛的 NoSQL 資料庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。
2 大數據下的地質資料信息存儲架構設計
根據國土資源部做出的全面推進地質資料信息服務集群化產業化工作的部署,國土資源部倡導全國地質資料館使用國土資源部信息中心開發的地質資料信息集群化共享服務平台,實現地質資料信息的存儲和共享。該系統採用了資料庫管理系統MySQL作為數據存儲系統。
為了與現有系統和現有的工作進行對接,並為將來地質資料進入大數據時代後的存儲工作做准備,本文設計了一種能用於海量地質資料信息存儲並且兼容MySQL的分布式的數據存儲架構(圖1)。
整個系統可以根據不同的用戶等級分為不同的用戶管理層,由於圖幅限制,在圖1 中僅僅展示了3級:國家級管理層(即共享服務平台用戶層)、省級管理層以及市級管理層(可根據實際需要延伸至縣級)。
每級管理層的每個用戶可以單獨管理一個伺服器。如國土資源部信息中心可以單獨管理一個伺服器;甘肅省國土資源信息中心可以單獨管理一個伺服器,陝西省國土資源信息中心可以單獨管理一個伺服器;甘肅的若干個市級國土資源局可以根據需要分別管理各自的伺服器。
在伺服器上分別安裝兩套資料庫管理系統,一套是原有的MySQL資料庫管理系統,另一套是為大數據存儲而配備的NoSQL型資料庫管理系統。在伺服器上還專門開發一個資料庫管理器中間件,用於進行用戶層和資料庫的通信以及兩套資料庫之間的通信。
由於各個管理層都各自維護自己的資料庫和數據。當用戶需要進行數據存儲時,他所影響的資料庫僅僅是本地資料庫,存儲效率較高;當用戶需要從多個資料庫讀取數據時,頂層的共享服務平台會根據用戶需求進行任務分解,將任務分發給下層的管理層進行資料庫讀取,由於各個資料庫並行讀取,從而提高了資料庫讀取效率。
圖1 大數據下的地質資料信息存儲架構框圖
2.1 用戶管理層
用戶管理層根據許可權范圍,分為多層(本文以3層為例)。
位於頂層的國家級管理層(共享服務平台用戶層)負責用戶訪問許可權的分配、與其直接關聯的資料庫的訪問、下級管理層任務的分配等工作。
用戶訪問許可權的分配是指為訪問本共享服務平台的個人用戶和單位用戶分配數據的使用許可權、安全性的設計等。
與其直接關聯的資料庫訪問是指直接存儲在其本地資料庫上的數據的訪問。在該資料庫中不僅要存儲所需要的地質資料,還要存儲注冊用戶信息等數據。
下級管理層任務分配是指如果用戶需要訪問多個下層資料庫,用戶只需要輸入查詢這幾個下層資料庫的命令,而如何查找下層資料庫則由該功能來完成。例如某用戶要查找甘肅、陝西、上海、北京的鐵礦分布圖,則用戶只需要輸入這幾個地方及鐵礦等查詢條件,系統將自動把各個省的資料庫查詢任務分派到下級管理層。
同理,位於下層的省級管理層和市級管理層除了沒有用戶訪問許可權功能外,其餘功能與國家級管理層是相同的。各層之間的資料庫通過互聯網相互連接成分布式的資料庫系統。
2.2 MySQL和NoSQL的融合
MySQL是關系型資料庫,它支持SQL查詢語言,而NoSQL是非關系型資料庫,它不支持SQL查詢語言。用戶要想透明地訪問這兩套資料庫,必須要設計資料庫管理器中間件,作為用戶訪問資料庫的統一入口和兩套資料庫管理系統的通信平台。本文所設計的資料庫管理器簡單模型如圖2所示。
圖2 資料庫管理器模型
伺服器管理器通過用戶程序介面與應用程序進行通訊,通過MySQL資料庫介面與MySQL伺服器通訊,通過NoSQL資料庫介面與NoSQL資料庫介面通訊。當應用程序介面接收到一條資料庫訪問命令之後,交由資料庫訪問命令解析器進行命令解析,從而形成MySQL訪問命令或者NoSQL訪問命令,通過相應的資料庫介面訪問資料庫;資料庫返回訪問結果後經過匯總,由應用程序介面返回給應用程序。
兩套資料庫可以通過雙資料庫通信協議進行相互的通信和互訪。此通信協議的建立便於地質工作人員將已經存入MySQL資料庫的不適合結構化存儲的數據轉存到NoSQL資料庫中,從而便於系統的升級和優化。
2.3 系統的存儲和檢索模式
在本存儲框架設計中,系統採用分布式網路存儲模式,即採用可擴展的存儲結構,利用分散在全國各地的多台獨立的伺服器進行數據存儲。這種方式不僅分擔了伺服器的存儲壓力,提高了系統的可靠性和可用性,還易於進行系統擴展。另外,由於地質資料信息存儲的特殊性,各地方用戶的數據存儲工作基本都是在本地伺服器進行,很少通過網路進行遠程存儲,所以數據存儲效率較高。
在一台資料庫伺服器上安裝有MySQL和NoSQL型兩套資料庫管理系統,分別用於存儲地質資料信息中的結構化數據和非結構化數據。其中,NoSQL型資料庫作為主資料庫,用於存儲一部分結構化數據和全部的非結構化數據;而MySQL資料庫作為輔助資料庫,用於存儲一部分結構化的數據,以及舊系統中已經存儲的數據。使用兩套資料庫不僅可以存儲結構化數據而且還可以適用於大數據時代地質資料信息的存儲,因此系統具有很好的適應性和靈活性。
2.4 安全性設計
地質資料信息是國家的機密,地質工作人員必須要保證它的安全。地質資料信息進入數字化時代之後,地質資料常常在計算機以及網路上進行傳輸,地質資料信息的安全傳輸和保存更是地質工作人員必須關注和解決的問題。在本存儲架構的設計中設計的安全問題主要有資料庫存儲安全、數據傳輸安全、數據訪問安全等問題。
資料庫設計時採用多邊安全模型和多級安全模型阻止資料庫中信息和數據的泄露來提高資料庫的安全性能,以保障地質信息在資料庫中的存儲安全;當用戶登錄系統訪問資料庫時,必須進行用戶甄別和實名認證,這主要是對用戶的身份進行有效的識別,防止非法用戶訪問資料庫;在對地質資料進行網路傳輸時,應該首先將數據進行加密,然後再進行網路傳輸,以防止地質信息在傳輸過程中被竊取。
3 結語
提高地質資料數字化信息化水平,是國外地質工作強國的普遍做法。為推進我國地質資料信息服務集群化產業化工作,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。該存儲架構的設計只涉及了簡單模型的構建,具體詳細復雜的功能設計和軟體實現還需要在進一步的研究工作中完成。
參考文獻
[1]吳金朋.一種大數據存儲模型的研究與應用[D].北京:北京郵電大學計算機學院,2012.
[2]吳廣君,王樹鵬,陳明,等.海量結構化數據存儲檢索系統[J].計算機研究與發展,2012,49(Suppl):1~5.
[3]黃
4. 如何面對存儲虛擬化
第一、規劃好企業的存儲虛擬化策略
一個好的存儲虛擬化策略將取得事半功倍的效果,因此作為一個存儲管理人員必須先制定一個好的存儲虛擬化策略,比如是否考慮到需要虛擬化策略?實施虛擬化之前,企業擁有哪些存儲資源,實施虛擬化之後,企業又需要哪些資源?實施虛擬化之後,企業如何來管理每天的備份、數據保護、歸檔已經災難恢復任務了,這和之前的管理又有什麼區別?實施虛擬化之後,企業打算擁有多少數據中心,每個數據都肩負什麼功能?
毫無疑問的是存儲虛擬化能夠帶來降低存儲管理復雜性、降低存儲成本,但是決定何時實施存儲虛擬化是一個關鍵因素,而且也非常困難。因為,評估企業當前和存儲相關的業務就顯得尤為重要。在實施虛擬化之前,存儲系統可能處於一種分散、難於管理的狀態,虛擬化之後,存儲管理人員可以把多個存儲系統整合到一個網路環境中去,而通過一個統一的方式去管理這個網路環境。許多企業的關鍵業務如何去面對這個新的存儲環境是需要存儲管理人員去認真考慮的。
一些企業的信息中心主管透漏,國內企業在規劃存儲虛擬化策略方面的確是做的很不足。在虛擬化日趨普及的今天,還是希望有關人士能夠從第一步就做好,好的開始等於成功的一半,規劃好企業的存儲虛擬化策略的確是能夠給企業的IT架構改造帶來諸多益處。
第二、將企業業務數據進行合理分類規劃
也許你看到這點會覺得很搞笑,你會覺得:企業數據中心的數據當然都是非常重要和關鍵的,根據他們的關鍵成都來分類數據是很難的和不必要的。這種一刀切的想法無疑是幼稚的,實踐顯示,很多公司都在這個環節上失誤。企業在實施虛擬化的時候就需要考慮什麼樣的數據、多少數據你可以承受它們丟失。例如,當前的存儲虛擬化技術在資料庫的支持方面就不夠,如果你對這些結構化的數據類型不太注意的話,造成的後果可能不堪設想。因此對企業業務數據進行合理分類規劃是非常重要和有必要的。合理的分類能夠讓你的存儲虛擬化效率更高,管理也更加方便和快捷。
第三、了解數據生命周期
對於一個存儲管理人員,另外一個很重要的事情就是需要對企業的日常業務熟悉,特別是對公司數據的生命周期需要有比較深入的了解。如果作為一個存儲管理人員現在還沒概念,那麼就需要思考一下自己對企業日常業務和企業數據生命周期有多少了解了。如何對公司的業務數據不了解的話,那麼怎麼知道什麼時候該去歸檔了、什麼時候該去備份了?
假設對公司業務數據了解的話,那麼就知道什麼時候把數據放在合適的存儲類型上,以及懂得規劃數據的分層次存儲。
作為一個存儲管理人員,針對數據周期的存儲優化策略是必須的。毫無疑問的是,存儲虛擬化在這方面具有非常大的優勢。
通過存儲虛擬化,存儲管理人員可以講所有不同的存儲系統以及它們相關的卷就可以通過邏輯卷的方式進行統一管理了。而這就非常方便用戶來實現數據從一個存儲層到另一個存儲層的遷移。
第四、規劃好存儲層次以及服務級別
決定一個公司存儲成本的往往不是存儲系統的硬體,而是存儲平台和存儲解決方案的選擇,而對企業的存儲層次和服務級別規劃則決定了存儲和存儲解決方案的選擇。因此規劃好你的存儲層次和服務級別對於存儲虛擬化來說數據訪問、數據可用性、數據安全、數據響應時間、數據保護等服務級別成為部署存儲虛擬化的基礎。
那麼如何來平衡這些不同的存儲層次服務、優化它們的可用性以及增強數據可管理型了?存儲虛擬化可以幫助你來降低不同存儲層次服務的復雜性和提高數據的可管理性。並且這種行為是不可見的。
我們來舉個例子:一個企業應用需要在不同的數據中心上做災難備份,這就舉要一個高度可用的災難恢復策略。面對這樣的應用需求,我們該怎麼辦了?存儲虛擬化能夠輕松的平衡數據復制並且可以採用鏡像技術讓數據在相關的數據中心位置創建,這樣的話,第一份主要的數據存在高性能的存儲層次上,其他的備份則不一定是在這個存儲服務層次上,所以存儲虛擬化讓企業選擇不同的存儲平台來滿足數據使用的需求。
第五、考慮安全性和兼容性
也許安全性和兼容性是廣大企業用戶在實施存儲虛擬化中最為擔心的問題,實際上這種擔心也是很正常的,因此我們在部署虛擬化的環境的時候就應該更加仔細的考慮安全因素。
存儲虛擬化允許同一個虛擬池上存儲設備的簡單數據遷移以及異構磁碟子系統的復制,企業關鍵數據的第二份拷貝就必須有和第一份數據同樣的安全級別。舉個很簡單的例子,針對災難回復的企業重要數據的第二份拷貝就需要和第一份數據同樣嚴格的安全級別,需要控制它的訪問級別和安全保護。
在一些特殊的領域,諸如金融服務領域,存儲虛擬化環境安全性的考慮都將影響存儲虛擬化的使用。現在凡是在安全性要求高的行業裡面,存儲虛擬化的安全性都是重點考慮對象。
我是從IT號外知道的。
5. 信息中心如何服務基層
(一)積極應對,主動求變,適應職能轉變和工作要求。
作為基層信息中心,應正確認識工作中面臨的問題,以積極的態度應對新形勢下的職能轉變和工作要求。
首先,充分認識到信息中心的作用與地位。信息化建設任重道遠,信息中心工作事關全局,責任重大,地位十分重要。應進一步增強工作的自豪感、責任感與使命感,站在全局的高度來思考與把握自身工作,要把工作放在整個稅收工作中去衡量去把握,放眼全局,積極主動,圍繞全局的工作中心來開展技術支持和服務工作。
其次,正確認識和對待信息中心職能變化。應當清醒地認識到一體化、集中處理是稅收信息化建設的發展趨勢,也是稅收征管改革不斷深化的結果,對因此而產生的巨大變化,不怨天尤人,也不妄自菲薄;要根據形勢的變化以及工作的需要,進一步轉變觀念,主動研究,積極思考,創新思路,調整自身心態與工作重點,把握好發展方向,充分發揮自身的主觀能動性,創造性地開展工作。
最後,明確工作思路。基層信息中心應圍繞稅收工作大局,以提高自身能力為突破口,把工作重點放在對稅收業務的信息化支持和保障上來,加強隊伍建設,完善運維體系,強化信息安全,深化數據利用,夯實管理基礎,推進技術創新,為促進國稅事業科學發展提供強有力的支持與保障。
圍繞一個中心:圍繞國稅中心工作的要求來開展工作。
搞好「兩個保障」:保障網路、設備和信息安全,建立健全安全防護體系;保障稅收信息系統高效運行,完善市、區局兩級運維體系。
實現「三個轉變」:在系統運維方面,實現從「消防員」向「防疫員」轉變,變「被動」運維為「主動」運維;在管理方面,實現從靜態的、事後結果處理的粗放式管理向運用現代信息技術進行實時動態的、監控過程的集中式可控性管理轉移;在應用工作方面,由側重硬體網路建設的事務處理型逐步轉向深度挖掘資源的信息服務型轉變。
提高「四種能力」:增強基礎設施支撐能力、運行維護能力,提高安全保障能力、技術服務水平。
(二)明晰職能,把握角色,找准職責定位與發展方向。
弄清崗位職責、找准職能定位是履行信息中心職能、做好信息中心工作的重要前提。當前信息中心的主要職能是:承擔本系統信息化建設的技術服務、技術支持和技術保障工作;承擔稅收管理信息系統的運行維護工作;組織本系統技術基礎設施建設管理與運維;參與擬訂稅收管理信息化建設規劃和實施方案,參與稅收管理信息化建設項目立項、技術標准、業務需求、資金使用等工作;組織本系統信息安全管理與實施。這不僅規定了信息中心的職能,同時對確定信息中心的主要工作、業務方向、服務對象具有權威性和指導性作用。基層信息中心應圍繞「一個目標」、處理「兩個關系」、履行「三項職能」、擔當「四個使者」、建設「五大中心」,把握好角色定位。
1、圍繞「一個目標」,明確職能定位。
圍繞信息化建設的總體目標,省、市、區三級信息中心根據工作側重點不同,明確職能定位。
省局信息中心作為全省信息化建設的主體,其職能定位是:研究、規劃全省國稅系統信息化發展戰略、發展方向,制定信息化建設總體規劃;組織、指導和實施全省國稅系統信息化建設;制定全省國稅系統各項信息管理制度和技術標准規范;領導全省國稅系統的各類軟體開發、測試及推廣應用;實施全省各類信息系統的建設、運行和維護;負責全省國稅系統信息安全體系的建設和管理;規劃並組織全省國稅系統信息技術人員的培訓等。
市局信息中心的職能定位是:在省局信息中心的統一領導下,承擔起全市的信息化基礎設施建設、運行維護、信息安全工作,以及總局、省局下發軟體的推廣應用工作;根據本地實際需要開發簡單、實用的應用軟體,主動開展數據分析應用工作;在市局領導支持和相關部門配合下,積極開展對稅務幹部的計算機知識培訓,不斷提高全體稅務幹部的計算機知識水平與實際操作技能。
區局信息中心作為全省信息化建設的基礎,支撐作用仍然很重要,應當在上級信息中心的業務指導下開展工作,其職能定位是:承擔本單位的信息化基礎設施建設、運行維護、信息安全工作,配合市局信息中心完成各類軟體的推廣應用工作,積極向上級信息中心反映本單位在信息化建設方面存在的問題及需求,做好技術服務,及時解決故障,完成操作培訓,確保基層應用到位。
2、處理好「兩個關系」,把握職責定位。
一是處理和協調好上下關系。加強與上下級信息中心的溝通與聯系,信息中心的工作專業性很強,信息化工作本身非常復雜、變化較快,在落實執行上級工作安排與部署的過程中,遇到問題要及時聯系,加強上下溝通,以獲得幫助與支持。二是處理與協調好與業務部門的關系。在日常工作中,應主動與業務部門接觸和協調,協助他們解決工作中的技術問題,幫助他們提高計算機操作應用水平,同時還應該經常深入征管一線,了解稅收業務流程,熟悉業務操作技能;在為其他部門的同志解答難題或排除故障時,要謙虛,有耐心,切忌以「師傅」自居,以「專家」自詡;在配合或協助業務部門工作時,要以大局為重,以工作為重,不要過多地關注和計較部門得失、個人得失,在工作面前多一些主動,在成績和榮譽面前多一些謙讓;在應用軟體開發過程中,要虛心向業務處室的同志學習,徵求他們的意見,傾聽他們的呼聲,採納他們的建議。
3、履行好「三項職能」,提高工作水平。
當前,信息中心要履行好「三項職能」:一是履行好「服務員」職能。信息中心的工作職責決定了其定位於服務的角色,即:為稅收業務服務,為基層單位服務,為納稅人服務。二是要履行好「協作員」職能。要主動配合業務部門、積極協作,扎實做好信息化工作。三是履行好「輔導員」職能。積極開展計算機操作應用培訓,幫助稅務幹部排除計算機故障,不斷提高稅務幹部計算機操作應用水平。
4、擔當好「四個使者」,把握自身角色。
基層信息中心在信息化建設中充當宣傳者、探索者、實踐者、守護者等角色。所謂宣傳者。主動向本單位的領導和稅務幹部宣傳稅收信息化建設的重要性、長期性、復雜性,爭取領導的支持和稅務幹部的理解。所謂探索者,就是站在用戶的角度,積極探索為稅收信息化提供技術管理、技術支持和技術保障的有效途徑,不斷為省局信息中心提供有效的建議和可靠的協助,實現技術創新與管理創新相結合,推動稅收整體工作全面、協調發展。所謂實踐者,就是基層信息中心應該充分發揮自己身處技術與業務「交集」的優勢,主動實踐,及時總結,為信息化建設積累實踐經驗,為上級信息中心的決策和工作部署提供參考依據。所謂守護者,基層信息中心應以安全體系建設為己任,充當信息化建設的守護者,切實提升本單位的安全防護能力,提高稅務幹部的安全防護意識,確保網路及各類應用系統的平穩運行。
5、建設好「五大中心」,安置功能定位。
根據新時期的信息中心職能,可以認為基層信息中心有五大功能定位:分別是網路服務及安全保障中心、設備管理維護中心、數據存儲(備份)挖掘中心、系統運維管理中心、技術支持中心。
加強技術支持分中心建設,充分發揮技術支持分中心在信息化工作中的作用。
(三)苦練內功,提升能力,在信息化建設工作中再立新功。
搞好信息中心工作,關鍵在於人才隊伍,其中隊伍素質是前提,能力建設是基礎,激發潛能是關鍵。
1、採取措施,穩定發展隊伍。
健全信息中心組織機構,調整充實技術隊伍,優化人力資源配置和人才結構,採取有效措施,穩定技術隊伍,在政治上愛護、生活上關心、工作上支持、學習上鼓勵、專業上尊重,暢通成長路徑,搭建成長平台,努力為他們的健康成長和全面發展創造條件,使人才「育得好、用得當、留得住」。
2、深教嚴育,培養人才隊伍。
加強技術隊伍的培養、使用和管理,培養既精通技術、又熟悉業務的復合型人才,鍛造一支具備良好素質、結構合理、能滿足軟體開發、系統維護和具體操作運用需要的、扎實肯干、相對穩定的、高素質人才隊伍。
3、苦練內功,提升素質能力。
採取項目練兵、學習培訓、技術交流等形式,不斷更新和提升技術人員專業知識和綜合素質。信息中心的同志要自覺加強學習,提高專業技術、稅收業務、協調溝通、應對突發事件的能力。
4、以人為本,激發隊伍活力。
著力營造「尊重人才、愛護人才、激活人才」的良好氛圍,營造使他們各盡所能、各得其所又和諧相處的工作環境,用良好的人文環境凝聚人,用人性化管理激發人,充分調動技術人員的積極性、主動性、創造性。
總之,信息中心要加強自身素質能力建設,增強工作的主動性、預見性和超前性。信息中心的同志要繼續發揚勇挑重擔,無私奉獻、開拓創新、積極進取的精神,在信息化建設工作中建功立業,為推動國稅事業發展做出新的更大的貢獻。
(四)發揮優勢,務實創新,推動信息化工作深入發展。
基層信息中心應充分發揮具有一定技術力量,同時又接近基層、熟悉稅收業務的優勢,結合實際情況積極、主動地開展工作。緊緊圍繞「基礎管理、應用支持、技術服務、安全保障」方面下功夫,要突出重點抓基礎,聯系實際抓運用,優化支持抓服務,強化安全抓保障,注重創新抓管理。
第一,加強信息安全工作。決定信息安全成敗的重要因素,除了技術,就是管理。安全技術是信息安全控制的重要手段,但僅有安全技術還遠遠不夠,要讓安全技術發揮應有的作用,必然要有適當的管理程序支持,否則,安全技術只能趨於僵化和失敗。當然,無論是選擇技術產品還是實施管理程序,要想真正實現信息安全,必須充分考慮信息安全多樣性和動態性等特點,結合各種安全因素,從整體上把握信息安全建設的方方面面。
第二,增強運行維護能力。要按照要求,做好運維隊伍、運維制度、運維流程三項基礎性工作,以「服務」為核心,業務需求為驅動,按照規范的制度流程和一定的技術手段來加強系統事件管理、問題管理、變更管理和日常作業管理,完善運維體系建設,提升運維效率,確保全市各應用系統安全、穩定、高效運行。
第三,積極參與信息管稅。信息中心在實施信息管稅中能夠發揮重要的作用,有許多工作可以做,對此,專業技術人員要有清醒的認識。信息中心不僅具有掌握數據、懂技術、業務中立的優勢,而且具備數據分析的能力,要站在國稅工作全局的高度,緊緊圍繞服務稅收核心業務,充分發揮自身的優勢,積極參與「信息管稅」工作,把工作重點轉向數據資源的深度利用上來,充分發揮信息技術對納稅服務、稅收征管及制度創新的支撐和促進作用。充分利用先進的數據倉庫技術和數據挖掘技術,建立分析指標體系和分析模型,有針對性地利用現有信息進行綜合性地分析和比對,並將分析結果迅速轉化為指導稅收工作的有效信息。要緊密圍繞內部所有稅源數據、稅收收入數據和外部經濟數據等各類歷史數據的匯集,對大量涉稅數據的各項業務指標從不同角度進行深層次、多維度分析,及時將稅收數據分析的結果轉化為現實的稅收征管工作成果,保障稅收收入的平穩較快增長,從而有力地推動全市「信息管稅」工作的深入開展。
第四,加強內部管理。優化管理機制,做到分工精細化。以規范管理、提升效能為目標,以崗責、制度建設為重點,健全信息中心內控機制。健全計算機類設備管理維護制度,加強對設備使用人員及管理者的管理。建立健全定期督查制度和隨機抽查制度,加強對軟體推廣運用、系統升級、網路安全等工作的考核落實。
第五,推動工作創新。技術、管理
面對信息中心工作職能轉變,只要積極應對,主動求變,大膽探索,創造發展條件,不斷探索和創新工作方法,謀求發展新思路,用科學的方法強化管理,用先進的技術提高成效,信息中心工作大有作為,信息化建設的明天會更加美好。
6. 基於SAN存儲的國家級土地調查數據管理與集成系統建設
張定祥 戴建旺 李憲文 何歡樂
(中國土地勘測規劃院,北京,100035)
摘要:本文在對國家級土地調查數據管理與集成系統建設項目背景分析的基礎上,提出了系統建設的總體目標和任務,全面闡述了系統的總體設計、運行模式、系統功能設計思想,系統地介紹了各子系統的功能模塊設計,最後本文對該管理與集成系統的應用進行了展望。
關鍵詞:土地調查;數據集成;SAN (Storage Area Network);數據倉庫
1 項目背景
目前,隨著我國土地調查技術水平不斷提高,數據的精度和現勢性不斷加強,數據資源發揮了越來越重要的作用。但是,我國土地調查數據管理方面還存在一些問題。主要表現在:①數據管理手段落後、數據整合集成度差。大量調查監測與評價數據以文件光碟或紙質方式存放,大多數沒有建立集成化的空間資料庫;土地資源調查監測數據內容不統一,不同時期數據成果的可比性差,難以形成管理和研究分析需要的區域性時間系列數據;土地資料庫存在多種比例尺、多種格式等問題。②數據共享應用存在障礙,數據信息挖掘不夠。由於多方面的原因,土地調查數據共享渠道還不夠通暢,大量數據資源還未納入管理,數據應用潛力遠沒有開發。
當前,建立國家級土地調查數據管理與集成系統的意義在於:①有效整合、集成土地資源調查工程數據成果,為工程提供系列化、標准化的展示成果;②為「金土工程」和「全國土地資源二次詳查」等新項目提供標准化、集成化數據產品;③加強數據基礎建設,並進行數據信息挖掘,形成土地管理科學決策的數據基礎,提高土地科技創新能力和土地資源參與國民經濟宏觀調控的科學性;④挽救土地資源調查歷史數據,加快數據共享應用,保護國家在土地調查多年巨額投資成果。鑒於以上考慮,「土地數據存儲管理系統」採用現代數據倉庫數據集成技術思路,以三個資料庫(土地資料庫、土地成果庫、土地應用庫)、數據整合集成工具包、數據分發和對內對外發布等開發為主要內容,將為國土資源大調查——土地調查原始數據管理、成果數據集成、應用數據產品開發、數據分發服務一體化提供集成的網路化管理與共享平台。該系統的建設將大大提高土地調查數據管理和集成信息化水平。
2 系統建設目標
本系統建設目標為:在對國家級土地數據現狀和預測分析基礎上,設計並建立基於SAN (Storage Area Network)存域網的土地數據管理與集成系統,實現客戶端、數據存儲中心和業務系統有機銜接,滿足海量土地數據的動態存儲、管理維護、更新、整合處理、查詢檢索等功能,實現土地數據的分布式共享和應用;能夠實現對國家級土地調查、評價、規劃等數據進行整合、編目、集成形成多層次專題數據建庫,並加入數據管理系統;在此基礎上,構建土地分中心對外服務共享平台,通過專題資料庫整合、集成、網上發布,實現土地調查數據社會化共享。
3 總體設計
3.1 系統總體框架設計
基於SAN存儲的國家級土地調查數據管理與集成系統由基礎設施、數據和業務應用三層技術體系,安全和整合集成兩個技術保障構成,具體的土地數據分中心總體設計架構如圖1所示。
圖1 土地數據分中心總體設計架構
3.1.1 基礎設施層
基礎設施層是系統建立及日常運行的基本軟硬體環境,其中硬體環境構成了分中心的網路環境、存儲環境及安全環境,軟體環境則包括操作系統、資料庫管理系統、GIS軟體環境等。
3.1.2 數據層
數據層是系統建設的核心部分,該層構成了分中心的數據基礎設施。全部數據通過建立統一的土地資料元數據實現集中管理與維護。數據層主要由土地資料資料庫、土地成果資料庫和土地應用資料庫組成,資料庫內所有土地資料信息在元資料庫中管理維護。
3.1.3 業務應用層
業務應用層是分中心的運行層,所有具體的業務人員都在這個基礎上實現土地數據分中心的應用。根據應用內容的不同,應用系統包括:土地資料庫管理與維護;土地資料庫信息檢索與查詢;土地數據的加工處理與整合;各種土地業務管理應用;國土資源輔助決策支持;科學數據共享服務網站六部分職能。
3.2 運行模式
國家級土地調查數據管理與集成系統日常運行模式有三種,即分中心內部運行模式、院內部運行模式以及院外部運行模式。分中心內部運行模式的核心是土地資料數據的匯交、存儲、管理、元資料庫維護、數據整合與整理等。院內部運行模式主要為非專業應用系統的普通土地數據用戶則可以通過元數據的檢索查詢完成土地數據的信息瀏覽、數據下載、數據轉換及數據應用工作;此外院內運行的各類土地專業應用系統通過計算機網路,通過訪問、檢索元資料庫實現土地數據倉庫的信息共享,從而達到不同格式的土地數據在不同部門和業務系統間的流通、交換和共享利用的目標。
規劃院外運行模式涉及國務院各部委機關、國土資源部機關、相關數據中心及信息中心、各級省級國土資源數據中心、省級規劃院系統等不同層次和需求用戶。
3.3 系統功能設計
3.3.1 採用基於高性能的 SAN 的網路結構
SAN (Storage Area Network)是當前最先進的網路存儲方式,本系統數據存儲採用光纖布線的方式為用戶提高數據傳輸的帶寬和可靠性數據。系統硬體設備主要包括P650小型機、H16 SAN光纖交換機、FastT600光纖磁碟陣列、3583光纖磁帶庫、IBM EXP400陣列、IBM X365伺服器及IBM X445伺服器等IBM的設備、SUN的Blade2500圖形工作站及Cisco的網路交換機(數據存儲結構見圖2)。
圖2 數據存儲結構圖
3.3.2 高可擴展性存儲設計
從存儲容量來看,目前IBM FastT600磁碟陣列可以提供2 T的存儲空間,最大可以擴展到16 T的存儲容量。IBM 3583-L36光纖磁帶庫內有36個磁帶的艙位,配置了4個磁帶驅動器和40盤200 GB的磁帶,正常情況下可以存儲8 TB的數據,壓縮的狀態下可存儲16 TB的數據。3583磁帶庫驅動器可以再增加2個,磁帶的艙位可以增加到72個。離線磁帶的數量理論上是沒有限制的,只需更換新的磁帶就可以了。
3.3.3 基於數據倉庫設計思想的數據存儲管理系統
針對國家級土地調查數據多源異構情況復雜而應用目標不十分明確的矛盾,借鑒數據倉庫技術思想,設計了數據存儲管理系統中土地數據整合集成技術流程。其核心思想在於國家級土地數據通過數據集成工具逐步形成土地資料庫、土地成果庫、專題產品庫等系列產品。系統土地數據整合集成技術體系在以下方面:①外部歷史數據進入資料庫的元數據錄入和數據入庫規范,主要由人工處理和系統自動完成;②數據從資料庫進入成果庫之前的數據轉換、抽取、重組、建模、綜合和集成過程,主要由系統提供工具軟體或數據介面人工操作完成;③成果數據進入應用庫之前的數據裁減、融合、接邊、格式轉換等數據集成過程,以及數據成果庫數據挖掘、決策分析功能,此部分主要通過Arc/Engine開發工具的模塊和利用Oracle相應的數據挖掘功能實現。
4 功能模塊設計
4.1 資料庫管理子系統
土地資料庫系統通過建立數據的管理元數據、數據命名、數據目錄規范入庫、構建資料庫,實現基於元數據的檢索、數據查詢、數據預覽等功能。土地數據資料進入資料庫系統是數據資料的初步整合過程,紙質資料和電子數據進行分類管理,紙質資料只錄入編目系統,資料本身不進入數據目錄管理系統。電子數據納入文件目錄管理范疇,需要進行元數據錄入和文件重命名和數據入庫等過程。數據資料整合管理過程主要包括:數據內容選擇、元數據錄入、文件進入資料庫文件目錄系統(目錄資料不入庫)、文件的規范命名、元數據檢查修改、元數據查詢瀏覽、數據分發和發布等過程。
土地資料庫管理子系統由資料庫、管理和維護應用系統、土地數據對外服務系統構成。具體包括:①資料庫。根據數據層次的不同,土地資料庫管理子系統中含有經過重新目錄組織和文件命名的土地資料數據和體現數據目錄信息及其他內容的元數據。②數據管理維護系統。針對土地資料資料庫、元資料庫分別由土地資料管理維護系統、元數據管理維護系統提供相應數據內容的入庫、檢索、利用、存取控制、備份、恢復等。③土地數據對外服務與數據分發系統。土地數據對外服務系統基於互聯網,向社會公眾提供元數據、土地資料數據的瀏覽、查詢、下載等土地數據服務。
4.2 成果庫管理子系統
在資料庫結構預先構建前提下,在經過數據整合和成果提取過程之後,成果數據存儲在Oracle Spatial中,數據管理工作包括空間數據本地瀏覽、數據內容維護和資料庫結構維護。具體包括以下幾個方面。
4.2.1 成果數據管理
成果最小的組織單位是縣,然後確定一個縣的土地專題,如縣級土地利用、縣級動態監測等,系統建庫標准參考相關國家建庫標准。成果數據的體現按照樹型來組織,第一級是成果主題,然後根據成果組織的類型分為分幅和行政區兩種方式。分幅方式主要是根據標准比例尺將全國區域分為相應數量的邏輯尺寸,數據的組織採用這兩種方式相結合,主要是因為目前有很多已有土地數據成果,本身就是採用分幅來匯交數據,在不改變原有數據的數據范圍下就可以完成數據的拼接。另一方面,一般顯示數據採用行政區省—市—縣逐級索引的,便於數據檢索。
(1)成果分幅管理 標准百萬分幅、標准50 萬分幅、標准25 萬分幅、標准10 萬分幅、標准5萬分幅、標准2.5萬分幅、標准1萬分幅。
(2)成果行政區管理 省級索引圖、市級索引圖、縣級實際成果數據 (圖3)。
圖3a 百萬分幅索引圖
圖3b 全國省界索引圖
圖3c 廣東省界索引圖
圖3d 縣級土地利用專題數據
4.2.2 成果空間數據瀏覽
此功能模塊主要用來實現對存儲在Oracle Spatial中的成果數據進行預覽,主要包括如下空間圖形操作功能。放大、縮小、漫遊、全圖、查閱屬性數據、查閱元數據。
4.2.3 成果整合管理
成果庫的建立是通過整合工具將目標數據整合而成。成果的整合管理主要是指將數據整合到成果庫的過程管理,系統提供整合入庫向導輔助完成這個整合過程。整合過程包括如下步驟:①選擇成果目標庫;②查詢選擇整合數據源;③確定數據源與目標庫(數據表)的對應關系,系統支持多種格式的數據源,包括Arcgis shape,Arcgis coverage,Map-gis,VCT 多種國內外主流 GIS 平台數據格式;④確定數據源屬性表與成果庫數據欄位的對應關系;⑤確定數據源元數據與成果庫元數據的對應關系;⑥調用數據整合工具完成目標數據源向成果庫的整合。
4.2.4 成果建庫管理
成果庫包括兩個部分,一個是核心庫,包括分幅信息、行政區索引信息、成果元數據、縣級標准主題庫;另一個部分是成果擴展庫,主要為了實現系統的兼容性和用戶自定義。
由於成果核心資料庫結構是預先生成,在系統正常運行階段不提供用戶介面進行調整,可提供根據預先生成的資料庫腳本重新創建資料庫框架;在不影響資料庫數據整合入庫和數據發布的情況下,通過和開發人員共同合作實現對資料庫的調整。對於成果擴展庫,系統提供建庫向導輔助用戶完成自定義擴展。擴建庫建立向導主要完成如下功能:①定義擴展資料庫、數據表結構;②確定擴展資料庫、數據表與核心庫關系;③定義數據獲取與更新機制。
4.3 應用庫管理子系統
數據的最終目的很大程度上是為了應用於專題中作為數據存儲系統的重要功能,要求實現根據專題用戶輸入應用要求,實現數據提取。完成專題產品的來源可以來自於資料庫和成果庫,由於各種專題的要求並不一致,因此需要具有通用性且功能強大的通用工具,以便實現專題數據產品的生成。
4.4 數據發布管理子系統
土地數據管理模式採用土地數據存域網和土地數據中心對外發布平台的有機集成管理模式。中國土地勘測規劃院內部土地數據管理由對內發布服務系統實現,社會共享數據和信息管理通過土地數據中心對外發布平台實現。土地數據資源要求可以被授權用戶使用,使用方式將改變以前通過文件復制的方式,而採用更加方便而且安全有效的方式,即通過信息發布——用戶下載的方式來實現。具體功能包括:①數據查詢;②數據分發申請登記;③數據分發申請審核;④數據分發授權;⑤數據下載服務;⑥數據下載備案。
圖4 數據產品下載申請登記
圖5 數據分發審核管理
4.5 數據整合環境與集成工具包
數據整合處理環境由多個數據提取工具構成。利用數據模型構建工具,面向土地專題應用,構建相應的數據倉庫框架,逐步擴充土地專題業務應用資料庫所涵蓋的土地分析專題;通過開發面向特定土地成果資料庫或土地專題應用的整合特定數據源數據的數據提取工具,逐步充實數據整合處理環境的數據提取工具;通過運行數據提取工具,逐步充實土地成果資料庫和土地專題數據倉庫的內容。編寫數據提取工具,從各土地資料資料庫抽取數據到土地成果資料庫中,由土地成果數據抽取數據到土地專題應用資料庫中。
基於 ESRI Arc/Engine 組件工具,開發服務於「土地數據整合處理」的各種通用 GIS工具組件備用,同時開發具有友好圖形用戶界面,實現基於「土地資料庫」或「土地成果資料庫」及其元資料庫提取特定專題應用產品資料庫的流程管理的專題產品資料庫提取與維護管理系統。考慮到數據產品資料庫創建的復雜性,在系統實現過程中,只實現可自動化進行的流程的管理,對於無法自動化的過程,系統給出信息提示,實施手工處理。
圖6a 數據整合處理環境提取工具
圖6b 通用集成 GIS 工具組件
5 應用展望
當前,加快土地調查評價數據集成既是深化大調查成果的需要,也是國家土地管理新形勢對土地資源調查監測數據集成提出的新要求。充分發揮土地調查評價數據的基礎性作用,促進國家科技數據資源共享也必須對土地數據進行整合集成。如何對多年來取得的國家級土地調查評價數據,特別是大調查數據進行有效集成和管理,並為國家土地管理宏觀決策提供快速、准確的信息服務是國家級土地調查評價數據集成面臨的首要問題。基於 SAN 存儲的國家級土地調查數據管理與集成系統,首次將土地數據倉庫技術思想應用於土地數據管理系統建設中,提出資料庫、成品庫、應用庫三庫一體的數據倉庫解決方案,對不同處理級別數據分級存儲,為土地數據挖掘提供可能,也為不同應用目的數據集成提供實現有效途徑。通過該系統建設將能夠實現土地數據管理、土地數據處理和信息發布網路化,大大提高信息化建設水平。目前本系統已經初步建成,並處於試運行階段,正利用本數據管理集成系統平台進行全國城市土地利用動態遙感監測數據、1∶1 萬土地利用建庫、土地詳查1∶5 萬縣級土地利用柵格數據等土地調查監測數據的整合集成工作。目前已經完成2004年度全國土地利用動態遙感監測成果數據、「數字國土」工程1∶1 萬土地利用建庫200 多個縣區、土地詳查1∶5 萬縣級土地利用柵格數據全部數據(2000 多個縣)的整合入庫和元數據錄入,並可實現對元數據和數據的管理。系統建設已經初見成效,實現了土地調查數據科學有效管理、避免重復投資,為國家寶貴的數據資源科學管理、有效集成和共享應用打下了堅實基礎。可以預見,本系統平台將在國土資源大調查——土地資源調查數據整合集成發揮重要作用。當然由於受人員、時間,特別是水平等各方面條件的限制,本系統還需要在國家級土地調查監測的數據整合集成實踐中不斷地完善、提高。
7. 數據中心的構成是怎麼樣的
數據中心系統總體設計思想是以數據為中心,按照數據中心系統內在的關系來劃分,數據中心系統的總體結構由基礎設施層、信息資源層、應用支撐層、應用層和支撐體系五大部分構成。如下圖所示:
數據中心總體架構
數據中心系統總體架構
數據中心從頂層上規劃總體技術架構、設計技術路線和方法,保證網路、數據資源、應用系統、安全系統等各要素之間構成一個有機的整體,實現企業(機構)數據資源管理的聯動和信息的及時監測、匯總與分析。具體各層介紹如下:
(1)基礎設施層
基礎設施層是指支持整個系統的底層支撐,包括機房、主機、存儲、網路通信環境、各種硬體和系統軟體。
(2)信息資源層
信息資源層包括數據中心的各類數據、資料庫、數據倉庫,負責整個數據中心數據信息的存儲和規劃,涵蓋了信息資源層的規劃和數據流程的定義,為數據中心提供統一的數據交換平台。
(3)應用支撐層
應用支撐層構建應用層所需要的各種組件,是基於組件化設計思想和重用的要求提出並設計的,也包括采購的第三方組件。
(4)應用層
應用層是指為數據中心定製開發的應用系統,他包括標准建設類應用、採集整合類應用、數據服務類應用和管理運維類應用,以及服務於不同對象的企業信息門戶(包括內網門戶和外網門戶)。
(5)支撐體系
支撐體系包括標准規范體系、運維管理體系、安全保障體系和容災備份體系。容災備份體系在傳統的數據中心系統中隸屬於安全保障體系,隨著數據地位的提高,容災備份已自成體系。安全保障體系側重於數據中心的立體安全防護,容災備份體系專注於數據中心的數據和災難恢復。