『壹』 海量資料庫解決方案的作者簡介
作者:(韓國)李華植 譯者:鄭保衛 蓋國強
李華植
代表韓國的資料庫技術先驅
集基於EA(Enterprise Architecture)的數據架構(Data Architecture)
方法論之大成
在韓國最早提出了數據專家顧問的概念
現任EN-CORE CONSULTING總經理及代表顧問
曾在韓國Oracle公司擔任200多家企業的技術顧問
論文:《構建海量數據系統時的RDB Performance問題解決方案》
書籍:《Data Modeling&Database Design》(1995)
《Oracle Server Tuning}(1995)
《海量資料庫解決方案》(1996)
《海量資料庫解決方案Ⅱ》(1998)
《數據架構解決方案I》(2003)
譯者簡介:
鄭保衛,於韓國國立釜慶大學信息工學系獲得工學博士,現任職於韓國最權威的資料庫公司EN-CORE CONSULTING,並兼任企業研究所研究員及資料庫電子商務研究所主要研究員。研究方向包括數據模型設計、海量資料庫解決方案、數據架構、基於資料庫技術的專家智能系統、ITA/EA(Infomation Technology Architecture/Enterprise Architecture)。
蓋國強(網名Eygle),Oracle ACE總監,恩墨科技創始人,ITPUB論壇超級版主,遠程DBA服務的倡導者和實踐者,致力於以技術服務客戶。著有《深入解析Orade》、《循序漸進Oracle》、《深入淺出Oracle》等書:從2010年開始,致力於《OracleDBA手記》的撰寫與編輯工作,並與張樂奕共同創立了ACOUG用戶組,在國內推進公益自由的Oracle技術交流活動。張樂奕(網名Kamus),恩墨科技技術總監,Oracle ACE,ITPUB資料庫管理版版主。他曾先後於北京某大型軟體公司、外資電信企業、咨詢公司任首席DBA。後任職於北京甲骨文軟體系統有限公司,高級顧問。他熱切關注Oracle資料庫及其他相關技術,對於Oracle資料庫RAC及高可用解決方案具有豐富的實踐經驗,長於資料庫故障診斷、資料庫性能調優。他還是各類技術會議的熱心分享者,2010年3月創建ACOUG用戶組。
崔華(網名Dbsnake),2004年開始從事DBA工作,在Oracle的安裝、升級、開發、性能調整、故障處理方面有豐富的經驗,對Oracle的體系結構具有深入了解:深入理解Oracle的內存結構、物理存儲(各種塊格式)、鎖機制、優化機制等:深入了解Oracle的備份恢復機制,熟悉Oracle的各種備份方法,能夠處理各種情況下的復雜數據恢復情況。
崔華也是熱心的技術分享者,多次在ACOUG的活動上與技術愛好者分享技術心得。
『貳』 論企業架構的重要性
很多時候,在一些IT咨詢/治理或SOA集成項目中,相信大家一定聽過企業架構,這是一個出現頻率較高且都會在項目中重點強調的詞語。事實上,若想真正的發揮信息化價值,使信息化可以支撐並順延企業後續的發展,在項目進行前,是必須要規劃出企業架構的。
講到這里,有人會問:「我建設IT信息化的目的是解決當前問題,直接開始就好了,為什麼要花費金錢和時間規劃企業架構?」對於該類疑問,我的回答是:企業架構是一定要做的!雖然構建一些簡單的信息化系統,或做幾個系統間簡單的集成來解決當前業務問題是不會出現大偏差的。但請試想一下,如果是一個復雜的信息系統構建或大型集成項目,涉及到幾十個信息化系統,其中包括通用和專用系統,同時存在多層業務管理關系、多道流程工序時,如果沒有事先規劃梳理好彼此之間的業務流程、資源復用、IT技術等就直接操作,百分之九十的結果是項目延期或做成爛尾。
這時必須要規劃出一個清晰的企業架構,才能保證業務流程相互運轉、信息化系統合理支撐、構建步驟有條不紊。可以說,企業架構是IT決策的重要依據,是支撐企業後續發展的重要基石。
企業架構(Enterprise Architecture),簡稱EA。是指對企業事業信息管理系統中具有體系的、普遍性的問題而提供的通用解決方案,更確切的說,是基於業務導向和驅動的架構來理解、分析、設計、構建、集成、擴展、運行和管理信息系統。復雜系統集成的關鍵,是基於架構(或體系)的集成,而不是基於部件(或組件)的集成,有效的企業架構對企業的生存和成功具有決定性的作用,是企業通過IT獲得競爭優勢的不可缺少的手段。
企業架構可以分為兩大部分即業務架構和IT架構。
業務架構: 是把企業的業務戰略轉化為日常運作的渠道,業務戰略決定業務架構,它包括業務的運營模式、流程體系、組織結構、地域分布等內容。
IT架構: 指導IT投資和設計決策的IT框架,是建立企業信息系統的綜合藍圖,包括數據架構、應用架構和技術架構三部分。
業務架構相當於企業的運營模式,一個公司要發展,一定會有自己的商業目標和運營模式,而這些就是企業的業務層面,可以說企業的業務架構是在市場上區分與其它企業的關鍵,通常包含運營模式、組織機構、業務流程、地域分布等。
運營模式: 簡單來說,運營模式就是企業通過何種方法進行盈利的,即使在同行業范圍內,每個企業的運營模式也大不相同,因為運營模式通常是根據企業的戰略、目標、優勢、發展方向等因素孕育而生的。運營模式一般分為:行政管理、資金管理、技術、生產、銷售五個層面,每個企業都會對以下層面進行特殊的設計。
組織機構: 組織機構是企業的運籌體系,包括企業的部門、崗位、職責,當企業的戰略發生變化,組織機構也會相應的調整變動。
業務流程: 這里的業務流程不是指針對企業的某個關鍵業務的一種描述,而是企業整體運轉上的大流程,體現在整體資源的梳理、組織機構的分配、管理制度的優化,對業務運營存在著指導意義。
地域分布: 地域分布主要確定業務活動在什麼地域執行,地域分布對運營模式的規劃、組織機構的劃分、業務流程的設計起著關鍵作用。
企業架構中的IT架構是構建企業IT信息化系統的基礎,它能夠有效指導IT信息化項目的開展和執行,IT架構又分為數據架構、應用架構、技術架構。
>>>>數據架構
數據架構是企業IT架構的核心,眾所周知,數據是對客觀事物的真實表現,具有權威性和價值性,企業信息系統下的運營狀況都是通過數據反映出來的,數據可以作為企業的重要資源,因此在考慮IT架構建設前首先需要考慮數據架構對當前業務的支持,即企業需要哪些重要數據、企業數據如何治理規劃、如何實現重要數據的運用。之後,根據上述幾點進行數據架構規劃,數據架構規劃主要包括數據模型、數據分布、數據治理三個方面。
數據模型: 良好的數據模型可以反映出業務模式的本質,確保為業務需求提供全面、一致、完整的高質量數據,且為劃分應用系統邊界、明確數據引用關系、定義應用系統間的集成介面提供分析數據。然而數據模型不只是與應用架構關聯,同樣對業務架構提供生命周期治理和管控,在業務架構中的數據模型分析重點是主數據和核心業務對象,而應用架構中的數據模型則進一步轉換到邏輯模型和物理模型,直到最終的數據存儲和分布。
數據分布: 數據分布包括業務分布和應用分布,數據分布一方面主要是分析數據在業務各環節的增刪改及引用的關系,另一方面是分析數據在單一/多個系統中的數據結構與應用系統各功能模塊間的引用關系。
數據治理: 數據治理包括元數據管理,數據質量管理、數據標准規范、數據字典、數據安全、數據採集、同步、分發等內容,即主數據管理內容。數據的治理在整個數據架構中起著非常重要的作用,高質量的數據是構建數據架構的重要支撐,同時也是企業後續梳理業務流程建設的前提。
>>>>應用架構
應用架構向上承接了企業戰略發展方向和業務模式,向下規劃和指導企業各個IT系統的定位和功能。應用架構是業務架構、數據架構、技術架構、信息安全及IT管理等方面綜合的體現,它包括了企業的應用架構藍圖、架構標准/原則、系統的邊界和定義、系統間的關聯關系等方面的內容。
在構建應用架構時,滿足當下需求的同時,需要進行長遠的規劃,即符合企業未來的發展方向,並能根據業務進行擴展。
靈活性
體現在應用系統之間的連接是否靈活、簡單、松耦合,激烈的競爭和產業變革,需要企業不斷調整其組織、流程和商業模式,以獲得競爭優勢。這時,應用架構要可以適應企業業務的變化,快速做出響應,提供穩定可擴展的應用支撐平台,為企業的業務發展、隨需應變提供重要的支撐,同時能保證部分應用功能的升級或替換不會影響到其它應用系統,實現平滑升級。
整合性
整合性部分常見的整合包括數據集成、應用整合、流程整合、門戶集成等。
1.數據集成
數據集成主要針對企業信息系統底層的數據同步性、時效性問題,解決數據來源的唯一性、真實性、實時性,一般通過消息隊列技術或者Web服務等,將散布在企業各個系統中的數據,以一種鬆散耦合、集中呈現的方式進行統一管理,促進數據在企業范圍內互聯互通。
2.應用整合
應用整合主要針對企業業務變化適應性和信息孤島問題,通過對系統功能的服務化編排,實現快速調整的彈性應用。應用整合提供面向服務所需的軟體基礎設施環境,為分散服務提供了交互、組合和治理的基礎架構,集成企業內部各個IT 應用系統,並使之互相協同工作,形成一個更大的整體系統。要求不只是實現系統間的技術集成整合,還要實現業務之間的有機整合。
3.流程整合
流程整合通常也稱之為流程集成,主要針對企業業務邏輯在多個信息系統之間流轉的問題,具體體現為跨異構系統的流程集成,以業務流程為中心,幫助企業各業務環節與客戶需求對齊的管理方法,有效整合人力、信息等資源,實現跨系統、跨部門、跨組織的企業運營,支撐企業實現業務的「縱向貫通」與「橫向集成」,幫助企業實現從戰略到運營端對端的跟蹤、反饋與優化。
4.門戶集成
門戶集成主要針對企業交互訪問層集成問題,把企業內部原有的零散系統中的信息、應用、服務通過統一認證、頁面集成、菜單集成、數據門戶等技術整合在統一的訪問平台,提供企業范圍內的統一授權和身份認證,基於單點登錄、個性化配置方式,為企業IT架構提供一個標準的、可擴展的Web 應用基礎框架。平台支持多端登錄,即PC門戶、移動門戶,移動門戶同樣提供統一身份認證、單點登錄、信息/頁面/應用集成等功能,通過移動門戶可以訪問PC端系統大部分功能,用於滿足出差在外流程審批、辦公不受時間地點限制。
復用性
隨著企業信息系統越來越多,在構建企業架構面前必將精減或新增一些信息化系統,過程中不可避免會替換甚至是除掉一些平台或功能相似的系統,如果每次都要推到重來,在時間和成本上是不可控的,所以復用IT資產在構建應用架構時,也是重點規劃的一部分內容。
>>>>技術架構
技術架構是支撐應用架構與數據架構的技術基礎結構,主要由IT技術、組件、相應技術標准構成,具體包括:安全管理、應用軟體、應用平台、物理環境、系統管理。
安全管理: 安全管理是指應用軟體、應用平台、物理環境各層面的安全管理架構、安全配置模型、安全管理工具以及安全管理標准等。
應用軟體: 應用軟體是指應用系統或工具,包括業務應用和支撐應用,業務應用一般分為通用管理軟體、套裝管理軟體、行業管理軟體,如CRM、ERP、MES等,支撐應用為基礎軟體工具,如:Office辦公。
應用平台: 應用平台是支撐應用軟體運行的操作平台,包括系統服務和操作系統。系統服務是搭建在操作系統之上的各種服務引擎,如:Web Server、APP Server、DB Server等,操作系統是管理和控制計算機硬體與軟體資源的計算機程序,是直接運行在「裸機」上的最基本的系統軟體,常見的操作系統為Unix(AIX、HP—UX、Solaris)、Linux、Windows Server等。
物理環境: 物理環境是支撐數據和信息的採集和進入、處理和傳送,以及應用軟體與應用平台運行的物理設施架構、模型和標准等,包括系統硬體與網路設施。
系統管理: 系統管理是貫穿應用軟體、應用平台、物理環境各層面的系統管理架構、系統管理模型、系統管理工具以及系統管理標准等。
很多企業在建設IT信息化的時候,一般都會忽略或刻意不提及企業架構的規劃,殊不知,從那刻起已經埋下了隱患,一旦系統過多,隱患立即顯露,造成這種現象的原因有很多,具體表現在兩個時間節點中。
很多企業在系統建設初期,往往都是根據現有業務需求去構建相應的信息化系統,極少數甚至沒有企業在建設初期會統籌的考慮企業的整體架構。後續,隨著企業業務需求不斷增多,對信息化系統的需求也隨之增多,無規劃的構建系統,只能導致信息孤島產生。本是為了優化業務而上的信息化系統,反而造成了IT與業務的脫節。
一般企業進行系統整合,多半是消除信息孤島及優化業務流程,系統整合期間是構建企業架構的第二最佳時間,因為在系統整合時,根據企業特定的企業架構不僅可以對企業業務流程、內部數據、應用功能進行統一治理集成,還可以為企業後續信息化建設搭建平台,奠定基礎,對於後續業務擴展變化,提供快速響應。即便這樣,也有很多企業忽略企業架構的建設,沒有站在整體業務上和系統現狀上進行規劃,這樣做的結果就是集成順序與先前條件不符,導致集成失敗或效果不明顯。
那麼企業在信息化建設初期為什麼不進行企業架構規劃呢?分析原因如下:
1.企業建設初期規模相對較小,資金能力不足,對於花費過多資金規劃企業架構是奢侈的。
2.企業整體對信息化意識薄弱,認為信息化只是輔助業務的工具,沒有必要與業務、文化、架構等聯系起來。
3.企業領導對企業架構意識模糊,不了解企業架構的重要性,或對企業未來發展沒有明確的定位及目標。
4.忽略集成整合項目的前提條件,如集成的順序、信息化狀況、業務相互關系等,認為不需要架構梳理規劃,直接整合即可。
通過上文中對企業架構的深層次理解及未及時建設企業信息化所帶來的問題之後,也許很多人還是沒有清楚的了解企業架構究竟能為企業帶來什麼,企業架構到底有多重要。
下面就來具體談談企業架構對企業的重要性。
1.支撐業務發展,保證IT投資的正確性
有效的企業架構對企業生存和成功至關重要,它為企業IT系統演進提供了戰略指導和分析,使企業能夠應對不斷變化的業務環境,同時按照企業架構中的規劃進行IT信息化建設,可以有效分清IT項目的優先順序,然後根據優先順序制定IT投資戰略。
2.節省企業成本,減少IT資源復用情況
企業架構在規劃IT建設的同時,會兼顧企業的組織角色和業務流程的關系,可以平衡IT資源與業務間的依賴關系,識別出部門間重復的業務需求和數據重復利用率,從根本上有效避免業務級、功能級、數據級的重復投資。
3.有效推動創新,使企業業務更好發展
企業架構能夠平衡IT效率與業務創新之間的關系,支持企業業務的創新,使各業務單元的業務流程與信息保持高一致性。同時,可以保證組織的全面IT戰略需要,實現企業范圍內最緊密的協作。
當下,企業架構的建設還未使絕大多數企業引起足夠的重視,保持業務與IT信息化對齊仍是當今時代所有組織面臨的一項基本挑戰,而構建企業架構是應對這項挑戰的最佳途徑,無論是公有還是私營,無論是企業單位還是事業單位,都會按照自身的業務特性去構建信息化建設,隨著業務增長,一定會追加在信息化建設方面的投資,至於投資是否可以有效換來收益,很大程度上是取決於是否具有完整的、適合企業自身業務發展的架構規劃。企業架構提供全業務視角的企業治理體系,保障業務、戰略保持一致,促進數據架構、應用架構、技術架構等IT架構建設,保障企業信息化的合理穩步建設,幫助企業實現使用更低的IT成本、更快的設計與開發,降低IT風險的同時獲取更高的收益。
『叄』 PowerDesigner到底是干什麼用的
就是設計資料庫模型的嘛,包括面向對象模型、業務流程模型、概念數據模型、物理數據模型等,最常用的應該是PDM(物理數據模型)了,在PDM中設計資料庫(包括表、試圖、觸發器,到表的主外鍵、索引等等都涉及到)然後配置好資料庫連接後就能生成資料庫實體了。
『肆』 PowerDesigner是什麼
PowerDesigner是建模工具。sql,oracle是資料庫。
PowerDesigner的主要功能(1) DataArchitect這是一個強大的資料庫設計工具,使用DataArchitect 可利用實體-關系圖為一個信息系統創建"概念數據模型"-CDM(Conceptual Data Model)。並且可根據CDM 產生基於某一特定資料庫管理系統(例如:Sybase System 11)的"物理數據模型"-PDM(Physical Data Model)。還可優化PDM,產生為特定DBMS 創建資料庫的SQL 語句並可以文件形式存儲以便在其他時刻運行這些SQL 語句創建資料庫。另外,DataArchitect還可根據已存在的資料庫反向生成PDM,CDM 及創建資料庫的SQL腳本。(2) ProcessAnalyst這部分用於創建功能模型和數據流圖,創建"處理層次關系"。(3) AppModeler為客戶/伺服器應用程序創建應用模型。(4) ODBC Administrator此部分用來管理系統的各種數據源。
具體怎麼用,你可以下載一個PowerDesigner軟體,到網上找點相關的教材。
『伍』 ea中從資料庫設計轉化的erd圖連接線不顯示
是ER圖。
E-R圖也稱實體-聯系圖(EntityRelationshipDiagram)。提供了表示實體類型、屬性和聯系的方法。用來描寫敘述現實世界的概念模型。實體就是看的見摸得著或者能被人感知接受認可的客觀存在。
EA一般指美國藝電公司。美國藝電公司(ElectronicArts,NASDAQ:ERTS,簡稱EA),是全球著名的互動娛樂軟體公司。
『陸』 ea什麼意思
EA1966年成立於英國Chester市,早期是英國電力行業的研發中心。1990年代私有化,現為國際化的電力咨詢與服務公司。
英國 EA Technology 的開關櫃局部放電在線檢測技術和系列產品在世界40多個國家和地區的電力公司和工業企業電力用戶中應用了近30年,積累了豐富的現場測試經驗和海量的局放資料庫。
相關信息:
英國EA Technology 發明的暫態地電壓(地電波)開關櫃局放檢測技術,2010年成為中國國家電網公司《電力設備帶電檢測技術規范》的推薦技術。北京電力公司和上海電力公司專門制定了關於英國EA公司產品(產品型號PDL1和PDM03)的檢測導則和企業標准。
他們的局放儀器系列包括手持和攜帶型、巡檢類以及安裝和報警類。此外還提供110kV及以上電壓級別的GIS局部放電在線監測系統,以及戶外變電站局放巡檢儀和電纜局放帶電檢測儀。
EA Technology 在上海設有分支機構,在澳大利亞、新加坡、阿聯酋和美國設有分公司,代理商網路覆蓋全球。EA Technology 與全球眾多電網公司和工業企業等多行業電力用戶建立了戰略合作夥伴關系。
『柒』 石油勘探開發數據資源規劃方法研究
文必龍 計秉玉
(中國石化石油勘探開發研究院信息技術研究所,北京 100083)
摘 要 當前的各種IT規劃方法和軟體工程方法在指導石油企業進行數據資源規劃時,需要結合石油勘探開發數據資源管理的特點進行具體化。本文分析了石油勘探開發數據資源管理方面的現狀及特點,提出了基於業務驅動的石油勘探開發數據資源規劃方法,給出了構建勘探開發業務模型、數據資源目錄的方法,以及數據中心的總體架構,為石油勘探開發數據資源規劃提供了完整的方法論。
關鍵詞 數據資源 業務驅動 業務模型 數據中心
Research on Method of Petroleum Exploration and Proction
Data Resource Planning Based on Business-driven
WEN Bilong,JI Bingyu
(Dep.of Information Technology,Exploration and Proction Research
Institute,SINOPEC,Beijing 100083,China)
Abstract To guide data resource planning,the IT planning methods and software engineering theory need to be specified according the features of petroleum data resource management.The features in petroleum exploration and proction data resource management are analyzed,and a method of data resource planning based on business-driven is put forward,that presents the approaches how to build petroleum exploration and proction business model and data resource catalogs,and architecture of data centre.These provide a complete methodology to plan petroleum exploration and proction data resource.
Key words data resource;business-driven;business model;data centre
在油氣勘探開發綜合研究過程中,需要從海內外油田收集大量的數據,同時綜合研究成果中包含了大量的數據,如各種圖表、報告。為了管理和應用這些數據,各研究部門紛紛開展了與項目研究相關的數據資料管理系統的建設,但由於缺少統一的規劃,在數據資源的建設和管理中存在以下問題:資料庫建設 「小、散、雜」,難以管理;數據分散存儲,數據之間的邏輯關聯度低,不能集成共享;數據收集困難;缺少專門的數據服務機制,數據應用困難。因此,有必要對油氣勘探開發綜合研究的勘探開發數據資源進行統一規劃,即開展數據管理與應用需求分析,從總體上設計數據中心建設方案。
數據資源規劃(Data Resource Planning,DRP)的方法主要是基於軟體工程理論和IT戰略規劃的各種方法論。目前多數國際知名的IT咨詢公司均採用企業架構(Enterprise Architecture,EA)這一先進理論方法,例如TOGAF企業架構框架,制定具有自身特點的IT規劃編制方法論,並在企業規劃咨詢項目中應用,取得了良好效果[1]。針對數據資源,高復先在信息工程方法論的基礎上,總結出了一套信息資源規劃(Information Resource Planning,IRP)方法[2]。IRP方法以面向主題資料庫的總體數據規劃方法為基礎,按照一定的方法步驟、遵循相關標准規范、利用有效的軟體支持工具進行各職能域的信息需求和數據流分析,制定信息資源管理基礎標准,建立全域和各職能域的信息系統框架——功能模型、數據模型和系統體系結構模型。
本文根據EA理論和IRP方法,結合油氣勘探開發綜合研究的特點,提出了一套基於業務驅動的勘探開發數據資源規劃方法。
1 數據規劃的基本思想
數據資源規劃是採用科學合理的方法,對企業生產經營過程中產生和使用的數據的相關內容、標准、技術、軟體、人員、支撐條件等進行全面梳理、優化和設計,提出全面的數據資源採集、傳輸、存儲、應用、管理的解決方案,以便企業提高數據的共享程度,降低數據採集、管理、應用的成本,發揮數據資源的最大價值。
數據資源規劃的目的是優化企業數據管理質量。這包括提高數據共享程度,降低數據採集、管理、應用的成本,提升數據資源的價值等。其中,首先要向企業不同層級提供相關的信息。對決策層,提供的信息包括:有哪些數據資產,還要投資建設哪些,數據投資效果如何,是否有重復建設;對管理層,提供的信息包括:數據保存在哪裡,誰在管理,哪些人在使用,數據質量如何;對執行層,提供的信息包括:有什麼數據,數據在哪裡,如何獲取數據,如何提交成果;對信息服務部門,提供的信息包括:業務部門需要什麼數據,如何使用這些數據。
數據資源規劃的目標是提出一個數據資源建設解決方案。通過實施方案,可以建立企業數據中心及配套的建設和管理體系,達到數據資源規劃的目的。數據資源規劃的內容包括梳理數據需求,即數據內容;設計數據相關標准,包括數據元標准、數據採集標准、數據管理標准、數據代碼標准等等;設計數據建設和管理的技術方案;數據管理和服務的軟體體系架構;數據建設的組織架構和配套制度等。
數據資源規劃的過程如圖1所示。如果把數據中心的建設作為一個完整的軟體工程項目,數據資源規劃位於需求分析階段和概要設計階段。在項目實施中,還需要進一步根據規劃的各項方案進行詳細設計、系統開發、系統測試和運行維護。
在數據資源需求分析階段,通過調研,梳理當前勘探開發綜合研究的業務范圍、研究活動、已經建立的資料庫及數據內容、應用軟體及部署情況。根據調用情況建立業務模型,用規范化的方式描述各項研究活動及每項活動的數據需求,並對數據流進行分析,形成統一的數據資源目錄。需求分析階段最終成果是需求分析報告,核心內容由一組規范組成,包括業務模型、數據資源目錄、數據元目錄、數據流規范。
概要設計階段主要任務是依據數據需求進行方案設計,形成數據資源建設方案,具體包括:綜合資料庫建設方案、綜合研究數據服務與管理平台建設方案、數據中心運維體系。形成數據模型、數據服務功能、數據管理功能、數據匯交管理流程、數據管理與服務組織架構等總體架構,並形成數據中心建設的項目框架。通過數據資源建設方案明確了數據如何存儲,如何控制數據質量,數據如何建設,數據如何管理,數據如何獲取、提交、應用等問題。
圖1 數據資源規劃過程
圖2 數據資源規劃的成果及其之間的關系
在項目實施階段,還需要根據數據資源建設方案,對每一個項目進行詳細設計和開發。
數據資源規劃的成果包括數據資源需求分析報告和數據中心建設方案。需求分析報告中,包含了業務模型、數據資源目錄和數據元目錄,數據中心建設方案包括資料庫和數據模型在內的資料庫建設方案、數據服務與管理平台、數據中心運行維護體系。
圖2給出了這些成果及其之間的關系。業務模型中的每一個業務活動使用和產生的每一類數據都應在數據資源目錄中進行注冊,數據資源目錄中的每一類數據都要用一個或多個數據元進行描述。資料庫中的數據實例應該歸類到數據資源目錄中,數據元與數據模型之間要建立映射關系。根據上述關系,應用軟體或用戶可以根據業務活動利用數據服務與管理平台非常方便地從數據中心獲取需要的數據。
2 基於6W的業務模型
業務模型(Business Model)是一種通過定義組成活動及活動之間邏輯關系來描述企業經營生產過程的模型。勘探開發業務建模就是要將石油勘探開發生命周期中涉及的業務抽象為一個完整的業務功能結構,建立勘探開發業務模型。建立此模型,在系統地、本質地、概括地把握勘探開發功能結構的同時,還要建立勘探開發業的數據模型、知識模型、軟體模型等與功能相關的信息模型。
業務分析與建模過程從形式上可分為4個階段:一是業務領域劃分;二是分業務領域建模;三是業務模型集成;四是業務模型標准化。
業務模型採用 「業務域-業務分類-業務活動」 3層結構。將石油勘探開發涉及的所有業務劃分為多個業務域,每個業務域建立多級業務分類,每個分類中定義一個或多項最基本的業務活動。
業務域(Business Domain)是對企業中的一些主要業務活動領域的抽象,而不是現有機構部門的照搬。對油田業務域的劃分可以依據某一主題進行。業務領域的劃分原則是:(1)根據專業劃分業務領域;(2)根據油氣田勘探、開發生命周期劃分業務領域;(3)根據油氣田勘探、開發管理階段劃分管理業務域。業務領域的劃分參照以上3種原則進行劃分,盡量符合油氣田勘探、開發管理約定俗成的管理習慣,做到不同業務域間的業務不重復,並保證能覆蓋所有的勘探、開發業務。根據以上原則,油氣勘探開發業務領域可劃分為「物化探」、「井筒工程」、「分析化驗」、「綜合研究」、「油氣生產」、「地面工程」 等六大業務領域。
業務是由一系列業務活動組成的,對業務活動的描述按照 「6W」 的模式進行[3],即活動是由誰(Who)發起的、在什麼時間(When)發起的、在哪裡(Where)發起的、為什麼(Why)要發起這個活動、在這個活動中都涉及了哪些(Which)對象、這些對象的特性是什麼(What)。採用業務單元定義了參與業務活動的基本元素以及元素之間的關系。一個業務單元包括以下8類元素:1個業務活動,該活動作用的1個業務對象,實施該活動的組織機構,1組結果對象(輸出),1組參與對象(輸入),業務規則,相關對象的特性,對象之間的關系。業務單元的結構如圖3所示。
業務單元中,「特性」 定義了業務活動需要的數據、業務活動相關的知識,是數據規劃中梳理的重點;「參與對象」 包括各種人員、軟體、數據、設施、材料、方法等;「作用對象」 包括區塊、油藏、井、層位、油田、企業等;「結果對象」 可以是油井等油田實物對象,也可以是文檔、方法、研究成果等技術性對象。
基於6W的業務模型的建模通過在統一的業務域分類架構下對單一業務活動的業務單元進行描述,沒有進行專門的業務流程梳理,但由於業務單位中描述了業務活動參與對象與結果對象,即定義了活動的輸入與輸出,以這些對象為中介,因此很容易自動形成業務流、數據流、知識流等各種流程。
業務活動與數據之間的關系可以用 「CUR」 矩陣描述。矩陣中,行對應業務活動,列對應數據元。如果業務活動中創建了某一項數據則行列對應的值標識為 「C」(Create),如果業務活動對數據進行了更新則標識為 「U」(Update),如果業務活動引用了某一項數據則標識為 「R」(Read)。通過CUR矩陣,可以檢查某一數據是否有唯一的創建源頭,保證數據源頭的唯一性。根據CUR關系,可以自動形成數據流。
圖3 業務單元的結構
3 勘探開發數據資源目錄
勘探開發數據資源目錄是對油田企業、勘探開發研究院或中國石化整體已有和需要數據的分類與組織方式描述。數據資源目錄描述了企業需要什麼數據、有什麼數據、數據在哪裡、誰在管理數據、哪些人在使用、哪些應用軟體在使用等信息。數據資源目錄既是一個數據建設單位的數據分類與數據組織規范,也是數據中心進行數據管理與服務平台的核心元數據,同時也是用戶建設和使用數據的依據。
數據資源目錄的分類模式是多維的,可以從不同角度進行分類。常用的維度包括:
(1)按業務對象組織。包括區塊、油藏、井、層位、油田、企業等,除對象本身的基礎數據(如井基礎信息)即通常所說的靜態數據外,還包括該對象的各種動態數據(如井的日報數據)。
(2)按業務活動組織。根據業務模型的 「業務域-業務分類-業務活動」 3層結構進行分類,每一個業務都有一組按 「CUR」 標識的數據。
(3)按特性組織。按數據或知識本身的特性進行分類,如長度、密度、滲透率等。
(4)按項目組織。一個項目使用和產生的數據有哪些。
(5)按單位組織。一個部門使用、產生、管理的數據有哪些。
數據資源目錄的各個維度是相互關聯的,對象、活動、特性、項目、單位之間的關系如圖4所示。
除建立分類目錄外,數據資源目錄還包括數據實例,因此需要將數據分類與資料庫中的實例關聯起來,明確標識出每一類包括哪些實例。分類與實例關聯的方式主要採用數據集進行定義,通過數據實例的標識符、標識條件確定數據集中的實例[4]。數據資源分類在數據需求分析階段完成,分類與數據實例的關聯在數據中心運行期間形成。
數據資源目錄中數據分為兩級:邏輯數據實體和屬性。從技術角度,邏輯數據實體的本質就是數據視圖,一個數據視圖是一個虛數據表,每一個數據視圖由多個屬性組成,其中至少包括一個關鍵字。實體的屬性用數據元進行描述。數據元是不必要再分的基本數據單元[5]。當前可直接參照中國石化石油勘探開發數據元字典[6]。
4 數據中心的總體架構
不同企業數據中心的架構會有所不同[7]。本文以中國石化石油勘探開發研究院的數據中心為例,說明數據中心建設方案。數據中心包括綜合研究勘探開發資料庫、數據服務與管理平台、數據中心運維體系,如圖5所示。
圖4 數據資源分類維度之間的關系
圖5 綜合研究勘探開發數據中心
勘探開發資料庫包括元數據和專業數據。元數據是以數據資源目錄為核心,描述了專業的分類、目錄、結構、使用動態等信息。外購資料庫、地理信息資料庫由於來源於外部,自帶有成熟的管理軟體,屬於公共數據,獨立於具體的項目研究。由於地震數據和測井數據有專門的格式,由專門的軟體進行管理,但要與項目數據進行關聯。項目資料與成果主要以文件形式保存,對共享程度較高的數據需要從半結構化的文件形式轉換為結構化數據,數據之間相互關聯,實現數據的集成。綜合研究應用軟體有自己內部的項目資料庫,通過數據橋技術可以實現在線數據訪問。數據通道用於實現石油勘探開發研究院數據中心與中國石化各級數據中心的互聯。
綜合研究數據服務與管理平台的主要功能包括:GIS研究目標查詢、地震剖面顯示、測井曲線顯示、資料查詢、資料搜索、資料提交、資料下載、系統管理、數據發布等。
數據中心運維體系包括運維管理組織機構、數據資料上交管理、數據服務管理3個部分。運維管理隊伍的職能包括資料庫系統管理、數據服務支持、數據質量控制等。數據資料上交管理按照數據流和數據生命周期,對各環節進行規范管理,包括:外部數據申請、數據採集、原始資料上交、個人/項目組資料管理、成果上交、數據流程調整(數據資料目錄注冊與注銷)、安全與許可權、審核與驗收等內容。數據服務管理通過數據服務管理制度,規范數據服務行為,建立數據服務技術規范,通過數據應用服務介面規范,為應用系統提供標準的服務介面。
5 結論
數據資源規劃方法提出了一套適合石油勘探開發領域開展數據資源建設的方法論。從勘探開發業務需求出發,通過梳理業務流程,建立業務模型,並梳理與業務相關的數據,建立數據資源目錄,在此基礎上提出完成的數據中心建設方案,從人員組織、數據建設、服務平台構建及運維管理進行規劃。數據資源規劃方法成功應用於中國石化油氣勘探開發數據模型標准建設,開發了中國石化業務模型(Sinopec Business Model,SPBM),定義了物化探、井筒工程、分析化驗、綜合研究、開發生產、地面工程六大業務域,包括1237個業務活動,對每一個與業務活動相關的數據項進行了梳理。進一步的研究工作將把數據資源規劃方法應用於中國石化石油勘探開發研究院數據資源建設,通過研究院業務進行調研,結合SPBM,建立綜合研究數據資源目錄,設計數據中心建設方案。針對中國石化石油勘探開發研究院綜合研究的數據資源規劃成果可進一步推廣應用於石油行業各石油公司的綜合研究數據資源建設。
參考文獻
[1]金濤,鄭樹泉,李名敏,等.企業架構驅動的IT規劃方法研究[J].計算機應用與軟體,2009,26(12):164~166.
[2]高復先.信息資源規劃——信息化建設基礎工程[M].北京:清華大學出版社,2002.
[3]肖波,景帥,吳建軍,馬承傑.模型驅動技術在油田企業數據中心中的應用研究[J].大慶石油學院學報,2012,36(1):78~82.
[4]時貴英,文必龍.基於數據元的數據集成技術研究[J].科學技術與工程,2011,11(18):4223 ~4227.
[5]Wen Bilong,Zhang Li.Defining semantics for data element with semantic tree[C].Proceedings of 2008 International Symposium on Information Science and Engineering,2008.12:524~527.
[6]文必龍,肖波,陳新榮.石油勘探開發數據元管理技術[J].大慶石油學院學報,2012,36(1):83~87.
[7]李劍峰,肖波,段鴻傑.中國石化油田企業數據中心總體框架設計[J].大慶石油學院學報,2012,36(1):73~76.
『捌』 sql2005資料庫被做成了ea模型,怎麼重新導出sql2005文件
右擊資料庫名 所有任務 生成SQL腳本 點擊全部顯示 選擇你要生成腳本的表名 保存就行了
不過這樣不會包含以前的數據值 如果你把一個資料庫中的表及表的數據全部復制到另一表中 可以這樣 把兩個資料庫都還原 在查詢分析器中 選擇你要導入進去的資料庫名 但要保證這個資料庫中沒有你要導進去的這個表名
再寫sql語句 select * into 表名 from 原資料庫.dbo.表名
這樣表及數據都導入進去了
『玖』 EA的資料庫模型中,怎麼沒有數據類型
要新建後綴名格式為.accdb的資料庫才行,「附件」類型是Access2007向後的版本才有的。 .mdb格式是沒有的,或者把你當前mdb資料庫另存為accdb在修改就有了。