當前位置:首頁 » 服務存儲 » 存儲技術和儲存規劃
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

存儲技術和儲存規劃

發布時間: 2022-12-15 17:54:03

A. 學習虛擬化儲存技術需要學習哪些知識

雲計算是一種基於互聯網的計算方式,要實現雲計算則需要一整套的技術架構去實施,包括網路、伺服器、存儲、虛擬化等等。 雲計算目前分為公有雲和私有雲。兩者的區別只是提供的服務的對象不同,一個是企業內部使用,一個則是面向公眾。目前企業中的私有雲都是通過虛擬化來實現的,建議你可以了解一下虛擬化行業的前景和發展。 虛擬化目前分為伺服器虛擬化(以VMware為代表)、桌面虛擬化(思傑要比vmware的優勢要大)、應用虛擬化(以思傑為代表)。 學習虛擬化需要的基礎: 1. 操作系統,懂得Windows操作系統(Windows Server 2008、Windows Server 2003、Windows 7、Windows XP)的安裝和基本操作、懂得AD域角色的安裝和管理、懂得組策略的配置和管理 2. 資料庫的安裝和使用(SQL Server) 3. 存儲的基礎知識(磁碟性能、RAID、IOPS、文件系統、FC SAN、iSCSI、NAS等)、光纖交換機的使用、使用Open-E管理存儲 4.網路的基礎知識(IP地址規劃、VLAN、Trunk、STP、Etherchannel

B. 酒店GIS規劃過程是什麼

酒店GIS規劃過程是一種特定的十分重要的空間信息系統。
一、地理信息系統(Geographic Information System或 Geo-Information system,GIS)有時又稱為「地學信息系統」。它是一種特定的十分重要的空間信息系統。它是在計算機硬、軟體系統支持下,對整個或部分地球表層(包括大氣層)空間中的有關地理分布數據進行採集、儲存、管理、運算、分析、顯示和描述的技術系統。
二、GIS規劃:
○ 數字化技術:輸入地理數據,將數據轉換為數字化形式的技術;
○ 存儲技術:將這類信息以壓縮的格式存儲在磁碟、光碟、以及其他數字化存儲介質上的技術;
○ 空間分析技術:對地理數據進行空間分析,完成對地理數據的檢索、查詢,對地理數據的長度、面積、體積等的量算,完成最佳位置的選擇或最佳路徑的分析以及其他許多相關任務的方法;
○ 環境預測與模擬技術:在不同的情況下,對環境的變化進行預測模擬的方法;
○ 可視化技術:用數字、圖像、表格等形式顯示、表達地理信息的技術。

C. 信息存儲技術的信息存儲技術的三大支柱

磁儲存技術、縮微技術與光碟技術已成為現代信息存儲技術的三大支柱。現代信息存儲技術不僅使信息存儲高密度化,而且使信息存儲與快速檢索結合起來,已成為信息工作發展的基礎。
1.磁存儲技術
磁儲存系統,尤其是硬磁碟存儲系統是當今各類計算機系統的最主要的存儲設備,在信息存儲技術中占據統治地位。
(1)磁儲存介質磁介質都是在帶狀或盤狀的帶基上塗上磁性薄膜製成的,常用的磁存介質有計算機磁帶、計算機磁碟(軟盤、硬碟)、錄音機磁帶、錄像機磁帶等。
(2)磁存的特點
磁能存儲聲音、圖像和熱機械振動等一切可以轉換成電信號的信息,它具有以下一些特點:存儲頻帶寬廣,可以存儲從直流到2兆赫以上的信號;信息能長久保持在磁帶中,可以在需要的時候重放;能同時進行多路信息的存儲:具有改變時基的能力。磁存儲技術被廣泛地應用於科技信息工作,信息服務之中。磁存儲技術為中小文獻信息機構建立較大的資料庫或建立信息管理系統提供了物質基礎,為建立分布式微機信息網路創造了條件。
2.縮微存儲技術
是縮微攝影技術的簡稱,是現代高技術產業之一。縮微存儲是用縮微攝影機採用感光攝影原理,將文件資料縮小拍攝在膠片上,經加工處理後作為信息載體保存起來,供以後拷貝、發行、檢索和閱讀之用。
(1)縮微製品的類型
縮微製品按其類型可分為卷式膠片與片式膠片兩大類。卷式膠片採用16mm和35mm的鹵化銀負片縮微膠卷作為記錄介質,膠卷長一般30.48—60.96m,卷式膠片成本低存儲容量大,安全可靠,適用於存儲率低的大批量資料。片式膠片可分為縮微平片、條片、封套片、開窗卡片等。縮微製品按材料可以分為廟化銀膠片、重氮膠片、微泡膠片三種。鹵化銀膠片是將含有感光溴化銀或氯化銀晶粒的乳膠塗在塑料片基上製成的,它是最早,也是目前使用廣泛的膠片,一般用於製作母片。供用戶使用的拷貝片一般採用價格較低的重氯膠片或微泡膠片。
(2)縮微存儲技術的特點
20世紀70年代以來,縮微技術發展很快,應用相當廣泛。其特點有:縮微品的信息存儲量大,存儲密度高:縮微品體積小、重量輕,可以節省大量的存儲空間,需要的存儲設備較少;縮微品成本低價格便宜:縮微品保存期長,在長溫下可以保存50年,在適當的溫度下可以保存100年以上;縮微品忠實於原件不易出差錯;採用縮微技術儲存信息,可以將非統一規格的原始文件規格化、標准化,便於管理,便於計算機檢索。
(3)縮徽技術的應用縮微技術最引入注目的就是它與微電子、計算機和通信技術相結合而產生的許多性能優異的新技術和新設備。把微電子和復印技術與傳統的縮微閱讀器相結合,可以生成自動檢索的閱讀復印機:COM技術能將計算機輸出的二進制信息轉換成人讀縮微影像,並直接把它們記錄在縮微片上;CIM技術能將計算機輸出的人讀影像資料轉換成計算機可讀二進制信息介質,從而擴大縮微品的應用范圍:CIR是一種能將計算機、縮微品和紙三者的長處融為一體的影像資料自動管理系統;CAR具有在一分鍾內從一百萬頁以上的資料中檢索出任意一頁的能力;視頻縮微系統是由縮微、視頻和計算機三種技術結合在一起生成的影像資料全文存儲檢索系統,從中找出任意一頁原文文獻只需14秒;縮微技術與光碟技術相結合能生成復合系統。
3.光碟存儲技術
光碟是用激光束在光記錄介質上寫入與讀出信息的高密度數據存儲載體,它既可以存儲音頻信息,又可以存儲視頻(圖像、色彩、全文信息)信息,還可以用計算機存儲與檢索。
(1)光碟的種類
光碟產品的種類比較多,按其讀寫數據的性能可分為以下種類:一是只讀式光碟(CD—ROM)已成為存放永久性多媒體信息的理想介質。二是一次寫入光碟WORM),也稱追記型光碟。用戶可根據自己的需要自由地進行記錄,但記錄的信息無法抹去。WORM的存儲系統由WORM光碟、光碟驅動器、計算機、文件掃描器、高解析度顯示器、磁帶或磁碟驅動器、列印機、軟體等部分組成。三是可擦重寫光碟,這種光碟在寫入信息之後,還可以擦掉重寫新的信息。用於這類光碟的介質有晶相結構可變化的記錄介質和磁光記錄介質等。
(2)光碟技術的應用
在信息工作中,可以利用光碟技術建立多功能多形式的資料庫,如建立二次文獻資料庫、專利文獻資料庫、聲像資料資料庫等:在信息檢索中,用CD—ROM信息檢索系統檢索信息,可反復練習、反復修改檢索策略,直到檢索結果滿意為止。利用光碟可以促進聯機檢索的發展,可以建立分布式的原文提供系統,節省通信費用,取得較好的經濟效果。咨詢服務人員也可以利用各類光碟資料庫系統向用戶提供多種信息檢索與快速優質的咨詢服務。

D. 把幾個硬碟當一個大盤使用需要相關什麼儲存技術

磁碟陣列RAID技術。磁碟陣列技術(,簡稱RAID技術)是一種數據的虛擬存儲技術,其結合了多個物理磁碟驅動器件在一個邏輯磁碟內用以實現比單個磁碟更高的存儲性能。

E. 論述倉儲規劃在合理儲存中的作用及其內容

2.1現有倉儲配送運作模式及管理手段分析

佛山物流倉儲配送業務主要由市場拓展部、運輸經營部和倉儲配送部三個部門合作完成。市場拓展部負責聯系和引進新客戶,運輸經營部負責配送車輛的派遣調度工作,倉儲配送部主要負責為客戶提供倉儲配送服務和倉儲、裝卸費用的結算工作,是整個業務的核心,是最為關鍵的部門。

倉儲配送部由倉管班、叉車班、搬運班和辦公室統計主管人員負責日常工作。

(1)出、入庫管理

運貨司機將貨物和《送貨單》(或《出庫單》,歐司朗是用E-MAIL將《出庫單》發至倉儲部的電子郵箱上)一式兩份送至倉庫(歐司朗《送貨單》上一般註明「卸貨FT字樣」),由倉儲部調度員派倉管員接單辦理出、入庫業務。

入庫的貨物由搬運工卸貨並由倉管員清點貨物的品種和數量是否與《送貨單》一致,檢查貨物包裝是否完好,有無破損、污染等,再由倉管員在《送貨單》上簽收,將其中一份交給司機。另一份則轉為《入庫單》,完成整個入庫、理貨過程。然後是堆存,對食品類如「格力高」、「樂天」、「陝西西鳳酒」貨物一般放在貨架上;「創維電視」、「紐士達氮綸」一般放在二樓平面倉庫;「歐司朗(OSRAM)」貨物則放在兩層式托盤貨架和平面庫區。貨物堆存完後是對平面庫區的貨物設置「銷存卡」(即料卡)在卡上填寫入庫日期、貨物品種數量、經手人、備注等內容(如果出庫則要填上出庫日期、出庫數量等。)並將它放在貨物表面明顯位置。

貨物出庫時,不同的客戶其提貨方式也會不同的。如「大唐電信」為客戶自提,由客戶自己揀貨。OSRAM為倉庫揀貨。OSRAM貨物的出庫主要有兩種方式。一種為《轉倉單》,由倉管員備好貨之後復核裝車,運送至目的地(一般這OSRAM公司倉庫)。另一種是《裝櫃單》,帳務人員查收並列印該單並派倉管員備好貨物,放置於「備貨區」然後由第二個倉管員復核、裝箱。其它貨物,如「格力高」、「樂天」、「陝西西鳳酒」、「創維電視」、「紐士達氮綸」則是由倉管員揀貨並裝車,完成出庫過程。

(2)貨物保管

存放在倉庫內的貨物保管工作主要是「在庫盤點」和「適時整理貨物」。一般是每周一、三、五盤點:統計員列印庫存表,並由倉管員核對庫存貨物的品種及數量,檢查貨物是否變質、受潮、被盜等,及時預防貨損、潮濕、蟲、鼠害、偷盜等。

在整個倉儲作業流程中,由於入庫貨物的堆存中,雖然不同客戶的貨物的固定的庫位,但同一客戶的不同品種的貨物卻沒有相對固定的庫位,往往同一庫位放了不同品種的貨物,而同一品種的貨物卻放在不同的庫位,有時內銷貨物與出口貨物也放在一起,給貨物的出、入庫和平時的盤帳與保管帶來很多不便。而且,目前倉儲配送部雖使用資料庫系統,但貨物出、入庫,盤點,數據錄入工作均以手工記錄為主,計算機錄入為輔,並未使用先進的物流軟體。不但數據的准確性不高。發生貨損貨差率也比較大。

(3)配送流程

部分客戶的貨物(包括「格力高食品」、「樂天食品」、「大唐電信」等客戶)則由運輸經營部派出送貨車輛,司機憑該部的《派車單》到倉儲配送部提貨並送貨到客戶目的地。

由於市場拓展部所引進的新客戶未能與倉儲配送部的具體情況相適應,在倉儲費用和裝卸費用上的定價不慎合理導致部的效益不高。而運輸經營部派車時也沒有視當日倉儲作業的實際情況,致使貨車排隊等裝貨。

2.2倉儲配送運作模式及管理手段優化分析

根據上述分析的狀況,可以①對現有貨位進行優化②倉儲配送部採用先進物流軟體系統③對各部門職權做局部調整以配合各部門之間的工作。

(1)、貨位優化

倉庫的貨位分配考慮的原則包括:貨架承載均勻,輕下重;周轉,先入先出;提高可靠性,分區存放;提高效率,就近出、入庫;產品相關性等。

通過與客戶的溝通,了解不同品種貨物的周轉周期,根據貨架和貨品本身特性的需要而進行貨位調整,將方便於貨物進、出庫的金黃區域給揀取率較高的貨品,從而提高揀貨效率。

(2)、倉儲配送部應引進先進的物流信息系統,實現倉儲管理信息化

通過引進倉庫管理系統(Warehouse Management System,WMS)與條形碼技術改變倉儲配送部目前硬體設施與軟體設備不配套的現狀。

WMS一般具有:管理單獨訂單處理及庫存控制、基本信息管理、貨物流管理、信息報表、收貨管理、揀選管理、盤點管理、移庫管理、列印管理和後台服務系統等功能模塊。

該系統可對貨物的上貨架、揀選、盤點、移庫等操作進行統一調度和下達指令,並實時接收來自終端PC的反饋數據。實現了對庫存商品管理實時有效的控制。其基本功能如下:

①基本信息管理:系統不僅支持對包括品名、規格、生產廠家、產品批號、生產日期、有效期和箱包裝等商品基本信息進行設置,而且貨位管理功能對所有貨位進行編碼並存儲在系統的資料庫中,使系統能有效的追蹤商品所處位置,也便於操作人員根據貨位號迅速定位到目標貨位在倉庫中的物理位置。

②上貨架管理:系統在自動計算最佳上架貨位的基礎上,支持人工干預,提供已存放同品種的貨位、剩餘空間,並根據避免存儲空間浪費的原則給出建議的上架貨位並按優先度排序,操作人員可以直接確認或人工調整。

揀選管理:揀選指令中包含位置信息和最優路徑,根據貨位布局和確定揀選指導順序,系統自動在RF終端的界面等相關設備中根據任務所涉及的貨位給出指導性路徑,避免無效穿梭和商品找尋,提高了單位時間內的揀選量。

③庫存管理:系統支持自動補貨,通過自動補貨演算法,不僅確保了揀選存貨量,也能提高倉儲空間利用率,降低貨位蜂窩化現象出現的概率。系統能夠對貨位通過深度信息進行邏輯細分和動態設置,在不影響自動補貨演算法的同時,有效的提高了空間利用率和對控制精度。

F. 有關現代與古代在信息儲存用的方法

1、信息儲存是將獲得的或加工後的信息保存起來,以備將來應用。信息儲存和數據儲存應用的設備是相同的,但信息儲存搶跳儲存的思路,為什麼要儲存這些數據,以什麼方式儲存這些數據、存在什麼介質上,將來有什麼用處,對決策可能產生的效果是什麼等。只有正確的舍棄信息,才能正確使用信息
2.、①古代信息儲存方法:結繩記事、石頭代替法、在洞穴岩壁上繪畫。之後,中國:竹簡、木簡、金屬容器表面、帛、絲綢、蔡倫造紙。用這載體,用「以物記物」或「借物記物"即用更易於攜帶的事物代替所要記錄的事物,但古時所有的「物」都是現實意義上的物。
②當時較為先進的是使用甲骨文在動物殼身上記錄文字,存儲信息。後來蔡倫發明造紙術,人們就開始在紙張上記錄文字用以儲存信息。
3、、現代信息儲存方法:
①紙優點:存量大,體積小,便宜,永久保存性好,並有不易塗改性。存數字、文字和圖像一樣容易。
缺點:傳送信息慢,檢索起來不方便
②膠卷優點:存儲密度大。查詢容易
缺點:閱讀時必須通過介面設備,不方便,價格昂貴。
③計算機
優點:存取速度極快,存儲的數據量大
信息存儲應當決定,什麼信息存在什麼介質行比較合適。總的來說憑證文件應當用紙介質存儲;業務文件用紙或磁帶存儲;而主文件,如企業中企業結構;人事方面的檔案材料;設備或材料的庫存賬目,應當存於磁碟,以便聯機檢索和查詢
計算機儲存方面也包括三種:磁存儲技術(例如硬碟)、縮微存儲技術(例如膠卷)、光碟存儲技術)(例如CD—ROM)。

G. 物聯網對海量信息存儲的需求促使了哪些技術的發展

物聯網對海量儲存技術促進的技術包括:快速儲存技術,網路存儲技術,雲存儲技術,大數據存儲技術。
網路存儲技術:直連式存儲(DirectAttachedStorage,DAS)、網路存儲設備(NetworkAttachedStorage,NAS)和存儲網路(StorageAreaNetwork,SAN)。
雲存儲技術是側重企業搭建的雲盤服務,
大數據存儲技術是側重於框架結構的不同。第一種是採用MPP架構的新型資料庫集群,重點面向行業大數據,採用Shared Nothing架構,第二種是基於Hadoop的技術擴展和封裝,圍繞Hadoop衍生出相關的大數據技術。第三種是大數據一體機,這是一種專為大數據的分析處理而設計的軟、硬體結合的產品

H. 對象存儲、塊存儲、文件存儲分別是什麼有什麼區別

你可以把塊理解成整個硬碟,文件理解成硬碟中的文件,對象理解成很多台伺服器中的很多塊硬碟。

I. 開展微型數據存儲技術創新研發搶占未來大數據存儲技術高地的建議

我國數據存儲核心技術長期落後,大數據中心按照傳統的 科技 房地產的思路將面臨資源約束。為了防止我國存儲技術「卡脖子」,節省未來海量數據存儲佔地空間,系統化整合資源解決當前中國大數據存儲技術產品的容量問題,建議國家立項 開展微型數據存儲技術創新研發

我國數據儲存的現狀和面臨的問題

計算機數據存儲技術是信息技術應用的核心。一切計算機應用數據都需要由物理設備來存儲,以便計算機系統進行讀寫等處理,數據應用與數據存儲恰似樹干與樹根的密切關系。伴隨著信息技術應用的持續高速發展,可以預見未來的數據量必將呈現爆炸式增長,隨之而來的海量數據存儲瓶頸問題必然日趨嚴重,加劇著數據存儲領域長期面臨的容量、安全、性能、擴充、維護、災備、監管等諸多挑戰。其中,容量困境,首當其沖。

當前痛點。 為了滿足數據存儲容量日益增長的需求,大數據存儲中心建設必不可少。放眼當下全國各地的大數據存儲中心建設,由於數據存儲基礎核心技術缺位,流行的模式是不可持續的「 科技 房地產」,即單純拓展佔地面積蓋樓建設數據中心,進而耗費寶貴自然資源。目前我國城市監控視頻圖像數據受限於數據中心存儲容量空間,一般只能保留一個月左右,相關的數據應用嚴重受制。

應用基石。 底層數據存儲是信息產業發展的基石,數據存儲技術產品是信息應用系統的架構基礎,也是我國的關鍵行業技術短板。有效的數據存儲技術產品涉及到所有信息技術應用場景:人工智慧,信息安全,智慧城市,大數據,雲計算,區塊鏈,城市大腦,雪亮工程,城市管理視頻監控,醫學影像識別,等等。

嚴峻局面。 追溯信息技術百年來的發展軌跡,中國在數據存儲基礎技術領域的貢獻幾乎為零。國內數據存儲行業主要擅長於市場側的商業應用創新,數據存儲底層管理的核心技術研發嚴重依賴國外的開源開放。缺乏基礎研發梯隊,沒有關鍵理論 探索 ;沿襲陳舊的發展思路,習於外購器件設備;底層技術積累短缺,核心創新能力薄弱;嚴峻的局面至今沒有重大改變。

危情險勢。 中國在核心存儲產品、底層支撐技術、商業應用理念上長期跟跑,遭受外部勢力釜底抽薪式的「存儲底層關鍵核心技術精準打擊」的隱患和風險極大。面對復雜多變的國際環境,一旦遭遇卡脖子,如外購存儲產品斷貨或核心技術交流封鎖,舉國上下所有涉及信息技術應用的行業領域都必然窒息。從而直接降低相關產業迭代發展速度,掣肘 社會 前進步伐,削弱國家治理能力,進而危及影響到國家的政治和 社會 穩定。

時不我待。 我們需要立即行動起來,通過立項開展微型數據存儲技術創新研發,凝聚國內外數據存儲領域資源力量,構建數據存儲專業核心技術團隊;從研發軟體定義的存儲(數據去重)技術產品入手,填補國內技術產品領域空白;啟動研發微型化(原子級)數據存儲設備,搶占未來數據存儲領域的制高點。這項舉措也是解除我國數據存儲技術產品創新研發「卡脖子」危機的最佳途徑。

開展微型數據存儲技術創新研發的思路

我國應抓住當前數據應用驅動信息技術升級換代的大數據發展 歷史 契機,凝聚國內外資源力量,構建中國數據存儲專業核心技術團隊。近期:研發部署模塊化數據去重技術產品,壓縮海量數據存儲空間需求,填補國內底層數據存儲管理技術空白。遠期:啟動研發微型數據存儲設備,搶占未來數據存儲技術領域的制高點。

從開展微型數據存儲技術創新研發入手,聚焦國際存儲技術領域的戰略性前沿技術趨勢;聯手科研院所、高等院校、生產企業、大型用戶的資源,建設國家級核心技術團隊;積極引進/培養數據存儲技術人才,研發自主可控系列產品。

1.近期跟蹤行業動態

對標國際頂級數據存儲技術產品,砥礪學習底層模塊級數據存儲去重技術,壓縮海量數據存儲空間需求,實現自主可控國產數據存儲技術管理軟體產品的商務應用。基本原理是首先識別出重復的數據模塊,然後優化存儲多個重復數據模塊中的單一模塊,以及同其它重復模塊的鏈接關系。進而減少企業級客戶存儲數據所需的物理空間佔有量,降低采購部署數據存儲設備的增量。

2.遠期重點突出推進

探索 下一代數據存儲技術,整合跨學科資源啟動開展研發微型存儲器,力圖將現有基於磁碟/光碟/磁帶的計算機數據存儲器,轉化為未來基於原子/電子運動狀態的微型化數字信息採集與存取機制。其原理是將現在耗費數百萬個原子的材料介質所表徵的一位「0」或「1」二進制計算機數據,試圖由單個原子狀態變化來表徵。於是,可以將現有數據存儲設備體積縮小數十萬乃至百萬倍,最終將佔地約足球場面積的大數據存儲倉庫縮小為攜帶型器件。

3.研發工作開展建議

開展微型數據存儲技術創新研發應該建設成為國內領先、國際一流的數據存儲技術研究機構、產業孵化溫室、以及人才培養基地。

延攬數據存儲技術專家領銜擔綱咨詢顧問。全球招聘在世界頂級數據存儲公司工作多年的業界精英加盟指導。

構建中國數據存儲技術研發團隊。採用引進師資/開設培訓課程等有效方式,積累培育國內數據存儲技術力量。

結盟矽谷存儲技術研究院。依託美國矽谷地區的數據存儲實體公司,共享數據存儲底層技術知識。

注冊成立企業運營機構。開發軟體定義存儲(數據去重)技術產品,服務數據用戶市場,遵循商務運作規律。

融資涵蓋多種基金渠道。申報獲取國家重大專項基礎項目研發資金,吸引專業投資基金加盟。首期投資約需10億元人民幣(參考國際相關工程估值:美國IBM公司同類項目投資約600億美元/10年)。

推動微型數據存儲技術創新研發的建議

我國在開展新型基礎設施建設的同時,應當抓住當前數據計算應用驅動信息技術升級換代的大數據發展 歷史 契機,建立數據存儲技術的自主知識產權體系,填補國內空白,保障數字中國建設長遠規劃實施,推進國產數據存儲產品崛起,為相關產業發展鋪路。

2.建議遠期緊跟世界主流研發創新步伐,聚焦研發原子級微型化數據存儲技術產品(2020-2040年),在2040年前研發出原子級大數據存儲技術,並逐步實現產業化。

3.建議將微型化數據存儲技術創新作為國家戰略。搭建政產學研用共建共治共享的中國數據存儲技術聯合創新平台,建設國家級重點實驗室。依託科研院所/高等院校/相關企業,奠定從微型數據存儲理論、硬體設計、軟體開發、結構設計、系統集成等一整套原子級微型數據存儲技術研發工作的基礎。

4.建議國家相關部委給予配套資金支持。加快推進原子級大數據存儲技術研發和產業化轉化。支持申報重大 科技 項目和專項扶持資金。

5.建議形成能夠長期從事數據存儲技術創新的人才隊伍。借鑒全球數據存儲技術創新研發經驗,引進海內外數據存儲技術領域頂尖科學家和工程師。在高等院校與科研院所開設數據存儲技術專業課程,搭建完善的國內人才培養體系。

6.建議立項過程不宜採用常規項目申報、審批流程,亟需特事特辦予以批准。主要是有鑒於本項目相關的科研生產領域中,國內現有技術力量薄弱分散,評估體系資源匱乏。

7.建議項目推進應當低調快速務實:不重造勢,不揚虛名,不謀近利。主要是基於當前復雜敏感的國際政治經濟形勢,預計本項目勢將關聯國家核心產業戰略布局,影響未來數十年中國數字經濟命脈與發展。

作 者:中央 財經 大學中國互聯網經濟研究院研究員 歐陽日輝

通訊員:李 翀

戰略性新興產業專題報道 辦事,「刷臉」就行

張家口敢闖敢試、先行先試,積極 探索 氫能產業創新發展的有益路徑

「東數西算」正式啟動,樞紐網路如何建設?

「十四五」浪潮下如何構建城市數據中心網路?

「我為群眾辦實事」北京市發展改革委發布第三批政策工具應用指南

大美密雲 助推新興產業發展

東方測控:打造智能製造示範工廠,引領礦山行業新未來

J. 說明在創建資料庫時如何合理規劃資料庫的物理存儲結構和邏輯存儲結構

Oracle資料庫的邏輯結構和物理結構

Oracle 資料庫的邏輯結構是由一些資料庫對象組成,如資料庫表空間、表、索引、段、視圖、存儲過程、觸發器等。資料庫的邏輯存儲結構(表空間等)決定了資料庫的物理空間是如何被使用的,資料庫對象如表、索引等分布在各個表空間中。

Oracle 資料庫的物理結構從操作系統一級查看,是由一個個的文件組成,從物理上可劃分為:數據文件、日誌文件、控制文件和參數文件。數據文件中存放了所有的數據信息;日誌文件存放資料庫運行期間產生的日誌信息,它被重復覆蓋使用,若不採用歸檔方式的話,已被覆蓋的日誌信息將無法恢復;控制文件記錄了整個資料庫的關鍵結構信息,它若被破壞,整個資料庫將無法工作和恢復;參數文件中設置了很多Oracle 資料庫的配置參數,當資料庫啟動時,會讀取這些信息。

邏輯結構的優化

邏輯結構優化用通俗的話來說就是通過增加、減少或調整邏輯結構來提高應用的效率,下面通過對基本表的設計及索引、聚簇的討論來分析ORACLE邏輯結構的優化。

1、基本表擴展

資料庫性能包括存儲空間需求量的大小和查詢響應時間的長短兩個方面。為了優化資料庫性能,需要對資料庫中的表進行規范化。一般來說,邏輯資料庫設計滿足第三範式的表結構容易維護且基本滿足實際應用的要求。所以,實際應用中一般都按照第三範式的標准進行規范化,從而保證了資料庫的一致性和完整性,設計人員往往會設計過多的表間關聯,以盡可能地降低數據冗餘。但在實際應用中這種做法有時不利於系統運行性能的優化:如過程從多表獲取數據時引發大量的連接操作,在需要部分數據時要掃描整個表等,這都消耗了磁碟的I/O 和CPU 時間。

為解決這一問題,在設計表時應同時考慮對某些表進行反規范化,方法有以下幾種:一是分割表。分割表可分為水平分割表和垂直分割表兩種:水平分割是按照行將一個表分割為多個表,這可以提高每個表的查詢速度,但查詢、更新時要選擇不同的表,統計時要匯總多個表,因此應用程序會更復雜。垂直分割是對於一個列很多的表,若某些列的訪問頻率遠遠高於其它列,就可以將主鍵和這些列作為一個表,將主鍵和其它列作為另外一個表。通過減少列的寬度,增加了每個數據頁的行數,一次I/O就可以掃描更多的行,從而提高了訪問每一個表的速度。但是由於造成了多表連接,所以應該在同時查詢或更新不同分割表中的列的情況比較少的情況下使用。二是保留冗餘列。當兩個或多個表在查詢中經常需要連接時,可以在其中一個表上增加若干冗餘的列,以避免表之間的連接過於頻繁,一般在冗餘列的數據不經常變動的情況下使用。三是增加派生列。派生列是由表中的其它多個列的計算所得,增加派生列可以減少統計運算,在數據匯總時可以大大縮短運算時間。

因此,在資料庫的設計中,數據應當按兩種類別進行組織:頻繁訪問的數據和頻繁修改的數據。對於頻繁訪問但是不頻繁修改的數據,內部設計應當物理不規范化。對於頻繁修改但並不頻繁訪問的數據,內部設計應當物理規范化。有時還需將規范化的表作為邏輯資料庫設計的基礎,然後再根據整個應用系統的需要,物理地非規范化數據。規范與反規范都是建立在實際的操作基礎之上的約束,脫離了實際兩者都沒有意義。只有把兩者合理地結合在一起,才能相互補充,發揮各自的優點。

2、索引和聚簇

創建索引是提高檢索效率最有效的方法之一,索引把表中的邏輯值映射到安全的RowID,能快速定位數據的物理地址,可以大大加快資料庫的查詢速度,一個建有合理索引的資料庫應用系統可能比一個沒有建立索引的資料庫應用系統效率高幾十倍,但並不是索引越多越好,在那些經常需要修改的數據列上建立索引,將導致索引B*樹的不斷重組,造成系統性能的下降和存儲空間的浪費。對於一個大型表建立的索引,有時並不能改善數據查詢速度,反而會影響整個資料庫的性能。這主要是和SGA的數據管理方式有關,Oracle在進行數據塊高速緩存管理時,索引數據比普通數據具有更高的駐留許可權,在進行空間競爭時,Oracle會先移出普通數據,對建有索引的大型表進行數據查詢時,索引數據可能會用完所有的數據塊緩存空間,Oracle不得不頻繁地進行磁碟讀寫來獲取數據,所以,在對一個大型表進行分區之後,可以根據相應的分區建立分區索引。

Oracle提供了另一種方法來提高查詢速度,就是聚簇(Cluster)。所謂聚簇,簡單地說就是把幾個表放在一起,按一定公共屬性混合存放。聚簇根據共同碼值將多個表的數據存儲在同一個Oracle塊中,這時檢索一組Oracle塊就同時得到兩個表的數據,這樣就可以減少需要存儲的Oracle塊,從而提高應用程序的性能。

對於邏輯結構的優化,還應將表數據和索引數據分開表空間存儲,分別使用獨立的表空間。因為如果將表數據和索引數據放在一起,表數據的I/O操作和索引的I/O操作將產生影響系統性能的I/O競爭,降低系統的響應效率。將表數據和索引數據存放在不同的表空間中,並在物理層面將這兩個表空間的數據文件放在不同的物理磁碟上,就可以避免這種競爭了。

物理結構的優化

資料庫的數據最終是存儲在物理磁碟上的,對數據進行訪問就是對這些物理磁碟進行讀寫,因此對於這些物理存儲的優化是系統優化的一個重要部分。對於物理存儲結構優化,主要是合理地分配邏輯結構的物理存儲地址,這樣雖不能減少對物理存儲的讀寫次數,但卻可以使這些讀寫盡量並行,減少磁碟讀寫競爭,從而提高效率,也可以通過對物理存儲進行精密的計算減少不必要的物理存儲結構擴充,從而提高系統利用率。

1、磁碟讀寫並行優化

對於資料庫的物理讀寫,Oracle系統本身會進行盡可能的並行優化,例如在一個最簡單的表檢索操作中,如果表結構和檢索域上的索引不在一個物理結構上,那麼在檢索的過程中,對索引的檢索和對表的檢索就是並行進行的。

2、操作並行優化

操作並行的優化是基於操作語句的統計結果,首先是統計各個表的訪問頻率,表之間的連接頻率,根據這些數據按如下原則分配表空間和物理磁碟,減少系統進程和用戶進程的磁碟I/O競爭;把需要連接的表格在表空間/物理磁碟上分開;把高頻訪問的表格在表空間/物理磁碟上分開;把經常需要進行檢索的表格的表結構和索引在表空間/物理磁碟上分開。

3、減少存儲結構擴展

如果應用系統的資料庫比較脆弱,並在不斷地增長或縮小,這樣的系統在非動態變化周期內效率合理,但是當在動態變化周期內的時候,性能卻很差,這是由於Oracle的動態擴展造成的。在動態擴張的過程中,Oracle必須根據存儲的要求,在創建行、行變化獲取預設值時,擴展和分配新的存儲空間,而且表格的擴展往往並不是事情的終結,還可能導致數據文件、表空間的增長,這些擴展會導致在線系統反應緩慢。對於這樣的系統,最好的辦法就是在建立的時候預先分配足夠的大小和合適的增長幅度。在一個對象建立的時候要根據應用充分地計算他們的大小,然後再根據這些數據來定義對象Initial、Next和Minextents的值,使資料庫在物理存儲上和動態增長次數上達到一個比較好的平衡點,使這些對象既不經常發生增長,也不過多地佔用資料庫。