當前位置:首頁 » 數據倉庫 » 資料庫新技術有哪些
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

資料庫新技術有哪些

發布時間: 2023-01-17 20:10:24

1. 常用的資料庫安全技術有哪些

1)用戶標識和鑒別:該方法由系統提供一定的方式讓用戶標識自己咱勺名字或身份。每次用戶要求進入系統時,由系統進行核對,通過鑒定後才提供系統的使用權。

(2)存取控制:通過用戶許可權定義和合法權檢查確保只有合法許可權的用戶訪問資料庫,所有未被授權的人員無法存取數據。例如C2級中的自主存取控制(I)AC),Bl級中的強制存取控制(M.AC)。

(3)視圖機制:為不同的用戶定義視圖,通過視圖機制把要保密的數據對無權存取的用戶隱藏起來,從而自動地對數據提供一定程度的安全保護。

(4)審計:建立審計日誌,把用戶對資料庫的所有操作自動記錄下來放人審計日誌中,DBA可以利用審計跟蹤的信息,重現導致資料庫現有狀況的一系列事件,找出非法存取數據的人、時間和內容等。

(5)數據加密:對存儲和傳輸的數據進行加密處理,從而使得不知道解密演算法的人無法獲知數據的內容。

2. 資料庫集群技術有哪些

資料庫集群技術
1)提高資料庫處理速度的技術
目前有四種提高資料庫處理速度的辦法:
◆ 提高磁碟速度:這包括RAID和其他磁碟文件分段的處理。主要的思想是提高磁碟的並發度(多個物理磁碟存放同一個文件)。盡管實現方法各不相同,但是它們最後的目的都是提供一個邏輯資料庫的存儲映象。我們要評價的六個系統都能有效地利用這些技術。由於ICX已經有最大的磁碟冗餘度,RAID 磁碟系統的設置應該側重於速度,而不是數據冗餘。這樣磁碟利用的效益就會提高。
◆ 分散數據的存放:主要思想是利用多個物理伺服器來存放數據集的不同部分(一個資料庫表格分散到多個伺服器或者每個伺服器分管幾個內容不同的表格)。這些辦法不但可以擴展數據集(數據集的可擴性),而且使得不同的伺服器進行並行計算成為可能。例如,對於ORACLE的RAC來講,由於它是共享磁碟的體系結構,你只需要簡單地增加一個伺服器節點,RAC就能自動地將這節點加入到它的集群服務中去。RAC會自動地將數據分配到這節點上,並且會將接下來的資料庫訪問自動分布到合適的物理伺服器上,而不用修改應用程序。對於UDB來講,因為它是非共享磁碟的體系結構,因此就必須手工修改數據的分區,MSCS和ASE也是同樣的情況。Mysql也需要手工分區,並且是這幾種資料庫中支持分區的自動化程度最低的,也就是說,應用程序需要自己負責資料庫的分布式訪問。不管數據存放是如何實現的,分布式存放數據的缺點是對資料庫的可用性有負面影響。任何一台伺服器的損壞都會影響整個系統的可用性。但是,這是迄今為止各大資料庫廠商能提供的業界最好的資料庫集群技術了。ICX是一種基於中間件的資料庫集群技術,它對客戶端和資料庫伺服器都是透明的。因此,ICX可以用來集群幾個資料庫集群(一個邏輯資料庫),也可以用於集群幾個物理資料庫伺服器(來增強一個分管關鍵數據的物理伺服器)。
◆ 對稱多處理器系統:此技術的思想是利用多處理機硬體技術來提高資料庫的處理速度。但是,除了ICX,所有其它的資料庫集群技術只支持單一的可修改的邏輯資料庫。絕大部分的資料庫事務處理是磁碟密集型的,純計算負荷很小的,對稱多處器技術在資料庫上的應用的實際收益是很有限的。這也說明了為什麼實際應用中最多隻用了四個CPU的原因。所有的基於資料庫引擎的集群都支持這個技術,ICX對SMP技術是中性的,因為它能把多個資料庫伺服器集合在一起構成一個集群,也能將多個現存的資料庫集群集合在一起,構成集群的集群。
◆ 交易處理負載均衡:此技術的思想是在保持數據集內容同步的前提下,將只讀操作分布到多個獨立的伺服器上運行。因為絕大多數的資料庫操作是瀏覽和查詢,,如果我們能擁有多個內容同步的資料庫伺服器,交易負載均衡就具有最大的潛力(可以遠遠大於上面敘述的最多達四個處理器的對稱多處理器系統)來提高資料庫的處理速度,同時會具有非常高的數據可用性(真正達到5個9,即99.999%)。所有基於資料庫引擎的集群系統都只支持一個邏輯資料庫映象和一個邏輯或物理的備份。這個備份的主要目的是預防數據災難。因此,備份里的數據只能通過復制機制來更新,應用程序是不能直接更新它的。利用備份數據進行交易負載均衡只適用於一些非常有限的應用,例如報表統計、數據挖掘以及其它非關鍵業務的應用。只有ICX能夠做到同步復制多個資料庫伺服器從而達到在保持數據一直性前提下的真正的負載平衡。
上述所有技術在實際部署系統的時候可以混合使用以達到最佳效果。
2)提高資料庫可用性的技術
根據物理法則,提高冗餘度是提高資料庫可用性的唯一途徑。
提高資料庫冗餘度大致有四種方法:
◆ 硬體級的冗餘:主要思想是讓多處理機同時執行同樣的任務用以屏蔽瞬時和永久的硬體錯誤。有兩種具體的實現方法:構造特殊的冗餘處理機和使用多個獨立的資料庫伺服器。冗餘處理機的造價昂貴,效益很低。實際應用日漸減少。基於資料庫的集群系統都是用多個獨立的資料庫伺服器來實現一個邏輯資料庫,在任意瞬間,每台處理器運行的都是不同的任務。這種系統可以屏蔽單個或多個伺服器的損壞,但是因為沒有處理的冗餘度,每次恢復的時間比較長,它們需要把被損壞的服務進程在不同的伺服器上從新建立起來。ICX讓多個獨立的資料庫伺服器作同樣的處理。發現處理器問題時的切換不需要重建進程的狀態,所以故障屏蔽是極快的。
◆ 通訊鏈路級的冗餘:冗餘的通訊鏈路可以屏蔽瞬時和永久的通訊鏈路級的錯誤。基於資料庫引擎的集群系統有兩種結構:共享磁碟和獨立磁碟。RAC, MSCS 和 MySQL CS可以認為是共享磁碟的集群系統。UDB和ASE 是獨立磁碟的集群系統。共享磁碟集群系統對網路系統的要求很高,所以通訊的冗餘度最小。獨立磁碟集群系統可以把磁碟系統獨立管理,通訊冗餘度較高。 ICX的通訊鏈路級的冗餘度最高,因為它使用的是多個獨立的資料庫伺服器和獨立的磁碟系統。 ICX也可以用於共享磁碟系統。 但是冗餘度會相應降低。
◆ 軟體級的冗餘:由於現代操作系統和資料庫引擎的高度並發性,由競爭條件、死鎖、以及時間相關引發的錯誤占據了非正常停機服務的絕大多數原因。採用多個冗餘的運行資料庫進程能屏蔽瞬時和永久的軟體錯誤。基於資料庫引擎的集群系統都用多個處理器來實現一個邏輯資料庫,它們只能提供部分軟體冗餘,因為每一瞬間每個處理器執行的都是不同的任務。只有ICX可以提供最大程度的軟體級冗餘。
◆ 數據冗餘:有兩類冗餘數據集。
被動更新數據集:所有目前的數據復制技術(同步或非同步),例如磁碟鏡像(EMC的TimeFinder系列)、資料庫文件復制(如DoubleTake, Veritas and Legato)以及資料庫廠商自帶的資料庫備份工具都只能產生被動復制數據集。通常,為了實現復制功能,需要消耗掉主伺服器5%(非同步)到30%(同步)的處理能力。被動更新的數據一般只用於災難恢復.被動更新數據集還有兩個致命的問題:一旦主處理機故障造成數據損壞,被動更新的數據集也會被破壞。另外,和主動更新系統相比,被動更新系統對數據網路的帶寬要求更高。這是因為它缺少交易的信息,很多數據復制是盲目的。
主動更新數據集:這種數據集需要一台(或多台)獨立的備份資料庫伺服器來管理,由於這種數據集及時可用,它可以有多種用途,例如報表生成,數據挖掘,災難恢復甚至低質量負載均衡。 同樣地,這里也有同步和非同步兩種技術。
◆ 非同步主動復制數據集:這種技術是先把事務處理交給主伺服器來完成,然後這些事務處理再被串列地交給備份伺服器以執行同樣的操作來保證數據的一致性。這種技術生成的數據集和主數據集有一個時間差,所以僅適用於災難恢復、數據挖掘、報表統計以及有限的在線應用。所有的商用資料庫都支持非同步主動復制技術。這種辦法的難度在於復制隊列的管理上,這個隊列是用來屏蔽主伺服器和備份伺服器之間的速度差異的。因為主伺服器可以盡可能地利用所有軟硬體的並發性來處理並發的事務,而備份伺服器只能串列地復制,在高負荷事務處理的情況下,復制隊列經常可能溢出。因為沒有任何辦法來控制事務處理請求的速度,在高負荷事務處理的情況下,復制隊列只能經常性地重建。因為所有現代資料庫系統都支持熱備份和LOG SHIPPING。通過精心策劃,應該可以實現不關閉主伺服器而重建隊列。ICX也支持非同步主動復制. ICX的復制隊列的重建是通過ICX的自動數據同步軟體來完成的,所以不需要人工操作。
◆ 同步主動復制數據集:這種技術要求所有的並發事務處理在所有的資料庫伺服器上同時完成。一個直接的好處就是沒有了隊列的管理問題,同時也可以通過負載均衡實現更高的性能和更高的可用性。這種技術也有兩種完全不同的實現方法:完全串列化和動態串列化。完全串列化的事務處理來自於主資料庫的事務處理引擎,RAC, UDB, MSCS (SQL Server 2005) 和 ASE是用完全串列化並結合兩階段提交協議來實現的,這種設計的目標就是為了獲得一份可用於快速災難恢復的數據集。這種系統有兩個關鍵的問題。第一,兩階段提交協議是一種「ALL OR NOTHING」的協議。仔細研究兩階段提交協議後就能發現,為了獲取這備份數據集,事務處理的可用性會降低一半。第二,完全串列化的做法又引進了主-從資料庫伺服器速度不匹配的問題。強制同步造成整個系統的速度被降低到完全串列化的水平。相反,ICX-UDS採用了動態串列復制引擎。這設計可以充分利用多個獨立資料庫的處理能力。ICX避免了使用兩階段提交協議,因此一個事務處理只有在集群中的所有伺服器全都同時崩潰的情況下才會回滾。
為了防災,必須使用遠程網路。 所以我們在這里討論遠程數據復制的辦法。這里大概有四種辦法。
◆ 動態遠程非同步復制:這種辦法是指主伺服器通過遠程網串列地把交易復制到備份伺服器上。由於主-副之間的速度不匹配,隊列管理的問題就很突出。 由於遠程網的速度一般都比較慢,隊列溢出的概率大大增加。所有的集群系統都支持這種復制辦法,只是隊列管理的辦法不同而已。DM,FM和RAID都不能支持這種辦法。RAID只能在區域網內工作。
◆ 動態遠程同步復制.:這種辦法是指主伺服器通過遠程網並行地把交易復制備份伺服器上。只有ICX 具有這種能力。
◆ 靜態遠程非同步復制.:這種辦法是指通過遠程網把數據串列地復制(不通過資料庫伺服器)到異地。DM和FM支持這種復制辦法。因為串列處理和隊列管理的關系,這對於處理量大的系統不適用。但是這種復制辦法對應用是透明的,所有集群系統都可採用.
◆ 靜態遠程同步復制.:這種辦法也是指通過遠程網把數據串列地復制(不通過資料庫伺服器)到異地。不同的是,這里沒有隊列管理。取代隊列管理的是發送端的一個新的協議:每次發送都要等接受端確認復製成功。否則回滾。DM和FM都支持這種復制辦法。這種辦法只能在短距離范圍內工作, 大約5 英里光纖的樣子。如果超出這個距離范圍的話,顯然事務處理回滾的概率就會很高。但是這種復制辦法對應用是透明的,所有集群系統都可採用。
3)提高資料庫安全和數據集可擴展的技術
在提高資料庫安全性和數據集可擴性這兩方面,可以創新的空間是很小的。資料庫最常見的安全辦法是口令保護,要麼是分布式的,要麼是集中式的。在資料庫前面增加防火牆會增加額外的延遲,因此,盡管許多安全侵犯事件是來自於公司內部,但是資料庫防火牆還是很少被採用。如果資料庫集群技術是基於中間件技術實現的,就有可能在不增加額外延遲的情況下 ,在數據經過的路徑上實現防火牆功能。ICX完全實現了這種思想。
資料庫數據集的可擴性只能通過將數據分布到多個獨立的物理伺服器上來實現。為了彌補可用性的損失,ICX能被用來提高整個邏輯資料庫或者部分重要伺服器的處理速度,可用性和安全性。

3. 大數據的核心技術有哪些

大數據技術的體系龐大且復雜,基礎的技術包含數據的採集、數據預處理、分布式存儲、資料庫、數據倉庫、機器學習、並行計算、可視化等。

1、數據採集與預處理:

Flume NG實時日誌收集系統,支持在日誌系統中定製各類數據發送方,用於收集數據;

Zookeeper是一個分布式的,開放源碼的分布式應用程序協調服務,提供數據同步服務。

2、數據存儲:

Hadoop作為一個開源的框架,專為離線和大規模數據分析而設計,HDFS作為其核心的存儲引擎,已被廣泛用於數據存儲。

HBase,是一個分布式的、面向列的開源資料庫,可以認為是hdfs的封裝,本質是數據存儲、NoSQL資料庫。

3、數據清洗:MapRece作為Hadoop的查詢引擎,用於大規模數據集的並行計算

4、數據查詢分析:

Hive的核心工作就是把SQL語句翻譯成MR程序,可以將結構化的數據映射為一張資料庫表,並提供 HQL(Hive SQL)查詢功能。

Spark 啟用了內存分布數據集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。

5、數據可視化:對接一些BI平台,將分析得到的數據進行可視化,用於指導決策服務。

4. 3、 新一代資料庫技術有哪些特點

三、新一代資料庫技術的特點
一方面立足於資料庫已有的成果和技術,加以發展進化,有人稱之為"進化論"的觀點和方法。另一方面的努力是立足於新的應用需求和計算機未來的發展,研究全新的資料庫系統,有人稱之為"革新論"的觀點和方法。

可以說新一代資料庫技術的研究,新一代資料庫系統的發展呈現了百花齊放的局面。其特點是:

1.面向對象的方法和技術對資料庫發展的影響最為深遠

八十年代出現的面向對象的方法和技術對計算機各個領域,包括程序設計語言、軟體工程、信息系統設計,以及計算機硬體設計等都產生了深遠的影響,也給面臨新挑戰的資料庫技術帶來了機會和希望。 資料庫研究人員借鑒和吸收了面向對象的方法和技術,提出了面向對象數據模型(簡稱對象模型)。 該模型克服了傳統數據模型的局限性,為新一代資料庫系統的探索帶來了希望,促進了資料庫技術在一個新的技術基礎上繼續發展。

2.資料庫技術與多學科技術的有機結合

資料庫技術與多學科技術的有機結合是當前資料庫技術發展的重要特徵。

計算機領域中其它新興技術的發展對資料庫技術產生了重大影響。 傳統的資料庫技術和其它計算機技術的互相結合,建立和實現了一系列新型資料庫系統,如分布式資料庫系統、並行資料庫系統、演繹資料庫系統、知識庫系統、多媒體資料庫系統等等。它們共同構成了資料庫系統大家族。

3. 面向應用領域的資料庫技術的研究

5. 新一代資料庫包括哪些

nosql資料庫,如:
Membase
MongoDB
Hypertable
Apache Cassandra

6. 資料庫技術的應用領域有哪些

1、多媒體資料庫

這類資料庫主要存儲與多媒體相關的數據,如聲音、圖像和視頻等數據。多媒體數據最大的特點是數據連續,而且數據量比較大,存儲需要的空間較大。

2、移動資料庫

該類資料庫是在移動計算機系統上發展起來的,如筆記本電腦、掌上計算機等。該資料庫最大的特點是通過無線數字通信網路傳輸的。移動資料庫可以隨時隨地地獲取和訪問數據,為一些商務應用和一些緊急情況帶來了很大的便利。

3、資料庫技術在多媒體技術方面的應用。

相對比傳統的資料庫技術,這種結合了多媒體技術的資料庫,以多媒體技術的優勢使得數據界面的豐富化並對於兩者結合所可能帶來的相關技術問題給予了充分解決,相關資料庫方面的安全性得到了很好的提高。

多媒體資料庫設計中有很多問題需要解決:用戶介面支持方面、資料庫組織與存儲方面、媒體種類增加方面信息的分布影響方面。

4、信息檢索系統

信息檢索就是根據用戶輸入的信息,從資料庫中查找相關的文檔或信息,並把查找的信息反饋給用戶。信息檢索領域和資料庫是同步發展的,它是一種典型的聯機文檔管理系統或者聯機圖書目錄。

5、分布式信息檢索

這類資料庫是隨著Internet的發展而產生的資料庫。它一般用於網際網路及遠距離計算機網路系統中。特別是隨著電子商務的發展,這類資料庫發展更加迅猛。

許多網路用戶(如個人、公司或企業等)在自己的計算機中存儲信息,同時希望通過網路使用發送電子郵件、文件傳輸、遠程登錄方式和別人共享這些信息。分布式信息檢索滿足了這一要求。

7. 資料庫技術的發展趨勢

資料庫技術的發展趨勢:
根據資料庫應用及多家分析機構的評估,資料庫技術發展將以應用為導向,面向業務服務,並與計算機網路和人工智慧等技術結合,為新型應用提供多種支持。
(1)雲資料庫和混合數據快速發展
雲資料庫(Cloud Database)簡稱為雲庫, 是在雲計算環境中部署和虛擬化的資料庫。將各種關系型資料庫看成一系列簡單的二維表,並基於簡化版本的SQL或訪問對象進行操作。使傳統關系型資料庫通過提交一個有效地鏈接字元串即可加入雲資料庫,雲資料庫可解決數據集中更廣泛的異地資源共享問題。
(2)數據集成與數據倉庫
數據倉庫(Data Warehouse)是面向主題、集成、相對穩定、反映歷史變化的數據集合,是決策支持系統和聯機分析應用數據源的結構化數據環境。主要側重對機構歷史數據的綜合分析利用,找出對企業發展有價值的信息,以提供決策支持,幫助提高效益。其特徵是面向主題、集成性、穩定性和時變性。新一代資料庫使數據集成和數據倉庫的實施更簡單。數據應用逐步過渡到數據服務,開始注重處理:關系型與非關系型數據的融合、分類、國際化多語言數據。
(3)主數據管理和商務智能
在企事業機構內部業務應用整合和系統互聯中,許多機構具有相同業務語義的數據被多次反復定義和存儲,導致數據大量冗餘成為IT環境發展的障礙,為了有效使用和管理這些數據,主數據管理已經成為一個新的熱點。
商務智能(Business Intelligence)是指利用數據倉庫及數據挖掘技術對業務數據分析處理並提供決策信息和報告,促進企業利用現代信息技術收集、管理和分析商務數據,改善決策水平,提升績效,增強綜合競爭力的智慧和能力。是企業利用現代信息技術收集、管理和分析商務數據和信息,創造和累計商務知識和見解,改善商務決策水平,採取有效的商務行動,完善各種商務流程,提升各方面商務績效,增強綜合競爭力的智慧和能力。融合了先進信息技術與創新管理理念的結合體,集成企業內外的數據,加工並從中提取能夠創造商業價值的信息,面向企業戰略並服務於管理層。
(4)「大數據」促進新型資料庫
進入「大數據時代」,大數據量、高並發、分布式和實時性的需求,由於傳統的資料庫技術的數據模型和預定義的操作模式,時常難以滿足實際需求,致使新型資料庫在大數據的場景下,將取代傳統資料庫成為主導。
(5)基於網路的自動化管理
網路資料庫應用系統的廣泛應用,使資料庫管理更加自動化。如網購、網銀等系統,從企業級Enterprise-class到世界級World-class的轉變,提供更多基於Internet環境的管理工具,完成資料庫管理網路化。應用程序編程介面API(Application ProgrammingInterface)更開放,基於瀏覽器端技術的管理套件,便於分布遠程管理。
(6)PHP將促進資料庫產品應用
隨著新一代Web技術的廣泛應用,在.NET和Java成為數據應用的主體開發平台後,很多廠商為了爭取市場在新版本資料庫產品推出後,提供面向超級文本預處理語言PHP(Hypertext Preprocessor)的專用驅動和應用。
(7)資料庫將與業務語義的數據內容融合
資料庫將更廣泛地為用於「信息服務」。對新一代基於AJAX、MashUp、SNS等技術的創新應用,數據從集中於邏輯中心資料庫,改為分布網路,為了給予技術支持,數據聚集及基於業務語義的數據內容融合也成為資料庫發展的方向,不僅在商務智能領域不斷加強對服務應用的支持,而且注重加強數據集成服務。

8. 資料庫有哪些新技術

SQLServer是大眾化的吧
超大型資料庫orical用的比較多
小型免費mySQL最多
還有DB2等

新技術接觸不多,給你個鏈接你看下網頁鏈接