『壹』 nosql資料庫是什麼 具有代表性以key-value的形式存儲的
什麼是NoSQL
大家有沒有聽說過「NoSQL」呢?近年,這個詞極受關注。看到「NoSQL」這個詞,大家可能會誤以為是「No!SQL」的縮寫,並深感憤怒:「SQL怎麼會沒有必要了呢?」但實際上,它是「Not Only SQL」的縮寫。它的意義是:適用關系型資料庫的時候就使用關系型資料庫,不適用的時候也沒有必要非使用關系型資料庫不可,可以考慮使用更加合適的數據存儲。
為彌補關系型資料庫的不足,各種各樣的NoSQL資料庫應運而生。
為了更好地了解本書所介紹的NoSQL資料庫,對關系型資料庫的理解是必不可少的。那麼,就讓我們先來看一看關系型資料庫的歷史、分類和特徵吧。
關系型資料庫簡史
1969年,埃德加?6?1弗蘭克?6?1科德(Edgar Frank Codd)發表了劃時代的論文,首次提出了關系數據模型的概念。但可惜的是,刊登論文的《IBM Research Report》只是IBM公司的內部刊物,因此論文反響平平。1970年,他再次在刊物《Communication of the ACM》上發表了題為「A Relational Model of Data for Large Shared Data banks」(大型共享資料庫的關系模型)的論文,終於引起了大家的關注。
科德所提出的關系數據模型的概念成為了現今關系型資料庫的基礎。當時的關系型資料庫由於硬體性能低劣、處理速度過慢而遲遲沒有得到實際應用。但之後隨著硬體性能的提升,加之使用簡單、性能優越等優點,關系型資料庫得到了廣泛的應用。
通用性及高性能
雖然本書是講解NoSQL資料庫的,但有一個重要的大前提,請大家一定不要誤解。這個大前提就是「關系型資料庫的性能絕對不低,它具有非常好的通用性和非常高的性能」。毫無疑問,對於絕大多數的應用來說它都是最有效的解決方案。
突出的優勢
關系型資料庫作為應用廣泛的通用型資料庫,它的突出優勢主要有以下幾點:
保持數據的一致性(事務處理)
由於以標准化為前提,數據更新的開銷很小(相同的欄位基本上都只有一處)
可以進行JOIN等復雜查詢
存在很多實際成果和專業技術信息(成熟的技術)
這其中,能夠保持數據的一致性是關系型資料庫的最大優勢。在需要嚴格保證數據一致性和處理完整性的情況下,用關系型資料庫是肯定沒有錯的。但是有些情況不需要JOIN,對上述關系型資料庫的優點也沒有什麼特別需要,這時似乎也就沒有必要拘泥於關系型資料庫了。
關系型資料庫的不足
不擅長的處理
就像之前提到的那樣,關系型資料庫的性能非常高。但是它畢竟是一個通用型的資料庫,並不能完全適應所有的用途。具體來說它並不擅長以下處理:
大量數據的寫入處理
為有數據更新的表做索引或表結構(schema)變更
欄位不固定時應用
對簡單查詢需要快速返回結果的處理
。。。。。。
NoSQL資料庫
為了彌補關系型資料庫的不足(特別是最近幾年),NoSQL資料庫出現了。關系型資料庫應用廣泛,能進行事務處理和JOIN等復雜處理。相對地,NoSQL資料庫只應用在特定領域,基本上不進行復雜的處理,但它恰恰彌補了之前所列舉的關系型資料庫的不足之處。
易於數據的分散
如前所述,關系型資料庫並不擅長大量數據的寫入處理。原本關系型資料庫就是以JOIN為前提的,就是說,各個數據之間存在關聯是關系型資料庫得名的主要原因。為了進行JOIN處理,關系型資料庫不得不把數據存儲在同一個伺服器內,這不利於數據的分散。相反,NoSQL資料庫原本就不支持JOIN處理,各個數據都是獨立設計的,很容易把數據分散到多個伺服器上。由於數據被分散到了多個伺服器上,減少了每個伺服器上的數據量,即使要進行大量數據的寫入操作,處理起來也更加容易。同理,數據的讀入操作當然也同樣容易。
提升性能和增大規模
下面說一點題外話,如果想要使伺服器能夠輕松地處理更大量的數據,那麼只有兩個選擇:一是提升性能,二是增大規模。下面我們來整理一下這兩者的不同。
首先,提升性能指的就是通過提升現行伺服器自身的性能來提高處理能力。這是非常簡單的方法,程序方面也不需要進行變更,但需要一些費用。若要購買性能翻倍的伺服器,需要花費的資金往往不只是原來的2倍,可能需要多達5到10倍。這種方法雖然簡單,但是成本較高。
另一方面,增大規模指的是使用多台廉價的伺服器來提高處理能力。它需要對程序進行變更,但由於使用廉價的伺服器,可以控製成本。另外,以後只要依葫蘆畫瓢增加廉價伺服器的數量就可以了。
不對大量數據進行處理的話就沒有使用的必要嗎?
NoSQL資料庫基本上來說為了「使大量數據的寫入處理更加容易(讓增加伺服器數量更容易)」而設計的。但如果不是對大量數據進行操作的話,NoSQL資料庫的應用就沒有意義嗎?
答案是否定的。的確,它在處理大量數據方面很有優勢。但實際上NoSQL資料庫還有各種各樣的特點,如果能夠恰當地利用這些特點將會是非常有幫助。具體的例子將會在第2章和第3章進行介紹,這些用途將會讓你感受到利用NoSQL的好處。
希望順暢地對數據進行緩存(Cache)處理
希望對數組類型的數據進行高速處理
希望進行全部保存
多樣的NoSQL資料庫
NoSQL資料庫存在著「key-value存儲」、「文檔型資料庫」、「列存儲資料庫」等各種各樣的種類,每種資料庫又包含各自的特點。下一節讓我們一起來了解一下NoSQL資料庫的種類和特點。
NoSQL資料庫是什麼
NoSQL說起來簡單,但實際上到底有多少種呢?我在提筆的時候,到NoSQL的官方網站上確認了一下,竟然已經有122種了。另外官方網站上也介紹了本書沒有涉及到的圖形資料庫和對象資料庫等各個類別。不知不覺間,原來已經出現了這么多的NoSQL資料庫啊。
本節將為大家介紹具有代表性的NoSQL資料庫。
key-value存儲
這是最常見的NoSQL資料庫,它的數據是以key-value的形式存儲的。雖然它的處理速度非常快,但是基本上只能通過key的完全一致查詢獲取數據。根據數據的保存方式可以分為臨時性、永久性和兩者兼具三種。
臨時性
memcached屬於這種類型。所謂臨時性就是 「數據有可能丟失」的意思。memcached把所有數據都保存在內存中,這樣保存和讀取的速度非常快,但是當memcached停止的時候,數據就不存在了。由於數據保存在內存中,所以無法操作超出內存容量的數據(舊數據會丟失)。
在內存中保存數據
可以進行非常快速的保存和讀取處理
數據有可能丟失
永久性
Tokyo Tyrant、Flare、ROMA等屬於這種類型。和臨時性相反,所謂永久性就是「數據不會丟失」的意思。這里的key-value存儲不像memcached那樣在內存中保存數據,而是把數據保存在硬碟上。與memcached在內存中處理數據比起來,由於必然要發生對硬碟的IO操作,所以性能上還是有差距的。但數據不會丟失是它最大的優勢。
在硬碟上保存數據
可以進行非常快速的保存和讀取處理(但無法與memcached相比)
數據不會丟失
兩者兼具
Redis屬於這種類型。Redis有些特殊,臨時性和永久性兼具,且集合了臨時性key-value存儲和永久性key-value存儲的優點。Redis首先把數據保存到內存中,在滿足特定條件(默認是15分鍾一次以上,5分鍾內10個以上,1分鍾內10000個以上的key發生變更)的時候將數據寫入到硬碟中。這樣既確保了內存中數據的處理速度,又可以通過寫入硬碟來保證數據的永久性。這種類型的資料庫特別適合於處理數組類型的數據。
同時在內存和硬碟上保存數據
可以進行非常快速的保存和讀取處理
保存在硬碟上的數據不會消失(可以恢復)
適合於處理數組類型的數據
面向文檔的資料庫
MongoDB、CouchDB屬於這種類型。它們屬於NoSQL資料庫,但與key-value存儲相異。
不定義表結構
面向文檔的資料庫具有以下特徵:即使不定義表結構,也可以像定義了表結構一樣使用。關系型資料庫在變更表結構時比較費事,而且為了保持一致性還需修改程序。然而NoSQL資料庫則可省去這些麻煩(通常程序都是正確的),確實是方便快捷。
可以使用復雜的查詢條件
跟key-value存儲不同的是,面向文檔的資料庫可以通過復雜的查詢條件來獲取數據。雖然不具備事務處理和JOIN這些關系型資料庫所具有的處理能力,但除此以外的其他處理基本上都能實現。這是非常容易使用的NoSQL資料庫。
不需要定義表結構
可以利用復雜的查詢條件
面向列的資料庫
Cassandra、Hbase、HyperTable屬於這種類型。由於近年來數據量出現爆發性增長,這種類型的NoSQL資料庫尤其引人注目。
面向行的資料庫和面向列的資料庫
普通的關系型資料庫都是以行為單位來存儲數據的,擅長進行以行為單位的讀入處理,比如特定條件數據的獲取。因此,關系型資料庫也被稱為面向行的資料庫。相反,面向列的資料庫是以列為單位來存儲數據的,擅長以列為單位讀入數據。
高擴展性
面向列的資料庫具有高擴展性,即使數據增加也不會降低相應的處理速度(特別是寫入速度),所以它主要應用於需要處理大量數據的情況。另外,利用面向列的資料庫的優勢,把它作為批處理程序的存儲器來對大量數據進行更新也是非常有用的。但由於面向列的資料庫跟現行資料庫存儲的思維方式有很大不同,應用起來十分困難。
高擴展性(特別是寫入處理)
應用十分困難
最近,像Twitter和Facebook這樣需要對大量數據進行更新和查詢的網路服務不斷增加,面向列的資料庫的優勢對其中一些服務是非常有用的,但是由於這與本書所要介紹的內容關系不大,就不進行詳細介紹了。
總結:
NoSQL並不是No-SQL,而是指Not Only SQL。
NoSQL的出現是為了彌補SQL資料庫因為事務等機制帶來的對海量數據、高並發請求的處理的性能上的欠缺。
NoSQL不是為了替代SQL而出現的,它是一種替補方案,而不是解決方案的首選。
絕大多數的NoSQL產品都是基於大內存和高性能隨機讀寫的(比如具有更高性能的固態硬碟陣列),一般的小型企業在選擇NoSQL時一定要慎重!不要為了NoSQL而NoSQL,可能會導致花了冤枉錢又耽擱了項目進程。
NoSQL不是萬能的,但在大型項目中,你往往需要它!
『貳』 nosql和mongodb的區別
1,Cassandra:
Cassandra從安裝配置,到使用,負載平衡機制等等,無疑是這些新興的NoSQL中最方便使用的一個(個人使用體驗觀點)
但從近期的消息來看由於出現過幾次較為嚴重的資料庫停止服務事件,Cassandra的創始人Facebook,及Twitter開始漸漸棄用
Cassandra,只把Cassandra用在非核心模塊上,不地Digg仍在使用,看來我們要謹慎地對待它。2008年Facebook已讓
Cassandra開源到Apache.
2.MongoDB:
它的風格可以說,在當賣仔鍵今WebAPI流行的時代,它更易於被人使用,BJSON操作風格,自動數據平衡機制(當然要當心存貯碎片問題),相對
MySQL等SQL資料庫有優秀考慮全面的,分布式方案,自動M/S主從讀寫切換。對於數據集群來說,可以說相當完美的Sharding等自動化支持。至
今聽說過的最嚴重的事件就是FourSquare的11小時資料庫宕機事件。相對來說還能接受:),它是使用C++/Boost編寫,效率性能的確不錯。
3.Redis:
它就是一個高效的內存資料庫,用它來持久化數據存貯,那是扯淡,如果真拿它來與別的NoSQL一樣使用(考慮讀戚慧寫一致性或者寫安全)那它馬上慢下
來:)不過他提供了比Memcached更多的操作數據類型,倒可以完全用它來做為一個高效易用的緩存,Benchmark據說優於memcached.
我用的數據規模沒有這么大,不敢妄加評論。
4.HBase:
概念上也相對完美,有Hive開源工具支持,使HBase,可以相對於其它NoSQL資料庫更易於使用,基於HDFS分布文件系統,使HBASE天
生就有對海量分布集群很好的支持。又因為與Hadoop相伴而生,所以一個系統想使用數據分析,智能處理,海量邏輯執行,完全可以選擇Hadoop +
HBase雲計算方案。
MongoDB也支持js的Map/Recer所以可以試著整合一下MongoDB進雲計算方案中。
當我使有MySQL +
NoSQL方案時,我會選擇MongoDB,不僅是因為他的出色的海量分布式方案的支持,也不是因為經的中巧Map/Recer分布式計算的支持。而是因
為還沒聽說過它有過重大的失敗案例,相對較完美的文檔(還有中文手冊喲)還有JSON分格支持,在當下WebAPI流行的時代,不僅是從個人喜愛角度,也
是從工程管理角度,開發人員更Love it,呵呵。
『叄』 redis是什麼類型的nosql資料庫
內存資料庫,也叫緩存,可以存儲訪問頻次很高的數據
redis是一個nosql(not only sql不僅僅只有sql)資料庫,翻譯成中文叫做非關系型型資料庫
『肆』 什麼是nosql資料庫nosql和rdbms有什麼區別
什麼是NoSQL資料庫?從名稱「非SQL」或「非關系型」衍生而來,這些資料庫不使用類似SQL的查詢語言,通常稱為結構化存儲。這些資料庫自1960年就已經存在,但是直到現在一些大公司(例如Google和Facebook)開始使用它們時,這些資料庫才流行起來。該資料庫最明顯的優勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時,NoSQL這個名稱也可能表示「不僅僅SQL」,來確保它們可能支持SQL。 NoSQL資料庫使用諸如鍵值、寬列、圖形或文檔之類的數據結構,並且可以如JSON之類的不同格式存儲。
『伍』 在我們學習的資料庫中以下哪個不是內存資料庫
在我們學習的NoSQL資料庫中,以下哪個是內存資料庫?( )
A.HBaseB.RedisC.MongoDBD.Bigtable
答案
B
內存資料庫,顧名思義就是將數據放在內存中直接操作的資料庫。相對於磁碟,內存的數據讀寫速度要高出幾個數量級,將數據保存在內存中相比從磁碟上訪問能夠極大地提高應用的性能。
中文名
內存資料庫
外文名
main memory database
定義
將數據放在內存直接操作的資料庫
下設
資料庫系統DBS
最大特點
「主拷貝」常駐內存
資料庫簡介關鍵技術數據載入數據同步技術特點存儲問題分類TA說
資料庫簡介
內存資料庫拋棄了磁碟數據管理的傳統方式,基於全部數據都在內存中重新設計了體系結構,並且汪早在數據緩存、快速演算法、並行操作方面也進行了相應的改進,所以數據處理速度比傳統資料庫的數據處理速度要快很多,一攜森般都在10倍以上。內存資料庫的最大特點是其「主拷貝」或「工作版本」常駐內存,即活動事務只與實時內存資料庫的內存拷貝打交道。
定義:設有資料庫系統DBS,DB為DBS中的資料庫,DBM(t)為在時刻t,DB在內存辯陵畝的數據集,DBM(t)屬於DB。TS為DBS中所有可能的事務構成的集合。AT(t)為在時刻t處於活動狀態的事務集,AT(t)屬於TS。Dt(T)為事務T在時刻t所操作的數據集,
Dt(T)屬於DB。若在任意時刻t,均有:
任意T屬於AT(t) Dt(T)屬於DBM(t)
成立,則稱DBS為一個內存資料庫系統,簡稱為MMDBS;DB為一個內存資料庫,簡稱為MMDB。
常見的例子有MySQL的MEMORY存儲引擎、eXtremeDB、TT、FastDB、SQLite、Microsoft SQL Server Compact等
『陸』 怎麼實現redis的資料庫的緩存(redis實現緩存的流程)
大致為兩種措施:
一、腳本同步:
1、自己寫腳本將資料庫數據寫入到redis/memcached。
2、這就涉及到實時數據變更的問題(mysqlrowbinlog的實時分析),binlog增量訂閱Alibaba的canal,以及緩存層數據丟失/失效後的數據同步恢復問題。
二、純賀業務層實現:
1、先讀取nosql緩存層,沒有數據再讀取mysql層,並寫入數據到nosql。
2、nosql層做好多節點分布式(一致性hash),以及節點失效後替代方案(多層hash尋找相鄰替代節點),和數據震盪恢復了。
redis實現資料庫緩存的分析:
對於變化頻率非常快的數據來說,如果還選擇傳統的靜態緩存方式(Memocached、FileSystem等)展示數據,可能在緩存的存取上會有很大的開銷則褲差,並不能很好的滿足需要,而Redis這樣基於內存的NoSQL資料庫,就非常適合擔任實時數據的容器。
但是往往又有數據可靠性的需求,採用MySQL作為數據存儲,不會因為內存問題而引起數據丟失,同時也可以利用關系資料庫的特性實現很多功能。所以就會很自然的想到是否可以採用MySQL作為數據存孫皮儲引擎,Redis則作為Cache。
MySQL到Redis數據復制方案,無論MySQL還是Redis,自身都帶有數據同步的機制,比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來實現的,這樣的數據復制其實還是一個非同步過程,只不過當伺服器都在同一內網時,非同步的延遲幾乎可以忽略。那麼理論上也可用同樣方式,分析MySQL的binlog文件並將數據插入Redis。
因此這里選擇了一種開發成本更加低廉的方式,借用已經比較成熟的MySQLUDF,將MySQL數據首先放入Gearman中,然後通過一個自己編寫的PHPGearmanWorker,將數據同步到Redis。比分析binlog的方式增加了不少流程,但是實現成本更低,更容易操作。
『柒』 什麼是NoSQL資料庫
1 理解ACID與BASE的區別(ACID是關系型資料庫強一致性的四個要求,而BASE是NoSQL資料庫通常對可用性及一致性的弱要求原則,它們的意思分別是,ACID:atomicity, consistency, isolation, rability;BASE:Basically Available, Soft-state, Eventually Consistent。同時有意思的是ACID在英語里意為酸,BASE意思為鹼)
2 理解持久化與非持久化的區別。這么說是因為有的NoSQL系統是純內存存儲的。
3 你必須意識到傳統有關系型資料庫與NoSQL系統在數據結構上的本質區別。傳統關系型資料庫通常是基於行的表格型存儲,而NoSQL系統包括了列式存儲(Cassandra)、key/value存儲(Memcached)、文檔型存儲(CouchDB)以及圖結構存儲(Neo4j)
4與傳統關系資料庫有統一的SQL語言操作介面不同,NoSQL系統通常有自己特有的API介面。
5 在架構上,你必須搞清楚,NoSQL系統是被設計用於成百上千台機器的集群中的,而非共享型資料庫系統的架構。
6在NoSQL系統中,可能你得習慣一下不知道你的數據具體存在何處的情況。
7 在NoSQL系統中,你最好習慣它的弱一致性。」eventually consistent」(最終一致性)正是BASE原則中的重要一項。比如在Twitter,你在Followers列表中經常會感受到數據的延遲。
8 在NoSQL系統中,你要理解,很多時候數據並不總是可用的。
9 你得理解,有的方案是擁有分區容忍性的,有的方案不一定有。
『捌』 為什麼會有NoSql
因為有高並發和大量並發哦
所以會產生這樣的內存資料庫出來
請採納!
『玖』 內存資料庫主流的有哪些,並給出各自特點
內存資料庫有現成的redis,高效存取鍵值對,鍵設為你的查詢條件,值設為你的查詢結果轉為字元串
查詢時先從redis取,沒有再查資料庫,並且設置redis的過期時間,這種方式需粗攜要項目對實時性要求不高,這樣你才能用緩存,而且如果你的項目沒有明顯的熱點,即沒有某些內容確定會多次被查到,那你緩存就不會命中,添加緩存反而影響你得速度
redis是一種nosql的內存資料庫,感興趣你可以了解一下,優點就是性能強勁
數據查詢請求多就把結果緩存下來,你查數岩槐伏據庫再快也沒有直接把結果從內存讀出來快
同樣的sql請求只有第一次查資料庫,之後通通讀內存
或者你干明模脆藉助這種思想,創建一個全局的map對象,然後查詢條件作key
結果作value,就省去了了解redis的過程,把整個資料庫裝內存不太科學,你有多少條數據啊