1. MongoDB 是什麼看完你就知道了
點擊上方 藍色字體 ,選擇「置頂公眾號」
優質文章,第一時間送達
鏈接 | blog.csdn.net/hayre/article/details/80628431
1.MongoDB是什麼?用一句話總結
MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫,是Nosql類型的資料庫。
(1)MongoDB提出的是文檔、集合的概念,使用BSON(類JSON)作為其數據模型結構,其結構是面向對象的而不是二維表,存儲一個用戶在MongoDB中是這樣子的。
使用這樣的數據模型,使得MongoDB能在生產環境中提供高讀寫的能力,吞吐量較於mysql等SQL資料庫大大增強。
(2)易伸縮,自動故障轉移。易伸縮指的是提供了分片能力,能對數據集進行分片,數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念,MongoDB能檢測主節點是否存活,當失活時能自動提升從節點為主節點,達到故障轉移。
(3)數據模型因為是面向對象的,所以可以表示豐富的、有層級的數據結構,比如博客系統中能把「評論」直接懟到「文章「的文檔中,而不必像myqsl一樣創建三張表來描述這樣的關系。
3.主要特性
(1)文檔數據類型
SQL類型的資料庫是正規化的,可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性,所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫,且MongoDB沒有固定的Schema,正因為MongoDB少了一些這樣的約束條件,可以讓數據的存儲數據結構更靈活,存儲速度更加快。 (2)即時查詢能力
MongoDB保留了關系型資料庫即時查詢的能力,保留了索引(底層是基於B tree)的能力。這一點汲取了關系型資料庫的優點,相比於同類型的NoSQL redis 並沒有上述的能力。 (3)復制能力
MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘,目的是可以提供自動故障轉移、擴展讀能力。 (4)速度與持久性
MongoDB的驅動實現一個寫入語義 fire and forget ,即通過驅動調用寫入時,可以立即得到返回得到成功的結果(即使是報錯),這樣讓寫入的速度更加快,當然會有一定的不安全性,完全依賴網路。
MongoDB提供了Journaling日誌的概念,實際上像mysql的bin-log日誌,當需要插入的時候會先往日誌裡面寫入記錄,再完成實際的數據操作,這樣如果出現停電,進程突然中斷的情況,可以保障數據不會錯誤,可以通過修復功能讀取Journaling日誌進行修復。
(5)數據擴展
MongoDB使用分片技術對數據進行擴展,MongoDB能自動分片、自動轉移分片裡面的數據塊,讓每一個伺服器裡面存儲的數據都是一樣大小。
MongoDB核心伺服器主要是通過mongod程序啟動的,而且在啟動時不需對MongoDB使用的內存進行配置,因為其設計哲學是內存管理最好是交給操作系統,缺少內存配置是MongoDB的設計亮點,另外,還可通過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動,使用js shell能使用js直接與MongoDB進行交流,像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據,另外還提供了各種語言的驅動包,方便各種語言的接入。
mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式,遷移資料庫。
mongoexport和mongoimport,用來導入導出JSON、CSV和TSV數據,數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入,但是在導入前順便還要注意一下,為了能充分利用好mongoDB通常需要對數據模型做一些調整。
mongosniff,網路嗅探工具,用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。
因此,可以總結得到,MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單,所以數據極快,而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面,且最好單獨部署,因為是資料庫,所以也需要對其進行熱備、冷備處理。
因為本篇文章不是API手冊,所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句,主要是為了展示使用MongoDB shell的方便性,如果需要知道具體的MongoDB shell語法可以查閱官方文檔。
創建資料庫並不是必須的操作,資料庫與集合只有在第一次插入文檔時才會被創建,與對數據的動態處理方式是一致的。簡化並加速開發過程,而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建,可以開啟嚴格模式。
以上的命令只是簡單實例,假設如果你之前沒有學習過任何資料庫語法,同時開始學sql查詢語法和MongoDB 查詢語法,你會發現哪一個更簡單呢?如果你使用的是java驅動去操作MongoDB,你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣,只要構建好一個查詢條件對象,便能輕松查詢(接下來會給出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成沒問題,也正因為這樣簡潔,完善的查詢機制,深深的愛上了MongoDB。
使用java驅動鏈接MongoDB是一件非常簡單的事情,簡單的引用,簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用,下面簡單的展示一下使用。
這里只舉例了簡單的鏈接與簡單的MongoDB操作,可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的,如果查詢結果較多,恰好無法全部放進第一伺服器中,將會向伺服器發送一個getmore指令獲取下一批查詢結果。
插入數據到伺服器時間,不會等待伺服器的響應,驅動會假設寫入是成功的,實際是使用客戶端生成對象id,但是該行為可以通過配置配置,可以通過安全模式開啟,安全模式可以校驗伺服器端插入的錯誤。
要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔,在鍵值中有指向不定類型值的鍵,MongoDB擁有即時查詢,但不支持聯結操作,簡單的鍵值存儲只能根據單個鍵來獲取值,不支持事務,但支持多種原子更新操作。
如讀寫比是怎樣的,需要何種查詢,數據是如何更新的,會不會存在什麼並發問題,數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。
在關於schema 的設計中要注意一些原則,比如:
資料庫是集合的邏輯與物理分組,MongoDB沒有提供創建資料庫的語法,只有在插入集合時,資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件,所有集合、索引和資料庫的其他元數據都保存在這些文件中,查閱資料庫使用磁碟狀態可通過。
集合是結構上或概念上相似得文檔的容器,集合的名稱可以包含數字、字母或 . 符號,但必須以字母或數字開頭,完全。
限定集合名不能超過128個字元,實際上 . 符號在集合中很有用,能提供某種虛擬命名空間,這是一種組織上的原則,和其他集合是一視同仁的。在集合中可以使用。
其次是鍵值,在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式,所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內,因為這樣可以防止創建難看的數據類型,且小文檔可以提升性能,批量插入文檔理想數字范圍是10~200,大小不能超過16MB。
(2)解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢,當沒有最適合索引時,會先不同的使用各個索引進行查詢,最終選出一個最優索引做查詢
(3)如果有一個a-b的復合索引,那麼僅針對a的索引是冗餘的
(4)復合索引里的鍵的順序是很重要的
(2)復合索引
(3)唯一性索引
(4)稀疏索引
如索引的欄位會出現的值,或是大量文檔都不包含被索引的鍵。
如果數據集很大時,構建索引將會花費很長的時間,且會影響程序性能,可通過
當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時,可使用
對索引進行壓縮,重建。
(1)查閱慢查詢日誌
(2)分析慢查詢
注意新版本的MongoDB 的explain方法是需要參數的,不然只顯示普通的信息。
本節同樣主要簡單呈現MongoDB副本集搭建的簡易性,與副本集的強壯性,監控容易性
提供主從復制能力,熱備能力,故障轉移能力
實際上MongoDB對副本集的操作跟mysql主從操作是差不多的,先看一下mysql的主從數據流動過程
而MongoDB主要依賴的日誌文件是oplog
寫操作先被記錄下來,添加到主節點的oplog里。與此同時,所有從結點復制oplog。首先,查看自己oplog里最後一條的時間戳;其次,查詢主節點oplog里所有大於此時間戳的條目;最後,把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。
當遇到以下情況,從節點會停止復制
local資料庫保存了所有副本集元素據和oplog日誌
可以使用以下命令查看復制情況
每個副本集成員每秒鍾ping一次其他所有成員,可以通過rs.status看到節點上次的心跳檢測時間戳和 健康 狀況。
這個點沒必要過多描述,但是有一個特殊場景,如果從節點和仲裁節點都被殺了,只剩下主節點,他會把自己降級成為從節點。
如果主節點的數據還沒有寫到從庫,那麼數據不能算提交,當該主節點變成從節點時,便會觸發回滾,那些沒寫到從庫的數據將會被刪除,可以通過rollback子目錄中的BSON文件恢復回滾的內容。
只能鏈接到主節點,如果鏈接到從節點的話,會被拒絕寫入操作,但是如果沒有使用安全模式,因為mongo的fire and forget 特性,會把拒絕寫入的異常給吃掉。
(2)使用副本集方式鏈接
能根據寫入的情況自動進行故障轉移,但是當副本集進行新的選舉時,還是會出現故障,如果不使用安全模式,依舊會出現寫不進去,但現實成功的情況。
分片是資料庫切分的一個概念實現,這里也是簡單總結為什麼要使用分片以及分片的原理,操作。
當數據量過大,索引和工作數據集佔用的內存就會越來越多,所以需要通過分片負載來解決這個問題
(2)分片的核心操作
分片一個集合:分片是根據一個屬性的范圍進行劃分的,MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置
塊:是位於一個分片中的一段連續的分片鍵范圍,可以理解為若干個塊組成分片,分片組成MongoDB的全部數據
(3)拆分與遷移
塊的拆分:初始化時只有一個塊,達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二,這樣就有了兩個塊,每個塊都有相同數量的文檔。
遷移:當分片中的數據大小不一時會產生遷移的動作,比如分片A的數據比較多,會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡,是由名為均衡器的軟體進程管理的,任務是確保數據在各個分片中保持均勻分布,當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時,均衡器就會發起一次均衡處理。
啟動兩個副本集、三個配置伺服器、一個mongos進程
配置分片
(2)索引
分片集合只允許在_id欄位和分片鍵上添加唯一性索引,其他地方不行,因為這需要在分片間進行通信,實施起來很復雜。
當創建分片時,會根據分片鍵創建一個索引。
(2)低效的分片鍵
(3)理想的分片鍵
根據不同的數據中心劃分
(2)最低要求
(3)配置的注意事項
需要估計集群大小,可使用以下命令對現有集合進行分片處理
(4)備份分片集群
備份分片時需要停止均衡器
使用64位機器、32位機器會制約mongodb的內存,使其最大值為1.5GB
(2)cpu mongodb 只有當索引和工作集都可放入內存時,才會遇到CPU瓶頸,CPU在mongodb使用中的作用是用來檢索數據,如果看到CPU使用飽和的情況,可以通過查詢慢查詢日誌,排查是不是查詢的問題導致的,如果是可以通過添加索引來解決問題
mongodb寫入數據時會使用到CPU,但是mongodb寫入時間一次只用到一個核,如果有頻繁的寫入行為,可以通過分片來解決這個問題 (3)內存
大內存是mongodb的保障,如果工作集大小超過內存,將會導致性能下降,因為這將會增加數據載入入內存的動作
(4)硬碟
mongodb默認每60s會與磁碟強制同步一次,稱為後台刷新,會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存,高速磁碟將會減少同步的時間
(5)文件系統
使用ext4 和 xfs 文件系統
禁用最後訪問時間
(6)文件描述符
linux 默認文件描述符是1024,需要大額度的提升這個額度
(7)時鍾
mongodb各個節點伺服器之間使用ntp伺服器
啟動時使用 - -bind_ip 命令
(2)身份驗證
啟動時使用 - -auth 命令
(3)副本集身份認證
使用keyFile,注意keyFile文件的許可權必須是600,不然會啟動不起來
搭建副本集至少需要兩個節點,其中仲裁結點不需要有自己的伺服器
(2)Journaling日誌 寫數據時會先寫入日誌,而此時的數據也不是直接寫入硬碟,而是寫入內存
但是Journaling日誌會消耗內存,所以可以在主庫上面關閉,在從庫上面啟動
可以單獨為Journaling日誌使用一塊固態硬碟
在插入時,可以通過驅動確保Journaling插入後再反饋,但是會非常影響性能。
-vvvvv 選項(v越多,輸出越詳細)
db.runCommand({logrotare:1}) 開啟滾動日誌
(2)top
(3)db.currentOp
動態展示mongodb活動數據
佔用當前mongodb監聽埠往上1000號的埠
把資料庫內容導出成BSON文件,而mongorestore能讀取並還原這些文件
(2)mongorestore
把導出的BSON文件還原到資料庫
(3)備份原始數據文件 可以這么做,但是,操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true}) db.$cmd.sys.unlock.findOne 請求解鎖操作,但是資料庫不會立刻解鎖,需要使用 db.currentOp 驗證。
db.runCommand({repairDatabase:1}) 修復單個資料庫
修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引 (2)壓緊
壓緊,會重寫數據文件,並重建集合的全部索引,需要停機或者在從庫上面運行,如果需要在主庫上面運行,需要添加force參數 保證加寫鎖。
(2)為提升性能檢查索引和查詢
總的來說,掃描盡可能少的文檔。
保證沒有冗餘的索引,冗餘的索引會佔用磁碟空間、消耗更多的內存,在每次寫入時還需做更多工作
(3)添加內存
dataSize 數據大小 和 indexSize 索引大小,如果兩者的和大於內存,那麼將會影響性能。
storageSize超過dataSize 數據大小 兩倍以上,就會因磁碟碎片而影響性能,需要壓縮。
2. MongoDB 資料庫
游戲伺服器開發中,玩家的賬號,背包,裝備,物品,排名等數據都需要落地存儲在資料庫中。行業中主流的資料庫當屬mysql,優點是免費開源,從端游時代過渡過來的程序員,求穩保守的話大多數會選用mysql資料庫做存儲。但是游戲中要存儲的數據表會經常改動,導致資料庫的表會頻繁更新改動表結構,如果游戲數據量達到千萬級別,對所有的表刷新改動會是一項很恐怖的事情,期間如果再出錯,運維跟開發人員估計全都GG。
為了應對方便擴展,提升讀寫速度,NoSQL資料庫(非關系型資料庫)誕生。在NoSQL中應用比較廣泛的當屬mongodb和redis,由於對開發者友好,方便快速開發迭代高可用復制集滿足數據高可靠、服務高可用的需求,運維簡單,故障自動切換可擴展分片集群海量數據存儲被游戲伺服器廣泛應用。現在的項目《鹿鼎記》用redis做高速緩存角色列表信息數據。
3. 單機mongodb資料庫怎麼導入分片集群中
准備工作:在導入數據前,先配置好要分片的資料庫及表。
不然導入完成後,發現資料庫,表沒有同步到另外一個集群。
我這里做了從原單機資料庫數據導出後,再分片集群庫中導入操作。
當設置了要分片的庫,及表後,系統會自動幫你添加庫及表。
設置完成後,就可以導入數據了。
use admin
db.runCommand({enablesharding:"ip"})
db.runCommand({shardcollection:"ip.ipaddress",key:{ip1:1}})
./mongorestore -h 192.168.20.11 --port 28000 -d ip /opt/backup/ip20141109/ip
./mongorestore -h 192.168.20.11 --port 28000 -d dmp /opt/backup/dmp/dmp
4. mongoDB分片集群
集群 》 片 》 塊 》 文檔
一個集群由多個分片組成,一個分片存儲了多個塊(邏輯上的數據分塊),一個快包含了多個文檔,文檔不是最小的單位,文檔存了一個個的欄位,一個欄位或者多個欄位可以組成一個片鍵
片鍵決定數據可以分成多少塊
配置表裡存的數據分布范圍是怎麼定的?
數據在邏輯上被分成了4塊,加入系統存的是公司用戶信息,按照年齡來分,18-60,一個年齡一個分塊,最大可以分43塊,在把塊分到多個分片上,但是容易造成22-25的用戶數據顯得特別大,導致了熱點片的情況
片鍵不是連續的而是通過hash散列到不同的片區,解決了數據不均勻的情況,但是范圍查詢效率低,需要遍歷全部的分片才能滿足業務查詢,用戶的訂單系統,按照下單用戶id去做hash,這樣不同用戶的訂單數據就會被均勻分到不同的分片,單查某個用戶的訂單數據是非常高效的,但是根據時間范圍去查就要掃描全部分片
根據地域去劃分
切割器:可以對某個源分片的數據按chunk去做切割
平衡器:
當某些分片數據不均勻的情況下,平衡器就發揮作用了,他會發出一個命令讓切割器去需要移動的分片上去做數據切割,再把數據移動到數據少的分片上。具體的步驟如下:
平衡器向源分片發送moveChunk的命令
源分片收到命令後,會啟動自己內部的一個moveChunk命令,如果在數據移動過程中有客戶端發來讀寫請求的話,都會發送到源分片。(因為配置伺服器上的元數據還沒有改變)
目標片開始向源分片請求將要移動的數據塊的文檔,准備拷貝文檔數據。
當目標分片接收到據塊的最後一個文檔後,目標分片會啟動一個同步進程來檢查,是否已經拷貝完全部的文檔。
當同步完成後,目標分片會連接配置伺服器,更新元數據列表中數據塊的地址。
當目標分片完成元數據更新後,源分片就會刪除原來的數據塊.如果有新的數據塊需要移動的話,可以繼續進行移動。
配置伺服器會通知monogs進程更新自己的映射表。
數據容量日益增長,訪問性能降低
5. mongodb分片後怎麼取數據
分片是MongoDB提供的一種機制,其可以將大型的集合分割保存到不同的伺服器上。與其他的分區方案相比,MongoDB幾乎能自動為我們完成所有事情。只要我們進行簡單的配置,並告訴MongoDB要分配的數據,它就可以自動維護數據在不同伺服器之間的平衡。同時根據需要增減伺服器,MongoDB也會自動移動平移已有數據。
分片機制提供了如下三種優勢
1. 對集群進行抽象,讓集群「不可見」。
MongoDB自帶了一個叫做mongos的專有路由進程。mongos就是掌握統一路口的路由器,其會將客戶端發來的請求准確無誤的路由到集群中的一個或者一組伺服器上,同時會把接收到的響應拼裝起來發回到客戶端。
2.保證集群總是可讀寫。
MongoDB通過多種途徑來確保集群的可用性和可靠性。將MongoDB的分片和復制功能結合使用,在確保數據分片到多台伺服器的同時,也確保了每分數據都有相應的備份,這樣就可以確保有伺服器換掉時,其他的副本可以立即接替壞掉的部分繼續工作。
3.使集群易於擴展。
當系統需要更多的空間和資源的時候,MongoDB使我們可以按需方便的擴充系統容量。
實現數據分割
分片(shard)是集群中存儲集合數據子集的一台或者多台伺服器。在生產環境中一個分片通常是一個副本集(replica set)。
片鍵(key),MongoDB以其作為依據來確定需要在不同分片伺服器之間移動的數據。例如我們可以選擇用戶名(username)欄位作為分片鍵,現有一用戶名區間[「p」,」z」],那麼wufengtinghai是屬於這一區間的,那麼數據最終會保存到與此區間對應的分片伺服器上。
分配數據到分片伺服器
分配數據到分片伺服器可以使用不同的方式,了解不同的方式可以加深我們對MongoDB使用方式的理解。
一分片一區間
分配數據到分片最簡單的方式莫過於一個區間一個分片。假設我們有四個分片存儲用戶的相關信息,則我們可能會得到如下的分片和區間的對應關系。
這種分片方式非常簡單易懂,但是在一個大型繁忙的系統中卻會帶來許多的不便。假如大量的用戶使用首字母在【「a」,」f」)中的名字來注冊,這將會導致分片1比較大,因此需要將其一部分文檔移動到分片2上,我們可以調整分片1對應區間【」a」,」c」),使分片2的區間變成【」c」,」n」)。
如果移動數據後,分片2因此過載怎麼辦?假設分片1和分片2各有500G數據,而分片3和分片4各自有300G數據。那麼按照這個方案,最終需要一連串的復制,總共算下來需要移動400G數據,考慮到需要在集群的伺服器之間移動這些數據,可見移動數據量之大。
如果需要新加分片伺服器進行水平擴展呢?假設此時每個分片上都有了500G數據,那麼我們現在需要將分片4上的400G數據移動到分片5,將分片3的300G數據移動到分片4,將分片2的200G數據移動到分片3,將分片1的100G數據移動到分片2,整整移動了1T的數據!
隨著分片數量和數據量的增長,這種噩夢將會持續下去,因此MongoDB不會採用這種方式。
一分片多區間
如果我們採用一分片多區間的方式,我們可以將分片1上的數據劃分為兩個區間,【」a」,」d」)包含400G數據,【」d」,」f」)包含100G數據,同樣我們也可以對分片2做類似的處理,得到區間【」f」,」j」)和【「j」,」n」)。現在我們只需要將分片1上的【」d」,」f」)數據移動到分片4,將分片2的【「j」,」n」)的數據移動到分片3。這樣我們僅僅只需要移動200G數據。
如果要添加新分片,可以從每個分片頂端取100G數據並將其移動到新的分片上,這樣僅僅只需要移動400G數據即可。
MongoDB就是利用這種方式,當一個分片的數據越來越大時,其會自動分割片鍵區間,並將分片的數據進行分割並移動到其他分片。
6. 更新頻繁的MongoDB資料庫 有什麼優化建議
更新頻繁的並不是mongodb的優勢,建議使用緩存資料庫和mongodb搭配使用,更新頻繁的數據使用緩存存儲,一定時間再同步到mongodb中。
7. 如何在mongodb上備份和恢復數據
在大數據時代,企業的應用帶來了大量的數據,它們可能具有結構化、半結構化或非結構化的性質。此外,應用程序開發周期短和可用性強都是他們要考慮的關鍵問題。考慮到這些應用程序的要求,在下一代平台3應用程序中,企業必須超越傳統的關系資料庫(IaaS或基於雲計算PaaS)。在NoSQL資料庫中,像MongoDB現在就被採用了,同時又對這些下一代應用程序的企業進行了評估(如電子商務、內容管理等)。MongoDB提供了動態模式,通過自動分片易擴展、讀寫一致性和在內置中進行復制的功能。
MongoDB資料庫具有本地復制的功能,同時滿足可用性的需求。然而,數據保護要求可伸縮的時間點備份和恢復需要得到很好的解決。對於可靠的數據保護,企業需要備份和復制!沒有時間點的備份,組織會由於人為的錯誤、邏輯混亂和其他操作的失敗導致有丟失數據的風險。傳統的備份解決方案是建立在關系資料庫中,使用共享存儲和ACID事務模型,來解決結構化平台2應用程序的要求而建的。不幸的是,他們不足以解決平台 3 應用程序和分布式的資料庫(本地存儲、 最終一致性和基礎設施的彈性性質)的時間點備份要求。有幾個備用的基於腳本的解決方案(例如地層等),企業正在使用填補數據來保護縮短差距,但這些解決方案充其量算是次優的。
手動腳本解決方案
這些解決方案利用本地MongoDB快照工具和腳本將數據傳輸到輔助存儲。(通過 mongomp) 腳本自定義的每個 MongoDB 集群和需要業務作出了重大努力,以適應任何拓撲更改 (例如添加或刪除節點到 MongoDB 資料庫) 或擴大規模。此外,這些腳本不適應失敗場景,比如失敗的一個節點(一級或二級)或間歇性的網路問題。最後,恢復(「備份」)的最重要的價值是一個手動過程。因此,耗費時間(導致很高的應用程序停機時間),並包含腳本中的任何 bug 數據丟失風險。總的來說,這些解決方案工作在MongoDB環境中很小和一些允許在應用程序中丟失的數據。這些解決方案所面臨的一些關鍵問題是:
對分片配置的企業備份解決方案的不足;
當快照被取時,資料庫需要離線;
在節點故障和其他基礎設施故障下,備份和恢復都失敗了;
恢復過程是手動的並且需要驗證,從而增加恢復時間;
收集級的恢復需要耗時的手動恢復;
恢復與不同的測試/開發的拓撲(切分 → 分片)刷新是不可用的。
MongoDB支付備份和恢復(又名「MMS」)
MongoDB(公司)本身提供了一些備份MongoDB資料庫的方法。企業可以選擇從一個管理備份提供(MMS)運行在公共雲,或如果他們支付 MongoDB 的客戶,他們可能以部署本地備份服務為前提。除了成本過高,在公共雲上管理備份服務存儲的客戶數據。對於部署 MongoDB 為前提,在 WAN 上備份數據傳輸可能無法為客戶工作,並且海需要為客戶保持他們對數據內部的敏感度。此外,還有重要的數據來限制每個碎片去使用這項服務。
使用MongoDB部署備份服務是有可能的,但部署和實施過於復雜。企業需要部署8台伺服器,附加資料庫(額外的許可證)和 6-9x存儲容量。總的來說,部署備份服務是一個理論上的解決方案,帶來了顯著的CAPEX和OPEX投資:
部署多個資料庫的復雜性;
額外的基礎設施成本;
授權額外的MongoDB節點成本;
當節點失敗時,帶來備份失敗的風險;
獨立的MongoDB資料庫備份基礎設施。
實現企業客戶的數據保護要求,進入了新興的下一代分布式資料庫的時代(鍵值、圖形、文檔庫等),並且解決上述方案的局限性。Datos IO建造了產業界首次擴展數據保護軟體產品,使平台3應用程序能部署到分布式和雲資料庫上,如MongoDB和Apache Cassandra。Datos IO解決方案是剛剛興起的下一代應用程序,迎合了業主和DevOps的應用需求,並解決了部署和管理保護基礎設施操作所帶來的一切麻煩。最重要的是,它是一個可靠的和可擴展的解決方案,即使在使用節點失敗的場景下,也會通過最小化恢復時間獲得最優的性能。
8. mongodb分片結束,主片中數據重復
1、集合中的數據不會分片。
配置了shard1/shard2/shard3三個分片,但數據只會集中在集合所在的分片上。
2、數據插入效率低下。
採用for循環批量插入20萬數據時,發現每秒只能插入100,200條,無法忍受的性能。
9. mongo php 操作 怎樣更新一條數據
PHP操作MongoDB資料庫的簡單示例。
Mongodb的常用操作
參看手冊,php官方的http://us2.php.net/manual/en/mongo.manual.php
也可以參看mongodb官方的教程。
一,Mognodb資料庫連接
1)、默認格式
復制代碼代碼示例:
$m=newMongo();
//這里採用默認連接本機的27017埠,當然也可以連接遠程主機如192.168.0.4:27017,如果埠是27017,埠可以省略。
2)、標准連接
$m=newMongo(「mongodb://${username}:${password}@localhost」);
實例:
復制代碼代碼示例:
$m=newMongo(「mongodb://127.0.0.1:27017/admin:admin」);
資料庫的用戶名和密碼都是admin
資料庫操作:
1)、插入數據:
復制代碼代碼示例:
<?php
//這里採用默認連接本機的27017埠,當然你也可以連接遠程主機如192.168.0.4:27017
//如果埠是27017,埠可以省略
$m=newMongo("mongodb://127.0.0.1:27017/admin:admin");
//選擇comedy資料庫,如果以前沒該資料庫會自動創建,也可以用$m->selectDB("comedy");
$db=$m->comedy;
//選擇comedy裡面的collection集合,相當於RDBMS裡面的表,也可以使用
$collection=$db->collection;
$db->selectCollection("collection");
/*********添加一個元素**************/
$obj=array("title"=>"php1","author"=>"BillWatterson");
//將$obj添加到$collection集合中
$collection->insert($obj);
/*********添加另一個元素**************/
$obj=array("title"=>"huaibei","online"=>true);
$collection->insert($obj);
//$query=array("title"=>"huaibei");
$query=array("_id"=>$obj['_id']);
$cursor=$collection->find($query);
//遍歷所有集合中的文檔
foreach($cursoras$obj){
echo$obj["title"]." ";
echo$obj["_id"]." ";
}
//斷開MongoDB連接
$m->close();
2)、帶條件的查詢
查詢title為huaibei的欄位
1$query=array(」title」=>」huaibei」);
2$cursor=$collection->find($query);//在$collectio集合中查找滿足$query的文檔
常用的SQL轉化為mongodb的條件
復制代碼代碼示例:
mysql:id=123
mongo:array(『id』=>123)
mysql:namelink』%bar%』
mongo:array(『name』=>newMongoRegex(『/.*bar.*/i』))
mysql:whereid>10
mongo:array(『id』=>array(『$gt』=>10))
mysql:whereid>=10
mongo:array(『id』=>array(『$gte』=>10))
mysql:whereid<10
mongo:array(『id』=>array(『$lt』=>10))
mysql:whereid<=10
mongo:array(『id』=>array(『$lte』=>10))
mysql:whereid>1andid<10
mongo:array(『id』=>array(『$gt』=>1,』$lt』=>10))
mysql:whereid<>10
mongo:array(『id』=>array(『$ne』=>10))
mysql:whereidin(123)
mongo:array(『id』=>array(『$in』=>array(1,2,3)))
mysql:whereidnotin(123)
mongo:array(『id』=>array(『$nin』=>array(1,2,3)))
mysql:whereid=2orid=9
mongo:array(『id』=>array(『$or』=>array(array(『id』=>2),array(『id』=>9))))
mysql:orderbynameasc
mongo:array(『sort』=>array(『name』=>1))
mysql:orderbynamedesc
mongo:array(『sort』=>array(『name』=>-1))
mysql:limit0,2
mongo:array(『limit』=>array(『offset』=>0,』rows』=>2))
mysql:selectname,email
mongo:array(『name』,'email』)
mysql:selectcount(name)
mongo:array(『COUNT』)//注意:COUNT為大寫
更詳細的轉換參考http://us2.php.net/manual/en/mongo.sqltomongo.php
注意事項:
查詢時,每個Object插入時都會自動生成一個獨特的_id,它相當於RDBMS中的主鍵,用於查詢時非常方便(_id每一都不同,很像自動增加的id)
例如:
復制代碼代碼示例:
<?php
$param=array("name"=>"joe");
$collection->insert($param);
$joe=$collection->findOne(array("_id"=>$param['_id']));
print_R($joe);
$m->close();
返回結果:Array([_id]=>MongoIdObject([$id]=>4fd30e21870da83416000002)[name]=>joe)
更改欄位值:
復制代碼代碼示例:
<?php
$sign=array("title"=>'php1');
$param=array("title"=>'php1','author'=>'test');
$joe=$collection->update($sign,$param);
刪除一個資料庫:
復制代碼代碼示例:
$m->dropDB(「comedy」);
列出所有可用資料庫:
復制代碼代碼示例:
$m->listDBs();//無返回值
附,mongodb常用的資料庫方法
MongoDB中有用的函數:
創建一個MongoDB對象
復制代碼代碼示例:
<?php
$mo=newMongo();
$db=newMongoDB($mo,』dbname』);//通過創建方式獲得一個MongoDB對象
刪除當前DB
復制代碼代碼示例:
<?php
$db=$mo->dbname;
$db->drop();
獲得當前資料庫名
復制代碼代碼示例:
<?php
$db=$mo->dbname;
$db->_tostring();
選擇想要的collection:
復制代碼代碼示例:
A:
$mo=newMongo();
$coll=$mo->dbname->collname;//獲得一個collection對象
B:
$db=$mo->selectDB(』dbname』);
$coll=$db->collname;
C:
$db=$mo->dbname;
$coll=$db->collname;
D:
$db=$mo->dbname;
$coll=$db->selectCollectoin(』collname』);//獲得一個collection對象
插入數據(MongoCollection對象):
http://us.php.net/manual/en/mongocollection.insert.php
MongoCollection::insert(array$a,array$options)
array$a要插入的數組
array$options選項
safe是否返回操作結果信息
fsync是否直接插入到物理硬碟
例子:
復制代碼代碼示例:
$coll=$mo->db->foo;
$a=array(』a』=>』b』);
$options=array(』safe』=>true);
$rs=$coll->insert($a,$options);
$rs為一個array型的數組,包含操作信息
刪除資料庫中的記錄(MongoCollection對象):
http://us.php.net/manual/en/mongocollection.remove.php
MongoCollection::remove(array$criteria,array$options)
array$criteria條件
array$options選項
safe是否返回操作結果
fsync是否是直接影響到物理硬碟
justOne是否隻影響一條記錄
例子:
復制代碼代碼示例:
$coll=$mo->db->coll;
$c=array(』a』=>1,』s』=>array(』$lt』=>100));
$options=array(』safe』=>true);
$rs=$coll->remove($c,$options);
$rs為一個array型的數組,包含操作信息
更新資料庫中的記錄(MongoCollection對象):
http://us.php.net/manual/en/mongocollection.update.php
MongoCollection::update(array$criceria,array$newobj,array$options)
array$criteria條件
array$newobj要更新的內容
array$options選項
safe是否返回操作結果
fsync是否是直接影響到物理硬碟
upsert是否沒有匹配數據就添加一條新的
multiple是否影響所有符合條件的記錄,默認隻影響一條
例子:
復制代碼代碼示例:
$coll=$mo->db->coll;
$c=array(』a』=>1,』s』=>array(』$lt』=>100));
$newobj=array(』e』=>』f』,』x』=>』y』);
$options=array(』safe』=>true,』multiple』=>true);
$rs=$coll->remove($c,$newobj,$options);
$rs為一個array型的數組,包含操作信息
查詢collection獲得單條記錄(MongoCollection類):
http://us.php.net/manual/en/mongocollection.findone.php
arrayMongoCollection::findOne(array$query,array$fields)
array$query條件
array$fields要獲得的欄位
例子:
復制代碼代碼示例:
$coll=$mo->db->coll;
$query=array(』s』=>array(』$lt』=>100));
$fields=array(』a』=>true,』b』=>true);
$rs=$coll->findOne($query,$fields);
如果有結果就返回一個array,如果沒有結果就返回NULL
查詢collection獲得多條記錄(MongoCollection類):
http://us.php.net/manual/en/mongocollection.find.php
MongoCursorMongoCollection::find(array$query,array$fields)
array$query條件
array$fields要獲得的欄位
例子:
復制代碼代碼示例:
$coll=$mo->db->coll;
$query=array(』s』=>array(』$lt』=>100));
$fields=array(』a』=>true,』b』=>true);
$cursor=$coll->find($query,$fields);
//排序
$cursor->sort(array(『欄位』=>-1));(-1倒序,1正序)
//跳過部分記錄
$cursor->skip(100);跳過100行
//只顯示部分記錄
$cursor->limit(100);只顯示100行
返回一個游標記錄對象MongoCursor。
針對游標對象MongoCursor的操作(MongoCursor類):
http://us.php.net/manual/en/class.mongocursor.php
循環或結果記錄:
復制代碼代碼示例:
$cursor=$coll->find($query,$fields);
while($cursor->hasNext()){
$r=$cursor->getNext();
var_mp($r);
}
或者
$cursor=$coll->find($query,$fields);
foreache($cursoras$k=>$v){
var_mp($v);
}
或者
$cursor=$coll->find($query,$fields);
$array=iterator_to_array($cursor);
10. MongoDB挑戰傳統資料庫:非結構化資料庫的迭新不容小覷
相比甲骨文中國在中國市場的裁員風波,同為資料庫服務的MongoDB顯得更為樂觀。「MongoDB是中國開發者最喜歡用的一個資料庫。」MongoDB全球渠道及亞太區銷售高級副總裁Alan Chhabra帶著一點自信和驕傲在媒體面前宣稱。
中國企業的數字化轉型正進入關鍵期,在打造開放、高效、靈活、共享的雲計算基礎設施的同時,資料庫的更新換代也被提上了日程。
日前,非結構化資料庫平台提供商MongoDB在上海舉辦用戶大會,MongoDB全球渠道及亞太區銷售高級副總裁Alan Chhabra接受了億歐企業服務頻道的采訪, 並針對去年修改開源協議,在SSPL的不同許可機制下授權伺服器軟體的爭議以及其他疑問作出回應。
資料庫的本質是解決數據的存儲和管理問題。 Alan Chhabra表示,對企業發展具有戰略意義的資料庫正在催生巨大的市場。
在這些潛力頗大的資料庫中,市場上目前存在著的是關系型的傳統資料庫和以Mongo DB為代表的非關聯式新型資料庫。傳統資料庫比較典型的是甲骨文旗下的Oracle資料庫、IBM推出的大數據平台Hadoop和Stream Computing、微軟的SQL Server、SAP以及EMC Greenplum。 他們的主要差別在於資料庫的結構化和非結構化。
結構化的數據是指可以使用關系型資料庫表示和存儲,表現為二維形式的數據,存儲和排列很有規律,這對查詢和修改等操作很有幫助,但擴展性和靈活性欠佳。 非結構化資料庫就是各種文檔、圖片、視頻/音頻等沒有固定結構的數據,一般直接整體進行存儲為二進制的數據格式。 目前涵蓋分布式資料庫、圖資料庫、流資料庫、時空資料庫和眾包資料庫等多個領域。
MongoDB是文檔型的非結構化新型資料庫,Alan Chhabra表示, 與傳統資料庫相比,更能滿足用戶數據存儲量大、計算靈活的需求。「在某些客戶某些案例上,我們已經取代了傳統資料庫,比如甲骨文。」
當前, 軟體對於商業模式的改變、開發人員地位的提高,以及企業向雲端遷移的趨勢 都讓數據服務公司的發展得到了助力。但從畢馬威會計事務所對首席信息官的調查結果來看, 88%的首席信息官認為他們未能從數字化戰略中充分獲益;82%的首席信息官認為其所在機構在利用技術推動業務發展方面並非「卓有成效」。 也就是說, 大多數公司的數字化戰略是以失敗告終的。
在此背景下,更加靈活、性能更加強大的新型資料庫在一些領域獲得了試驗田豐收,並且可以看到,隨著客戶數據需求的繁雜程度的日益增加,傳統資料庫也在自我革新,以迎頭趕上數據浪潮的大變革。
MongoDB成立於2007年,2017年在納斯達克上市。最初,MongoDB是一項面向技術愛好者的技術,如今已成為一項企業級的業務關鍵技術。通過不斷開發資料庫即服務(Database-as-a-Service)產品,積極擁抱雲計算,MongoDB在過去十年裡,為開發人員提供了處理數據的方法。正因如此,它也成了企業數字化轉型戰略的一個關鍵部分。
MongoDB提供的產品主要包括MongoDB雲服務MongoDB Atlas、MongoDB Mobile、MongoDB企業版和MongoDB Stitch等十餘個相關產品。Alan Chhabra表示,產品包括了 開源版、付費版和雲版。
2018 年 10 月,MongoDB宣布其開源許可證將從GNU AGPLv3切換到SSPL,新許可證將適用於新版本的MongoDB Community Server以及打過補丁的舊版本,這一舉動引發了行業熱議。基於GNU AGPLv3協議,企業可以將MongoDB作為公共服務但這需要企業開源自己的軟體或是獲得MongoDB的商業授權,事實卻是MongoDB發現許多企業正在違反協議「瘋狂試探」甚至已經違反協議。 SSPL( Server Side Public License)顧名思義,要求使用者必須得到伺服器端公共許可證,這一協議會進一步約束商業公司使用MongoDB服務。
Alan Chhabra向億歐解釋, SSPL 針對的是提供MongoDB託管服務的雲服務廠商。 也就是說,如果不是雲服務廠商,沒有公然售賣MongoDB產品,而只是作為應用後台資料庫來使用的話,那麼無論你是電商、物聯網、金融、社交、 游戲 、移動應用等等,一概都不會有任何影響。 「MongoDB的宗旨還是為了始終支持並保護創新開放。」
但此開源協議的修改明顯帶來了市場用戶的「掉粉」,比如Linux 社區的接連「棄用」,以及AWS 、IBM、微軟推出了兼容MongoDB的相關產品來服務用戶。
資料庫開源的商業變現與創新形成的矛盾,目前似乎還尚未找到解決方案。
Alan Chhabra在大會上也透露了MongoDB的未來計劃, 即將基於智能運營數據平台和下一代基礎架構、文化、方法論和安全,推動原有系統的現代化、數據即服務、雲數據策略、業務敏捷性,進而幫助客戶實現以數據驅動的數字化轉型。
針對MongoDB在中國的發展情況, Alan Chhabra表示,公司將以創新立足,持續引領資料庫技術發展潮流,與合作夥伴攜手助力中國企業的數字化轉型。
MongoDB北亞區副總裁蘇玉龍認為:「中國是數據大國,而數據就是未來的石油。如何利用好數據,讓數據石油助力中國企業騰飛是MongoDB希望在中國達成的事情。隨著中國企業數字化轉型逐漸走向深入,MongoDB資料庫的價值得到不斷釋放。」
本文作者龔晨霞,微信Gcx847076575,歡迎關注企業服務和產業互聯網的朋友加微信交流。