⑴ mongodb資料庫有哪些優勢
1. 文檔存儲
數據存儲以BSON/JSON文檔,這對於Web應用程序有很大的意義。開發者API喜歡以JSON形式傳輸,這使得整個項目的數據表示可採用統一的模型。所有這一切都無需任何前期架構設計。
2. 可擴展性
MongoDB被用在一些規模龐大的環境中,FourSquare/Craiglist都在使用它。通過分片數據縮放處理理論上可實現更高的吞吐量。
3. 簡單的復制
就像分片技術一樣,MongoDB范圍內復制過程同樣簡單好用,在副本機器上還有大量的復制選項。靈活的功能可滿足用戶應用的需求。
4. 易於查詢
MongoDB以文檔的形式存儲數據,不支持事務和表連接。因此查詢的編寫、理解和優化都容易得多。簡單查詢設計思路不同於sql模式,嵌入文檔在特定的環境下可得到更好的查詢,然而這需要先加入集合。如果需要執行多個請求到資料庫則需要加入其到客戶端。在MongoDB時ODM工具(如Doctrine2)將發揮自身的優勢。
5. 安全性
由於MongoDB客戶端生成的查詢為BSON對象,而不是可以被解析的字元串,所以可降低受到SQL注入的攻擊的危險。最常見的攻擊類型為針對Web應用程序的攻擊,在MongoDB上使用Doctrine2 ODMs 查詢語言可減輕攻擊風險。
6. 支持
用戶在選擇資料庫時總是喜歡積極和充滿活力的,這點非常重要。MongoDB在業界有非常大的影響力,用戶也會定期的組織活動。MongoDB的標簽在StackOverFlow是非常活躍的。你永遠不會陷入困境,因為總有人與你討論並解決問題。
7. 價格
MongoDB是免費的!
當然遠不止這些優勢,但是也有很多劣勢。
⑵ MongoDB與MySQL:如何選擇
MongoDB和MySQL分別是領先的開源NoSQL和關系資料庫。哪個最適合您的應用程序?
在1990年代的互聯網泡沫時期,用於Web應用程序的一種通用軟體堆棧是LAMP,它最初代表Linux(OS),Apache(Web伺服器),MySQL(關系資料庫)和PHP(伺服器編程語言)。MySQL是首選的資料庫,主要是因為它是免費的開源代碼,並且具有良好的讀取性能,非常適合從資料庫動態生成網站的「 Web 2.0」應用程序。
之後,代表MongoDB(文檔資料庫),Express(Web伺服器),AngularJS(前端框架)和Node.js(後端JavaScript運行時)的MEAN堆棧開始流行。除其他原因外,MEAN堆棧很有吸引力,因為您需要了解的唯一語言是JavaScript。與等效的LAMP堆棧相比,它還需要更少的RAM。
MySQL AB的Monty Widenius和David Axmark最初於1994年開始開發MySQL。產品名稱中的「 My」是指Widenius的女兒,而不是英語單詞「 my」。MySQL旨在與mSQL(又名Mini)兼容。 SQL),並添加了SQL查詢層和開放源代碼許可(實際上是專有和GPL雙重許可)。MySQL的公共發行版於1996年底開始,並且每年或每兩年持續發行一次。MySQL是當前最受歡迎的關系資料庫。
Sun Microsystems於2008年以10億美元的價格收購了MySQL AB,Oracle於2010年收購了Sun。在Oracle收購MySQL的廣泛關注中,Widenius在收購Oracle之前就將MySQL 5.5合並到了MariaDB中。MariaDB努力維護與Oracle MySQL版本的兼容性。
與功能更強大的商業關系資料庫(例如Oracle資料庫,IBM DB / 2和Microsoft SQL Server)相比,MySQL最初是一個相當低端的關系資料庫,盡管它足以成為動態網站的後備存儲。多年來,它增加了您希望從關系資料庫獲得的大多數功能,包括事務,參照完整性約束,存儲過程,游標,全文索引和搜索,地理索引和搜索以及群集。
盡管MySQL現在支持「大資料庫」功能,例如主從部署,與Memcached一起使用以及水平分片,但它仍通常用於中小型部署。將MySQL擴展到多個從屬伺服器可以提高讀取性能,但是只有主伺服器才能接受寫請求。
AWS提供了兩種形式的MySQL即服務,即Amazon RDS和Amazon Aurora。後者具有更高的性能,可以處理TB級的數據,更新副本的延遲時間更短,並且可以直接與Oracle資料庫和SQL Server競爭。
MongoDB是高度可伸縮的操作文檔資料庫,可在開源版本和商業企業版本中使用,它可以在本地運行或作為託管雲服務運行。託管雲服務稱為MongoDB Atlas。
MongoDB無疑是NoSQL資料庫中最受歡迎的資料庫。它的文檔數據模型為開發人員提供了極大的靈活性,而其分布式體系結構則提供了很好的可伸縮性。因此,通常選擇MongoDB用於必須管理大量數據,得益於水平可伸縮性並處理不適合關系模型的數據結構的應用程序。
MongoDB是一個基於文檔的存儲,在其之上還具有一個基於圖形的存儲。MongoDB實際上並不存儲JSON:它存儲BSON(二進制JSON),該擴展了JSON表示(字元串)以包括其他類型,例如int,long,date,浮點,decimal128和地理空間坐標。
MongoDB可以使用數據的類型生成正確的索引類型,從而在數據的單個副本上生成多模式圖形,地理空間,B樹和全文本索引。MongoDB使您可以在任何文檔欄位上創建索引。MongoDB 4具有多文檔事務,這意味著即使必須標准化數據設計,您仍然可以獲得ACID屬性。
默認情況下,MongoDB使用動態模式,有時稱為無模式。單個集合中的文檔不需要具有相同的欄位集,並且欄位的數據類型可以在集合中的不同文檔之間有所不同。您可以隨時使用動態模式更改文檔結構。
但是,可以使用架構治理。從MongoDB 3.6開始,MongoDB支持JSON模式驗證,您可以在驗證器表達式中將其打開。
在LAMP和MEAN堆棧上存在很多變化。例如,您可以在Windows(WAMP)或MacOS(MAMP)上運行而不是Linux OS。您可以運行IIS(WIMP),而不是Windows上的Apache Web伺服器。
您可以運行PostgreSQL或SQL Server,而不是LAMP堆棧中的MySQL關系資料庫。如果您需要全球分布,則可以運行CockroachDB或Google Cloud Spanner。可以使用Perl或Python代替PHP語言。如果要使用Java或C#進行編碼,則需要考慮單獨的堆棧系列。
您可以運行Couchbase或Azure Cosmos DB以獲得更好的全局分布,而不是MEAN堆棧中的MongoDB文檔資料庫。可以使用十二個Node.js Web伺服器框架中的任何一個來代替Express 。除了AngularJS前端框架,您還可以運行Angular 2或React。
選擇資料庫時要問的最重要的問題是:
這些問題中的幾個會趨於縮小資料庫的選擇范圍,但是與制定LAMP堆棧時相比,我們有更多選擇。如果您要構建一個應用程序,並且該應用程序必須在99.999%的時間內對全世界的用戶都具有高度的一致性,那麼只有少數幾個資料庫適合您。如果您的應用程序將在工作日的上午9點至下午6點在一個國家/地區使用,並且可以容忍最終的一致性,那麼幾乎所有資料庫都可以使用,盡管某些資料庫對於開發人員和操作員而言更容易,而某些資料庫則可以為您的主要使用場景提供更好的性能。
雖然LAMP和MEAN堆棧一次是Web應用程序的良好解決方案,但現在都不是最佳選擇。而不是盲目採用任何一種,您應該仔細考慮用例,並找到一種可在可預見的將來為您的應用程序服務的體系結構。
您什麼時候需要關系資料庫(例如MySQL)用於新應用程序?除了對標准SQL的明顯支持外,關系資料庫本身將數據強制為具有一致的強類型欄位的表格模式,並且只要您利用規范化就可以幫助您避免數據重復。
另一方面,如果您還需要偶爾的自由格式文檔,則MySQL和許多其他關系資料庫也支持RFC 7159定義的JSON數據。如果您還想使用XML文檔和XPath或XSLT,則大多數關系資料庫都可以提供這種能力。
您何時需要像MongoDB這樣的文檔資料庫?如果您的主要用例需要允許使用自由格式的數據,在文檔之間更改類型的欄位,隨時間變化的架構或嵌套的文檔,則NoSQL資料庫將滿足要求。另外,如果您的應用程序是用JavaScript編寫的,那麼文檔資料庫的JSON格式將很自然。
作者: Martin Heller是InfoWorld的特約編輯和審稿人。他曾擔任Web和Windows編程顧問,從1986年至2010年開發資料庫,軟體和網站。最近,他擔任Alpha Software技術和教育副總裁以及Tubifi董事長兼首席執行官。
⑶ 如何啟動MongoDB的WEB界面
讓我們構建一個簡單的EmployeeManager Web服務,我們將使用它來演示與MongoDB連接的HATEOAS。為了引導我們的應用程序,我們將使用Spring Initializr。我們將使用Spring HATEOAS和Spring Data MongoDB作為依賴項。你應該看到類似下圖2所示的內容。圖2 :引導應用程序配置完成後,下載zip並將其作為Maven項目導入你喜歡的IDE中。首先,讓我們配置application.properties。要獲得MongoDB連接,spring.data.mongodb.host=//Mongoserverhost
spring.data.mongodb.port=//Mongoserverport
spring.data.mongodb.username=//Loginuser
spring.data.mongodb.password=//Password
spring.data.mongodb.database=//Databasename
一般來說,如果所有內容都是全新安裝的,並且你沒有更改或修改任何Mongo屬性,則只需提供一個資料庫名稱(已經通過GUI創建了一個資料庫名稱)。
spring.data.mongodb.database=EmployeeManager
另外,為了啟動Mongo實例,作者創建了一個.bat,它指向安裝文件夾和數據文件夾。它是這樣的:"C:ProgramFilesMongoDBServer3.6inmongod"--dbpathD:-datadb
現在,我們來快速創建模型。這里有兩個模型,員工模型和部門模型。檢查它們,確保有沒有參數、getter、setter、equals方法和hashCode生成的構造函數。(不用擔心,所有代碼都在GitHub上,你可以稍後查看它:https://github.com/theFaustus/EmployeeManager。)
publicclassEmployee{
privateStringemployeeId;
privateStringfirstName;
privateStringlastName;
privateintage;
}
publicclassDepartment{
privateStringdepartment;
privateStringname;
privateStringdescription;
privateList<Employee>employees;
}
現在我們已經完成了模型的製作,讓我們來創建存儲庫,以便來測試持久性。存儲庫如下所示:
extendsMongoRepository<Employee,String>{
}
extendsMongoRepository<Department,String>{
}
如上所示,這里沒有方法,因為大家都知道Spring Data中的中心介面被命名為Repository,在其之上是CrudRepository,它提供了處理模型的基本操作。在CrudRepository之上,我們有PagingAndSortingRepository,它為我們提供了一些擴展功能,來簡化分頁和排序訪問。在我們的案例中,最重要的是MongoRepository,它用於嚴格處理我們的Mongo實例。因此,對於我們的案例來說,除了那些現成的方法外,我們不需要任何其他方法,但是僅出於學習目的,作者在這里要提到的是你可以添加其他查詢方法的兩種方法:
- 「惰性」(查詢創建):此策略將嘗試通過分析查詢方法的名稱並推斷關鍵字(例如findByLastnameAndFirstname)來構建查詢。
- 編寫查詢:這里沒有什麼特別的。例如,只用@Query注釋你的方法,然後自己編寫查詢。你也可以在MongoDB中編寫查詢。下面是基於JSON的查詢方法的示例:
- 至此,我們已經可以測試我們持久性如何工作。我們只需要對模型進行一些調整即可。通過調整,作者的意思是我們需要注釋一些東西。Spring Data MongoDB使用MappingMongoConverter將對象映射到文檔,下面是我們將要使用的一些注釋:
- @Id :欄位級別注釋,指出你的哪個欄位是身份標識。
- @Document :類級別的注釋,用於表示該類將被持久化到資料庫中。
- @DBRef :描述參考性的欄位級別注釋。
- 注釋完成後,我們可以使用CommandLineRunner獲取資料庫中的一些數據,CommandLineRunner是一個介面,用於在應用程序完全啟動時(即在run()方法之前)運行代碼段。在下面,你可以看一下作者的Bean配置。
- 我們已經創建了一些模型,並對它們進行了持久化。現在,我們需要一種與他們交互的方式。如上所說,所有代碼都可以在GitHub上找到,因此作者在這里將僅向我們展示一個域服務(介面和實現)。介面如下:
- 介面的實現如下:
- 這里沒有什麼特別的要注意的,下面我們將繼續討論最後一個難題——控制器!你可以在下面看到員工資源的控制器實現。
- 因此,對於上面實現的所有方法,我們將自己定位在Richardson成熟度模型的第二級,因為我們使用了HTTP動詞並實現了CRUD操作。現在,我們有了與數據進行交互的方法,並且可以使用Postman,我們可以如下圖3所示檢索資源,或者可以如下圖4所示添加新資源。
- 圖3 :檢索JSON中的部門列表
- 圖4:JSON中添加新員工
@Query("{'firstname':?0}")
List<Employee>findByTheEmployeesFirstname(Stringfirstname);
@(,){
return(args)->{
employeeRepository.deleteAll();
departmentRepository.deleteAll();
Employeee=employeeRepository.save(newEmployee("Ion","Pascari",23));
departmentRepository.save(newDepartment("ServiceDepartment","ServiceRocks!",Arrays.asList(e)));
for(Departmentd:departmentRepository.findAll()){
LOGGER.info("Department:"+d);
}
};
}
{
EmployeesaveEmployee(Employeee);
EmployeefindByEmployeeId(StringemployeeId);
voiddeleteByEmployeeId(StringemployeeId);
voipdateEmployee(Employeee);
booleanemployeeExists(Employeee);
List<Employee>findAll();
voiddeleteAll();
}
@{
@Autowired
private;
@Override
publicEmployeesaveEmployee(Employeee){
returnemployeeRepository.save(e);
}
@Override
(StringemployeeId){
returnemployeeRepository.findOne(employeeId);
}
@Override
publicvoiddeleteByEmployeeId(StringemployeeId){
employeeRepository.delete(employeeId);
}
@Override
publicvoipdateEmployee(Employeee){
employeeRepository.save(e);
}
@Override
publicbooleanemployeeExists(Employeee){
returnemployeeRepository.exists(Example.of(e));
}
@Override
publicList<Employee>findAll(){
returnemployeeRepository.findAll();
}
@Override
publicvoiddeleteAll(){
employeeRepository.deleteAll();
}
}
@RestController
@RequestMapping("/employees")
publicclassEmployeeController{
@Autowired
;
@RequestMapping(value="/list/",method=RequestMethod.GET)
publicHttpEntity<List<Employee>>getAllEmployees(){
List<Employee>employees=employeeService.findAll();
if(employees.isEmpty()){
returnnewResponseEntity<>(HttpStatus.NO_CONTENT);
}else{
returnnewResponseEntity<>(employees,HttpStatus.OK);
}
}
@RequestMapping(value="/employee/{id}",method=RequestMethod.GET)
publicHttpEntity<Employee>getEmployeeById(@PathVariable("id")StringemployeeId){
EmployeebyEmployeeId=employeeService.findByEmployeeId(employeeId);
if(byEmployeeId==null){
returnnewResponseEntity<>(HttpStatus.NOT_FOUND);
}else{
returnnewResponseEntity<>(byEmployeeId,HttpStatus.OK);
}
}
@RequestMapping(value="/employee/",method=RequestMethod.POST)
publicHttpEntity<?>saveEmployee(@RequestBodyEmployeee){
if(employeeService.employeeExists(e)){
returnnewResponseEntity<>(HttpStatus.CONFLICT);
}else{
Employeeemployee=employeeService.saveEmployee(e);
URIlocation=ServletUriComponentsBuilder.fromCurrentRequest().path("/employees/employee/{id}")
.buildAndExpand(employee.getEmployeeId()).toUri();
HttpHeadershttpHeaders=newHttpHeaders();
httpHeaders.setLocation(location);
returnnewResponseEntity<>(httpHeaders,HttpStatus.CREATED);
}
}
@RequestMapping(value="/employee/{id}",method=RequestMethod.PUT)
publicHttpEntity<?>updateEmployee(@PathVariable("id")Stringid,@RequestBodyEmployeee){
EmployeebyEmployeeId=employeeService.findByEmployeeId(id);
if(byEmployeeId==null){
returnnewResponseEntity<>(HttpStatus.NOT_FOUND);
}else{
byEmployeeId.setAge(e.getAge());
byEmployeeId.setFirstName(e.getFirstName());
byEmployeeId.setLastName(e.getLastName());
employeeService.updateEmployee(byEmployeeId);
returnnewResponseEntity<>(employeeService,HttpStatus.OK);
}
}
@RequestMapping(value="/employee/{id}",method=RequestMethod.DELETE)
publicResponseEntity<?>deleteEmployee(@PathVariable("id")StringemployeeId){
employeeService.deleteByEmployeeId(employeeId);
returnnewResponseEntity<>(HttpStatus.NO_CONTENT);
}
@RequestMapping(value="/employee/",method=RequestMethod.DELETE)
publicResponseEntity<?>deleteAll(){
employeeService.deleteAll();
returnnewResponseEntity<>(HttpStatus.NO_CONTENT);
}
}
⑷ MongoDB是什麼,怎麼用看完你就知道了
MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫,是NoSQL類型的資料庫。
(1)MongoDB提出的是文檔、集合的概念,使用BSON(類JSON)作為其數據模型結構,其結構是面向對象的而不是二維表,存儲一個用戶在MongoDB中是這樣子的。
使用這樣的數據模型,使得MongoDB能在生產環境中提供高讀寫的能力,吞吐量較於mysql等SQL資料庫大大增強。
(2)易伸縮,自動故障轉移。易伸縮指的是提供了分片能力,能對數據集進行分片,數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念,MongoDB能檢測主節點是否存活,當失活時能自動提升從節點為主節點,達到故障轉移。
(3)數據模型因為是面向對象的,所以可以表示豐富的、有層級的數據結構,比如博客系統中能把「評論」直接懟到「文章「的文檔中,而不必像myqsl一樣創建三張表來描述這樣的關系。
(1)文檔數據類型
SQL類型的資料庫是正規化的,可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性,所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫,且MongoDB沒有固定的Schema,正因為MongoDB少了一些這樣的約束條件,可以讓數據的存儲數據結構更靈活,存儲速度更加快。
(2)即時查詢能力
MongoDB保留了關系型資料庫即時查詢的能力,保留了索引(底層是基於B tree)的能力。這一點汲取了關系型資料庫的優點,相比於同類型的NoSQL redis 並沒有上述的能力。
(3)復制能力
MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘,目的是可以提供自動故障轉移、擴展讀能力。
(4)速度與持久性
MongoDB的驅動實現一個寫入語義 fire and forget ,即通過驅動調用寫入時,可以立即得到返回得到成功的結果(即使是報錯),這樣讓寫入的速度更加快,當然會有一定的不安全性,完全依賴網路。
MongoDB提供了Journaling日誌的概念,實際上像mysql的bin-log日誌,當需要插入的時候會先往日誌裡面寫入記錄,再完成實際的數據操作,這樣如果出現停電,進程突然中斷的情況,可以保障數據不會錯誤,可以通過修復功能讀取Journaling日誌進行修復。
(5)數據擴展
MongoDB使用分片技術對數據進行擴展,MongoDB能自動分片、自動轉移分片裡面的數據塊,讓每一個伺服器裡面存儲的數據都是一樣大小。
MongoDB核心伺服器主要是通過mongod程序啟動的,而且在啟動時不需對MongoDB使用的內存進行配置,因為其設計哲學是內存管理最好是交給操作系統,缺少內存配置是MongoDB的設計亮點,另外,還可通過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動,使用js shell能使用js直接與MongoDB進行交流,像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據,另外還提供了各種語言的驅動包,方便各種語言的接入。
mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式,遷移資料庫。
mongoexport和mongoimport,用來導入導出JSON、CSV和TSV數據,數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入,但是在導入前順便還要注意一下,為了能充分利用好mongoDB通常需要對數據模型做一些調整。
mongosniff,網路嗅探工具,用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。
因此,可以總結得到,MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單,所以數據極快,而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面,且最好單獨部署,因為是資料庫,所以也需要對其進行熱備、冷備處理。
因為本篇文章不是API手冊,所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句,主要是為了展示使用MongoDB shell的方便性,如果需要知道具體的MongoDB shell語法可以查閱官方文檔。
創建資料庫並不是必須的操作,資料庫與集合只有在第一次插入文檔時才會被創建,與對數據的動態處理方式是一致的。簡化並加速開發過程,而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建,可以開啟嚴格模式。
以上的命令只是簡單實例,假設如果你之前沒有學習過任何資料庫語法,同時開始學sql查詢語法和MongoDB 查詢語法,你會發現哪一個更簡單呢?如果你使用的是java驅動去操作MongoDB,你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣,只要構建好一個查詢條件對象,便能輕松查詢(接下來會給出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成沒問題,也正因為這樣簡潔,完善的查詢機制,深深的愛上了MongoDB。
使用java驅動鏈接MongoDB是一件非常簡單的事情,簡單的引用,簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用,下面簡單的展示一下使用。
這里只舉例了簡單的鏈接與簡單的MongoDB操作,可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的,如果查詢結果較多,恰好無法全部放進第一伺服器中,將會向伺服器發送一個getmore指令獲取下一批查詢結果。
插入數據到伺服器時間,不會等待伺服器的響應,驅動會假設寫入是成功的,實際是使用客戶端生成對象id,但是該行為可以通過配置配置,可以通過安全模式開啟,安全模式可以校驗伺服器端插入的錯誤。
要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔,在鍵值中有指向不定類型值的鍵,MongoDB擁有即時查詢,但不支持聯結操作,簡單的鍵值存儲只能根據單個鍵來獲取值,不支持事務,但支持多種原子更新操作。
如讀寫比是怎樣的,需要何種查詢,數據是如何更新的,會不會存在什麼並發問題,數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。
在關於schema 的設計中要注意一些原則,比如:
資料庫是集合的邏輯與物理分組,MongoDB沒有提供創建資料庫的語法,只有在插入集合時,資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件,所有集合、索引和資料庫的其他元數據都保存在這些文件中,查閱資料庫使用磁碟狀態可通過。
集合是結構上或概念上相似得文檔的容器,集合的名稱可以包含數字、字母或 . 符號,但必須以字母或數字開頭,完全。
限定集合名不能超過128個字元,實際上 . 符號在集合中很有用,能提供某種虛擬命名空間,這是一種組織上的原則,和其他集合是一視同仁的。在集合中可以使用。
其次是鍵值,在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式,所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內,因為這樣可以防止創建難看的數據類型,且小文檔可以提升性能,批量插入文檔理想數字范圍是10~200,大小不能超過16MB。
(1)索引能顯著減少獲取文檔的所需工作量,具體的對比可以通過 .explain()方法進行對比
(2)解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢,當沒有最適合索引時,會先不同的使用各個索引進行查詢,最終選出一個最優索引做查詢
(3)如果有一個a-b的復合索引,那麼僅針對a的索引是冗餘的
(4)復合索引里的鍵的順序是很重要的
(1)單鍵索引
(2)復合索引
(3)唯一性索引
(4)稀疏索引
如索引的欄位會出現null的值,或是大量文檔都不包含被索引的鍵。
如果數據集很大時,構建索引將會花費很長的時間,且會影響程序性能,可通過
當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時,可使用
對索引進行壓縮,重建。
(1)查閱慢查詢日誌
(2)分析慢查詢
注意新版本的MongoDB 的explain方法是需要參數的,不然只顯示普通的信息。
本節同樣主要簡單呈現MongoDB副本集搭建的簡易性,與副本集的強壯性,監控容易性
提供主從復制能力,熱備能力,故障轉移能力
實際上MongoDB對副本集的操作跟mysql主從操作是差不多的,先看一下mysql的主從數據流動過程
而MongoDB主要依賴的日誌文件是oplog
寫操作先被記錄下來,添加到主節點的oplog里。與此同時,所有從結點復制oplog。首先,查看自己oplog里最後一條的時間戳;其次,查詢主節點oplog里所有大於此時間戳的條目;最後,把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。
當遇到以下情況,從節點會停止復制
local資料庫保存了所有副本集元素據和oplog日誌
可以使用以下命令查看復制情況
每個副本集成員每秒鍾ping一次其他所有成員,可以通過rs.status()看到節點上次的心跳檢測時間戳和 健康 狀況。
這個點沒必要過多描述,但是有一個特殊場景,如果從節點和仲裁節點都被殺了,只剩下主節點,他會把自己降級成為從節點。
如果主節點的數據還沒有寫到從庫,那麼數據不能算提交,當該主節點變成從節點時,便會觸發回滾,那些沒寫到從庫的數據將會被刪除,可以通過rollback子目錄中的BSON文件恢復回滾的內容。
(1)使用單節點鏈接
只能鏈接到主節點,如果鏈接到從節點的話,會被拒絕寫入操作,但是如果沒有使用安全模式,因為mongo的fire and forget 特性,會把拒絕寫入的異常給吃掉。
(2)使用副本集方式鏈接
能根據寫入的情況自動進行故障轉移,但是當副本集進行新的選舉時,還是會出現故障,如果不使用安全模式,依舊會出現寫不進去,但現實成功的情況。
分片是資料庫切分的一個概念實現,這里也是簡單總結為什麼要使用分片以及分片的原理,操作。
當數據量過大,索引和工作數據集佔用的內存就會越來越多,所以需要通過分片負載來解決這個問題
(1)分片組件
(2)分片的核心操作
分片一個集合:分片是根據一個屬性的范圍進行劃分的,MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置
塊:是位於一個分片中的一段連續的分片鍵范圍,可以理解為若干個塊組成分片,分片組成MongoDB的全部數據
(3)拆分與遷移
塊的拆分:初始化時只有一個塊,達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二,這樣就有了兩個塊,每個塊都有相同數量的文檔。
遷移:當分片中的數據大小不一時會產生遷移的動作,比如分片A的數據比較多,會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡,是由名為均衡器的軟體進程管理的,任務是確保數據在各個分片中保持均勻分布,當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時,均衡器就會發起一次均衡處理。
啟動兩個副本集、三個配置伺服器、一個mongos進程
配置分片
(1)分片查詢類型
(2)索引
分片集合只允許在_id欄位和分片鍵上添加唯一性索引,其他地方不行,因為這需要在分片間進行通信,實施起來很復雜。
當創建分片時,會根據分片鍵創建一個索引。
(1)分片鍵是不可修改的、分片鍵的選擇非常重要
(2)低效的分片鍵
(3)理想的分片鍵
(1)部署拓撲
根據不同的數據中心劃分
這里寫圖片描述
(2)最低要求
(3)配置的注意事項
需要估計集群大小,可使用以下命令對現有集合進行分片處理
(4)備份分片集群
備份分片時需要停止均衡器
(1)部署架構
使用64位機器、32位機器會制約mongodb的內存,使其最大值為1.5GB
(2)cpu
mongodb 只有當索引和工作集都可放入內存時,才會遇到CPU瓶頸,CPU在mongodb使用中的作用是用來檢索數據,如果看到CPU使用飽和的情況,可以通過查詢慢查詢日誌,排查是不是查詢的問題導致的,如果是可以通過添加索引來解決問題
mongodb寫入數據時會使用到CPU,但是mongodb寫入時間一次只用到一個核,如果有頻繁的寫入行為,可以通過分片來解決這個問題
(3)內存
大內存是mongodb的保障,如果工作集大小超過內存,將會導致性能下降,因為這將會增加數據載入入內存的動作
(4)硬碟
mongodb默認每60s會與磁碟強制同步一次,稱為後台刷新,會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存,高速磁碟將會減少同步的時間
(5)文件系統
使用ext4 和 xfs 文件系統
禁用最後訪問時間
(6)文件描述符
linux 默認文件描述符是1024,需要大額度的提升這個額度
(7)時鍾
mongodb各個節點伺服器之間使用ntp伺服器
(1)綁定IP
啟動時使用 - -bind_ip 命令
(2)身份驗證
啟動時使用 - -auth 命令
(3)副本集身份認證
使用keyFile,注意keyFile文件的許可權必須是600,不然會啟動不起來
(1)拓撲結構
搭建副本集至少需要兩個節點,其中仲裁結點不需要有自己的伺服器
(2)Journaling日誌
寫數據時會先寫入日誌,而此時的數據也不是直接寫入硬碟,而是寫入內存
但是Journaling日誌會消耗內存,所以可以在主庫上面關閉,在從庫上面啟動
可以單獨為Journaling日誌使用一塊固態硬碟
在插入時,可以通過驅動確保Journaling插入後再反饋,但是會非常影響性能。
logpath 選項指定日誌存儲地址
-vvvvv 選項(v越多,輸出越詳細)
db.runCommand({logrotare:1}) 開啟滾動日誌
(1)serverStatus
這里寫圖片描述
(2)top
(3)db.currentOp()
動態展示mongodb活動數據
佔用當前mongodb監聽埠往上1000號的埠
(1)mongomp
把資料庫內容導出成BSON文件,而mongorestore能讀取並還原這些文件
(2)mongorestore
把導出的BSON文件還原到資料庫
(3)備份原始數據文件
可以這么做,但是,操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 請求解鎖操作,但是資料庫不會立刻解鎖,需要使用db.currentOp()驗證。
(1)修復
mongd --repair 修復所有資料庫
db.runCommand({repairDatabase:1}) 修復單個資料庫
修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引
(2)壓緊
壓緊,會重寫數據文件,並重建集合的全部索引,需要停機或者在從庫上面運行,如果需要在主庫上面運行,需要添加force參數 保證加寫鎖。
(1)監控磁碟狀態
(2)為提升性能檢查索引和查詢
總的來說,掃描盡可能少的文檔。
保證沒有冗餘的索引,冗餘的索引會佔用磁碟空間、消耗更多的內存,在每次寫入時還需做更多工作
(3)添加內存
dataSize 數據大小 和 indexSize 索引大小,如果兩者的和大於內存,那麼將會影響性能。
storageSize超過dataSize 數據大小 兩倍以上,就會因磁碟碎片而影響性能,需要壓縮。
⑸ MongoDB是一個基於分布式文件存儲的資料庫,為WEB應用提供高性能的數據存儲解決方案;
MongoDB是一個介於關系資料庫和非關系資料庫之間的產品,是非關系資料庫當中功能最豐富,最像關系資料庫的。
資料庫是按照數據結構來組織、存儲和管理數據的倉庫,它產生於距今六十多年前,隨著信息技術和市場的發展,特別是二十世紀九十年代以後,數據管理不再僅僅是存儲和管理數據,而轉變成用戶所需要的各種數據管理的方式。資料庫有很多種類型,從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
在信息化社會,充分有效地管理和利用各類信息資源,是進行科學研究和決策管理的前提條件。資料庫技術是管理信息系統、辦公自動化系統、決策支持系統等各類信息系統的核心部分,是進行科學研究和決策管理的重要技術手段。【感興趣的話點擊此處,了解一下】
關於資料庫的相關內容,可以到億萬克官網進行深入的了解,億萬克集伺服器和存儲等數據中心產品的研發、生產、銷售、服務系統整合於一體,是民族高科技製造企業領導品牌 ,所有產品和技術完全擁有自主知識產權,應用領域涵蓋雲計算、數據中心、邊緣計算、人工智慧、金融、電信、教育、能源等,為客戶提供全方位安全自主可控技術服務保障。
⑹ SpringBoot WebFlux整合MongoDB實現CRUD及分頁功能
環境:Springboot2.5.8
請先閱讀:
Reactor響應式編程(Flux、Mono)基本用法
Spring WebFlux入門實例並整合資料庫實現基本的增刪改查
MongoDB 是由C++語言編寫的,是一個基於分布式文件存儲的開源資料庫系統。
在高負載的情況下,添加更多的節點,可以保證伺服器性能。
MongoDB 旨在為WEB應用提供可擴展的高性能數據存儲解決方案。
MongoDB 將數據存儲為一個文檔,數據結構由鍵值(key=>value)對組成。MongoDB 文檔類似於 JSON 對象。欄位值可以包含其他文檔,數組及文檔數組。
特點:
Spring框架中包含的原始web框架Spring Web MVC是專門為ServletAPI和Servlet容器構建的。反應式堆棧web框架Spring Web Flux後來在5.0版中添加。它是完全非阻塞的,支持反應流背壓(由消費者控制生產者的速度),並在Netty、Undertow和Servlet 3.1+容器等伺服器上運行。
這兩個web框架都反映了它們的源模塊(Spring Web MVC和Spring Web Flux)的名稱,並在Spring框架中共存。每個模塊都是可選的。應用程序可以使用一個或另一個模塊,在某些情況下,可以同時使用這兩個模塊 — 例如,帶有反應式WebClient的Spring MVC控制器。
配置文件
完畢!!!
Spring Cloud 中斷路器 Circuit Breaker的應用
Spring Cloud Gateway應用詳解1之謂詞
SpringCloud Feign實現原理源分析
SpringCloud Nacos 服務動態配置
SpringCloud Hystrix實現資源隔離應用
SpringCloud zuul 動態網關配置
Spring Cloud全鏈路追蹤SkyWalking及整合Elasticsearch