A. druid和hikaridatasource哪個好
1.性能方面 hikari>druid>tomcat-jdbc>dbcp>c3p0 。hikari的高性能得益於最大限度的避免鎖競爭。
2.druid功能最為全面,sql攔截等功能,統計數據較為全面,具有良好的擴展性。
3.
B. Druid的數據連接
Druid支持所有JDBC兼容的資料庫,包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等。
Druid針對Oracle和MySql做了特別優化,比如Oracle的PS Cache內存佔用優化,MySql的ping檢測優化。 阿里巴巴是一個重度使用關系資料庫的公司,我們在生產環境中大量的使用Druid,通過長期在極高負載的生產環境中實際使用、修改和完善,讓Druid逐步發展成最好的資料庫連接池。Druid在監控、可擴展性、穩定性和性能方面都有明顯的優勢。
首先,強大的監控特性,通過Druid提供的監控功能,可以清楚知道連接池和SQL的工作情況。
監控SQL的執行時間、ResultSet持有時間、返回行數、更新行數、錯誤次數、錯誤堆棧信息。
SQL執行的耗時區間分布。什麼是耗時區間分布呢?比如說,某個SQL執行了1000次,其中0~1毫秒區間50次,1~10毫秒800次,10~100毫秒100次,100~1000毫秒30次,1~10秒15次,10秒以上5次。通過耗時區間分布,能夠非常清楚知道SQL的執行耗時情況。
監控連接池的物理連接創建和銷毀次數、邏輯連接的申請和關閉次數、非空等待次數、PSCache命中率等。
其次,方便擴展。Druid提供了Filter-Chain模式的擴展API,可以自己編寫Filter攔截JDBC中的任何方法,可以在上面做任何事情,比如說性能監控、SQL審計、用戶名密碼加密、日誌等等。
Druid內置提供了用於監控的StatFilter、日誌輸出的Log系列Filter、防禦SQL注入攻擊的WallFilter。
阿里巴巴內部實現了用於資料庫密碼加密的CirceFilter,以及和Web、Spring關聯監控的DragoonStatFilter。
第三,Druid集合了開源和商業資料庫連接池的優秀特性,並結合阿里巴巴大規模苛刻生產環境的使用經驗進行優化。
ExceptionSorter。當一個連接產生不可恢復的異常時,例如Oracle error_code_28 session has been killed,必須立刻從連接池中逐出,否則會產生大量錯誤。只有Druid和JBoss DataSource實現了ExceptionSorter。
PSCache內存佔用優化對於支持游標的資料庫(Oracle、SQL Server、DB2等,不包括MySql),PSCache可以大幅度提升SQL執行性能。一個PreparedStatement對應伺服器一個游標,如果PreparedStatement被緩存起來重復執行,PreparedStatement沒有被關閉,伺服器端的游標就不會被關閉,性能提高非常顯著。在類似「SELECT * FROM T WHERE ID = ?」這樣的場景,性能可能是一個數量級的提升。但在Oracle JDBC Driver中,其他的資料庫連接池(DBCP、JBossDataSource)會佔用內存過多,極端情況可能大於1G。Druid調用OracleDriver提供管理PSCache內部API。
LRU是一個性能關鍵指標,特別Oracle,每個Connection對應資料庫端的一個進程,如果資料庫連接池遵從LRU,有助於資料庫伺服器優化,這是重要的指標。Druid、DBCP、Proxool、JBoss是遵守LRU的。BoneCP、C3P0則不是。BoneCP在mock環境下性能可能還好,但在真實環境中則就不好了 。 Druid提供了MySql、Oracle、Postgresql、SQL-92的SQL的完整支持,這是一個手寫的高性能SQL Parser,支持Visitor模式,使得分析SQL的抽象語法樹很方便。
簡單SQL語句用時10微秒以內,復雜SQL用時30微秒。
通過Druid提供的SQL Parser可以在JDBC層攔截SQL做相應處理,比如說分庫分表、審計等。Druid防禦SQL注入攻擊的WallFilter就是通過Druid的SQL Parser分析語義實現的。 Druid提供Filter-Chain模式的插件框架,通過編寫Filter配置到DruidDataSource中就可以攔截JDBC的各種API,從而實現擴展。Druid提供了一系列內置Filter。
C. 為什麼說druid是"最好的資料庫連接池"體現在哪些方面
現在常用的開源資料庫連接池主要有c3p0、dbcp、proxool三種,其中:
Spring 推薦使用dbcp;
Hibernate 推薦使用c3p0和proxool;
1、 DBCP:apache
DBCP(DataBase connection pool)資料庫連接池。是apache上的一個 java連接池項目,也是 tomcat使用的連接池組件。單獨使用dbcp需要3個包:common-dbcp.jar,common-pool.jar,common-collections.jar由於建立資料庫連接是一個非常耗時耗資源的行為,所以通過連接池預先同資料庫建立一些連接,放在內存中,應用程序需要建立資料庫連接時直接到連接池中申請一個就行,用完後再放回去。dbcp沒有自動的去回收空閑連接的功能。
2、 C3P0:
C3P0是一個開源的jdbc連接池,它實現了數據源和jndi綁定,支持jdbc3規范和jdbc2的標准擴展。c3p0是非同步操作的,緩慢的jdbc操作通過幫助進程完成。擴展這些操作可以有效的提升性能。目前使用它的開源項目有Hibernate,Spring等。c3p0有自動回收空閑連接功能。
3、 Proxool:Sourceforge
Proxool是一種Java資料庫連接池技術。是sourceforge下的一個開源項目,這個項目提供一個健壯、易用的連接池,最為關鍵的是這個連接池提供監控的功能,方便易用,便於發現連接泄漏的情況。
對比:
1> 相同時間內同等量的線程數和循環次數下:通過對三個連接池的三個標志性性能測試參數(Average,median,90%Line)進行比較發現:性能dbcp<=c3p0<proxool;
2> 不同情況下的同一資料庫連接池測試:通過觀察 Average,median,90%Line三個參數發
現三個連接池的穩定性(三種連接池的三個測試參數的變化情況)依次:穩定性dbcp>=c3p0>proxool。
結論:
通過對三種資料庫連接池的性能測試發現,proxool和 c3p0能夠更好的支持高並發,但是在穩定性方面略遜於 dpcp;
D. 搞軟體開發,請你來談談資料庫連接池的原理吧
這次我們採取技術演進的方式來談談資料庫連接池的技術出現過程及其原理,以及當下最流行的開源資料庫連接池jar包。
1、原理
一般來說,Java應用程序訪問資料庫的過程是 :
①裝載資料庫驅動程序;
②通過jdbc建立資料庫連接;
③訪問資料庫,執行sql語句;
④斷開資料庫連接。
2、代碼
3、分析
程序開發過程中,存在很多問題:首先,每一次web請求都要建立一次資料庫連接。建立連接是一個費時的活動,每次都得花費0.05s~1s的時間,而且系統還要分配內存資源。這個時間對於一次或幾次資料庫操作,或許感覺不出系統有多大的開銷。可是對於現在的web應用,尤其是大型電子商務網站,同時有幾百人甚至幾千人在線是很正常的事。在這種情況下,頻繁的進行資料庫連接操作勢必佔用很多的系統資源,網站的響應速度必定下降,嚴重的甚至會造成伺服器的崩潰。不是危言聳聽,這就是制約某些電子商務網站發展的技術瓶頸問題。其次,對於每一次資料庫連接,使用完後都得斷開。否則,如果程序出現異常而未能關閉,將會導致資料庫系統中的內存泄漏,最終將不得不重啟資料庫。還有,這種開發不能控制被創建的連接對象數,系統資源會被毫無顧及的分配出去,如連接過多,也可能導致內存泄漏,伺服器崩潰。
上述的用戶查詢案例,如果同時有1000人訪問,就會不斷的有資料庫連接、斷開操作:
通過上面的分析,我們可以看出來,「資料庫連接」是一種稀缺的資源,為了保障網站的正常使用,應該對其進行妥善管理。其實我們查詢完資料庫後,如果不關閉連接,而是暫時存放起來,當別人使用時,把這個連接給他們使用。就避免了一次建立資料庫連接和斷開的操作時間消耗。原理如下:
由上面的分析可以看出,問題的根源就在於對資料庫連接資源的低效管理。我們知道,對於共享資源,有一個很著名的設計模式:資源池(resource pool)。該模式正是為了解決資源的頻繁分配﹑釋放所造成的問題。為解決上述問題,可以採用資料庫連接池技術。資料庫連接池的基本思想就是為資料庫連接建立一個「緩沖池」。預先在緩沖池中放入一定數量的連接,當需要建立資料庫連接時,只需從「緩沖池」中取出一個,使用完畢之後再放回去。我們可以通過設定連接池最大連接數來防止系統無盡的與資料庫連接。更為重要的是我們可以通過連接池的管理機制監視資料庫的連接的數量﹑使用情況,為系統開發﹑測試及性能調整提供依據。
我們自己嘗試開發一個連接池,來為上面的查詢業務提供資料庫連接服務:
① 編寫class 實現DataSource 介面
② 在class構造器一次性創建10個連接,將連接保存LinkedList中
③ 實現getConnection 從 LinkedList中返回一個連接
④ 提供將連接放回連接池中方法
1、連接池代碼
2、使用連接池重構我們的用戶查詢函數
這就是資料庫連接池的原理,它大大提供了資料庫連接的利用率,減小了內存吞吐的開銷。我們在開發過程中,就不需要再關心資料庫連接的問題,自然有資料庫連接池幫助我們處理,這回放心了吧。但連接池需要考慮的問題不僅僅如此,下面我們就看看還有哪些問題需要考慮。
1、並發問題
為了使連接管理服務具有最大的通用性,必須考慮多線程環境,即並發問題。這個問題相對比較好解決,因為java語言自身提供了對並發管理的支持,使用synchronized關鍵字即可確保線程是同步的。使用方法為直接在類方法前面加上synchronized關鍵字,如:
2、多資料庫伺服器和多用戶
對於大型的企業級應用,常常需要同時連接不同的資料庫(如連接oracle和sybase)。如何連接不同的資料庫呢?我們採用的策略是:設計一個符合單例模式的連接池管理類,在連接池管理類的唯一實例被創建時讀取一個資源文件,其中資源文件中存放著多個資料庫的url地址等信息。根據資源文件提供的信息,創建多個連接池類的實例,每一個實例都是一個特定資料庫的連接池。連接池管理類實例為每個連接池實例取一個名字,通過不同的名字來管理不同的連接池。
對於同一個資料庫有多個用戶使用不同的名稱和密碼訪問的情況,也可以通過資源文件處理,即在資源文件中設置多個具有相同url地址,但具有不同用戶名和密碼的資料庫連接信息。
3、事務處理
我們知道,事務具有原子性,此時要求對資料庫的操作符合「all-all-nothing」原則即對於一組sql語句要麼全做,要麼全不做。
在java語言中,connection類本身提供了對事務的支持,可以通過設置connection的autocommit屬性為false 然後顯式的調用commit或rollback方法來實現。但要高效的進行connection復用,就必須提供相應的事務支持機制。可採用每一個事務獨佔一個連接來實現,這種方法可以大大降低事務管理的復雜性。
4、連接池的分配與釋放
連接池的分配與釋放,對系統的性能有很大的影響。合理的分配與釋放,可以提高連接的復用度,從而降低建立新連接的開銷,同時還可以加快用戶的訪問速度。
對於連接的管理可使用空閑池。即把已經創建但尚未分配出去的連接按創建時間存放到一個空閑池中。每當用戶請求一個連接時,系統首先檢查空閑池內有沒有空閑連接。如果有就把建立時間最長(通過容器的順序存放實現)的那個連接分配給他(實際是先做連接是否有效的判斷,如果可用就分配給用戶,如不可用就把這個連接從空閑池刪掉,重新檢測空閑池是否還有連接);如果沒有則檢查當前所開連接池是否達到連接池所允許的最大連接數(maxconn)如果沒有達到,就新建一個連接,如果已經達到,就等待一定的時間(timeout)。如果在等待的時間內有連接被釋放出來就可以把這個連接分配給等待的用戶,如果等待時間超過預定時間timeout 則返回空值(null)。系統對已經分配出去正在使用的連接只做計數,當使用完後再返還給空閑池。對於空閑連接的狀態,可開辟專門的線程定時檢測,這樣會花費一定的系統開銷,但可以保證較快的響應速度。也可採取不開辟專門線程,只是在分配前檢測的方法。
5、連接池的配置與維護
連接池中到底應該放置多少連接,才能使系統的性能最佳?系統可採取設置最小連接數(minconn)和最大連接數(maxconn)來控制連接池中的連接。最小連接數是系統啟動時連接池所創建的連接數。如果創建過多,則系統啟動就慢,但創建後系統的響應速度會很快;如果創建過少,則系統啟動的很快,響應起來卻慢。這樣,可以在開發時,設置較小的最小連接數,開發起來會快,而在系統實際使用時設置較大的,因為這樣對訪問客戶來說速度會快些。最大連接數是連接池中允許連接的最大數目,具體設置多少,要看系統的訪問量,可通過反復測試,找到最佳點。
如何確保連接池中的最小連接數呢?有動態和靜態兩種策略。動態即每隔一定時間就對連接池進行檢測,如果發現連接數量小於最小連接數,則補充相應數量的新連接以保證連接池的正常運轉。靜態是發現空閑連接不夠時再去檢查。
理解了連接池的原理就可以了,沒有必要什麼都從頭寫一遍,那樣會花費很多時間,並且性能及穩定性也不一定滿足要求。事實上,已經存在很多流行的性能優良的第三方資料庫連接池jar包供我們使用。如:
其中c3p0已經很久沒有更新了。DBCP更新速度很慢,基本處於不活躍狀態,而Druid和HikariCP處於活躍狀態的更新中。
E. 怎樣將druid監控的數據存到資料庫中+方便繼續監控
Druid 0.1.18之後版本都發布到maven中央倉庫中,所以你只需要在項目的pom.xml中加上dependency就可以了。
例如:
<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>${druid-version}</version> </dependency>5. 怎麼打開Druid的監控統計功能
Druid的監控統計功能是通過filter-chain擴展實現,如果你要打開監控統計功能,配置StatFilter。