㈠ mysql 緩沖池 設置 多大
innodb_buffer_pool_instances 參數,將 buffer pool 分成幾個區,每個區用獨立的鎖保護,這樣就減少了訪問 buffer pool 時需要上鎖的粒度,以提高性能。准備一個空資料庫,在這里我們將 performance_schema_events_waits_history_long_size 調大,是為了讓之後實驗數據能採集的更多,在此不多做介紹。使用 sysbench,准備一些數據,
設置 performance_schema,這次我們將僅開啟觀察項(生產者)hash_table_locks,並開啟 waits 相關收集端(消費者)。(相關介紹參看實驗 03)
為什麼我們知道觀察項應該選擇 hash_table_locks?在 performance_schema.setup_instruments 表中,列出了所有觀察項,但我們很難從中選出我們應觀察哪個觀察項。這時候,可以將所有觀察項都啟用,然後設計一些對比實驗,比如使用幾種不同的 SQL,觀察這些操作影響了哪些觀察項,找到共性或者區。還有一種高效的方式是搜索別人的經驗,或者閱讀 MySQL 源碼。本例中 hash_table_locks 隱藏的比較深,使用了閱讀 MySQL 源碼和對比試驗結合的方法。
㈡ CPU與高速緩存(資料庫)
什麼是高速緩存技術:
高速緩存英文是cache。一種特殊的存儲器子系統,其中復制了頻繁使用的數據,以利於CPU快速訪問。存儲器的高速緩沖存儲器存儲了頻繁訪問的 RAM 位置的內容及這些數據項的存儲地址。當處理器引用存儲器中的某地址時,高速緩沖存儲器便檢查是否存有該地址。如果存有該地址,則將數據返回處理器;如果沒有保存該地址,則進行常規的存儲器訪問。因為高速緩沖存儲器總是比主RAM 存儲器速度快,所以當 RAM 的訪問速度低於微處理器的速度時,常使用高速緩沖存儲器。
高速緩存的作用:
在CPU開始執行任何指令之前,都會首先從內存中取得該條指令以及其它一些相關數據和信息。為了加快CPU的運行速度,幾乎所有的晶元都採用兩種不同類型的內部存儲器,即高速緩存。緩存被用來臨時存放一些經常被使用的程序片段或數據。
一級高速緩存是性能最好緩存類型,與解釋指令和執行算術運算的處理單元一到構成CPU的核心。CPU可以在全速運行的狀態下讀取存放在一級高速緩存中的指令或數據。Intel的處理器產品一般都會具有32K的一級緩存,而象AMD或Via這種競爭對手的產品則會使用更多的一級緩存。
如果在一級緩存中沒有找到所需要的指令或數據,處理器會查看容量更大的二級緩存。二級緩存既可以被集成到CPU晶元內部,也可以作為外部緩存。Pentium II處理器具有512K的二級緩存,工作速度相當於CPU速度的一半。Celeron以及更新的Pentium III晶元則分別具有128K和256K的在片二級緩存,能夠在處理器全速下運行。
對於存放在速度較慢的二級緩存中的指令或數據,處理器往往需要等待2到4個時鍾周期。為了充分利用計算資源,CPU可以在這段時間內查看和執行其它正在等候處理,但不需要使用額外數據的指令,從而提高整個系統的速度,把空閑時間降低到最低程度。
㈢ 怎麼解決,資料庫
1、 使用Connection pool機制
在資料庫處理中,資源花銷最大的是建立資料庫連接,而且用戶還會有一個較長的連接等待時間。若每一個用戶訪問時,都重新建立連接,不僅用戶要長時間等待,而且系統有可能會由於資源消耗過大而停止響應。如果能夠重用以前建立的資料庫連接,而不是每次訪問時都重新建立連接,則可以很好地解決這些問題,從而提高整個系統的性能。在IIS+ASP處理體系中,採用了Connection pool機制來保證這一點。
Connection pool的原理是,IIS+ASP體系中維持了一個連接緩沖池,建立好的資料庫連接在ASP程序中的斷開都是邏輯斷開,而實際的物理連接被存儲在池中並被維護。這樣,當下一個用戶訪問時,直接從連接緩沖池中取得一個資料庫連接,而不需重新連接資料庫,因此,可以大大地提高系統的響應速度。
為了正確使用Connection pool時,必須注意以下幾點:
a). 在MDAC2.0以前的版本中,必須經過資料庫驅動程序的配置才能使用Connection Pool;在以後的版本中(比如MDAC2.1),預設是使用Connection Pool機制。具體配置情況可以參見微軟公司的站點()。
順便提一句,在使用ORACLE資料庫時,最好使用微軟提供的驅動程序。
b). 每次資料庫連接串參數必須相同,否則會被認為是不同的連接而重新去連接資料庫,而不是使用緩沖池中的連接。最好的做法是將連接串存儲在Application變數中,所有的程序在建立連接時使用Application變數的值。
c). 為了更好地使用和維護連接緩沖池,建議在程序中使用以下的方法對資料庫連接進行操作,因為隱式使用資料庫連接時不能利用緩沖池的機制:
¨ 顯示地創建連接對象: Set conn=Server.CreateObject(「Adodb.connection」)
¨ 建立資料庫連接:conn.open Application(「connection_string」),…
¨ 進行資料庫操作:…
¨ 顯式地關閉連接對象:conn.close
2、 利用直接的Ole DB驅動程序
㈣ 資料庫緩沖池有什麼作用
其實就是一個存儲轉發的作用,如果你訪問的信息在緩沖池就直接在緩沖裡面拿,這對於降低資料庫壓力,提高資料庫性能和速度有明顯的效果
㈤ Oracle資料庫緩存大小怎麼設置,比如要設置一個緩存為8G的。這個數值是怎麼計算的
10g之前可以設置db_cache_size 來指定緩存大小
10g開始可以使用sga_target(當然你也可以不用,但是推薦用),來設定整個共享內存區域大小,包括緩存和共享池等。不需要再單獨設置db cache
11g可以設置memory_target,不光包括了sga,還包括了pga,是所有給oracle的內存的總和,就更方便了。
如果你使用了sga_target或者memory_target,還同時設置了db_cache_size的話,那麼你設置的db_cache_size成為了緩存的最小值。
需要分配給資料庫多大內存取決於你的業務需要,你可以通過db cache advisor的視圖,來估計是否需要更大的緩存。
㈥ mysql中緩沖池臟塊佔比多少影響緩沖池的大小嗎
緩沖池用於從磁碟讀取表和索引數據時,資料庫管理器分配的用於高速緩存這些表或索引數據的內存區域。每個資料庫至少有一個緩沖池。
資料庫中的數據訪問都需要經過緩沖池:
讀的數據需要先讀到緩沖池才能提交給應用,寫的數據也是要先寫到緩沖池才能進行I/O。
緩沖池時影響資料庫性能最大的參數,所以必須合理地設計緩沖池。
㈦ 內存資料庫主流的有哪些,並給出各自特點!
內存資料庫從范型上可以分為關系型內存資料庫和鍵值型內存資料庫。
在實際應用中內存資料庫主要是配合oracle或mysql等大型關系資料庫使用,關注性能。
作用類似於緩存,並不注重數據完整性和數據一致性。
基於鍵值型的內存資料庫比關系型更加易於使用,性能和可擴展性更好,因此在應用上比關系型的內存資料庫使用更多。
比較FastDB、Memcached和Redis主流內存資料庫的功能特性。
FastDB的特點包括如下方面:
1、FastDB不支持client-server架構因而所有使用FastDB的應用程序必須運行在同一主機上;
2、fastdb假定整個資料庫存在於RAM中,並且依據這個假定優化了查詢演算法和介面。
3、fastdb沒有資料庫緩沖管理開銷,不需要在資料庫文件和緩沖池之間傳輸數據。
4、整個fastdb的搜索演算法和結構是建立在假定所有的數據都存在於內存中的,因此數據換出的效率不會很高。
5、Fastdb支持事務、在線備份以及系統崩潰後的自動恢復。
6、fastdb是一個面向應用的資料庫,資料庫表通過應用程序的類信息來構造。
FastDB不能支持Java API介面,這使得在本應用下不適合使用FastDB。
Memcached
Memcached是一種基於Key-Value開源緩存伺服器系統,主要用做資料庫的數據高速緩沖,並不能完全稱為資料庫。
memcached的API使用三十二位元的循環冗餘校驗(CRC-32)計算鍵值後,將資料分散在不同的機器上。當表格滿了以後,接下來新增的資料會以LRU機制替換掉。由於 memcached通常只是當作緩存系統使用,所以使用memcached的應用程式在寫回較慢的系統時(像是後端的資料庫)需要額外的程序更新memcached內的資料。
memcached具有多種語言的客戶端開發包,包括:Perl、PHP、JAVA、C、Python、Ruby、C#。
Redis
Redis是一個高性能的key-value資料庫。redis的出現,很大程度補償了memcached這類keyvalue存儲的不足,在部分場合可以對關系資料庫起到很好的補充作用。它提供了C++、Java、Python,Ruby,Erlang,PHP客戶端。
㈧ ORACLE 資料庫緩沖區緩存與共享池SQL查詢和PL/SQL函數結果緩存的區別
1、資料庫緩沖區DB_BUFFER只能緩存訪問過的BLOCK,部分解決了物理讀的問題,查詢仍然需要大量的邏輯讀。
2、SQL緩存結果集/*+RESULT_CACHE*/它緩存的是查詢的結果。不在需要大量的邏輯讀,不在需要任何的復雜計算,而是直接將已經緩存的結果返回。
3、對於採用了RESULT_CACHE的函數,Oracle自動將函數的返回結果緩存,下次執行的時候,不會實際執行函數,而是直接返回結果。由於緩存的結果存儲在SGA中,因此所有的會話可以共享這個結果。
㈨ 如何實現緩存系統的更新機制
1)設計兩個緩存池,記為A、B,而A和B的內容都是從後端伺服器資料庫中獲取到的數據。正常情況下,客戶端的請求都是從緩存池A中獲取緩存內容,
同時,設置一個全局的變數ref用於記錄當前正在訪問緩存A的客戶端數量,來一個客戶端請求將ref值加1,響應完一個客戶端請求後ref減一。
2)當緩存更新時間到時,如果ref不為0,則我們不能直接更新緩存,因為這時有客戶端正在從緩存池A取數據。這里,我們可以借鑒Redis的
rehash思想,更新時間到,我們將客戶端的訪問都引導到B緩存池,此時的緩存池A不再接受新的客戶端數據請求,A的ref變數只減不增,當ref變數
減少到0時,我們便可以更新A緩存池中的內容了。
㈩ 關於DB2資料庫的參數調優技巧
在開始前 請關閉IBM目錄伺服器 將上下文切換到IBM目錄伺服器DB 實例擁有者 一般是ldapdb 用戶 比如
在Unix系統里 輸入
su ldapdb
在Windows系統里 輸入
db cmdset DB INSTANCE=ldapdb
為了調節DB 參數 運行db tunings sh腳本 你可以在這里下載:// sofare ibm /ibmdl/pub/sofare/tivoli_support/misc/Security/AMeB/_am /tuning_guide_scripts tar
或者通過ftp地址
ftp://ftp sofare ibm /sofare/tivoli_support/misc/Security/AMeB/am /tuning_guide_scripts tar
Web頁面需要注冊用戶名和密碼
這個腳本的文件系統擁有者必須是DB 實例擁有者 一般就是ldapdb 用戶 文件系統組應該和實例擁有者相同(一般是dbsysadm) 腳本必須在DB 實例擁有者的上下文中使用
腳本中的ibmdefaultbp和ldapbp參數控制著DB 的緩沖池 db _turnings sh腳本 設置了DB 緩沖池的建議大小 其他一些可選的設置在腳本的注釋里寫明了 IBM目錄伺服器的性能隨著DB 緩沖池的增長而提高 然而在大多數情況下 通過這樣的參數調節方式 你可以預見不超過 %的性能提高
DB 緩沖池是DB 緩存數據表和索引的地方 DB 用戶使用索引來在查詢時迅速找到該獲取哪個錶行項 需要更多信息 請參考IBM Directory Server Tuning Guide
顯示和驗證當前設置
輸入如下命令來顯示當前的DB 參數調節設置的結果
db get database configuration for ldapdb |
egrep DBHEAP|SORTHEAP|MAXLOCKS|MINMIT|UTIL_HEAP_SZ|APPLHEAPSZ
db connect to ldapdb
db select bpname npages pagesize from syscat bufferpools
db terminate
如果某個堆配置參數過低 就將出現一些功能性的問題 輸入如下命令來顯示當前的堆參數設置
db get db cfg for ldapdb | grep HEAP
下面是一個使用了推薦值的多種堆參數的輸出例子顯示
Database heap ( KB) (DBHEAP) =
Utilities heap size ( KB) (UTIL_HEAP_SZ) =
Max appl control heap size ( KB) (APP_CTL_HEAP_SZ) =
Sort list heap ( KB) (SORTHEAP) =
SQL statement heap ( KB) (STMTHEAP) =
Default application heap ( KB) (APPLHEAPSZ) =
Statistics heap size ( KB ) (STAT_HEAP_SZ) =
如果一個堆參數小於最小值 輸入如下命令將其增大到最小值
db update db cfg for ldapdb using parm_name parm_value
這里parm_name是上文輸出中的第三欄的字樣(無括弧) parm_value是最後一欄的值
如果堆參數設置的過高或者過低 IBM的目錄伺服器都會以失效來提示出現了問題 在這種情況下 需要查看諸如IBM Directory Server V (IDS )的cli error文件或者IBM Tivoli Directory Server V (IDS v )的db cli log或者其他一些文件 在IDS v 系統中 該文件預設目錄在Solaris的/var/ldap/和AIX的/tmp中 在IDS v 和後來系統中 Solaris和AIX的預設目錄都是/var/ldap
注意db look能夠在一條命令下提供關於資料庫及其配置的足夠多的信息 例子如下
db look d ldapdb u ldapdb p o output_file
output_file是存儲結果的文件位置
關於IBM目錄伺服器運行的警告
DB 參數調節使用了db terminate 如果當該命令發出 IBM目錄伺服器slapd或ibmslapd進程在運行 它將阻止伺服器的部分功能 所有緩存的搜索看起來反應正常 其他的搜索將會簡單的變為無結果或者出現錯誤信息 恢復功能將會重啟IBM目錄伺服器 因此最好是在調節DB 參數時關閉IBM目錄伺服器
關於緩沖池內存使用的警告
如果任何的緩沖池被設置過高 DB 將會因為缺少足夠內存而無法啟動 如果出現該問題將會有一個核心轉儲的文件 但是通常沒有錯誤信息
在AIX系統里 系統錯誤日誌將會報告一個內存分配失敗 查看這個日誌請輸入
errpt a | more
使用太大的緩沖池大小來恢復一個被分在系統里的資料庫將會導致恢復失敗 查看//publib boulder ibm /infocenter/tivihelp/v r /topic/ ibm itame doc_ /am _perftune #idtrouble來解決這個問題
如果DB 因為緩沖池過大而無法啟動 請重新調節DB 參數
關於MINMIT的警告
lishixin/Article/program/DB2/201311/11229