先安裝 Apache Spark,查詢資料庫的速度可以提升10倍。
在已有的 MySQL 伺服器之上使用 Apache Spark (無需將數據導出到 Spark 或者 Hadoop 平台上),這樣至少可以提升 10 倍的查詢性能。使用多個 MySQL 伺服器(復制或者 Percona XtraDB Cluster)可以讓我們在某些查詢上得到額外的性能提升。你也可以使用 Spark 的緩存功能來緩存整個 MySQL 查詢結果表。
思路很簡單:Spark 可以通過 JDBC 讀取 MySQL 上的數據,也可以執行 SQL 查詢,因此我們可以直接連接到 MySQL 並執行查詢。那麼為什麼速度會快呢?對一些需要運行很長時間的查詢(如報表或者BI),由於 Spark 是一個大規模並行系統,因此查詢會非常的快。MySQL 只能為每一個查詢分配一個 CPU 核來處理,而 Spark 可以使用所有集群節點的所有核。在下面的例子中,我們會在 Spark 中執行 MySQL 查詢,這個查詢速度比直接在 MySQL 上執行速度要快 5 到 10 倍。
另外,Spark 可以增加「集群」級別的並行機制,在使用 MySQL 復制或者 Percona XtraDB Cluster 的情況下,Spark 可以把查詢變成一組更小的查詢(有點像使用了分區表時可以在每個分區都執行一個查詢),然後在多個 Percona XtraDB Cluster 節點的多個從伺服器上並行的執行這些小查詢。最後它會使用map/rece 方式將每個節點返回的結果聚合在一起形成完整的結果。
㈡ 如何優化資料庫提高資料庫的效率
1.SQL優化的原則是:將一次操作需要讀取的BLOCK數減到最低,即在最短的時間達到最大的數據吞吐量。
調整不良SQL通常可以從以下幾點切入:
檢查不良的SQL,考慮其寫法是高李否還有可優化內容
檢查子查詢考慮SQL子查詢是否可以用簡單連接的方式進行重新書寫
檢查優化索引的使用
考慮資料庫的優化器
2.避免出現SELECT*FROMtable語句,要明確查出的欄位。
3.在一個SQL語句中,如果一個where條件過濾的資料庫記錄越多,定位越准確,則該where條件越應該前移。
4.查詢時盡可能使用索引覆蓋。即對SELECT的欄位建立復合索引,這樣查詢時只進行索引掃描,不讀取數據塊。
5.在判斷有無符合條件的記錄時建議不要用SELECTCOUNT(*)和selecttop1語句。
6.使用內層限定原則,在拼寫SQL語句時,將查詢條件分解、分類,並盡量在SQL語句的最里層進行限定,以減少數據的處理量。
7.應絕對避免在orderby子句中使用表達式。
8.如果需要從關聯表讀數據,關聯的表一般不要超過7個。
9.小心使用IN和OR,需要注意In集合中的數據量。建議集合中的數據不超過200個。
10.<>用<、>代替,>用>=代替,<用<=代替,這樣可以有效的利用索引。
11.在查詢時盡量減少對多餘數據的讀取包括多餘的列與多餘的行。
12.對於復合索引要注意,例如在建立復合索引時列的順序是F1,F2,F3,則在where或orderby子句中這些欄位出現的順序要與建立索引時的欄位者頃順序一致,且必須包含第一列。只能是F1或F1,F2或F1,F2,F3。否則不會用到該索引。
13.多表關聯查詢時,寫法必須遵循以下原則,這樣做有利於建立索引,提高查詢效率。格式如下selectsum(table1.je)fromtable1table1,table2table2,table3table3where(table1的等值條件(=))and(table1的非等值條件)and(table2與table1的關聯條件)and(table2的等值條件)and(table2的非等值條件)and(table3與table2的關聯條件)and(table3的等值條件)and(table3的非等值條件)。
注:關於多表查詢時from後面表的出現順序對效率的影響還有待研究。
14.子查詢問首念陸題。對於能用連接方式或者視圖方式實現的功能,不要用子查詢。例如:_idin(selectcustomer_idfromorderwheremoney>1000)。應該用如下語句代替:.customer_id=order.customer_idwhereorder.money>100。
15.在WHERE子句中,避免對列的四則運算,特別是where條件的左邊,嚴禁使用運算與函數對列進行處理。比如有些地方substring可以用like代替。
16.如果在語句中有notin(in)操作,應考慮用notexists(exists)來重寫,最好的辦法是使用外連接實現。
17.對一個業務過程的處理,應該使事物的開始與結束之間的時間間隔越短越好,原則上做到資料庫的讀操作在前面完成,資料庫寫操作在後面完成,避免交叉。
18.請小心不要對過多的列使用列函數和orderby,groupby等,謹慎使用disti軟體開發t。
19.用unionall代替union,資料庫執行union操作,首先先分別執行union兩端的查詢,將其放在臨時表中,然後在對其進行排序,過濾重復的記錄。
當已知的業務邏輯決定queryA和queryB中不會有重復記錄時,應該用unionall代替union,以提高查詢效率。
數據更新的效率
1.在一個事物中,對同一個表的多個insert語句應該集中在一起執行。
2.在一個業務過程中,盡量的使insert,update,delete語句在業務結束前執行,以減少死鎖的可能性。
資料庫物理規劃的效率
為了避免I/O的沖突,我們在設計資料庫物理規劃時應該遵循幾條基本的原則(以ORACLE舉例):
table和index分離:table和index應該分別放在不同的tablespace中。
RollbackSegment的分離:RollbackSegment應該放在獨立的Tablespace中。
SystemTablespace的分離:SystemTablespace中不允許放置任何用戶的object。(mssql中primaryfilegroup中不允許放置任何用戶的object)
TempTablesace的分離:建立單獨的TempTablespace,並為每個user指定defaultTempTablespace
避免碎片:但segment中出現大量的碎片時,會導致讀數據時需要訪問的block數量的增加。對經常發生DML操作的segemeng來說,碎片是不能完全避免的。所以,我們應該將經常做DML操作的表和很少發生變化的表分離在不同的Tablespace中。
當我們遵循了以上原則後,仍然發現有I/O沖突存在,我們可以用數據分離的方法來解決。
連接Table的分離:在實際應用中經常做連接查詢的Table,可以將其分離在不同的Taclespace中,以減少I/O沖突。
使用分區:對數據量很大的Table和Index使用分區,放在不同的Tablespace中。
在實際的物理存儲中,建議使用RAID。日誌文件應放在單獨的磁碟中。
㈢ rac架構能夠提升oracle資料庫查詢效率對嗎
對。
rac架構可以將oracle資料庫在伺服器中提升優先順序,伺服器全功率輸出在oracle資料庫查詢,提升了相應時間與存儲速度,因此rac架構能夠提升oracle資料庫查詢效率。
資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫,它產生於距今六十多年前,隨著信息技術和市場的發展,特別是二十世紀九十年代以後,數據管理不再僅僅是存儲和管理數據,而轉變成用戶所需要的各種數據管理的方式。資料庫有很多種類型,從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
㈣ 資料庫的表不變,通過什麼手段能提高查詢速度
分布式系統就是將系統的應用層,數據層或其它部分構架成分布(物理和邏輯上的都可以)狀(通常是網狀)。分布式系統通常是為了增強系統的可擴展性、穩定性和執行效率。比如在線游戲通常就是分布系統,裡面所謂的「區」就是分布系統里子常式。而分布式資料庫其實也可以稱作分布式系統,數據持久化層是分布的(數據存在不同的資料庫中,可交互,有一套綜管系統來維護數據的完整性和准確性)。所以說分布式系統更准確地說是一種系統構架概念,不是一種技術。
提高查詢速度。
1、用程序中,
保證在實現功能的基礎上,盡量減少對資料庫的訪問次數;
通過搜索參數,盡量減少對表的訪問行數
最小化結果集,從而減輕網路負擔;
夠分開的操作盡量分開處理,提高每次的響應速度;
在數據窗口使用
SQL 時,盡量把使用的索引放在選擇的首列;
演算法的結構盡量簡單;
在查詢時,不要過多地使用通配符如
SELECT * FROM T1 語句,要用到幾列就選擇幾列如:
SELECT COL1,COL2 FROM T1 ;
在可能的情況下盡量限制盡量結果集行數如:
SELECT TOP 300 COL1,COL2,COL3 FROM T1,
因為某些情況下用戶是不需要那麼多的數據的。
不要在應用中使用資料庫游標,游標是非常有用的工具,但比使用常規的、面向集的SQL語句需要更大的開銷;
按照特定順序提取數據的查找。
2、避免使用不兼容的數據類型。例如
float和int、char和varchar、binary和varbinary是不兼容的。數據類型的不兼容可能使優化器無法執行一些本來可以進行的優化操作。
例如:
SELECT name FROM employee WHERE salary >60000
在這條語句中,如salary欄位是money型的,則優化器很難對其進行優化,因為60000是個整型數。
我們應當在編程時將整型轉化成為錢幣型,而不要等到運行時轉化。
3、盡量避免在WHERE子句中對欄位進行函數或表達式操作,這將導致引擎放棄使用索引而進行全表掃描。如:
SELECT * FROM T1 WHERE F1/2=100 應改為
SELECT * FROM T1 WHERE F1=100*2
SELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=』5378』
應改為:
SELECT * FROM RECORD WHERE CARD_NO LIKE 『5378%』
SELECT member_number, first_name, last_name
FROM members
WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21
應改為:
SELECT member_number, first_name, last_name
FROM members
WHERE dateofbirth< DATEADD(yy,-21,GETDATE())
即:任何對列的操作都將導致表掃描,它包括資料庫函數、計算表達式等等,查詢時要盡可能將操作移至等號右邊。
4、避免使用!=或<>、IS NULL或IS NOT NULL、IN ,NOT IN等這樣的操作符因為這會使系統無法使用索引,
而只能直接搜索表中的數據。例如:
SELECT id FROM employee WHERE id != 'B%'
優化器將無法通過索引來確定將要命中的行數,因此需要搜索該表的所有行。
5、盡量使用數字型欄位,一部分開發人員和資料庫管理人員喜歡把包含數值信息的欄位設計為字元型,
這會降低查詢和連接的性能,並會增加存儲開銷。這是因為引擎在處理查詢和連接回逐個比較字元串中每一個字元,
而對於數字型而言只需要比較一次就夠了。
6、合理使用EXISTS,NOT EXISTS子句。如下所示:
1.SELECT SUM(T1.C1)FROM T1
WHERE( (SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
2.SELECT SUM(T1.C1) FROM T1 WHERE EXISTS(
SELECT * FROM T2 WHERE T2.C2=T1.C2)
兩者產生相同的結果,但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的表掃描或
是索引掃描。
如果你想校驗表裡是否存在某條紀錄,不要用count(*)那樣效率很低,而且浪費伺服器資源。
可以用EXISTS代替。如:
IF (SELECT COUNT(*) FROM table_name WHERE column_name = 'xxx')
可以寫成:
IF EXISTS (SELECT * FROM table_name WHERE column_name = 'xxx')
經常需要寫一個T_SQL語句比較一個父結果集和子結果集,
從而找到是否存在在父結果集中有而在子結果集中沒有的記錄,如:
1.SELECT a.hdr_key FROM hdr_tbl a
---- tbl a 表示 tbl 用別名a代替
WHERE NOT EXISTS (SELECT * FROM dtl_tbl b WHERE a.hdr_key = b.hdr_key)
2.SELECTa.hdr_key FROM hdr_tbl a LEFT JOIN dtl_tbl b ON a.hdr_key = b.hdr_key
WHERE b.hdr_key IS NULL
3.SELECT hdr_key FROM hdr_tbl WHERE hdr_key NOT IN (SELECT hdr_key FROM dtl_tbl)
三種寫法都可以得到同樣正確的結果,但是效率依次降低。
7、盡量避免在索引過的字元數據中,使用非打頭字母搜索。這也使得引擎無法利用索引。
見如下例子:SELECT * FROM T1 WHERE NAME LIKE 『%L%』
SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=』L』
SELECT * FROM T1 WHERE NAME LIKE 『L%』
即使NAME欄位建有索引,前兩個查詢依然無法利用索引完成加快操作,引擎不得不對全表所
有數據逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。
8、充分利用連接條件,在某種情況下,兩個表之間可能不只一個的連接條件,這時在
WHERE 子句中將連接條件完整的寫上,有可能大大提高查詢速度。例:
SELECT SUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO = B.CARD_NO
SELECT SUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO = B.CARD_NO
AND A.ACCOUNT_NO=B.ACCOUNT_NO
第二句將比第一句執行快得多。
9、消除對大型錶行數據的順序存取,盡管在所有的檢查列上都有索引,但某些形式的
WHERE子句強迫優化器使用順序存取。如:
SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR
order_num=1008 解決辦法可以使用並集來避免順序存取:
SELECT *FROM orders WHERE customer_num=104 AND order_num>1001
UNION SELECT *FROM orders WHERE order_num=1008 這樣就能利用索引路徑處理查詢。
10、避免困難的正規表達式。
LIKE關鍵字支持通配符匹配,技術
㈤ 提高mysql查詢效率的方法有哪些
1.盡量不要在where中包含子查詢;
關於時間的查詢,盡量不要寫成:where
to_char(dif_date,』yyyy-mm-dd』)=to_char(『2007-07-01′,』yyyy-mm-dd』);
2.在過濾條件中,可以過濾掉最大數量記錄的條件必須放在where子句的末尾;
FROM子句中寫在最後的表(基礎橋差兄表,driving
table)將被最先處理,在FROM子句中包含多個表的情況下,你必須選擇記錄條數最少的表作為基礎表。如果有三個以上的連接查詢,那就需要選擇交叉表
(intersection
table)作為基礎表,交叉表是指那個被其他表所引用的表慶虧;
3.採用綁定變數
4.在WHERE中盡量不要使用OR
5.用EXISTS替代IN、用NOT
EXISTS替代NOT
IN;
6.避免在索引列上使用計算:WHERE
SAL*12>25000;
7.用IN來替代OR:
WHERE
LOC_ID=10
OR
LOC_ID=15
OR
LOC_ID=20
8.避免在索引列上使用IS
NULL和IS
NOT
NULL;
9.總是使用索引的第一個列;
10.用UNION-ALL替代UNION;
11.避免改變索引列的類型:SELECT…FROM
EMP
WHERE
EMPNO=』123』,由於隱式數據類型轉換,to_char(EMPNO)=』123』,因此,將不採用索引,一般在採用字元串拼湊動態SQL語句出現;
12.』!=』敏襲
將不使用索引;
13.優化GROUP
BY;
14.避免帶有LIKE參數的通配符,LIKE
『4YE%』使用索引,但LIKE
『%YE』不使用索引
15.避免使用困難的正規表達式,例如select
*
from
customer
where
zipcode
like
「98___」,即便在zipcode上建立了索引,在這種情況下也還是採用順序掃描的方式。如果把語句改成select
*
from
customer
where
zipcode>」98000″,在執行查詢時就會利用索引來查詢,顯然會大大提高速度;
16.盡量明確的完成SQL語句,盡量少讓資料庫工作。比如寫SELECT語句時,需要把查詢的欄位明確指出表名。盡量不要使用SELECT
*語句。組織SQL語句的時候,盡量按照資料庫的習慣進行組織。
㈥ 如何提高sql資料庫的查詢速度
一、程序中:
1、保證在實現功能的基礎上,盡量減少對資料庫的訪問次數。
2、通過搜索參數,盡量減少對表的訪問行數,最小化結果集,從而減輕網路負擔,能夠分開的操作盡量分襲蔽開處理,提高每次的響應速度。
3、在數據窗口使用SQL時,盡量把使用的索引放在選擇的首列,演算法的結構盡量簡單。
二、避免使用不兼容的數據類型。
例如「float」、「int」、「char」等,都屬於不兼容。 數據類型的不兼容可能使優化器無法執行一些本來可以進行的優化操型態作。
三、盡量避免在Where子句中對欄位進行函數或表達式卜禪源操作,這將導致引擎放棄使用索引而進行全表掃描。
四、盡量使用數字型欄位。
一部分開發人員和資料庫管理人員喜歡把包含數值信息的欄位設計為字元型,這會降低查詢和連接的性能,並會增加存儲開銷。
㈦ 資料庫性能優化有哪些措施
1、調整數據結構的設計
這一部分在開發信息系統之前完成,程序員需要考慮是否使用ORACLE資料庫的分區功能,對於經常訪問的資料庫表是否需要建立索引等。
2、調整應用程序結構設計
這一部分也是在開發信息系統之前完成,程序員在這一步需要考慮應用程序使用什麼樣的體系結構,是使用傳統的Client/Server兩層體系結構,還是使用Browser/Web/Database的三層體系結構。不同的應用程序體系結構要求的資料庫資源是不同的。
3、調整資料庫SQL語句
應用程序的執行最終將歸結為資料庫中的SQL語句執塌巧行,因此SQL語句的執行效率最終決定了ORACLE資料庫的性能。ORACLE公司推薦使用ORACLE語句優化器(OracleOptimizer)和行鎖管理器(row-levelmanager)來調整優化SQL語句。
4、調整伺服器內存分配
內存分配是在信息系統運行過程中優化配置的,資料庫管理員可以根據資料庫運行狀況調整資料庫系統全局區(SGA區)的數據緩沖區、日誌緩沖區和共享池的大小;還可以調整程序全局區(PGA區)的大小。需要注意的是,SGA區不是越大越好,SGA區過大會佔用操作系統使用的內存而引起虛擬內存的頁面交換,這樣反而會降低系統。
5、調整硬碟I/O
這一步是在信息系統開發之前完成的。資料庫管理員可以將組成同一個表空間的數據文件放在不同的硬碟上,做到硬碟之間I/O負載均衡。
6、調整操作系統參數
例如:運行在UNIX操作系統上的ORACLE資料庫,可以調整UNIX數據緩沖池的大小,每個進程所能使用的內存大小等參數。
實際上,上述資料庫優化措施之間是相互聯系的。ORACLE資料庫性能惡化表現基本上都是用戶響應時間比較長,需要用戶長時間的等待。但性能惡化的原因卻是多種多樣的,有時是多個因素共同造成了性能惡化的結果,這就需要資料庫管理員有比較全面的計算機知識,能夠敏感地察覺到影響資料庫性能的主要原因所在。另外,良好的資料庫管理工具對於優化資料庫性能也是很重要的。
一、ORACLE資料庫性能優化工具
常用的資料庫性能優化工具有:
ORACLE資料庫在線數據字典,ORACLE在線數據字典能夠反映出ORACLE動態運行情況,對於調整資料庫性能是很有幫助的。
操作系統工具,例如UNIX操作系統的vmstat,iostat等命令可以查看到系統系統級內存和硬碟I/O的使用情況,這些工具對於管理員弄清出系統瓶頸出現在什麼地方有時候很有用。
SQL語言跟蹤工雀皮具(SQLTRACEFACILITY),SQL語言跟蹤工具可以記錄SQL語句的執行情況,管理員可以使用虛擬表來調整實例,使用SQL語句跟蹤文件調整應用程序性能。SQL語言跟蹤工具將結果輸出成一個操作系統的文件,管理員可以使用TKPROF工具查看這些文件。
ORACLEEnterpriseManager(OEM),這是一個圖形的用戶管理界面,用戶可以使用它方便地進行資料庫管理而不必記住復雜的ORACLE資料庫管理的命令。
EXPLAINPLAN——SQL語言優化命令,使用這個命令可以幫助程序員寫出高效的SQL語言。
二、ORACLE資料庫的系統性能評估
信息系統的類型不同,需要關注的資料庫參數也是不同的。資料庫管理員需要根據自己的信息系統的類型著重考慮不同的資料庫參數。
1、在線事務處理信息系統(OLTP),這種類型的信息系統一般需要有大量的Insert、Update操作,典型的系統包括民航機票發售系統、銀行儲蓄系統等。OLTP系統需要保證資料庫的並發性、可靠性和最終用戶的速度,這類系統使用的ORACLE資料庫需要主要考慮下述參數:
資料庫回滾段團歲鍵是否足夠?
是否需要建立ORACLE資料庫索引、聚集、散列?
系統全局區(SGA)大小是否足夠?
SQL語句是否高效?
2、數據倉庫系統(DataWarehousing),這種信息系統的主要任務是從ORACLE的海量數據中進行查詢,得到數據之間的某些規律。資料庫管理員需要為這種類型的ORACLE資料庫著重考慮下述參數:
是否採用B*-索引或者bitmap索引?
是否採用並行SQL查詢以提高查詢效率?
是否採用PL/SQL函數編寫存儲過程?
有必要的話,需要建立並行資料庫提高資料庫的查詢效率
三、SQL語句的調整原則
SQL語言是一種靈活的語言,相同的功能可以使用不同的語句來實現,但是語句的執行效率是很不相同的。程序員可以使用EXPLAINPLAN語句來比較各種實現方案,並選出最優的實現方案。總得來講,程序員寫SQL語句需要滿足考慮如下規則:
1、盡量使用索引。試比較下面兩條SQL語句:
語句A:SELECTdname,
(SELECTdeptnoFROMemp);
語句B:SELECTdname,deptnoFROMdeptWHERENOTEXISTS
(SELECTdeptnoFROMempWHEREdept.deptno=emp.deptno);
這兩條查詢語句實現的結果是相同的,但是執行語句A的時候,ORACLE會對整個emp表進行掃描,沒有使用建立在emp表上的deptno索引,執行語句B的時候,由於在子查詢中使用了聯合查詢,ORACLE只是對emp表進行的部分數據掃描,並利用了deptno列的索引,所以語句B的效率要比語句A的效率高一些。
2、選擇聯合查詢的聯合次序。考慮下面的例子:
SELECTstuffFROMtabaa,tabbb,tabcc
WHEREa.acolbetween:alowand:ahigh
ANDb.bcolbetween:blowand:bhigh
ANDc.ccolbetween:clowand:chigh
ANDa.key1=b.key1
AMDa.key2=c.key2;
這個SQL例子中,程序員首先需要選擇要查詢的主表,因為主表要進行整個表數據的掃描,所以主表應該數據量最小,所以例子中表A的acol列的范圍應該比表B和表C相應列的范圍小。
3、在子查詢中慎重使用IN或者NOTIN語句,使用where(NOT)exists的效果要好的多。
4、慎重使用視圖的聯合查詢,尤其是比較復雜的視圖之間的聯合查詢。一般對視圖的查詢最好都分解為對數據表的直接查詢效果要好一些。
5、可以在參數文件中設置SHARED_POOL_RESERVED_SIZE參數,這個參數在SGA共享池中保留一個連續的內存空間,連續的內存空間有益於存放大的SQL程序包。
6、ORACLE公司提供的DBMS_SHARED_POOL程序可以幫助程序員將某些經常使用的存儲過程「釘」在SQL區中而不被換出內存,程序員對於經常使用並且佔用內存很多的存儲過程「釘」到內存中有利於提高最終用戶的響應時間。
四、CPU參數的調整
CPU是伺服器的一項重要資源,伺服器良好的工作狀態是在工作高峰時CPU的使用率在90%以上。如果空閑時間CPU使用率就在90%以上,說明伺服器缺乏CPU資源,如果工作高峰時CPU使用率仍然很低,說明伺服器CPU資源還比較富餘。
使用操作相同命令可以看到CPU的使用情況,一般UNIX操作系統的伺服器,可以使用sar_u命令查看CPU的使用率,NT操作系統的伺服器,可以使用NT的性能管理器來查看CPU的使用率。
資料庫管理員可以通過查看v$sysstat數據字典中「CPUusedbythissession」統計項得知ORACLE資料庫使用的CPU時間,查看「OSUserlevelCPUtime」統計項得知操作系統用戶態下的CPU時間,查看「OSSystemcallCPUtime」統計項得知操作系統系統態下的CPU時間,操作系統總的CPU時間就是用戶態和系統態時間之和,如果ORACLE資料庫使用的CPU時間占操作系統總的CPU時間90%以上,說明伺服器CPU基本上被ORACLE資料庫使用著,這是合理,反之,說明伺服器CPU被其它程序佔用過多,ORACLE資料庫無法得到更多的CPU時間。
資料庫管理員還可以通過查看v$sesstat數據字典來獲得當前連接ORACLE資料庫各個會話佔用的CPU時間,從而得知什麼會話耗用伺服器CPU比較多。
出現CPU資源不足的情況是很多的:SQL語句的重解析、低效率的SQL語句、鎖沖突都會引起CPU資源不足。
1、資料庫管理員可以執行下述語句來查看SQL語句的解析情況:
SELECT*FROMV$SYSSTATWHERENAMEIN
('parsetimecpu','parsetimeelapsed','parsecount(hard)');
這里parsetimecpu是系統服務時間,parsetimeelapsed是響應時間,用戶等待時間,waitetime=parsetimeelapsed_parsetimecpu
由此可以得到用戶SQL語句平均解析等待時間=waitetime/parsecount。這個平均等待時間應該接近於0,如果平均解析等待時間過長,資料庫管理員可以通過下述語句
SELECTSQL_TEXT,PARSE_CALLS,EXECUTIONSFROMV$SQLAREA
ORDERBYPARSE_CALLS;
來發現是什麼SQL語句解析效率比較低。程序員可以優化這些語句,或者增加ORACLE參數SESSION_CACHED_CURSORS的值。
2、資料庫管理員還可以通過下述語句:
SELECTBUFFER_GETS,EXECUTIONS,SQL_TEXTFROMV$SQLAREA;
查看低效率的SQL語句,優化這些語句也有助於提高CPU的利用率。
3、資料庫管理員可以通過v$system_event數據字典中的「latchfree」統計項查看ORACLE資料庫的沖突情況,如果沒有沖突的話,latchfree查詢出來沒有結果。如果沖突太大的話,資料庫管理員可以降低spin_count參數值,來消除高的CPU使用率。
五、內存參數的調整
內存參數的調整主要是指ORACLE資料庫的系統全局區(SGA)的調整。SGA主要由三部分構成:共享池、數據緩沖區、日誌緩沖區。
1、共享池由兩部分構成:共享SQL區和數據字典緩沖區,共享SQL區是存放用戶SQL命令的區域,數據字典緩沖區存放資料庫運行的動態信息。資料庫管理員通過執行下述語句:
select(sum(pins-reloads))/sum(pins)"LibCache"fromv$librarycache;
來查看共享SQL區的使用率。這個使用率應該在90%以上,否則需要增加共享池的大小。資料庫管理員還可以執行下述語句:
select(sum(gets-getmisses-usage-fixed))/sum(gets)"RowCache"fromv$rowcache;
查看數據字典緩沖區的使用率,這個使用率也應該在90%以上,否則需要增加共享池的大小。
2、數據緩沖區。資料庫管理員可以通過下述語句:
SELECTname,valueFROMv$sysstatWHEREnameIN('dbblockgets','consistentgets','physicalreads');
來查看資料庫數據緩沖區的使用情況。查詢出來的結果可以計算出來數據緩沖區的使用命中率=1-(physicalreads/(dbblockgets+consistentgets))。
這個命中率應該在90%以上,否則需要增加數據緩沖區的大小。
3、日誌緩沖區。資料庫管理員可以通過執行下述語句:
selectname,valuefromv$sysstatwherenamein('redoentries','redologspacerequests');
查看日誌緩沖區的使用情況。查詢出的結果可以計算出日誌緩沖區的申請失敗率:
申請失敗率=requests/entries,申請失敗率應該接近於0,否則說明日誌緩沖區開設太小,需要增加ORACLE資料庫的日誌緩沖區。
昌平北大青鳥java培訓班轉載自網路如有侵權請聯系我們感謝您的關注謝謝支持
㈧ 怎麼提高資料庫查詢效率
提高查詢效率首先要想到的就是加索引,那什麼是索引呢?
MySQL索引的建立對於MySQL的高效運行是很重要的,索引可以大大提高MySQL的檢索速度。
打個比方,如果合理的設計且使用索引的MySQL是一輛蘭博基尼的話,那麼沒有設計和使用索引的MySQL就是一個人力三輪車。
索引分單列索引和組合索引。單列索引,即一個索引只包含單個列,一個表可以有多個單列索引,但這不是組合索引。組合索引,即一個索引包含多個列。
創建索引時,你需要確保該索引是應用在 SQL 查詢語句的條件(一般作為 WHERE 子句的條件)。
實際上,索引也是一張表,該表保存了主鍵與索引欄位,並指向實體表的記錄。
上面都在說使用索引的好處,但過多的使用索引將會造成濫用。因此索引也會有它的缺點:雖然索引大大提高了查詢速度,同時卻會降低更新表的速度,如對表進行INSERT、UPDATE和DELETE。因為更新表時,MySQL不僅要保存數據,還要保存一下索引文件。
建立索引會佔用磁碟空間的索引文件。
如何使用索引呢?
首先索引有窄索引和寬索引兩個概念,窄索引是指索引的列數為1~2,寬索引就是說索引的列數大於2。
因為窄索引的效率要高於寬索引,所以能用窄索引就不要使用寬索引。
那麼對單欄位索引和復合索引應該如何使用?
目錄
單欄位索引的情況:
復合索引的優勢:
兩者的比較:
單欄位索引的情況:
1.表的主鍵,外鍵必須有索引
2.數據量超過300的表應該有索引
3.經常與其他表進行連接的表,在連接欄位上應該建立索引
4.經常出現在where字句中的欄位,特點是大表的欄位,應該建立索引
5.索引應該建在選擇性高的欄位上
6.索引應該建在小欄位上,對於大的文本欄位甚至超長欄位,不要建立索引
7.盡量用單欄位索引代替復合索引,復合索引的建立需要仔細的斟酌
復合索引的優勢:
1.單欄位索引很少甚至沒有
2.復合索引的幾個欄位經常同時以AND的方式出現在where語句
當where語句中的條件是OR時,索引不起作用。
兩者的比較:
以一個sql語句來舉例:SELECT * FROM STUDENT WHERE SEX="男" AND SAGE=18;
若在sex 和 sage 兩個欄位分別創建了單欄位索引,mysql查詢每次只能使用一個索引,雖然對於未添加索引時使用全盤掃描,我們的效率提升了很多,但如果在sex 和 sage兩個欄位添加復合索引,效率會跟高,如: 創建(sex, age,teacher)的復合索引,那麼其實相當於創建了(area,age,teacher)、(area,age)、(area)三個索引,這被稱為最佳左前綴特性。
那對於兩者優缺點的比較:
1.對於具有2個用and連接條件的語句,且2個列之間的關聯度較低的情況下,復合索引有一定優勢。
2.對於具有2個用and連接條件的語句,且2個列之間的關聯度較高的情況下,復合索引有很大優勢。
3.對於具有2個用or連接條件的語句,單索引有一定優勢,因為這種情況下復合索引將會導致全表掃描,而前者可以用到indexmerge的優化。
以上就是如何提高查詢效率的全部內容,如果有幫助到你的話記得點個關注喲
㈨ 怎麼提高資料庫的海量數據的查詢速度
下面以關系資料庫系統Informix為例,介紹改善用戶查詢計劃的方法。
1.合理使用索引
索引是資料庫中重要的數據結構,它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處,其使用原則如下:
●在經常進行連接,但是沒有指定為外鍵的列上建立索引,而不經常連接的欄位則由優化器自動生成索引。
●在頻繁進行排序或分組(即進行group by或order by操作)的列上建立索引。
●在條件表達式中經常用到的不同值較多的列上建立檢索,在不同值少的列上不要建立索引。比如在雇員表的「性別」列上只有「男」與「女」兩個不同值,因此就無必要建立索引。如果建立索引不但不會提高查詢效率,反而會嚴重降低更新速度。
●如果待排序的列有多個,可以在這些列上建立復合索引(compound index)。
●使用系統工具。如Informix資料庫有一個tbcheck工具,可以在可疑的索引上進行檢查。在一些資料庫伺服器上,索引可能失效或者因為頻繁操作而使得讀取效率降低,如果一個使用索引的查詢不明不白地慢下來,可以試著用tbcheck工具檢查索引的完整性,必要時進行修復。另外,當資料庫表更新大量數據後,刪除並重建索引可以提高查詢速度。
2.避免或簡化排序
應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時,優化器就避免了排序的步驟。以下是一些影響因素:
●索引中不包括一個或幾個待排序的列;
●group by或order by子句中列的次序與索引的次序不一樣;
●排序的列來自不同的表。
為了避免不必要的排序,就要正確地增建索引,合理地合並資料庫表(盡管有時可能影響表的規范化,但相對於效率的提高是值得的)。如果排序不可避免,那麼應當試圖簡化它,如縮小排序的列的范圍等。
3.消除對大型錶行數據的順序存取
在嵌套查詢中,對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略,一個嵌套3層的查詢,如果每層都查詢1000行,那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如,兩個表:學生表(學號、姓名、年齡……)和選課表(學號、課程號、成績)。如果兩個表要做連接,就要在「學號」這個連接欄位上建立索引。
還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引,但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作:
SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
雖然在customer_num和order_num上建有索引,但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合,所以應該改為如下語句:
SELECT * FROM orders WHERE customer_num=104 AND order_num>1001
UNION
SELECT * FROM orders WHERE order_num=1008
這樣就能利用索引路徑處理查詢。
4.避免相關子查詢
一個列的標簽同時在主查詢和where子句中的查詢中出現,那麼很可能當主查詢中的列值改變之後,子查詢必須重新查詢一次。查詢嵌套層次越多,效率越低,因此應當盡量避免子查詢。如果子查詢不可避免,那麼要在子查詢中過濾掉盡可能多的行。
5.避免困難的正規表達式
MATCHES和LIKE關鍵字支持通配符匹配,技術上叫正規表達式。但這種匹配特別耗費時間。例如:SELECT * FROM customer WHERE zipcode LIKE 「98_ _ _」
即使在zipcode欄位上建立了索引,在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT * FROM customer WHERE zipcode >「98000」,在執行查詢時就會利用索引來查詢,顯然會大大提高速度。
另外,還要避免非開始的子串。例如語句:SELECT * FROM customer WHERE zipcode[2,3]>「80」,在where子句中採用了非開始子串,因而這個語句也不會使用索引。
6.使用臨時表加速查詢
把表的一個子集進行排序並創建臨時表,有時能加速查詢。它有助於避免多重排序操作,而且在其他方面還能簡化優化器的工作。例如:
SELECT cust.name,rcvbles.balance,……other columns
FROM cust,rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
AND cust.postcode>「98000」
ORDER BY cust.name
如果這個查詢要被執行多次而不止一次,可以把所有未付款的客戶找出來放在一個臨時文件中,並按客戶的名字進行排序:
SELECT cust.name,rcvbles.balance,……other columns
FROM cust,rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
ORDER BY cust.name
INTO TEMP cust_with_balance
然後以下面的方式在臨時表中查詢:
SELECT * FROM cust_with_balance
WHERE postcode>「98000」
臨時表中的行要比主表中的行少,而且物理順序就是所要求的順序,減少了磁碟I/O,所以查詢工作量可以得到大幅減少。
注意:臨時表創建後不會反映主表的修改。在主表中數據頻繁修改的情況下,注意不要丟失數據。
7.用排序來取代非順序存取
非順序磁碟存取是最慢的操作,表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況,使得我們在寫應用程序時很容易寫出要求存取大量非順序頁的查詢。
有些時候,用資料庫的排序能力來替代非順序的存取能改進查詢。