當前位置:首頁 » 數據倉庫 » 提高資料庫查詢效率
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

提高資料庫查詢效率

發布時間: 2023-05-21 05:41:01

① 提高mysql查詢效率的方法有哪些

1.盡量不要在where中包含子查詢;
關於時間的查詢,盡量不要寫成:where
to_char(dif_date,』yyyy-mm-dd』)=to_char(『2007-07-01′,』yyyy-mm-dd』);
2.在過濾條件中,可以過濾掉最大數量記錄的條件必須放在where子句的末尾;
FROM子句中寫在最後的表(基礎橋差兄表,driving
table)將被最先處理,在FROM子句中包含多個表的情況下,你必須選擇記錄條數最少的表作為基礎表。如果有三個以上的連接查詢,那就需要選擇交叉表
(intersection
table)作為基礎表,交叉表是指那個被其他表所引用的表慶虧;
3.採用綁定變數
4.在WHERE中盡量不要使用OR
5.用EXISTS替代IN、用NOT
EXISTS替代NOT
IN;
6.避免在索引列上使用計算:WHERE
SAL*12>25000;
7.用IN來替代OR:
WHERE
LOC_ID=10
OR
LOC_ID=15
OR
LOC_ID=20
8.避免在索引列上使用IS
NULL和IS
NOT
NULL;
9.總是使用索引的第一個列;
10.用UNION-ALL替代UNION;
11.避免改變索引列的類型:SELECT…FROM
EMP
WHERE
EMPNO=』123』,由於隱式數據類型轉換,to_char(EMPNO)=』123』,因此,將不採用索引,一般在採用字元串拼湊動態SQL語句出現;
12.』!=』敏襲
將不使用索引;
13.優化GROUP
BY;
14.避免帶有LIKE參數的通配符,LIKE
『4YE%』使用索引,但LIKE
『%YE』不使用索引
15.避免使用困難的正規表達式,例如select
*
from
customer
where
zipcode
like
「98___」,即便在zipcode上建立了索引,在這種情況下也還是採用順序掃描的方式。如果把語句改成select
*
from
customer
where
zipcode>」98000″,在執行查詢時就會利用索引來查詢,顯然會大大提高速度;
16.盡量明確的完成SQL語句,盡量少讓資料庫工作。比如寫SELECT語句時,需要把查詢的欄位明確指出表名。盡量不要使用SELECT
*語句。組織SQL語句的時候,盡量按照資料庫的習慣進行組織。

② 怎麼提高資料庫的海量數據的查詢速度

下面以關系資料庫系統Informix為例,介紹改善用戶查詢計劃的方法。

1.合理使用索引

索引是資料庫中重要的數據結構,它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處,其使用原則如下:

●在經常進行連接,但是沒有指定為外鍵的列上建立索引,而不經常連接的欄位則由優化器自動生成索引。

●在頻繁進行排序或分組(即進行group by或order by操作)的列上建立索引。

●在條件表達式中經常用到的不同值較多的列上建立檢索,在不同值少的列上不要建立索引。比如在雇員表的「性別」列上只有「男」與「女」兩個不同值,因此就無必要建立索引。如果建立索引不但不會提高查詢效率,反而會嚴重降低更新速度。

●如果待排序的列有多個,可以在這些列上建立復合索引(compound index)。

●使用系統工具。如Informix資料庫有一個tbcheck工具,可以在可疑的索引上進行檢查。在一些資料庫伺服器上,索引可能失效或者因為頻繁操作而使得讀取效率降低,如果一個使用索引的查詢不明不白地慢下來,可以試著用tbcheck工具檢查索引的完整性,必要時進行修復。另外,當資料庫表更新大量數據後,刪除並重建索引可以提高查詢速度。

2.避免或簡化排序

應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時,優化器就避免了排序的步驟。以下是一些影響因素:

●索引中不包括一個或幾個待排序的列;

●group by或order by子句中列的次序與索引的次序不一樣;

●排序的列來自不同的表。

為了避免不必要的排序,就要正確地增建索引,合理地合並資料庫表(盡管有時可能影響表的規范化,但相對於效率的提高是值得的)。如果排序不可避免,那麼應當試圖簡化它,如縮小排序的列的范圍等。

3.消除對大型錶行數據的順序存取

在嵌套查詢中,對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略,一個嵌套3層的查詢,如果每層都查詢1000行,那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如,兩個表:學生表(學號、姓名、年齡……)和選課表(學號、課程號、成績)。如果兩個表要做連接,就要在「學號」這個連接欄位上建立索引。

還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引,但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作:

SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008

雖然在customer_num和order_num上建有索引,但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合,所以應該改為如下語句:

SELECT * FROM orders WHERE customer_num=104 AND order_num>1001

UNION

SELECT * FROM orders WHERE order_num=1008

這樣就能利用索引路徑處理查詢。

4.避免相關子查詢

一個列的標簽同時在主查詢和where子句中的查詢中出現,那麼很可能當主查詢中的列值改變之後,子查詢必須重新查詢一次。查詢嵌套層次越多,效率越低,因此應當盡量避免子查詢。如果子查詢不可避免,那麼要在子查詢中過濾掉盡可能多的行。

5.避免困難的正規表達式

MATCHES和LIKE關鍵字支持通配符匹配,技術上叫正規表達式。但這種匹配特別耗費時間。例如:SELECT * FROM customer WHERE zipcode LIKE 「98_ _ _」

即使在zipcode欄位上建立了索引,在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT * FROM customer WHERE zipcode >「98000」,在執行查詢時就會利用索引來查詢,顯然會大大提高速度。

另外,還要避免非開始的子串。例如語句:SELECT * FROM customer WHERE zipcode[2,3]>「80」,在where子句中採用了非開始子串,因而這個語句也不會使用索引。

6.使用臨時表加速查詢

把表的一個子集進行排序並創建臨時表,有時能加速查詢。它有助於避免多重排序操作,而且在其他方面還能簡化優化器的工作。例如:

SELECT cust.name,rcvbles.balance,……other columns

FROM cust,rcvbles

WHERE cust.customer_id = rcvlbes.customer_id

AND rcvblls.balance>0

AND cust.postcode>「98000」

ORDER BY cust.name

如果這個查詢要被執行多次而不止一次,可以把所有未付款的客戶找出來放在一個臨時文件中,並按客戶的名字進行排序:

SELECT cust.name,rcvbles.balance,……other columns

FROM cust,rcvbles

WHERE cust.customer_id = rcvlbes.customer_id

AND rcvblls.balance>0

ORDER BY cust.name

INTO TEMP cust_with_balance

然後以下面的方式在臨時表中查詢:

SELECT * FROM cust_with_balance

WHERE postcode>「98000」

臨時表中的行要比主表中的行少,而且物理順序就是所要求的順序,減少了磁碟I/O,所以查詢工作量可以得到大幅減少。

注意:臨時表創建後不會反映主表的修改。在主表中數據頻繁修改的情況下,注意不要丟失數據。

7.用排序來取代非順序存取

非順序磁碟存取是最慢的操作,表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況,使得我們在寫應用程序時很容易寫出要求存取大量非順序頁的查詢。

有些時候,用資料庫的排序能力來替代非順序的存取能改進查詢。

③ 資料庫表中大量的數據,如何提高查詢速度

你的資料庫是什麼資料庫?如果是ACCESS,建議你導入到MySQL中去,MySQL據說是世界上執行速度最快的資料庫了,如果是MSSQL,請使用存儲過程執行查詢,可以吵型大提高資料庫的運行速度。你的問題我曾經碰到過,當時我使用的是ACCESS資料庫,資料庫中的數據達到鋒碼20萬條記錄了銀碰哪,查詢起來速度特慢,後來改用MSSQL的存儲過程,速度提高了很多,你試試吧,祝你成功!

④ 如何優化資料庫提高資料庫的效率

1.SQL優化的原則是:將一次操作需要讀取的BLOCK數減到最低,即在最短的時間達到最大的數據吞吐量。

調整不良SQL通常可以從以下幾點切入:

檢查不良的SQL,考慮其寫法是高李否還有可優化內容

檢查子查詢考慮SQL子查詢是否可以用簡單連接的方式進行重新書寫

檢查優化索引的使用

考慮資料庫的優化器

2.避免出現SELECT*FROMtable語句,要明確查出的欄位。

3.在一個SQL語句中,如果一個where條件過濾的資料庫記錄越多,定位越准確,則該where條件越應該前移。

4.查詢時盡可能使用索引覆蓋。即對SELECT的欄位建立復合索引,這樣查詢時只進行索引掃描,不讀取數據塊。

5.在判斷有無符合條件的記錄時建議不要用SELECTCOUNT(*)和selecttop1語句。

6.使用內層限定原則,在拼寫SQL語句時,將查詢條件分解、分類,並盡量在SQL語句的最里層進行限定,以減少數據的處理量。

7.應絕對避免在orderby子句中使用表達式。

8.如果需要從關聯表讀數據,關聯的表一般不要超過7個。

9.小心使用IN和OR,需要注意In集合中的數據量。建議集合中的數據不超過200個。

10.<>用<、>代替,>用>=代替,<用<=代替,這樣可以有效的利用索引。

11.在查詢時盡量減少對多餘數據的讀取包括多餘的列與多餘的行。

12.對於復合索引要注意,例如在建立復合索引時列的順序是F1,F2,F3,則在where或orderby子句中這些欄位出現的順序要與建立索引時的欄位者頃順序一致,且必須包含第一列。只能是F1或F1,F2或F1,F2,F3。否則不會用到該索引。

13.多表關聯查詢時,寫法必須遵循以下原則,這樣做有利於建立索引,提高查詢效率。格式如下selectsum(table1.je)fromtable1table1,table2table2,table3table3where(table1的等值條件(=))and(table1的非等值條件)and(table2與table1的關聯條件)and(table2的等值條件)and(table2的非等值條件)and(table3與table2的關聯條件)and(table3的等值條件)and(table3的非等值條件)。

注:關於多表查詢時from後面表的出現順序對效率的影響還有待研究。

14.子查詢問首念陸題。對於能用連接方式或者視圖方式實現的功能,不要用子查詢。例如:_idin(selectcustomer_idfromorderwheremoney>1000)。應該用如下語句代替:.customer_id=order.customer_idwhereorder.money>100。

15.在WHERE子句中,避免對列的四則運算,特別是where條件的左邊,嚴禁使用運算與函數對列進行處理。比如有些地方substring可以用like代替。

16.如果在語句中有notin(in)操作,應考慮用notexists(exists)來重寫,最好的辦法是使用外連接實現。

17.對一個業務過程的處理,應該使事物的開始與結束之間的時間間隔越短越好,原則上做到資料庫的讀操作在前面完成,資料庫寫操作在後面完成,避免交叉。

18.請小心不要對過多的列使用列函數和orderby,groupby等,謹慎使用disti軟體開發t。

19.用unionall代替union,資料庫執行union操作,首先先分別執行union兩端的查詢,將其放在臨時表中,然後在對其進行排序,過濾重復的記錄。

當已知的業務邏輯決定queryA和queryB中不會有重復記錄時,應該用unionall代替union,以提高查詢效率。

數據更新的效率

1.在一個事物中,對同一個表的多個insert語句應該集中在一起執行。

2.在一個業務過程中,盡量的使insert,update,delete語句在業務結束前執行,以減少死鎖的可能性。

資料庫物理規劃的效率

為了避免I/O的沖突,我們在設計資料庫物理規劃時應該遵循幾條基本的原則(以ORACLE舉例):

table和index分離:table和index應該分別放在不同的tablespace中。

RollbackSegment的分離:RollbackSegment應該放在獨立的Tablespace中。

SystemTablespace的分離:SystemTablespace中不允許放置任何用戶的object。(mssql中primaryfilegroup中不允許放置任何用戶的object)

TempTablesace的分離:建立單獨的TempTablespace,並為每個user指定defaultTempTablespace

避免碎片:但segment中出現大量的碎片時,會導致讀數據時需要訪問的block數量的增加。對經常發生DML操作的segemeng來說,碎片是不能完全避免的。所以,我們應該將經常做DML操作的表和很少發生變化的表分離在不同的Tablespace中。

當我們遵循了以上原則後,仍然發現有I/O沖突存在,我們可以用數據分離的方法來解決。

連接Table的分離:在實際應用中經常做連接查詢的Table,可以將其分離在不同的Taclespace中,以減少I/O沖突。

使用分區:對數據量很大的Table和Index使用分區,放在不同的Tablespace中。

在實際的物理存儲中,建議使用RAID。日誌文件應放在單獨的磁碟中。

⑤ 資料庫查詢性能優化方式有哪些

1、1、調整數據結構的設計。這一部分在開發信息系統之前完成,程序員需要考慮是否使用ORACLE資料庫的分區功能,對於經常訪問的資料庫表是否需要建立索引等。

2、2、調整應用程序結構設計。這一部分也是在開發信息系統之前完成,程序員在這一步需要考慮應用程序使用什麼樣的體系結構,是使用傳統的Client/Server兩層體系結構,還是使用Browser/Web/Database的三層體系結構。不同的應用程序體系結構要求的資料庫資源是不同的。

3、3、調整資料庫SQL語句。應用程序的執行最終將歸結為資料庫中的SQL語句執行,因此SQL語句的執行效率最終決定了ORACLE資料庫的性能。ORACLE公司推薦使用ORACLE語句優化銷和段器(Oracle Optimizer)和行鎖管理器(row-level manager)來調整優化SQL語句。

4、4、調整伺服器內存分配。內存分配是在信息系統運行過程中優化配置的,資料庫管理員可以根據資料庫運行狀況調整資料庫系統全局區(SGA區)的數據緩沖區、日誌緩沖區和共享池的大小;還可以調整程序全局區(PGA區)的大小。需要注意的是,SGA區不是越大越好,SGA區過大會佔用操作系統使用的內存而引起虛擬內存的頁面交換,這樣反而會降低系統。

5、5、調整硬碟I/O,這一步是在信息系統開發之前完成的。資料庫管理員可以將組成同一個表空間的數據文件放在不同的硬碟上,做到硬碟之間I/O負載均衡。

6、6、調整操作系統參數,例如:運行在UNIX操作系統上的ORACLE資料庫,可以調整UNIX數據緩沖池的大小,每個進程所能使用的內存大小等參數。

實際上,上述資料庫優化措施之間是相互聯系的。ORACLE資料庫性能惡化表現基本上都是用戶響應時間比較長,需要用戶長時間的等待。但性能惡化的原因卻是多種多樣的,有時是多個因素共同造成了性能惡化的結果,這就需要資料庫管理員有比較全面的計算機知識,能夠敏感地察覺虧譽到影響資料庫性能的主要原因所在。另外,良好的資料庫管理工具對於優化資料庫性能也是很重要的。

ORACLE資料庫性能優化工具

常用的資料庫性能優化工具有:

1、1、ORACLE資料庫在線數據字典,ORACLE在線數據字典能夠反映出ORACLE動態運行情況,對於調整資料庫性能是很有幫助的。

2、2、操作系統工具,例如UNIX操作系統的vmstat,iostat等命令可以查看到系統系統級內存和硬碟I/O的使用情況,這些工具對於管理員弄清出系統瓶頸出現在什麼地方有時候很有用。

3、3、SQL語言跟蹤工具(SQL TRACE FACILITY),SQL語言跟蹤工具可以記錄SQL語句的執行情況,管理員可以使用虛擬表來調整實例,使用SQL語句跟蹤文件調整應用程序性能。SQL語言跟蹤工具將結果輸出成一個操作系統的文件,管理員可以使用TKPROF工具查看這些文件。

4、4、ORACLE Enterprise Manager(OEM),這是一個圖形的用戶管理界面,用戶可以使用它方便地進行資料庫管理而不必記住復雜的ORACLE資料庫管理的命令。

5、5、EXPLAIN PLAN——SQL語言優化命令,使用這個命令可以幫助程序員寫出高效的SQL語言。

ORACLE資料庫的系統性能評估

信息系統的類型不同,需要關注的資料庫參數也是不同的。資料庫管理員需要根據自己的信息系統的類型著重考慮不同的棚行資料庫參數。

1、1、在線事務處理信息系統(OLTP),這種類型的信息系統一般需要有大量的Insert、Update操作,典型的系統包括民航機票發售系統、銀行儲蓄系統等。OLTP系統需要保證資料庫的並發性、可靠性和最終用戶的速度,這類系統使用的ORACLE資料庫需要主要考慮下述參數:

l l 資料庫回滾段是否足夠?

l l 是否需要建立ORACLE資料庫索引、聚集、散列?

l l 系統全局區(SGA)大小是否足夠?

l l SQL語句是否高效?

2、2、數據倉庫系統(Data Warehousing),這種信息系統的主要任務是從ORACLE的海量數據中進行查詢,得到數據之間的某些規律。資料庫管理員需要為這種類型的ORACLE資料庫著重考慮下述參數:

l l 是否採用B*-索引或者bitmap索引?

l l 是否採用並行SQL查詢以提高查詢效率?

l l 是否採用PL/SQL函數編寫存儲過程?

l l 有必要的話,需要建立並行資料庫提高資料庫的查詢效率

SQL語句的調整原則

SQL語言是一種靈活的語言,相同的功能可以使用不同的語句來實現,但是語句的執行效率是很不相同的。程序員可以使用EXPLAIN PLAN語句來比較各種實現方案,並選出最優的實現方案。總得來講,程序員寫SQL語句需要滿足考慮如下規則:

1、1、盡量使用索引。試比較下面兩條SQL語句:

語句A:SELECT dname, deptno FROM dept WHERE deptno NOT IN

(SELECT deptno FROM emp);

語句B:SELECT dname, deptno FROM dept WHERE NOT EXISTS

(SELECT deptno FROM emp WHERE dept.deptno = emp.deptno);

這兩條查詢語句實現的結果是相同的,但是執行語句A的時候,ORACLE會對整個emp表進行掃描,沒有使用建立在emp表上的deptno索引,執行語句B的時候,由於在子查詢中使用了聯合查詢,ORACLE只是對emp表進行的部分數據掃描,並利用了deptno列的索引,所以語句B的效率要比語句A的效率高一些。

2、2、選擇聯合查詢的聯合次序。考慮下面的例子:

SELECT stuff FROM taba a, tabb b, tabc c

WHERE a.acol between :alow and :ahigh

AND b.bcol between :blow and :bhigh

AND c.ccol between :clow and :chigh

AND a.key1 = b.key1

AMD a.key2 = c.key2;

這個SQL例子中,程序員首先需要選擇要查詢的主表,因為主表要進行整個表數據的掃描,所以主表應該數據量最小,所以例子中表A的acol列的范圍應該比表B和表C相應列的范圍小。

3、3、在子查詢中慎重使用IN或者NOT IN語句,使用where (NOT) exists的效果要好的多。

4、4、慎重使用視圖的聯合查詢,尤其是比較復雜的視圖之間的聯合查詢。一般對視圖的查詢最好都分解為對數據表的直接查詢效果要好一些。

5、5、可以在參數文件中設置SHARED_POOL_RESERVED_SIZE參數,這個參數在SGA共享池中保留一個連續的內存空間,連續的內存空間有益於存放大的SQL程序包。

6、6、ORACLE公司提供的DBMS_SHARED_POOL程序可以幫助程序員將某些經常使用的存儲過程「釘」在SQL區中而不被換出內存,程序員對於經常使用並且佔用內存很多的存儲過程「釘」到內存中有利於提高最終用戶的響應時間。

CPU參數的調整

CPU是伺服器的一項重要資源,伺服器良好的工作狀態是在工作高峰時CPU的使用率在90%以上。如果空閑時間CPU使用率就在90%以上,說明伺服器缺乏CPU資源,如果工作高峰時CPU使用率仍然很低,說明伺服器CPU資源還比較富餘。

使用操作相同命令可以看到CPU的使用情況,一般UNIX操作系統的伺服器,可以使用sar –u命令查看CPU的使用率,NT操作系統的伺服器,可以使用NT的性能管理器來查看CPU的使用率。

資料庫管理員可以通過查看v$sysstat數據字典中「CPU used by this session」統計項得知ORACLE資料庫使用的CPU時間,查看「OS User level CPU time」統計項得知操作系統用戶態下的CPU時間,查看「OS System call CPU time」統計項得知操作系統系統態下的CPU時間,操作系統總的CPU時間就是用戶態和系統態時間之和,如果ORACLE資料庫使用的CPU時間占操作系統總的CPU時間90%以上,說明伺服器CPU基本上被ORACLE資料庫使用著,這是合理,反之,說明伺服器CPU被其它程序佔用過多,ORACLE資料庫無法得到更多的CPU時間。

資料庫管理員還可以通過查看v$sesstat數據字典來獲得當前連接ORACLE資料庫各個會話佔用的CPU時間,從而得知什麼會話耗用伺服器CPU比較多。

出現CPU資源不足的情況是很多的:SQL語句的重解析、低效率的SQL語句、鎖沖突都會引起CPU資源不足。

1、資料庫管理員可以執行下述語句來查看SQL語句的解析情況:

SELECT * FROM V$SYSSTAT

WHERE NAME IN

('parse time cpu', 'parse time elapsed', 'parse count (hard)');

這里parse time cpu是系統服務時間,parse time elapsed是響應時間,用戶等待時間

waite time = parse time elapsed – parse time cpu

由此可以得到用戶SQL語句平均解析等待時間=waite time / parse count。這個平均等待時間應該接近於0,如果平均解析等待時間過長,資料庫管理員可以通過下述語句

SELECT SQL_TEXT, PARSE_CALLS, EXECUTIONS FROM V$SQLAREA

ORDER BY PARSE_CALLS;

來發現是什麼SQL語句解析效率比較低。程序員可以優化這些語句,或者增加ORACLE參數SESSION_CACHED_CURSORS的值。

2、資料庫管理員還可以通過下述語句:

SELECT BUFFER_GETS, EXECUTIONS, SQL_TEXT FROM V$SQLAREA;

查看低效率的SQL語句,優化這些語句也有助於提高CPU的利用率。

3、3、資料庫管理員可以通過v$system_event數據字典中的「latch free」統計項查看ORACLE資料庫的沖突情況,如果沒有沖突的話,latch free查詢出來沒有結果。如果沖突太大的話,資料庫管理員可以降低spin_count參數值,來消除高的CPU使用率。

內存參數的調整

內存參數的調整主要是指ORACLE資料庫的系統全局區(SGA)的調整。SGA主要由三部分構成:共享池、數據緩沖區、日誌緩沖區。

1、 1、 共享池由兩部分構成:共享SQL區和數據字典緩沖區,共享SQL區是存放用戶SQL命令的區域,數據字典緩沖區存放資料庫運行的動態信息。資料庫管理員通過執行下述語句:

select (sum(pins - reloads)) / sum(pins) "Lib Cache" from v$librarycache;

來查看共享SQL區的使用率。這個使用率應該在90%以上,否則需要增加共享池的大小。資料庫管理員還可以執行下述語句:

select (sum(gets - getmisses - usage - fixed)) / sum(gets) "Row Cache" from v$rowcache;

查看數據字典緩沖區的使用率,這個使用率也應該在90%以上,否則需要增加共享池的大小。

2、 2、 數據緩沖區。資料庫管理員可以通過下述語句:

SELECT name, value FROM v$sysstat WHERE name IN ('db block gets', 'consistent gets','physical reads');

來查看資料庫數據緩沖區的使用情況。查詢出來的結果可以計算出來數據緩沖區的使用命中率=1 - ( physical reads / (db block gets + consistent gets) )。

這個命中率應該在90%以上,否則需要增加數據緩沖區的大小。

3、 3、 日誌緩沖區。資料庫管理員可以通過執行下述語句:

select name,value from v$sysstat where name in ('redo entries','redo log space requests');查看日誌緩沖區的使用情況。查詢出的結果可以計算出日誌緩沖區的申請失敗率:

申請失敗率=requests/entries,申請失敗率應該接近於0,否則說明日誌緩沖區開設太小,需要增加ORACLE資料庫的日誌緩沖區。

⑥ 如何提高sqlit資料庫的查詢效率

如何提高sqlit資料庫的查詢效率
給sqlite的欄位增加索引可以大大提高查找的速度。 使用Sqlite自帶的FTS3 和 FTS4 虛擬表模型來亂逗進嘩此賣行全文扒昌分詞檢索的方法。

⑦ 怎麼提高資料庫查詢效率

提高查詢效率首先要想到的就是加索引,那什麼是索引呢?
MySQL索引的建立對於MySQL的高效運行是很重要的,索引可以大大提高MySQL的檢索速度。
打個比方,如果合理的設計且使用索引的MySQL是一輛蘭博基尼的話,那麼沒有設計和使用索引的MySQL就是一個人力三輪車。
索引分單列索引和組合索引。單列索引,即一個索引只包含單個列,一個表可以有多個單列索引,但這不是組合索引。組合索引,即一個索引包含多個列。
創建索引時,你需要確保該索引是應用在 SQL 查詢語句的條件(一般作為 WHERE 子句的條件)。
實際上,索引也是一張表,該表保存了主鍵與索引欄位,並指向實體表的記錄。
上面都在說使用索引的好處,但過多的使用索引將會造成濫用。因此索引也會有它的缺點:雖然索引大大提高了查詢速度,同時卻會降低更新表的速度,如對表進行INSERT、UPDATE和DELETE。因為更新表時,MySQL不僅要保存數據,還要保存一下索引文件。
建立索引會佔用磁碟空間的索引文件。
如何使用索引呢?
首先索引有窄索引和寬索引兩個概念,窄索引是指索引的列數為1~2,寬索引就是說索引的列數大於2。
因為窄索引的效率要高於寬索引,所以能用窄索引就不要使用寬索引。
那麼對單欄位索引和復合索引應該如何使用?
目錄
單欄位索引的情況:
復合索引的優勢:
兩者的比較:
單欄位索引的情況:
1.表的主鍵,外鍵必須有索引
2.數據量超過300的表應該有索引
3.經常與其他表進行連接的表,在連接欄位上應該建立索引
4.經常出現在where字句中的欄位,特點是大表的欄位,應該建立索引
5.索引應該建在選擇性高的欄位上
6.索引應該建在小欄位上,對於大的文本欄位甚至超長欄位,不要建立索引
7.盡量用單欄位索引代替復合索引,復合索引的建立需要仔細的斟酌
復合索引的優勢:
1.單欄位索引很少甚至沒有
2.復合索引的幾個欄位經常同時以AND的方式出現在where語句
當where語句中的條件是OR時,索引不起作用。
兩者的比較:
以一個sql語句來舉例:SELECT * FROM STUDENT WHERE SEX="男" AND SAGE=18;
若在sex 和 sage 兩個欄位分別創建了單欄位索引,mysql查詢每次只能使用一個索引,雖然對於未添加索引時使用全盤掃描,我們的效率提升了很多,但如果在sex 和 sage兩個欄位添加復合索引,效率會跟高,如: 創建(sex, age,teacher)的復合索引,那麼其實相當於創建了(area,age,teacher)、(area,age)、(area)三個索引,這被稱為最佳左前綴特性。
那對於兩者優缺點的比較:
1.對於具有2個用and連接條件的語句,且2個列之間的關聯度較低的情況下,復合索引有一定優勢。
2.對於具有2個用and連接條件的語句,且2個列之間的關聯度較高的情況下,復合索引有很大優勢。
3.對於具有2個用or連接條件的語句,單索引有一定優勢,因為這種情況下復合索引將會導致全表掃描,而前者可以用到indexmerge的優化。
以上就是如何提高查詢效率的全部內容,如果有幫助到你的話記得點個關注喲

⑧ 如何提高上百萬級記錄MySQL資料庫查詢速度

先安裝 Apache Spark,查詢資料庫的速度可以提升10倍。
在已有的 MySQL 伺服器之上使用 Apache Spark (無需將數據導出到 Spark 或者 Hadoop 平台上),這樣至少可以提升 10 倍的查詢性能。使用多個 MySQL 伺服器(復制或者 Percona XtraDB Cluster)可以讓我們在某些查詢上得到額外的性能提升。你也可以使用 Spark 的緩存功能來緩存整個 MySQL 查詢結果表。

思路很簡單:Spark 可以通過 JDBC 讀取 MySQL 上的數據,也可以執行 SQL 查詢,因此我們可以直接連接到 MySQL 並執行查詢。那麼為什麼速度會快呢?對一些需要運行很長時間的查詢(如報表或者BI),由於 Spark 是一個大規模並行系統,因此查詢會非常的快。MySQL 只能為每一個查詢分配一個 CPU 核來處理,而 Spark 可以使用所有集群節點的所有核。在下面的例子中,我們會在 Spark 中執行 MySQL 查詢,這個查詢速度比直接在 MySQL 上執行速度要快 5 到 10 倍。

另外,Spark 可以增加「集群」級別的並行機制,在使用 MySQL 復制或者 Percona XtraDB Cluster 的情況下,Spark 可以把查詢變成一組更小的查詢(有點像使用了分區表時可以在每個分區都執行一個查詢),然後在多個 Percona XtraDB Cluster 節點的多個從伺服器上並行的執行這些小查詢。最後它會使用map/rece 方式將每個節點返回的結果聚合在一起形成完整的結果。

⑨ 啥演算法優化了查詢語句+可靠的提高了搜索速度

一種優化查詢語句並可靠提高搜索速度的演算法是索引演算法。索引是一種數據結構,可以加速資料庫中數據的查找和檢索操作。通過索引,可以快速地定位符合特定查詢條件的數據記錄,從而提高查詢的效岩判橘率和速度。
具體來說,索引演算法可以將資料庫中的數據按照一定的規則進行組織和排序,並生成索引表。當進行數據查詢時,系統會首先查詢索引表,定位到符合查詢條件的數據記錄所在的位置,然後再直接訪問對應的數據記錄,從而避免全表粗團掃描和大量的數據比對操作,提沖明高了搜索速度和效率。
索引演算法可以應用於各種不同的數據結構和數據類型,例如B樹索引、哈希索引、全文索引等。不同的索引演算法具有不同的適用場景和優缺點,需要根據實際應用需求進行選擇和使用。
需要注意的是,索引演算法雖然可以提高資料庫查詢的效率和速度,但是也會佔用一定的存儲空間和計算資源,並且在頻繁的數據更新和插入操作中,可能會導致索引表的維護和更新變得復雜和耗時,從而影響系統的性能。因此,在使用索引演算法時,需要綜合考慮存儲空間、查詢效率、數據更新等因素,權衡利弊,進行適當的優化和調整。

⑩ 我的程序,查詢資料庫很慢。請問怎麼提高查詢速度

SQL提高查詢效率

1.對查詢進行優化,應盡量避免全表掃描,首先應考慮在 where 及 order by 涉及的列上建立索引。

2.應盡量避免在 where 子句中對欄位進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num is null
可以在num上設置默認值0,確保表中num列沒有null值,然後這樣查詢:
select id from t where num=0

3.應盡量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。

4.應盡量避免在 where 子句中使用 or 來連接條件,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num=10 or num=20
可以這樣查詢:
select id from t where num=10
union all
select id from t where num=20

5.in 和 not in 也要慎用,否則會導致全表掃描,如:
select id from t where num in(1,2,3)
對於連續的數值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3

6.下面的查詢也將導致全表掃描:
select id from t where name like '%abc%'
若要提高效率,可以考慮全文檢索。

7.如果在 where 子句中使用參數,也會導致全表掃描。因為SQL只有在運行時才會解析局部變數,但優化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進行選擇。然而,如果在編譯時建立訪問計劃,變數的值還是未知的,因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描:
select id from t where num=@num
可以改為強制查詢使用索引:
select id from t with(index(索引名)) where num=@num

8.應盡量避免在 where 子句中對欄位進行表達式操作,這將導致引擎放棄使用索引而進行全表掃描。如:
select id from t where num/2=100
應改為:
select id from t where num=100*2

9.應盡量避免在where子句中對欄位進行函數操作,這將導致引擎放棄使用索引而進行全表掃描。如:
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
select id from t where datediff(day,createdate,'2005-11-30')=0--『2005-11-30』生成的id
應改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'

10.不要在 where 子句中的「=」左邊進行函數、算術運算或其他表達式運算,否則系統將可能無法正確使用索引。

11.在使用索引欄位作為條件時,如果該索引是復合索引,那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引,否則該索引將不會被使用,並且應盡可能的讓欄位順序與索引順序相一致。

12.不要寫一些沒有意義的查詢,如需要生成一個空表結構:
select col1,col2 into #t from t where 1=0
這類代碼不會返回任何結果集,但是會消耗系統資源的,應改成這樣:
create table #t(...)

13.很多時候用 exists 代替 in 是一個好的選擇:
select num from a where num in(select num from b)
用下面的語句替換:
select num from a where exists(select 1 from b where num=a.num)

14.並不是所有索引對查詢都有效,SQL是根據表中數據來進行查詢優化的,當索引列有大量數據重復時,SQL查詢可能不會去利用索引,如一表中有欄位sex,male、female幾乎各一半,那麼即使在sex上建了索引也對查詢效率起不了作用。

15.索引並不是越多越好,索引固然可以提高相應的 select 的效率,但同時也降低了 insert 及 update 的效率,因為 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個表的索引數最好不要超過6個,若太多則應考慮一些不常使用到的列上建的索引是否有必要。

16.應盡可能的避免更新 clustered 索引數據列,因為 clustered 索引數據列的順序就是表記錄的物理存儲順序,一旦該列值改變將導致整個表記錄的順序的調整,會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列,那麼需要考慮是否應將該索引建為 clustered 索引。

17.盡量使用數字型欄位,若只含數值信息的欄位盡量不要設計為字元型,這會降低查詢和連接的性能,並會增加存儲開銷。這是因為引擎在處理查詢和連接時會逐個比較字元串中每一個字元,而對於數字型而言只需要比較一次就夠了。

18.盡可能的使用 varchar/nvarchar 代替 char/nchar ,因為首先變長欄位存儲空間小,可以節省存儲空間,其次對於查詢來說,在一個相對較小的欄位內搜索效率顯然要高些。

19.任何地方都不要使用 select * from t ,用具體的欄位列表代替「*」,不要返回用不到的任何欄位。

20.盡量使用表變數來代替臨時表。如果表變數包含大量數據,請注意索引非常有限(只有主鍵索引)。

21.避免頻繁創建和刪除臨時表,以減少系統表資源的消耗。

22.臨時表並不是不可使用,適當地使用它們可以使某些常式更有效,例如,當需要重復引用大型表或常用表中的某個數據集時。但是,對於一次性事件,最好使用導出表。

23.在新建臨時表時,如果一次性插入數據量很大,那麼可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數據量不大,為了緩和系統表的資源,應先create table,然後insert。

24.如果使用到了臨時表,在存儲過程的最後務必將所有的臨時表顯式刪除,先 truncate table ,然後 drop table ,這樣可以避免系統表的較長時間鎖定。

25.盡量避免使用游標,因為游標的效率較差,如果游標操作的數據超過1萬行,那麼就應該考慮改寫。

26.使用基於游標的方法或臨時表方法之前,應先尋找基於集的解決方案來解決問題,基於集的方法通常更有效。

27.與臨時表一樣,游標並不是不可使用。對小型數據集使用 FAST_FORWARD 游標通常要優於其他逐行處理方法,尤其是在必須引用幾個表才能獲得所需的數據時。在結果集中包括「合計」的常式通常要比使用游標執行的速度快。如果開發時間允許,基於游標的方法和基於集的方法都可以嘗試一下,看哪一種方法的效果更好。

28.在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF 。無需在執行存儲過程和觸發器的每個語句後向客戶端發送 DONE_IN_PROC 消息。

29.盡量避免大事務操作,提高系統並發能力。

30.盡量避免向客戶端返回大數據量,若數據量過大,應該考慮相應需求是否合理

1、避免將欄位設為「允許為空」
2、數據表設計要規范
3、深入分析數據操作所要對資料庫進行的操作
4、盡量不要使用臨時表
5、多多使用事務
6、盡量不要使用游標
7、避免死鎖
8、要注意讀寫鎖的使用
9、不要打開大的數據集
10、不要使用伺服器端游標
11、在程序編碼時使用大數據量的資料庫
12、不要給「性別」列創建索引
13、注意超時問題
14、不要使用Select *
15、在細節表中插入紀錄時,不要在主表執行Select MAX(ID)
16、盡量不要使用TEXT數據類型
17、使用參數查詢
18、不要使用Insert導入大批的數據
19、學會分析查詢
20、使用參照完整性
21、用INNER JOIN 和LEFT JOIN代替Where

提高SQL查詢效率(要點與技巧):
· 技巧一:
問題類型:ACCESS資料庫欄位中含有日文片假名或其它不明字元時查詢會提示內存溢出。
解決方法:修改查詢語句
sql="select * from tablename where column like '%"&word&"%'"
改為
sql="select * from tablename"
rs.filter = " column like '%"&word&"%'"
===========================================================
技巧二:
問題類型:如何用簡易的辦法實現類似網路的多關鍵詞查詢(多關鍵詞用空格或其它符號間隔)。
解決方法:
'//用空格分割查詢字元串
ck=split(word," ")
'//得到分割後的數量
sck=UBound(ck)
sql="select * tablename where"
在一個欄位中查詢
For i = 0 To sck
SQL = SQL & tempJoinWord & "(" & _
"column like '"&ck(i)&"%')"
tempJoinWord = " and "
Next
在二個欄位中同時查詢
For i = 0 To sck
SQL = SQL & tempJoinWord & "(" & _
"column like '"&ck(i)&"%' or " & _
"column1 like '"&ck(i)&"%')"
tempJoinWord = " and "
Next
===========================================================
技巧三:大大提高查詢效率的幾種技巧

1. 盡量不要使用 or,使用or會引起全表掃描,將大大降低查詢效率。
2. 經過實踐驗證,charindex()並不比前面加%的like更能提高查詢效率,並且charindex()會使索引失去作用(指sqlserver資料庫)
3. column like '%"&word&"%' 會使索引不起作用
column like '"&word&"%' 會使索引起作用(去掉前面的%符號)
(指sqlserver資料庫)
4. '%"&word&"%' 與'"&word&"%' 在查詢時的區別:
比如你的欄位內容為 一個容易受傷的女人
'%"&word&"%' :會通配所有字元串,不論查「受傷」還是查「一個」,都會顯示結果。
'"&word&"%' :只通配前面的字元串,例如查「受傷」是沒有結果的,只有查「一個」,才會顯示結果。
5. 欄位提取要按照「需多少、提多少」的原則,避免「select *」,盡量使用「select 欄位1,欄位2,欄位3........」。實踐證明:每少提取一個欄位,數據的提取速度就會有相應的提升。提升的速度還要看您舍棄的欄位的大小來判斷。
6. order by按聚集索引列排序效率最高。一個sqlserver數據表只能建立一個聚集索引,一般默認為ID,也可以改為其它的欄位。
7. 為你的表建立適當的索引,建立索引可以使你的查詢速度提高幾十幾百倍。(指sqlserver資料庫)
· 以下是建立索引與不建立索引的一個查詢效率分析:
Sqlserver索引與查詢效率分析。
表 News
欄位
Id:自動編號
Title:文章標題
Author:作者
Content:內容
Star:優先順序
Addtime:時間
記錄:100萬條
測試機器:P4 2.8/1G內存/IDE硬碟
=======================================================
方案1:
主鍵Id,默認為聚集索引,不建立其它非聚集索引
select * from News where Title like '%"&word&"%' or Author like '%"&word&"%' order by Id desc
從欄位Title和Author中模糊檢索,按Id排序
查詢時間:50秒
=======================================================
方案2:
主鍵Id,默認為聚集索引
在Title、Author、Star上建立非聚集索引
select * from News where Title like '"&word&"%' or Author like '"&word&"%' order by Id desc
從欄位Title和Author中模糊檢索,按Id排序
查詢時間:2 - 2.5秒
=======================================================
方案3:
主鍵Id,默認為聚集索引
在Title、Author、Star上建立非聚集索引
select * from News where Title like '"&word&"%' or Author like '"&word&"%' order by Star desc
從欄位Title和Author中模糊檢索,按Star排序
查詢時間:2 秒
=======================================================
方案4:
主鍵Id,默認為聚集索引
在Title、Author、Star上建立非聚集索引
select * from News where Title like '"&word&"%' or Author like '"&word&"%'
從欄位Title和Author中模糊檢索,不排序
查詢時間:1.8 - 2 秒
=======================================================
方案5:
主鍵Id,默認為聚集索引
在Title、Author、Star上建立非聚集索引
select * from News where Title like '"&word&"%'

select * from News where Author like '"&word&"%'
從欄位Title 或 Author中檢索,不排序
查詢時間:1秒
· 如何提高SQL語言的查詢效率?
問:請問我如何才能提高SQL語言的查詢效率呢?
答:這得從頭說起:
由於SQL是面向結果而不是面向過程的查詢語言,所以一般支持SQL語言的大型關系型資料庫都使用一個基於查詢成本的優化器,為即時查詢提供一個最佳的執行策略。對於優化器,輸入是一條查詢語句,輸出是一個執行策略。
一條SQL查詢語句可以有多種執行策略,優化器將估計出全部執行方法中所需時間最少的所謂成本最低的那一種方法。所有優化都是基於用記所使用的查詢語句中的where子句,優化器對where子句中的優化主要用搜索參數(Serach Argument)。
搜索參數的核心思想就是資料庫使用表中欄位的索引來查詢數據,而不必直接查詢記錄中的數據。
帶有 =、<、<=、>、>= 等操作符的條件語句可以直接使用索引,如下列是搜索參數:
emp_id = "10001" 或 salary > 3000 或 a =1 and c = 7
而下列則不是搜索參數:
salary = emp_salary 或 dep_id != 10 或 salary * 12 >= 3000 或 a=1 or c=7
應當盡可能提供一些冗餘的搜索參數,使優化器有更多的選擇餘地。請看以下3種方法:
第一種方法:
select employee.emp_name,department.dep_name from department,employee where (employee.dep_id = department.dep_id) and (department.dep_code="01") and (employee.dep_code="01");
它的搜索分析結果如下:
Estimate 2 I/O operations
Scan department using primary key
for rows where dep_code equals "01"
Estimate getting here 1 times
Scan employee sequentially
Estimate getting here 5 times
第二種方法:
select employee.emp_name,department.dep_name from department,employee where (employee.dep_id = department.dep_id) and (department.dep_code="01");
它的搜索分析結果如下:
Estimate 2 I/O operations
Scan department using primary key
for rows where dep_code equals "01"
Estimate getting here 1 times
Scan employee sequentially
Estimate getting here 5 times
第一種方法與第二種運行效率相同,但第一種方法最好,因為它為優化器提供了更多的選擇機會。
第三種方法:
select employee.emp_name,department.dep_name from department,employee where (employee.dep_id = department.dep_id) and (employee.dep_code="01");
這種方法最不好,因為它無法使用索引,也就是無法優化……
使用SQL語句時應注意以下幾點:
1、避免使用不兼容的數據類型。例如,Float和Integer,Char和Varchar,Binary和Long Binary不兼容的。數據類型的不兼容可能使優化器無法執行一些本可以進行的優化操作。例如:
select emp_name form employee where salary > 3000;
在此語句中若salary是Float類型的,則優化器很難對其進行優化,因為3000是個整數,我們應在編程時使用3000.0而不要等運行時讓DBMS進行轉化。
2、盡量不要使用表達式,因它在編繹時是無法得到的,所以SQL只能使用其平均密度來估計將要命中的記錄數。
3、避免對搜索參數使用其他的數學操作符。如:
select emp_name from employee where salary * 12 > 3000;
應改為:
select emp_name from employee where salary > 250;
4、避免使用 != 或 <> 等這樣的操作符,因為它會使系統無法使用索引,而只能直接搜索表中的數據。
· ORACAL中的應用
一個1600萬數據表--簡訊上行表TBL_SMS_MO
結構:
CREATE TABLE TBL_SMS_MO
(
SMS_ID NUMBER,
MO_ID VARCHAR2(50),
MOBILE VARCHAR2(11),
SPNUMBER VARCHAR2(20),
MESSAGE VARCHAR2(150),
TRADE_CODE VARCHAR2(20),
LINK_ID VARCHAR2(50),
GATEWAY_ID NUMBER,
GATEWAY_PORT NUMBER,
MO_TIME DATE DEFAULT SYSDATE
);
CREATE INDEX IDX_MO_DATE ON TBL_SMS_MO (MO_TIME)
PCTFREE 10
INITRANS 2
MAXTRANS 255
STORAGE
(
INITIAL 1M
NEXT 1M
MINEXTENTS 1
MAXEXTENTS UNLIMITED
PCTINCREASE 0
);
CREATE INDEX IDX_MO_MOBILE ON TBL_SMS_MO (MOBILE)
PCTFREE 10
INITRANS 2
MAXTRANS 255
STORAGE
(
INITIAL 64K
NEXT 1M
MINEXTENTS 1
MAXEXTENTS UNLIMITED
PCTINCREASE 0
);
問題:從表中查詢某時間段內某手機發送的短消息,如下SQL語句:
SELECT MOBILE,MESSAGE,TRADE_CODE,MO_TIME
FROM TBL_SMS_MO
WHERE MOBILE='130XXXXXXXX'
AND MO_TIME BETWEEN TO_DATE('2006-04-01','YYYY-MM-DD HH24:MI:SS') AND TO_DATE('2006-04-07','YYYY-MM-DD HH24:MI:SS')
ORDER BY MO_TIME DESC
返回結果大約需要10分鍾,應用於網頁查詢,簡直難以忍受。
分析:
在PL/SQL Developer,點擊「Explain Plan」按鈕(或F5鍵),對SQL進行分析,發現預設使用的索引是IDX_MO_DATE。問題可能出在這里,因為相對於總數量1600萬數據來說,都mobile的數據是很少的,如果使用IDX_MO_MOBILE比較容易鎖定數據。
如下優化:
SELECT /*+ index(TBL_SMS_MO IDX_MO_MOBILE) */ MOBILE,MESSAGE,TRADE_CODE,MO_TIME
FROM TBL_SMS_MO
WHERE MOBILE='130XXXXXXXX'
AND MO_TIME BETWEEN TO_DATE('2006-04-01','YYYY-MM-DD HH24:MI:SS') AND TO_DATE('2006-04-07','YYYY-MM-DD HH24:MI:SS')
ORDER BY MO_TIME DESC
測試:
按F8運行這個SQL,哇~... ... 2.360s,這就是差別。
http://www.cnblogs.com/ShaYeBlog/archive/2013/07/31/3227244.html