Ⅰ 如何解決sql Server查詢速度緩慢的問題
優化SQL Server查詢速度的方法:
1、把數據、日誌、索引放到不同的I/O設備上,增加讀取速度,以前可以將Tempdb應放在RAID0上,SQL2000不在支持。數據量(尺寸)越大,提高I/O越重要.
2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
3、升級硬體
4、根據查詢條件,建立索引,優化索引、優化訪問方式,限制結果集的數據量。注意填充因子要適當(最好是使用默認值0)。索引應該盡量小,使用位元組數小的列建索引好(參照索引的創建),不要對有限的幾個值的欄位建單一索引如性別欄位
5、提高網速;
6、擴大伺服器的內存,Windows 2000和SQL server 2000能支持4-8G的內存。
配置虛擬內存:虛擬內存大小應基於計算機上並發運行的服務進行配置。運行 Microsoft SQL Server? 2000 時,可考慮將虛擬內存大小設置為計算機中安裝的物理內存的 1.5 倍。如果另外安裝了全文檢索功能,並打算運行 Microsoft 搜索服務以便執行全文索引和查詢,可考慮:將虛擬內存大小配置為至少是計算機中安裝的物理內存的 3 倍。將 SQL Server max server memory 伺服器配置選項配置為物理內存的 1.5 倍(虛擬內存大小設置的一半)。
7、增加伺服器CPU個數;但是必須明白並行處理串列處理更需要資源例如內存。使用並行還是串列程是MsSQL自動評估選擇的。單個任務分解成多個任務,就可以在處理器上運行。例如耽擱查詢的排序、連接、掃描和GROUP BY字句同時執行,SQL SERVER根據系統的負載情況決定最優的並行等級,復雜的需要消耗大量的CPU的查詢最適合並行處理。但是更新操作UPDATE,INSERT, DELETE還不能並行處理。
8、如果是使用like進行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查詢時,查詢耗時和欄位值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對於欄位的值很長的建全文索引。
9、DB Server 和APPLication Server 分離;OLTP和OLAP分離
10、分布式分區視圖可用於實現資料庫伺服器聯合體。
聯合體是一組分開管理的伺服器,但它們相互協作分擔系統的處理負荷。這種通過分區數據形成資料庫伺服器聯合體的機制能夠擴大一組伺服器,以支持大型的多層 Web 站點的處理需要。有關更多信息,參見設計聯合資料庫伺服器。(參照SQL幫助文件''分區視圖'')
a、在實現分區視圖之前,必須先水平分區表
b、在創建成員表後,在每個成員伺服器上定義一個分布式分區視圖,並且每個視圖具有相同的名稱。這樣,引用分布式分區視圖名的查詢可以在任何一個成員伺服器上運行。系統操作如同每個成員伺服器上都有一個原始表的復本一樣,但其實每個伺服器上只有一個成員表和一個分布式分區視圖。數據的位置對應用程序是透明的。
11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數據和日誌 DBCC SHRINKDB,DBCC SHRINKFILE.設置自動收縮日誌.對於大的資料庫不要設置資料庫自動增長,它會降低伺服器的性能。
在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的:
1、查詢語句的詞法、語法檢查
2、將語句提交給DBMS的查詢優化器
3、優化器做代數優化和存取路徑的優化
4、由預編譯模塊生成查詢規劃
5、然後在合適的時間提交給系統處理執行
6、最後將執行結果返回給用戶。
其次,看一下SQL SERVER的數據存放的結構:一個頁面的大小為8K(8060)位元組,8個頁面為一個盤區,按照B樹存放。
12、 Commit和rollback的區別 Rollback:回滾所有的事物。 Commit:提交當前的事物.沒有必要在動態SQL里寫事物,如果要寫請寫在外面如: begin tran exec(@s) commit trans 或者將動態SQL 寫成函數或者存儲過程。
13、在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的數據,浪費了伺服器的I/O資源,加重了網路的負擔降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯接訪問表,後果嚴重。
14、SQL的注釋申明對執行沒有任何影響
15、盡可能不使用游標,它佔用大量的資源。如果需要row-by-row地執行,盡量採用非游標技術,如:在客戶端循環,用臨時表,Table變數,用子查詢,用Case語句等等。游標可以按照它所支持的提取選項進行分類:只進必須按照從第一行到最後一行的順序提取行。FETCH NEXT 是唯一允許的提取操作,也是默認方式。可滾動性可以在游標中任何地方隨機提取任意行。游標的技術在SQL2000下變得功能很強大,他的目的是支持循環。有四個並發選項 READ_ONLY:不允許通過游標定位更新(Update),且在組成結果集的行中沒有鎖。 OPTIMISTIC WITH valueS:樂觀並發控制是事務控制理論的一個標准部分。樂觀並發控制用於這樣的情形,即在打開游標及更新行的間隔中,只有很小的機會讓第二個用戶更新某一行。當某個游標以此選項打開時,沒有鎖控制其中的行,這將有助於最大化其處理能力。如果用戶試圖修改某一行,則此行的當前值會與最後一次提取此行時獲取的值進行比較。如果任何值發生改變,則伺服器就會知道其他人已更新了此行,並會返回一個錯誤。如果值是一樣的,伺服器就執行修改。選擇這個並發選項?OPTIMISTIC WITH ROW VERSIONING:此樂觀並發控制選項基於行版本控制。使用行版本控制,其中的表必須具有某種版本標識符,伺服器可用它來確定該行在讀入游標後是否有所更改。在 SQL Server 中,這個性能由 timestamp 數據類型提供,它是一個二進制數字,表示資料庫中更改的相對順序。每個資料庫都有一個全局當前時間戳值:@@DBTS。每次以任何方式更改帶有 timestamp 列的行時,SQL Server 先在時間戳列中存儲當前的 @@DBTS 值,然後增加 @@DBTS 的值。如果某個表具有 timestamp 列,則時間戳會被記到行級。伺服器就可以比較某行的當前時間戳值和上次提取時所存儲的時間戳值,從而確定該行是否已更新。伺服器不必比較所有列的值,只需比較 timestamp 列即可。如果應用程序對沒有 timestamp 列的表要求基於行版本控制的樂觀並發,則游標默認為基於數值的樂觀並發控制。 SCROLL LOCKS 這個選項實現悲觀並發控制。在悲觀並發控制中,在把資料庫的行讀入游標結果集時,應用程序將試圖鎖定資料庫行。在使用伺服器游標時,將行讀入游標時會在其上放置一個更新鎖。如果在事務內打開游標,則該事務更新鎖將一直保持到事務被提交或回滾;當提取下一行時,將除去游標鎖。如果在事務外打開游標,則提取下一行時,鎖就被丟棄。因此,每當用戶需要完全的悲觀並發控制時,游標都應在事務內打開。更新鎖將阻止任何其它任務獲取更新鎖或排它鎖,從而阻止其它任務更新該行。然而,更新鎖並不阻止共享鎖,所以它不會阻止其它任務讀取行,除非第二個任務也在要求帶更新鎖的讀取。滾動鎖根據在游標定義的 SELECT 語句中指定的鎖提示,這些游標並發選項可以生成滾動鎖。滾動鎖在提取時在每行上獲取,並保持到下次提取或者游標關閉,以先發生者為准。下次提取時,伺服器為新提取中的行獲取滾動鎖,並釋放上次提取中行的滾動鎖。滾動鎖獨立於事務鎖,並可以保持到一個提交或回滾操作之後。如果提交時關閉游標的選項為關,則 COMMIT 語句並不關閉任何打開的游標,而且滾動鎖被保留到提交之後,以維護對所提取數據的隔離。所獲取滾動鎖的類型取決於游標並發選項和游標 SELECT 語句中的鎖提示。
16、用Profiler來跟蹤查詢,得到查詢所需的時間,找出SQL的問題所在;用索引優化器優化索引
17、注意UNion和UNion all 的區別。UNION all好
18、注意使用DISTINCT,在沒有必要時不要用,它同UNION一樣會使查詢變慢。重復的記錄在查詢里是沒有問題的
19、查詢時不要返回不需要的行、列
20、用sp_configure ''query governor cost limit''或者SET QUERY_GOVERNOR_COST_LIMIT來限制查詢消耗的資源。當評估查詢消耗的資源超出限制時,伺服器自動取消查詢,在查詢之前就扼殺掉。 SET LOCKTIME設置鎖的時間
21、用select top 100 / 10 Percent 來限制用戶返回的行數或者SET ROWCOUNT來限制操作的行
22、在SQL2000以前,一般不要用如下的字句
", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE ''%500''",因為他們不走索引全是表掃描。也不要在WHere字句中的列名加函數,如Convert,substring等,如果必須用函數的時候,創建計算列再創建索引來替代.還可以變通寫法:WHERE SUBSTRING(firstname,1,1)= ''m''改為WHERE firstname like ''m%''(索引掃描),一定要將函數和列名分開。並且索引不能建得太多和太大。NOT IN會多次掃描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 來替代,特別是左連接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現在2000的優化器能夠處理了。相同的是IS NULL,「NOT", "NOT EXISTS", "NOT IN"能優化她,而」<>」等還是不能優化,用不到索引。
23、使用Query Analyzer,查看SQL語句的查詢計劃和評估分析是否是優化的SQL。一般的20%的代碼占據了80%的資源,我們優化的重點是這些慢的地方。
24、如果使用了IN或者OR等時發現查詢沒有走索引,使用顯示申明指定索引: SELECT * FROM PersonMember (INDEX = IX_Title) WHERE processid IN (『男』,『女』)
25、將需要查詢的結果預先計算好放在表中,查詢的時候再SELECT。這在SQL7.0以前是最重要的手段。例如醫院的住院費計算。
26、MIN()和 MAX()能使用到合適的索引。
27、資料庫有一個原則是代碼離數據越近越好,所以優先選擇Default,依次為Rules,Triggers, Constraint(約束如外健主健CheckUNIQUE……,數據類型的最大長度等等都是約束),Procere.這樣不僅維護工作小,編寫程序質量高,並且執行的速度快。
28、如果要插入大的二進制值到Image列,使用存儲過程,千萬不要用內嵌INsert來插入(不知JAVA 是否)。因為這樣應用程序首先將二進制值轉換成字元串(尺寸是它的兩倍),伺服器受到字元後又將他轉換成二進制值.存儲過程就沒有這些動作:方法:Create procere p_insert as insert into table(Fimage) values (@image),在前台調用這個存儲過程傳入二進制參數,這樣處理速度明顯改善。
Ⅱ MySQL中如何查看「慢查詢」,如何分析執行SQL的效率
一、MySQL資料庫有幾個配置選項可以幫助我們及時捕獲低效SQL語句x0dx0ax0dx0a1,slow_query_logx0dx0a這個參數設置為ON,可以捕獲執行時間超過一定數值的SQL語句。x0dx0ax0dx0a2,long_query_timex0dx0a當SQL語句執行時間超過此數值時,就會被記錄到日誌中,建議設置為1或者更短。x0dx0ax0dx0a3,slow_query_log_filex0dx0a記錄日誌的文件名。x0dx0ax0dx0a4,log_queries_not_using_indexesx0dx0a這個參數設置為ON,可以捕獲到所有未使用索引的SQL語句,盡管這個SQL語句有可能執行得挺快。x0dx0ax0dx0a二、檢測mysql中sql語句的效率的方法x0dx0ax0dx0a1、通過查詢日誌x0dx0a(1)、Windows下開啟MySQL慢查詢x0dx0aMySQL在Windows系統中的配置文件一般是是my.ini找到[mysqld]下面加上x0dx0a代碼如下x0dx0alog-slow-queries = F:/MySQL/log/mysqlslowquery。logx0dx0along_query_time = 2x0dx0ax0dx0a(2)、Linux下啟用MySQL慢查詢x0dx0aMySQL在Windows系統中的配置文件一般是是my.cnf找到[mysqld]下面加上x0dx0a代碼如下x0dx0alog-slow-queries=/data/mysqldata/slowquery。logx0dx0along_query_time=2x0dx0a說明x0dx0alog-slow-queries = F:/MySQL/log/mysqlslowquery。x0dx0a為慢查詢日誌存放的位置,一般這個目錄要有MySQL的運行帳號的可寫許可權,一般都將這個目錄設置為MySQL的數據存放目錄;x0dx0along_query_time=2中的2表示查詢超過兩秒才記錄;x0dx0ax0dx0a2.show processlist 命令x0dx0ax0dx0aSHOW PROCESSLIST顯示哪些線程正在運行。您也可以使用mysqladmin processlist語句得到此信息。x0dx0a各列的含義和用途:x0dx0aID列x0dx0a一個標識,你要kill一個語句的時候很有用,用命令殺掉此查詢 /*/mysqladmin kill 進程號。x0dx0auser列x0dx0a顯示單前用戶,如果不是root,這個命令就只顯示你許可權范圍內的sql語句。x0dx0ahost列x0dx0a顯示這個語句是從哪個ip的哪個埠上發出的。用於追蹤出問題語句的用戶。x0dx0adb列x0dx0a顯示這個進程目前連接的是哪個資料庫。x0dx0acommand列x0dx0a顯示當前連接的執行的命令,一般就是休眠(sleep),查詢(query),連接(connect)。x0dx0atime列x0dx0a此這個狀態持續的時間,單位是秒。x0dx0astate列x0dx0a顯示使用當前連接的sql語句的狀態,很重要的列,後續會有所有的狀態的描述,請注意,state只是語句執行中的某一個狀態,一個 sql語句,以查詢為例,可能需要經過ing to tmp table,Sorting result,Sending data等狀態才可以完成x0dx0ainfo列x0dx0a顯示這個sql語句,因為長度有限,所以長的sql語句就顯示不全,但是一個判斷問題語句的重要依據。x0dx0ax0dx0a這個命令中最關鍵的就是state列,mysql列出的狀態主要有以下幾種:x0dx0aChecking tablex0dx0a正在檢查數據表(這是自動的)。x0dx0aClosing tablesx0dx0a正在將表中修改的數據刷新到磁碟中,同時正在關閉已經用完的表。這是一個很快的操作,如果不是這樣的話,就應該確認磁碟空間是否已經滿了或者磁碟是否正處於重負中。x0dx0aConnect Outx0dx0a復制從伺服器正在連接主伺服器。x0dx0ax0dx0aCopying to tmp table on diskx0dx0a由於臨時結果集大於tmp_table_size,正在將臨時表從內存存儲轉為磁碟存儲以此節省內存。x0dx0aCreating tmp tablex0dx0a正在創建臨時表以存放部分查詢結果。x0dx0adeleting from main tablex0dx0a伺服器正在執行多表刪除中的第一部分,剛刪除第一個表。x0dx0adeleting from reference tablesx0dx0a伺服器正在執行多表刪除中的第二部分,正在刪除其他表的記錄。x0dx0ax0dx0aFlushing tablesx0dx0a正在執行FLUSH TABLES,等待其他線程關閉數據表。x0dx0aKilledx0dx0a發送了一個kill請求給某線程,那麼這個線程將會檢查kill標志位,同時會放棄下一個kill請求。MySQL會在每次的主循環中檢查kill標志位,不過有些情況下該線程可能會過一小段才能死掉。如果該線程程被其他線程鎖住了,那麼kill請求會在鎖釋放時馬上生效。x0dx0aLockedx0dx0a被其他查詢鎖住了。x0dx0aSending datax0dx0a正在處理SELECT查詢的記錄,同時正在把結果發送給客戶端。x0dx0ax0dx0aSorting for groupx0dx0a正在為GROUP BY做排序。x0dx0aSorting for orderx0dx0a正在為ORDER BY做排序。x0dx0aOpening tablesx0dx0a這個過程應該會很快,除非受到其他因素的干擾。例如,在執ALTER TABLE或LOCK TABLE語句行完以前,數據表無法被其他線程打開。正嘗試打開一個表。x0dx0aRemoving plicatesx0dx0a正在執行一個SELECT DISTINCT方式的查詢,但是MySQL無法在前一個階段優化掉那些重復的記錄。因此,MySQL需要再次去掉重復的記錄,然後再把結果發送給客戶端。x0dx0ax0dx0aReopen tablex0dx0a獲得了對一個表的鎖,但是必須在表結構修改之後才能獲得這個鎖。已經釋放鎖,關閉數據表,正嘗試重新打開數據表。x0dx0aRepair by sortingx0dx0a修復指令正在排序以創建索引。x0dx0aRepair with keycachex0dx0a修復指令正在利用索引緩存一個一個地創建新索引。它會比Repair by sorting慢些。x0dx0aSearching rows for updatex0dx0a正在講符合條件的記錄找出來以備更新。它必須在UPDATE要修改相關的記錄之前就完成了。x0dx0aSleepingx0dx0a正在等待客戶端發送新請求.x0dx0ax0dx0aSystem lockx0dx0a正在等待取得一個外部的系統鎖。如果當前沒有運行多個mysqld伺服器同時請求同一個表,那麼可以通過增加--skip-external-locking參數來禁止外部系統鎖。x0dx0aUpgrading lockx0dx0aINSERT DELAYED正在嘗試取得一個鎖表以插入新記錄。x0dx0aUpdatingx0dx0a正在搜索匹配的記錄,並且修改它們。x0dx0ax0dx0aUser Lockx0dx0a正在等待GET_LOCK()。x0dx0aWaiting for tablesx0dx0a該線程得到通知,數據表結構已經被修改了,需要重新打開數據表以取得新的結構。然後,為了能的重新打開數據表,必須等到所有其他線程關閉這個表。以下幾種情況下會產生這個通知:FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。x0dx0awaiting for handler insertx0dx0aINSERT DELAYED已經處理完了所有待處理的插入操作,正在等待新的請求。x0dx0a大部分狀態對應很快的操作,只要有一個線程保持同一個狀態好幾秒鍾,那麼可能是有問題發生了,需要檢查一下。x0dx0a還有其他的狀態沒在上面中列出來,不過它們大部分只是在查看伺服器是否有存在錯誤是才用得著。x0dx0ax0dx0a例如如圖:x0dx0ax0dx0a3、explain來了解SQL執行的狀態x0dx0aexplain顯示了mysql如何使用索引來處理select語句以及連接表。可以幫助選擇更好的索引和寫出更優化的查詢語句。x0dx0a使用方法,在select語句前加上explain就可以了:x0dx0a例如:x0dx0aexplain select surname,first_name form a,b where a.id=b.idx0dx0a結果如圖x0dx0ax0dx0aEXPLAIN列的解釋x0dx0atablex0dx0a顯示這一行的數據是關於哪張表的x0dx0atypex0dx0a這是重要的列,顯示連接使用了何種類型。從最好到最差的連接類型為const、eq_reg、ref、range、indexhe和ALLx0dx0apossible_keysx0dx0a顯示可能應用在這張表中的索引。如果為空,沒有可能的索引。可以為相關的域從WHERE語句中選擇一個合適的語句x0dx0akeyx0dx0a實際使用的索引。如果為NULL,則沒有使用索引。很少的情況下,MYSQL會選擇優化不足的索引。這種情況下,可以在SELECT語句 中使用USE INDEX(indexname)來強制使用一個索引或者用IGNORE INDEX(indexname)來強制MYSQL忽略索引x0dx0akey_lenx0dx0a使用的索引的長度。在不損失精確性的情況下,長度越短越好x0dx0arefx0dx0a顯示索引的哪一列被使用了,如果可能的話,是一個常數x0dx0arowsx0dx0aMYSQL認為必須檢查的用來返回請求數據的行數x0dx0aExtrax0dx0a關於MYSQL如何解析查詢的額外信息。將在表4.3中討論,但這里可以看到的壞的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,結果是檢索會很慢x0dx0ax0dx0aextra列返回的描述的意義x0dx0aDistinctx0dx0a一旦MYSQL找到了與行相聯合匹配的行,就不再搜索了x0dx0aNot existsx0dx0aMYSQL優化了LEFT JOIN,一旦它找到了匹配LEFT JOIN標準的行,就不再搜索了x0dx0aRange checked for each Record(index map:#)x0dx0a沒有找到理想的索引,因此對於從前面表中來的每一個行組合,MYSQL檢查使用哪個索引,並用它來從表中返回行。這是使用索引的最慢的連接之一x0dx0aUsing filesortx0dx0a看到這個的時候,查詢就需要優化了。MYSQL需要進行額外的步驟來發現如何對返回的行排序。它根據連接類型以及存儲排序鍵值和匹配條件的全部行的行指針來排序全部行x0dx0aUsing indexx0dx0a列數據是從僅僅使用了索引中的信息而沒有讀取實際的行動的表返回的,這發生在對表的全部的請求列都是同一個索引的部分的時候x0dx0aUsing temporaryx0dx0a看到這個的時候,查詢需要優化了。這里,MYSQL需要創建一個臨時表來存儲結果,這通常發生在對不同的列集進行ORDER BY上,而不是GROUP BY上x0dx0aWhere usedx0dx0a使用了WHERE從句來限制哪些行將與下一張表匹配或者是返回給用戶。如果不想返回表中的全部行,並且連接類型ALL或index,這就會發生,或者是查詢有問題不同連接類型的解釋(按照效率高低的順序排序)x0dx0aconstx0dx0a表中的一個記錄的最大值能夠匹配這個查詢(索引可以是主鍵或惟一索引)。因為只有一行,這個值實際就是常數,因為MYSQL先讀這個值然後把它當做常數來對待x0dx0aeq_refx0dx0a在連接中,MYSQL在查詢時,從前面的表中,對每一個記錄的聯合都從表中讀取一個記錄,它在查詢使用了索引為主鍵或惟一鍵的全部時使用x0dx0arefx0dx0a這個連接類型只有在查詢使用了不是惟一或主鍵的鍵或者是這些類型的部分(比如,利用最左邊前綴)時發生。對於之前的表的每一個行聯合,全部記錄都將從表中讀出。這個類型嚴重依賴於根據索引匹配的記錄多少—越少越好x0dx0arangex0dx0a這個連接類型使用索引返回一個范圍中的行,比如使用>或<查找東西時發生的情況x0dx0aindexx0dx0a這個連接類型對前面的表中的每一個記錄聯合進行完全掃描(比ALL更好,因為索引一般小於表數據)x0dx0aALLx0dx0a這個連接類型對於前面的每一個記錄聯合進行完全掃描,這一般比較糟糕,應該盡量避免
Ⅲ 如何查找MySQL中查詢慢的SQL語句
如何查找mysql中查詢慢的sql語句
一、mysql資料庫有幾個配置選項可以幫助我們及時捕獲低效sql語句
1,slow_query_log
這個參數設置為on,可以捕獲執行時間超過一定數值的sql語句。
2,long_query_time
當sql語句執行時間超過此數值時,就會被記錄到日誌中,建議設置為1或者更短。
3,slow_query_log_file
記錄日誌的文件名。
4,log_queries_not_using_indexes
這個參數設置為on,可以捕獲到所有未使用索引的sql語句,盡管這個sql語句有可能執行得挺快。
二、檢測mysql中sql語句的效率的方法
1、通過查詢日誌
(1)、windows下開啟mysql慢查詢
mysql在windows系統中的配置文件一般是是my.ini找到[mysqld]下面加上
代碼如下
log-slow-queries
=
f:/mysql/log/mysqlslowquery。log
long_query_time
=
2
(2)、linux下啟用mysql慢查詢
mysql在windows系統中的配置文件一般是是my.cnf找到[mysqld]下面加上
代碼如下
log-slow-queries=/data/mysqldata/slowquery。log
long_query_time=2
Ⅳ 如何解決SQL查詢速度太慢
1. 執行計劃中明明有使用到索引,為什麼執行還是這么慢?
2. 執行計劃中顯示掃描行數為 644,為什麼 slow log 中顯示 100 多萬行?
a. 我們先看執行計劃,選擇的索引 「INDX_BIOM_ELOCK_TASK3(TASK_ID)」。結合 sql 來看,因為有 "ORDER BY TASK_ID DESC" 子句,排序通常很慢,如果使用了文件排序性能會更差,優化器選擇這個索引避免了排序。
那為什麼不選 possible_keys:INDX_BIOM_ELOCK_TASK 呢?原因也很簡單,TASK_DATE 欄位區分度太低了,走這個索引需要掃描的行數很大,而且還要進行額外的排序,優化器綜合判斷代價更大,所以就不選這個索引了。不過如果我們強制選擇這個索引(用 force index 語法),會看到 SQL 執行速度更快少於 10s,那是因為優化器基於代價的原則並不等價於執行速度的快慢;
b. 再看執行計劃中的 type:index,"index" 代表 「全索引掃描」,其實和全表掃描差不多,只是掃描的時候是按照索引次序進行而不是行,主要優點就是避免了排序,但是開銷仍然非常大。
Extra:Using where 也意味著掃描完索引後還需要回表進行篩選。一般來說,得保證 type 至少達到 range 級別,最好能達到 ref。
在第 2 點中提到的「慢日誌記錄Rows_examined: 1161559,看起來是全表掃描」,這里更正為「全索引掃描」,掃描行數確實等於表的行數;
c. 關於執行計劃中:「rows:644」,其實這個只是估算值,並不準確,我們分析慢 SQL 時判斷准確的掃描行數應該以 slow log 中的 Rows_examined 為准。
4. 優化建議:添加組合索引 IDX_REL_DEVID_TASK_ID(REL_DEVID,TASK_ID)
優化過程:
TASK_DATE 欄位存在索引,但是選擇度很低,優化器不會走這個索引,建議後續可以刪除這個索引:
select count(*),count(distinct TASK_DATE) from T_BIOMA_ELOCK_TASK;+------------+---------------------------+| count(*) | count(distinct TASK_DATE) |+------------+---------------------------+| 1161559 | 223 |+------------+---------------------------+
在這個 sql 中 REL_DEVID 欄位從命名上看選擇度較高,通過下面 sql 來檢驗確實如此:
select count(*),count(distinct REL_DEVID) from T_BIOMA_ELOCK_TASK;+----------+---------------------------+| count(*) | count(distinct REL_DEVID) |+----------+---------------------------+| 1161559 | 62235 |+----------+---------------------------+
由於有排序,所以得把 task_id 也加入到新建的索引中,REL_DEVID,task_id 組合選擇度 100%:
select count(*),count(distinct REL_DEVID,task_id) from T_BIOMA_ELOCK_TASK;+----------+-----------------------------------+| count(*) | count(distinct REL_DEVID,task_id) |+----------+-----------------------------------+| 1161559 | 1161559 |+----------+-----------------------------------+
在測試環境添加 REL_DEVID,TASK_ID 組合索引,測試 sql 性能:alter table T_BIOMA_ELOCK_TASK add index idx_REL_DEVID_TASK_ID(REL_DEVID,TASK_ID);
添加索引後執行計劃:
這里還要注意一點「隱式轉換」:REL_DEVID 欄位數據類型為 varchar,需要在 sql 中加引號:AND T.REL_DEVID = 000000025xxx >> AND T.REL_DEVID = '000000025xxx'
執行時間從 10s+ 降到 毫秒級別:
1 row in set (0.00 sec)
結論
一個典型的 order by 查詢的優化,添加更合適的索引可以避免性能問題:執行計劃使用索引並不意味著就能執行快。
Ⅳ 美團面試題:慢SQL有遇到過嗎是怎麼解決的
大家好,我是田維常,可以叫我老田,也可以叫我田哥
。2017年的時候,我剛去上海,朋友內悄指早推我去美團面試,之前我也寫過一個一篇文章,也是在美團面試中遇到的:
美團面試題:String s = new String("111")會創建幾個對象?
關於慢SQL,我和面試官扯了很久,面試官也是很謙虛的,總是點頭,自己以為回答的還可以。最後的最後,還是說了「 你先回去等通知吧! 」。
所以,我決定把這個慢SQL技術點,好好和你分享分享。希望你下次在遇到類似的面試,能順順利利輕輕鬆鬆的斬獲自己想要的offer。
MySQL的慢查詢日誌是MySQL提供的一種日誌記錄,它用來記錄MySQL中查詢時間超過(大於)設置閾值(long_query_time)的語句,記錄到慢查詢日誌中。
其中,long_query_time的默認值是10,單位是秒,也就是說默認情況下,你的SQL查詢時間超過10秒就算慢SQL了。
在MySQL中,慢SQL日誌默認是未開啟的,也就說就算出現了慢SQL,也不會告訴你的,如果需要知道哪些SQL是慢SQL,需要我們手動開啟慢SQL日誌的。
關於慢SQL是否開啟,我們可以通過下面這個命令來查看:
在這里插入圖片描述
通過命令,我們就可以看到slow_query_log項為OFF,說明我們的慢SQL日誌並未開啟。另外我們也可以看到我們慢SQL日誌存放於哪個目錄下和日誌文件名。
下面我們來開啟慢SQL日誌,執行下面的命令:
這里需要注意,這里開啟的是我們當前的資料庫,並且,我們重啟資料庫後會失效的。
開啟慢SQL日誌後,再次查看:
slow_query_log項已經變成ON,說明開啟成功。
上面說過慢SQL默認時間是10秒,我們通過下面的命令就可以看到我們慢SQL的默認時間:
在這里插入圖片描述
我們總不能一直使用這個默認值,可能很多業務需要時間更短或更長,所以此時,我們就需要對默認時間進行修改,修改命令如下:
修改完了,我們再來看看是否已經改成了3秒。
這里需要注意:想要永久的生效,還需要修改MySQL下面的配置文件my.cnf 文件。
注意:不同操作系統,配置有些區別。
Linux操作系統中
Windows操作系統中
執行一條慢SQL,因為我們前面已經設置好了慢SQL時間為3秒,所以,我們只要執行一條SQL時間超過3秒即可。
該SQL耗時4.024秒,下面我們就來查看慢SQL出現了多少條。
使用命令:
找到慢SQL日誌文件,打開後就會出現類似下面這樣的語句;
簡單說明:
切記
通常我們定位慢SQL有兩種方式:
第一種:定位慢查詢 SQL 可以通過兩個表象進行判斷
第二種:根據不同的資料庫使用不同的方式獲取問題 SQL
如果開啟了慢SQL日誌後,可能會有大量的慢SQL日誌產生,此時再用肉眼看,那是不太現實的,所以大佬們就給我搞了個工具: mysqlmpslow 。
mysqlmpslow 能將相同的慢SQL歸類,並統計出相同的SQL執行的次數,每次執行耗時多久、總耗時,每次返回的行數、總行數,以及客戶端連接信息等。
通過命令
可以看到相關參數的說明:
比較常用的參數有這么幾個:
mysqlmpslow 常用的使用逗慶方式如下:
如上一條命令,應該是mysqlmpslow最簡單的一種形式,其中-s參數是以什麼方式排序的意思,c指代的是以總數從大到小的方式排序。-s的常用子參數有:c: 相同查詢以查詢條數和從大到小排序。t: 以查詢總時間的方式從大到小排序。l: 以查詢鎖的總時間的方式從大到小排序。at: 以查詢平均時間的方式從大到小排序。al: 以查詢鎖平均時間的方式從大到啟雀小排序。
同樣的,還可以增加其他參數,實際使用的時候,按照自己的情況來。
其他常用方式:
接下,我們來個實際操作。
這其中的 SQL 語句因為涉及某些信息,所以我都用*號將主體替換了,如果希望得到具體的值,使用-a參數。
使用 mysqlmpslow 查詢出來的摘要信息,包含了這些內容:
Count : 464 :表示慢查詢日誌總共記錄到這條sql語句執行的次數;
Time=18.35s (8515s) :18.35s表示平均執行時間(-s at),8515s表示總的執行時間(-s t);
Lock=0.01s (3s) :與上面的Time相同,第一個表示平均鎖定時間(-s al),括弧內的表示總的鎖定時間(-s l)(也有另一種說法,說是表示的等待鎖釋放的時間);
Rows=90884.0 (42170176) : 第一個值表示掃描的平均行數(-s ar),括弧內的值表示掃描的總行數(-s r)。
是不是
so easy!!!!
Ⅵ 如何解決SQL Server查詢速度緩慢的問題
你先看看綁定的時候代碼有問題沒。
然後注意取數據最好用存儲過程,不僅快還好維護。分頁查詢百萬級的數據我覺得不一定要用。
資料庫的索引建立,以及舊數據歸檔也就是很有效地提高性能的方法。
Ⅶ MySQL刪除千萬級數據量導致的慢查詢優化
有人刪了千萬級的數據,結果導致頻繁的慢查詢。
線上收到大量慢查詢告警,於是檢查慢查詢的SQL,發現不是啥復雜SQL,這些SQL主要針對一個表,基本都是單行查詢,看起來應該不會有慢查詢。這種SQL基本上都是直接根據索引查找出來的,性能應該極高。
是否可能慢查詢不是SQL問題,而是MySQL生產伺服器的問題?特殊情況下,MySQL出現慢查詢還真不是SQL問題,而是他自己生產伺服器的負載太高,導致SQL語句執行慢。比如現在MySQL伺服器的
磁碟I/O負載高,每秒執行大量高負載的隨機I/O,但磁碟本身每秒能執行的隨機I/O有限,導致輪吵櫻正常SQL在磁碟執行時,若跑一些隨機IO,臘叢你的磁碟太忙,顧不上你了,導致你本來很快的一個SQL,要等很久才能執行完畢,這時就可能導致正常SQL也變成慢查詢。
也許網路負載高,導致你一個SQL語句要發到MySQL,光是等待獲取一個和MySQL的連接,都很難,要等很久或MySQL自己網路負載太高,碰知帶寬打滿,帶寬打滿後,你一個SQL也許執行很快,但其查出來的數據返回給你,網路都送不出去,也會變成慢查詢。
若CPU負載過高,也會導致CPU過於繁忙去執行別的任務,沒時間執行你的SQL。
所以慢查詢不一定是SQL本身導致,若覺得SQL不應該會慢查詢,結果他那個時間段跑這個SQL 就是慢,應排查當時MySQL伺服器的負載,尤其看看磁碟、網路及 CPU 的負載,是否正常。
當某個離線作業瞬間大批量把數據往MySQL里灌入的時,他一瞬間伺服器磁碟、網路以及CPU的負載會超高。
此時你一個正常SQL執行下去,短時間內一定會慢查詢,類似問題,優化手段更多是控制你導致MySQL負載過高的那些行為,比如灌入大量數據,最好在業務低峰期灌入,別影響高峰期的線上系統運行。
但看了下MySQL伺服器的磁碟、網路以及CPU負載,一切正常,似乎也不是這問題導致。看起來無解了?
慢 SQL 的頭兩步排查手段:
這兩種辦法都不奏效之後,第三步:用MySQL profilling工具去細致的分析SQL語句的執行過程和耗時。
這個工具可以對SQL語句的執行耗時進行非常深入和細致的分析
打開profiling,使用
接著MySQL就會自動記錄查詢語句的profiling信息。此時若執行show profiles,就會給你列出各種查詢語句的profiling信息,會記錄下來每個查詢語句的query id,所以你要針對你需要分析的query找到對他的query id,我們當時就是針對慢查詢的那個SQL語句找到了query id。
然後針對單個查詢語句,看其profiling信息,使用show profile cpu, block io for query xx,這里的xx是數字,此時就可以看到具體的profile信息。
除了cpu以及block io以外,還能指定去看這個SQL語句執行時候的其他各項負載和耗時。
會給你展示出來SQL語句執行時候的各種耗時,比如磁碟IO的耗時,CPU等待耗時,發送數據耗時,拷貝數據到臨時表的耗時等,SQL執行過程中的各種耗時都會展示。
檢查該SQL語句的profiling信息後,發現問題,其Sending Data耗時最高,幾乎使用1s,占據SQL執行耗時的99%!其他環節耗時低可以理解,畢竟這種簡單SQL執行速度真的很快,基本就是10ms級別,結果跑成1s,那肯定Sending Data就是問題根源!
這Sending Data在幹啥呢?
MySQL官方釋義:為一個SELECT語句讀取和處理數據行,同時發送數據給客戶端的過程,簡單來說就是為你的SELECT語句把數據讀出來,同時發送給客戶端。
但這過程為啥這么慢?profiling確實是提供給我們更多的線索了,但似乎還是沒法解決問題。但已經捕獲到異常關鍵點,就是Sending Data的耗時很高!
接著:
看innodb存儲引擎的一些狀態,此時發現一個奇怪的指標:history list length,值特別高,達到上萬。
MVCC就是多個事務在對同一個數據, 有人寫,有人讀,此時可以有多種隔離級別,對一個數據有個多版本快照鏈條,才能實現MVCC和各種隔離級別。
所以當你有大量事務執行時,就會構建這種undo多版本快照鏈條,此時history list length就會很高。然後在事務提交後,會有一個多版本快照鏈條的自動purge清理機制,清理了,該值就會降低。一般該值不應過高,所以注意到第二個線索:history list length過高,即大量的undo多版本鏈條數據沒有清理。推測可能有的事務長時間運行,所以其多版本快照不能被purge清理,進而導致history list length過高。
經過這倆線索推測,在大量簡單SQL變成慢查詢時,SQL因為Sending Data環節異常,耗時過高;同時此時出現一些長事務長時間運行,大量的頻繁更新數據,導致有大量undo多版本快照鏈條,還無法purge清理。
因為發現有大量的更新語句在活躍,而且有那種長期活躍的長事務一直在跑而沒有結束,問了下系統負責人,在後台跑了個定時任務:他居然開了一個事務,然後在一個事務里刪除上千萬數據,導致該事務一直在運行。
這種長事務的運行會導致你刪除時,僅只是對數據加了一個刪除標記,事實上並沒有徹底刪除。此時你若和長事務同時運行的其它事務里再查詢,他在查詢時可能會把那上千萬被標記為刪除的數據都掃描一遍。因為每次掃描到一批數據,都發現標記為刪除了,接著就會再繼續往下掃描,所以才導致一些查詢語句很慢。
那為何你啟動一個事務,在事務里查詢,憑什麼就要去掃描之前那個長事務標記為刪除狀態的上千萬的垃圾數據?講道理,那些數據都被刪了,跟你沒關系了呀,你可以不去掃描他們 嘛!
而問題症結在於,那個 刪除千萬級數據的事務是個長事務 !即當你啟動新事務查詢時,那個刪除千萬級數據的長事務一直在運行,它是活躍的!結合MVCC的Read View機制,當你啟動一個新事務查詢時,會生成一個Read View。你的新事務查詢時,會根據ReadView去判斷哪些數據可見及可見的數據版本號,因為每個數據都有個版本鏈條,有時你能可見的僅是這個數據的一個 歷史 版本。
所以正是因為該長事務一直在運行,還在刪除大量數據,而且這些數據僅是邏輯刪除,所以此時你新開事務的查詢還是會讀到所有邏輯刪除數據,也就會出現千萬級的數據掃描,導致了慢查詢!
所以禁止在業務高峰期運行那種刪除大量數據的語句,因為這可能導致一些正常的SQL都變慢查詢,因為那些SQL也許會不斷掃描你標記為刪除的大量數據,好不容易掃描到一批數據,結果發現是標記為刪除的,於是繼續掃描下去,導致慢查詢!
直接kill那個正在刪除千萬級數據的長事務,所有SQL很快恢復正常。此後,大量數據清理全部放在凌晨執行,那個時候就沒什麼人使用系統了,所以查詢也很少。
Ⅷ sql語句查詢較慢時,應該怎麼樣分析
查看伺服器資源(內存,cpu)利用情況,資料庫日誌大小,太大了影響速度,還有就是看看有沒有死鎖