① 資料庫系統優化的LECCO sql Expert自動優化實例
假設我們從源代碼中抽取出這條SQL語句(也可以通過內帶的掃描器或監視器獲得SQL語句):
SELECT COUNT(*)
FROM EMPLOYEE
swheresEXISTS (SELECT 'X'
FROM DEPARTMENT
swheresEMP_DEPT=DPT_ID
AND DPT_NAME LIKE 'AC%')
AND EMP_ID IN (SELECT SAL_EMP_ID
FROM EMP_SAL_HIST B
swheresSAL_SALARY > 70000)
按下「優化」按鈕後,經過10幾秒,SQL Expert就完成了優化的過程,並在這10幾秒的時間里重寫產生了2267 條等價的SQL語句,其中136條SQL語句有不同的執行計劃。
接下來,我們可以對自動重寫產生的136條SQL語句進行批運行測試,以選出性能最佳的等效SQL語句。按下「批運行」 按鈕,在「終止條件」 頁選擇「最佳運行時間SQL語句」,按「確定」。
經過幾分鍾的測試運行後,我們可以發現SQL124的運行時間和反應時間最短。運行速度約有22.75倍的提升(源SQL語句運行時間為2.73秒,SQL124運行時間為0.12秒)。現在我們就可以把SQL124放入源代碼中,結束一條SQL語句的優化工作了。
② 如何安裝sql server 2008 r2 數據引擎優化
方法/步驟
二、安裝的准備過程
1、安裝程序支持規則
在這個准備過程里,首先安裝程序要掃描本機的一些信息,用來確定在安裝過程中不會出現異常。如果在掃描中發現了一些問題,則必須在修復這些問題之後才可能重新運行安裝程序進行安裝。
安裝過程中,如果出現不能重啟計算機這一項不能通過,則需要刪除一個注冊表項。
刪除注冊表中
HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\Session Manager
下PendingFileRenameOperations子鍵。
文件掛起操作的錯誤搞定,可以繼續
下一步,輸入產口密鑰,許可條款,安裝程序支持文件
三、功能選擇與配置
接下來,才是正式安裝SQL Server程序。
1、安裝程序支持規則
這個步驟看起來跟剛才在准備過程中的一樣,都是掃描本機,防止在安裝過程中出現異常。現在並不是在重復剛才的步驟,從下圖明顯看出這次掃描的精度更細,掃描的內容也更多。
在這個步驟中,一定不要忽略「Windows防火牆」這個警告,因為如果在Windows2008操作系統中安裝SQL Server,操作系統不會在防火牆自動打開TCP1433這個埠。將在後面的文章中提到這個問題。
2、設置角色
這里有3個選項可供選擇。我們選擇「SQL Server功能安裝」。
3、功能選擇
在這里,我們點一下「全選」按鈕,會發現左邊的目錄樹多了幾個項目:在「安裝規則」後面多了一個「實例配置」,在「磁碟空間要求」後面多了「伺服器配置」、「資料庫引擎配置」、「Analysis Services配置」和「Reporting Services配置」。
如果只做為普通數據引擎使用,我常常是只勾選:「資料庫引擎服務」和「管理工具-基本」
4、安裝規則
在這里又要掃描一次本機,掃描的內容跟上一次又不同。
5、實例配置
我們這里安裝一個默認實例。系統自動將這個實例命名為:MSSQLSERVER 。
6、磁碟空間要求
從這里可以看到,安裝SQL Server的全部功能需要5485MB的磁碟空間。
7、伺服器配置
在這里,首先要配置伺服器的服務帳戶,也就是讓操作系統用哪個帳戶啟動相應的服務。 為了省事,我們選擇「對所有SQL Server服務使用相同的帳戶」。
也可以選擇,NT AUTHORITY\SYSTEM,用最高許可權來運行服務。
接著,還要設備排序規則,默認是不區分大小寫的按你的要求自行調整。
8、資料庫引擎配置
資料庫引擎的設置主要有3項。
帳戶設置中,一般MSSQLSERVER都做為網路伺服器存在,為了方便,都使用混合身份驗證,設置自己的用戶密碼。然後添加一個本地帳戶方便管理即可。
目錄和FILESTREAM沒有必要修改。
對是數據目錄,我是這樣理解的,我習慣將軟體都裝在系統盤。在使用SQLSERVER時,資料庫文件都放在其他盤,然後附加數據,這樣不會混亂自己的資料庫和系統的資料庫。畢竟數據安全是第一。
後面的過程比較簡單,一路下一步然後是等待安裝完成即可。
③ 怎麼使用sql server 2008資料庫引擎優化顧問
確定您希望
資料庫引擎
優化顧問在
分析過程
中考慮添加、刪除或保留的資料庫功能(索引、索引視圖、分區)。有關詳細信息,請參閱
關於工作負荷和使用資料庫引擎優化顧問的注意事項。
創建工作負荷。有關詳細信息,請參閱
啟動資料庫引擎優化顧問,並登錄到
MicrosoftSQL
Server
實例。有關詳細信息,請參閱
啟動資料庫引擎優化顧問。在「常規」
選項卡
上,在
「會話名稱」
中鍵入一個名稱以創建新的優化會話。
選擇一個「工作負荷文件」或「表」
,然後在相鄰的
文本框
中鍵入文件的路徑或表的名稱。
指定表的格式為
database_name.schema_name.table_name
若要搜索工作負荷文件或表,請單擊「瀏覽」按鈕。
資料庫引擎優化顧問假定工作負荷文件是滾動更新文件。有關滾動更新文件的詳細信息,請參閱
限制
跟蹤文件
和表的大小。
使用跟蹤表作為工作負荷時,該表必須存在於資料庫引擎優化顧問正在優化的同一台伺服器上。如果您創建的跟蹤表在其他伺服器上,則必須將其移到資料庫引擎優化顧問准備優化的伺服器上才能用作工作負荷。
選擇要對其運行在步驟
5
中選擇的工作負荷的資料庫和表。若要選擇表,請單擊「所選表」箭頭。
選中「保存優化日誌」
以保存優化日誌的副本。如果不希望保存優化日誌的副本,請清除該
復選框
。
在分析之後,可以通過打開會話並選擇「進度」選項卡來查看優化日誌。
單擊「優化選項」
選項卡,從列出的選項中進行選擇。有關詳細信息,請參閱
可用的優化選項。
單擊工具欄中的
「開始分析」按鈕。
如果希望停止已經啟動的優化會話,請在「操作」菜單上選擇以下選項之一:選擇「停止分析(並提供建議)」
將停止優化會話,並提示您選擇是否希望資料庫引擎優化顧問根據目前已完成的分析來生成建議。選擇「停止分析」
將停止優化會話而不生成任何建議。
④ MySQL資料庫性能優化之分區分表分庫
分表是分散資料庫壓力的好方法。
分表,最直白的意思,就是將一個表結構分為多個表,然後,可以再同一個庫里,也可以放到不同的庫。
當然,首先要知道什麼情況下,才需要分表。個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了。
分表的分類
**1、縱向分表**
將本來可以在同一個表的內容,人為劃分為多個表。(所謂的本來,是指按照關系型資料庫的第三範式要求,是應該在同一個表的。)
分表理由:根據數據的活躍度進行分離,(因為不同活躍的數據,處理方式是不同的)
案例:
對於一個博客系統,文章標題,作者,分類,創建時間等,是變化頻率慢,查詢次數多,而且最好有很好的實時性的數據,我們把它叫做冷數據。而博客的瀏覽量,回復數等,類似的統計信息,或者別的變化頻率比較高的數據,我們把它叫做活躍數據。所以,在進行資料庫結構設計的時候,就應該考慮分表,首先是縱向分表的處理。
這樣縱向分表後:
首先存儲引擎的使用不同,冷數據使用MyIsam 可以有更好的查詢數據。活躍數據,可以使用Innodb ,可以有更好的更新速度。
其次,對冷數據進行更多的從庫配置,因為更多的操作時查詢,這樣來加快查詢速度。對熱數據,可以相對有更多的主庫的橫向分表處理。
其實,對於一些特殊的活躍數據,也可以考慮使用memcache ,redis之類的緩存,等累計到一定量再去更新資料庫。或者mongodb 一類的nosql 資料庫,這里只是舉例,就先不說這個。
**2、橫向分表**
字面意思,就可以看出來,是把大的表結構,橫向切割為同樣結構的不同表,如,用戶信息表,user_1,user_2等。表結構是完全一樣,但是,根據某些特定的規則來劃分的表,如根據用戶ID來取模劃分。
分表理由:根據數據量的規模來劃分,保證單表的容量不會太大,從而來保證單表的查詢等處理能力。
案例:同上面的例子,博客系統。當博客的量達到很大時候,就應該採取橫向分割來降低每個單表的壓力,來提升性能。例如博客的冷數據表,假如分為100個表,當同時有100萬個用戶在瀏覽時,如果是單表的話,會進行100萬次請求,而現在分表後,就可能是每個表進行1萬個數據的請求(因為,不可能絕對的平均,只是假設),這樣壓力就降低了很多很多。
延伸:為什麼要分表和分區?
日常開發中我們經常會遇到大表的情況,所謂的大表是指存儲了百萬級乃至千萬級條記錄的表。這樣的表過於龐大,導致資料庫在查詢和插入的時候耗時太長,性能低下,如果涉及聯合查詢的情況,性能會更加糟糕。分表和表分區的目的就是減少資料庫的負擔,提高資料庫的效率,通常點來講就是提高表的增刪改查效率。
什麼是分表?
分表是將一個大表按照一定的規則分解成多張具有獨立存儲空間的實體表,我們可以稱為子表,每個表都對應三個文件,MYD數據文件,.MYI索引文件,.frm表結構文件。這些子表可以分布在同一塊磁碟上,也可以在不同的機器上。app讀寫的時候根據事先定義好的規則得到對應的子表名,然後去操作它。
什麼是分區?
分區和分表相似,都是按照規則分解表。不同在於分表將大表分解為若干個獨立的實體表,而分區是將數據分段劃分在多個位置存放,可以是同一塊磁碟也可以在不同的機器。分區後,表面上還是一張表,但數據散列到多個位置了。app讀寫的時候操作的還是大表名字,db自動去組織分區的數據。
**MySQL分表和分區有什麼聯系呢?**
1、都能提高mysql的性高,在高並發狀態下都有一個良好的表現。
2、分表和分區不矛盾,可以相互配合的,對於那些大訪問量,並且表數據比較多的表,我們可以採取分表和分區結合的方式(如果merge這種分表方式,不能和分區配合的話,可以用其他的分表試),訪問量不大,但是表數據很多的表,我們可以採取分區的方式等。
3、分表技術是比較麻煩的,需要手動去創建子表,app服務端讀寫時候需要計運算元表名。採用merge好一些,但也要創建子表和配置子表間的union關系。
4、表分區相對於分表,操作方便,不需要創建子表。
我們知道對於大型的互聯網應用,資料庫單表的數據量可能達到千萬甚至上億級別,同時面臨這高並發的壓力。Master-Slave結構只能對資料庫的讀能力進行擴展,寫操作還是集中在Master中,Master並不能無限制的掛接Slave庫,如果需要對資料庫的吞吐能力進行進一步的擴展,可以考慮採用分庫分表的策略。
**1、分表**
在分表之前,首先要選中合適的分表策略(以哪個字典為分表欄位,需要將數據分為多少張表),使數據能夠均衡的分布在多張表中,並且不影響正常的查詢。在企業級應用中,往往使用org_id(組織主鍵)做為分表欄位,在互聯網應用中往往是userid。在確定分表策略後,當數據進行存儲及查詢時,需要確定到哪張表裡去查找數據,
數據存放的數據表 = 分表欄位的內容 % 分表數量
**2、分庫**
分表能夠解決單表數據量過大帶來的查詢效率下降的問題,但是不能給資料庫的並發訪問帶來質的提升,面對高並發的寫訪問,當Master無法承擔高並發的寫入請求時,不管如何擴展Slave伺服器,都沒有意義了。我們通過對資料庫進行拆分,來提高資料庫的寫入能力,即所謂的分庫。分庫採用對關鍵字取模的方式,對資料庫進行路由。
數據存放的資料庫=分庫欄位的內容%資料庫的數量
**3、即分表又分庫**
資料庫分表可以解決單表海量數據的查詢性能問題,分庫可以解決單台資料庫的並發訪問壓力問題。
當資料庫同時面臨海量數據存儲和高並發訪問的時候,需要同時採取分表和分庫策略。一般分表分庫策略如下:
中間變數 = 關鍵字%(資料庫數量*單庫數據表數量)
庫 = 取整(中間變數/單庫數據表數量)
表 = (中間變數%單庫數據表數量)
實例:
1、分庫分表
很明顯,一個主表(也就是很重要的表,例如用戶表)無限制的增長勢必嚴重影響性能,分庫與分表是一個很不錯的解決途徑,也就是性能優化途徑,現在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢,同事的做法是將其散列到100個表中,分別從members0到members99,然後根據mid分發記錄到這些表中,牛逼的代碼大概是這樣子:
復制代碼 代碼如下:
<?php
for($i=0;$i< 100; $i++ ){
//echo "CREATE TABLE db2.members{$i} LIKE db1.members
";
echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}
";
}
?>
2、不停機修改mysql表結構
同樣還是members表,前期設計的表結構不盡合理,隨著資料庫不斷運行,其冗餘數據也是增長巨大,同事使用了下面的方法來處理:
先創建一個臨時表:
/*創建臨時表*/
CREATE TABLE members_tmp LIKE members
然後修改members_tmp的表結構為新結構,接著使用上面那個for循環來導出數據,因為1000萬的數據一次性導出是不對的,mid是主鍵,一個區間一個區間的導,基本是一次導出5萬條吧,這里略去了
接著重命名將新表替換上去:
/*這是個頗為經典的語句哈*/
RENAME TABLE members TO members_bak,members_tmp TO members;
就是這樣,基本可以做到無損失,無需停機更新表結構,但實際上RENAME期間表是被鎖死的,所以選擇在線少的時候操作是一個技巧。經過這個操作,使得原先8G多的表,一下子變成了2G多。
⑤ SQL優化萬能公式:5 大步驟 + 10 個案例
在應用開發的早期,數據量少,開發人員開發功能時更重視功能上的實現,隨著生產數據的增長,很多SQL語句開始暴露出性能問題,對生產的影響也越來越大,有時可能這些有問題的SQL就是整個系統性能的瓶頸。
1、通過慢查日誌等定位那些執行效率較低的SQL語句
2、explain 分析SQL的執行計劃
type由上至下,效率越來越高
Extra
3、show profile 分析
了解SQL執行的線程的狀態及消耗的時間。默認是關閉的,開啟語句「set profiling = 1;」
4、trace
trace分析優化器如何選擇執行計劃,通過trace文件能夠進一步了解為什麼優惠券選擇A執行計劃而不選擇B執行計劃。
5、確定問題並採用相應的措施
案例1、最左匹配
索引
SQL語句
查詢匹配從左往右匹配,要使用order_no走索引,必須查詢條件攜帶shop_id或者索引( shop_id , order_no )調換前後順序
案例2、隱式轉換
索引
SQL語句
隱式轉換相當於在索引上做運算,會讓索引失效。mobile是字元類型,使用了數字,應該使用字元串匹配,否則MySQL會用到隱式替換,導致索引失效。
案例3、大分頁
索引
SQL語句
對於大分頁的場景,可以優先讓產品優化需求,如果沒有優化的,有如下兩種優化方式, 一種是把上一次的最後一條數據,也即上面的c傳過來,然後做「c < xxx」處理,但是這種一般需要改介面協議,並不一定可行。另一種是採用延遲關聯的方式進行處理,減少SQL回表,但是要記得索引需要完全覆蓋才有效果,SQL改動如下
案例4、in + order by
索引
SQL語句
in查詢在MySQL底層是通過n*m的方式去搜索,類似union,但是效率比union高。in查詢在進行cost代價計算時(代價 = 元組數 * IO平均值),是通過將in包含的數值,一條條去查詢獲取元組數的,因此這個計算過程會比較的慢,所以MySQL設置了個臨界值(eq_range_index_pe_limit),5.6之後超過這個臨界值後該列的cost就不參與計算了。因此會導致執行計劃選擇不準確。默認是200,即in條件超過了200個數據,會導致in的代價計算存在問題,可能會導致Mysql選擇的索引不準確。
處理方式,可以( order_status , created_at )互換前後順序,並且調整SQL為延遲關聯。
案例5、范圍查詢阻斷,後續欄位不能走索引
索引
SQL語句
范圍查詢還有「IN、between」
案例6、不等於、不包含不能用到索引的快速搜索。(可以用到ICP)
在索引上,避免使用NOT、!=、>、!、NOT EXISTS、NOT IN、NOT LIKE等
案例7、優化器選擇不使用索引的情況
如果要求訪問的數據量很小,則優化器還是會選擇輔助索引,但是當訪問的數據占整個表中數據的蠻大一部分時(一般是20%左右),優化器會選擇通過聚集索引來查找數據。
查詢出所有未支付的訂單,一般這種訂單是很少的,即使建了索引,也沒法使用索引。
案例8、復雜查詢
如果是統計某些數據,可能改用數倉進行解決;如果是業務上就有那麼復雜的查詢,可能就不建議繼續走SQL了,而是採用其他的方式進行解決,比如使用ES等進行解決。
案例9、asc和desc混用
desc 和asc混用時會導致索引失效
案例10、大數據
對於推送業務的數據存儲,可能數據量會很大,如果在方案的選擇上,最終選擇存儲在MySQL上,並且做7天等有效期的保存。那麼需要注意,頻繁的清理數據,會照成數據碎片,需要聯系DBA進行數據碎片處理。
⑥ sql casewhen優化
不能放循環,因為你每一個case都是針對一個列,而循環是針對的是行,所以不行
你可以考慮使用pivot行專列,然後再統計,你將12個月轉換成行,數量轉成列,然後就可以
如下使用:
select sum(case 數量 when 999999 then 0 else 數量 end) from table
pivot使用實例:網頁鏈接
如果不使用行專列,你僅僅處理case的話,你可以建立一個函數,這樣就只是調用函數,不用看到那麼多case,不過這個換湯不換葯