當前位置:首頁 » 編程語言 » 同一個sql資源消耗差別大
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

同一個sql資源消耗差別大

發布時間: 2023-01-23 01:18:19

A. 用sql Server耗的資源多......

SQLServer耗的資源少
用Access耗的資源多
開發:SQLServer運行有獨立的系統,Access需要jet引擎.
維護:SQLServer數據存儲容量大,支持的SQL語句多,執行效率也就好,不過維護起來普通用戶有點不太方便,不過安全性和穩定性要高;Access維護相對好一點,不過只是適用於中小型站點,並且安全性和穩定性就差一些了.
伺服器:SQLServer需要獨立安裝軟體,對伺服器的要求相對要高,Access支持所有的NT系統,不需要安裝其它額外軟體.
客戶訪問:如果是小數據量的話使用Access效率會很高的,如果是大型數據則用SQLServer效率會明顯的提高.

B. SQL執行很快,但很占資源

那是你把所有有的操作幾乎都放在內存中操作,這樣時就是那個效果
例如統一個查詢,可以用子查詢,也可以用連接,連接比較佔用資源,但執行的速度比較快,而子查詢不怎麼占資源,但速度相對比較慢

C. hive sql cpu消耗大怎麼優化

經常出現CPU佔用100%的情況,主要問題可能發生在下面的某些方面: 

CPU佔用率高的九種可能 

1、防殺毒軟體造成故障 

由於新版的KV、金山、瑞星都加入了對網頁、插件、郵件的隨機監控,無疑增大了系統負擔。處理方式:基本上沒有合理的處理方式,盡量使用最少的監控服務吧,或者,升級你的硬體配備。 

2、驅動沒有經過認證,造成CPU資源佔用100% 

大量的測試版的驅動在網上泛濫,造成了難以發現的故障原因。 處理方式:尤其是顯卡驅動特別要注意,建議使用微軟認證的或由官方發布的驅動,並且嚴格核對型號、版本。 

3、病毒、木馬造成 

大量的蠕蟲病毒在系統內部迅速復制,造成CPU佔用資源率據高不下。解決辦法:用可靠的殺毒軟體徹底清理系統內存和本地硬碟,並且打開系統設置軟體,察看有無異常啟動的程序。經常性更新升級殺毒軟體和防火牆,加強防毒意識,掌握正確的防殺毒知識。 

4、控制面板—管理工具—服務—RISING REALTIME MONITOR SERVICE點滑鼠右鍵,改為手動。 

5、開始->;運行->;msconfig->;啟動,關閉不必要的啟動項,重啟。 

6、查看「svchost」進程。 

svchost.exe是Windows XP系統的一個核心進程。svchost.exe不單單只出現在Windows XP中,在使用NT內核的Windows系統中都會有svchost.exe的存在。一般在Windows 2000中svchost.exe進程的數目為2個,而在Windows XP中svchost.exe進程的數目就上升到了4個及4個以上。 

7、查看網路連接。主要是網卡。

D. 為什麼同一條sql語句每次查詢所需時間不等

也許是原先緩存的表值被age out出去了。也許是查詢時有爭用,要等待其它操作釋放一些資源

E. sql server執行計劃 怎麼看消耗資源

掃描:逐行遍歷數據。
先建立一張表,並給大家看看大概是什麼樣子的。

CREATE TABLE Person(
Id int IDENTITY(1,1) NOT NULL,
Name nvarchar(50) NULL,
Age int NULL,
Height int NULL,
Area nvarchar(50) NULL,
MarryHistory nvarchar(10) NULL,
EcationalBackground nvarchar(10) NULL,
Address nvarchar(50) NULL,
InSiteId int NULL
) ON [PRIMARY]

表中的數據14萬左右,大概類似下面這樣:

此表,暫時沒有任何索引。
一、數據訪問操作
1、表掃描
表掃描:發生於堆表,並且沒有可用的索引可用時,會發生表掃描,表示整個表掃描一次。
現在,我們來對此表執行一條簡單的查詢語句:
SELECT * From Person WHERE Name = '公子'

查看執行計劃如下:

表掃描,顧名思義就是整張表掃描,找到你所需要的數據了。
2、聚集索引掃描
聚集索引掃描:發生於聚集表,也相當於全表掃描操作,但在針對聚集列的條件如(WHERE Id > 10)等操作時,效率會較好。
下面我們在Id列來對此表加上一個聚集索引
CREATE CLUSTERED INDEX IX_Id ON Person(Id)

再次執行同樣的查詢語句:
SELECT * From Person WHERE Name = '公子'

執行計劃如下:

為什麼建的聚集索引在Id列,會對掃描有影響呢?更何況與Name條件也沒關系啊?
其實,你加了聚集索引之後,表就由堆表變成了聚集表。我們知道聚集表的數據存在於聚集索引的葉級節點。因此,聚集掃描與表掃描其實差別不大,要說差別大,也得看where條件里是什麼,以後返回的數據。就本條SQL語句而言,效率差別並不大。
可以看看I/O統計信息:
表掃描:

聚集索引掃描:

此處超出本文范疇了,效率不在本文考慮范圍內,本文只考慮的是,各種掃描的區別,以及為何會產生。
3、聚集索引查找
聚集索引查找:掃描聚集索引中特定范圍的行。
看執行以下SQL語句:
SELECT * FROM Person WHERE Id = '73164'

執行計劃如下:

4、索引掃描
索引掃描:整體掃描非聚集索引。
下面我們來添加一個聚集索引,並執行一條查詢語句:
CREATE NONCLUSTERED INDEX IX_Name ON Person(Name) --創建非聚集索引

SELECT Name FROM Person

查看執行計劃如下:

為什麼此處會選擇索引掃描(非聚集索引)呢?
因為此非聚集索引能夠覆蓋所需要的數據。如果非聚集索引不能覆蓋呢?例如,我們將SELECT改為SELECT *再來看看。

好明顯,返回結果所包括的記錄太多,用非聚集索引反而不合算。因此使用了聚集索引。
如果此時我們刪除聚集索引,再執行SELECT *看看。
DROP INDEX Person.IX_Id


而此時沒有聚集索引,所以只有使用表掃描。
5、書簽查找
前面關於索引的學習我們已經知道,當在非聚集索引中並非覆蓋和包含所需全部的列時,SQL Server會選擇,直接進行聚集索引掃描獲得數據,還是先去非聚集索引找到聚集索引鍵,然後利用聚集索引找到數據。
下面來看一個書簽查找的示例:
SELECT * FROM Person WHERE Name = '胖胖'--Name列有非聚集索引

執行計劃如下:

上面的過程可以理解為:首先通過非聚集索引找到所求的行,但這個索引並不包含所有的列,因此還要額外去基本表中找到這些列,因此要進行鍵查找,如果基本表是以堆進行組織的,那麼這個鍵查找(Key Lookup)就會變成RID查找(RID Lookup),鍵查找和RID查找統稱為書簽查找。不過有時當非聚集索引返回的行數過多時,SQL Server可能會選擇直接進行聚集索引掃描了。
二、流聚合操作
1、流聚合
流聚合:在相應排序的流中,計算多組行的匯總值。
所有的聚合函數(如COUNT(),MAX())都會有流聚合的出現,但是其不會消耗IO,只有消耗CPU。
例如執行以下語句:
SELECT MAX(Age) FROM Person

查看執行計劃如下:

2、計算標量
計算標量:根據行中的現有值計算新值。比如COUNT()函數,多一行,行數就加1咯。
除MIN和MAX函數之外的聚合函數都要求流聚合操作後面跟一個計算標量。
SELECT COUNT(*) FROM Person

查看執行計劃如下:

3、散列聚合(哈希匹配)
對於加了Group by的子句,因為需要數據按照group by 後面的列有序,就需要Sort來保證排序。注意,Sort操作是佔用內存的操作,當內存不足時還會去佔用tempdb。SQL Server總是會在Sort操作和散列匹配中選擇成本最低的。
SELECT Height,COUNT(Id) FROM Person --查出各身高的認輸
GROUP BY Height

執行計劃如下:

對於數據量比較大時,SQL Server選擇的是哈希匹配。
在內存中建立好散列表後,會按照group by後面的值作為鍵,然後依次處理集合中的每條數據,當鍵在散列表中不存在時,向散列表添加條目,當鍵已經在散列表中存在時,按照規則(規則是聚合函數,比如Sum,avg什麼的)計算散列表中的值(Value)。
4、排序
當數據量比價少時,例如執行以下語句,新建一個只有數十條記錄的與Person一樣的表。
SELECT * INTO Person2 FROM Person2
WHERE Id < 100

再來執行同樣的查詢語句:
SELECT Height,COUNT(Id) FROM Person2 --只是表換成了數據量比較少的表
GROUP BY Height

執行計劃如下:

三、連接
當多表連接時(包括書簽查找,索引之間的連接),SQL Server會採用三類不同的連接方式:循環嵌套連接,合並連接,散列連接。這幾種連接格式有適合自己的場景,不存在哪個更好的說法。
新建兩張表如下

這是一個簡單的新聞,欄目結構。
1、嵌套循環
先來看一個簡單的Inner Join查詢語句
SELECT * FROM Nx_Column AS C
INNER JOIN Nx_Article AS A
ON A.ColumnId = C.ColumnId

執行計劃如下:

循環嵌套連接的圖標同樣十分形象,處在上面的外部輸入(Outer input),這里也就是聚集索引掃描。和處在下面的內部輸入(Inner Input),這里也就是聚集索引查找。外部輸入僅僅執行一次,根據外部輸入滿足Join條件的每一行,對內部輸入進行查找。這里由於是7行,對於內部輸入執行7次。

根據嵌套循環的原理不難看出,由於外部輸入是掃描,內部輸入是查找,當兩個Join的表外部輸入結果集比較小,而內部輸入所查找的表非常大時,查詢優化器更傾向於選擇循環嵌套方式。
2、合並連接
不同於循環嵌套的是,合並連接是從每個表僅僅執行一次訪問。從這個原理來看,合並連接要比循環嵌套要快了不少。
從合並連接的原理不難想像,首先合並連接需要雙方有序.並且要求Join的條件為等於號。因為兩個輸入條件已經有序,所以從每一個輸入集合中取一行進行比較,相等的返回,不相等的舍棄,從這里也不難看出Merge join為什麼只允許Join後面是等於號。從圖11的圖標中我們可以看出這個原理。
SELECT * FROM Nx_Column AS C
INNER JOIN Nx_Article AS A
ON A.ColumnId = C.ColumnId
OPTION(MERGE join)

執行計劃如下:

如果輸入數據的雙方無序,則查詢分析器不會選擇合並連接,我們也可以通過索引提示強制使用合並連接,為了達到這一目的,執行計劃必須加上一個排序步驟來實現有序。這也是上述SQL語句為什麼要加OPTION(MERGE join)的原因。上述對Article表的ColumnId列進行了排序。
3、哈希連接
散列連接同樣僅僅只需要只訪問1次雙方的數據。散列連接通過在內存中建立散列表實現。這比較消耗內存,如果內存不足還會佔用tempdb。但並不像合並連接那樣需要雙方有序。
要進行下面這兩個實現,得把兩個列的聚集索引不要建在ColumnId列,否則不會採用哈希連接。
ALTER TABLE PK_Nx_Column DROP CONSTRAINT PK_Nx_Column --刪除主鍵
DROP INDEX Nx_Column.PK_Nx_Column --刪除聚集索引
CREATE CLUSTERED INDEX IX_ColumnName ON Nx_Column(ColumnName) --創建聚集索引
--這里再設置回主鍵就可以了,有了聚集索引,就不能隨主鍵默認建啦

還要刪除另外一個表Article的聚集索引哦。
然後執行以下查詢:
SELECT * FROM Nx_Column AS C
INNER JOIN Nx_Article AS A
ON A.ColumnId = C.ColumnId

執行計劃如下:

要刪除掉聚集索引,否則兩個有序輸入SQL Server會選擇代價更低的合並連接。SQL Server利用兩個上面的輸入生成哈希表,下面的輸入來探測,可以在屬性窗口看到這些信息,如圖15所示。

F. SQL為什麼那麼佔用系統資源

一般來說,DML,DDL等都會佔用系統資源,所佔的系統資源跟數據量有關,數據量越大,執行的操作就會越慢;
硬碟的速度會影響SQL的速度,但影響不大,基本可以忽略。
後面就說不準了。

G. 如何查找消耗資源較大的SQL

對於優化來講,查找消耗資源較大的SQL至關重要,下面介紹幾個之前用到的SQL。
1.從V$SQLAREA中查詢最佔用資源的查詢。
select b.username username,a.disk_reads reads,
a.executions exec,a.disk_reads/decode(a.executions,0,1,a.executions) rds_exec_ratio,
a.sql_text Statement
from v$sqlarea a,dba_users b
where a.parsing_user_id=b.user_id
and a.disk_reads > 100000
order by a.disk_reads desc;
用buffer_gets列來替換disk_reads列可以得到佔用最多內存的sql語句的相關信息。
V$SQL是內存共享SQL區域中已經解析的SQL語句。
2.列出使用頻率最高的5個查詢:
select sql_text,executions
from (select sql_text,executions,
rank() over
(order by executions desc) exec_rank
from v$sql)
where exec_rank <=5;
3.消耗磁碟讀取最多的sql top5:
select disk_reads,sql_text
from (select sql_text,disk_reads,
dense_rank() over
(order by disk_reads desc) disk_reads_rank
from v$sql)
where disk_reads_rank <=5;
找出需要大量緩沖讀取(邏輯讀)操作的查詢:
select buffer_gets,sql_text
from (select sql_text,buffer_gets,
dense_rank() over
(order by buffer_gets desc) buffer_gets_rank
from v$sql)
where buffer_gets_rank<=5;