『壹』 批量查詢資料庫是否存在某個數據
1.通常遇到這種問題，最初步的想法就是循環，讀取資料庫判斷
2.更進一步，由於循環訪問資料庫導致性能十分低下，是否可以先取出全集，到內存中進行比較，這里需要提醒的是使用HashSet或Dictionary判斷是否存在比List性能要高
3.但當全集數據量極大的時候，這種做法可能會導致內存不足，接下來考慮是否能縮小提取的范圍
4.提取原始數據時，直接只提取ID在需要比較的列表中，即selectidfromtablewhereidin(需要判斷的id結果集)，單數據提取到HashSet，kv的提取到Dictionary
5.提取出in條件的結果集後，與待比較的ID進行對比，取出的結果集中存在的ID，即是已存在的信息，不存在的，就是新增的ID
『貳』 500分，求在千萬條記錄的資料庫中進行批量查詢的高效方法
sql關鍵索引，在大表上創建索引
千萬記錄的表不算大，只要索引創建對了，性能可以正常提升，
還有一種就是比較偏的方式：先把需要批量的資料庫插入臨時表
這個可以防止頻繁對表進行查詢操作，
SQL 如下：select * into #Temp from Table
後面就只需要對臨時表操作，不允許主表性能。
『叄』 查詢資料庫時數據量特別大，咋樣用 sql優化
1、優化SQL語句，使用Where限定查詢的數據范圍
2、建立相關欄位的索引，避免查詢時進行全表掃描
3、多數據表連接時，注意連接的主從表位置，避免小表Join大表
『肆』 資料庫表數據量大怎麼優化查詢速度
下面以關系資料庫系統Informix為例，介紹改善用戶查詢計劃的方法。
1．合理使用索引
索引是資料庫中重要的數據結構，它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處，其使用原則如下：
●在經常進行連接，但是沒有指定為外鍵的列上建立索引，而不經常連接的欄位則由優化器自動生成索引。
●在頻繁進行排序或分組（即進行group by或order by操作）的列上建立索引。
●在條件表達式中經常用到的不同值較多的列上建立檢索，在不同值少的列上不要建立索引。比如在雇員表的「性別」列上只有「男」與「女」兩個不同值，因此就無必要建立索引。如果建立索引不但不會提高查詢效率，反而會嚴重降低更新速度。
●如果待排序的列有多個，可以在這些列上建立復合索引（compound index）。
●使用系統工具。如Informix資料庫有一個tbcheck工具，可以在可疑的索引上進行檢查。在一些資料庫伺服器上，索引可能失效或者因為頻繁操作而使得讀取效率降低，如果一個使用索引的查詢不明不白地慢下來，可以試著用tbcheck工具檢查索引的完整性，必要時進行修復。另外，當資料庫表更新大量數據後，刪除並重建索引可以提高查詢速度。
2．避免或簡化排序
應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時，優化器就避免了排序的步驟。以下是一些影響因素：
●索引中不包括一個或幾個待排序的列；
●group by或order by子句中列的次序與索引的次序不一樣；
●排序的列來自不同的表。
為了避免不必要的排序，就要正確地增建索引，合理地合並資料庫表（盡管有時可能影響表的規范化，但相對於效率的提高是值得的）。如果排序不可避免，那麼應當試圖簡化它，如縮小排序的列的范圍等。
3．消除對大型錶行數據的順序存取
在嵌套查詢中，對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略，一個嵌套3層的查詢，如果每層都查詢1000行，那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如，兩個表：學生表（學號、姓名、年齡……）和選課表（學號、課程號、成績）。如果兩個表要做連接，就要在「學號」這個連接欄位上建立索引。
還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引，但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作：
SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
雖然在customer_num和order_num上建有索引，但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合，所以應該改為如下語句：
SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>1001
UNION
SELECT ＊ FROM orders WHERE order_num=1008
這樣就能利用索引路徑處理查詢。
4．避免相關子查詢
一個列的標簽同時在主查詢和where子句中的查詢中出現，那麼很可能當主查詢中的列值改變之後，子查詢必須重新查詢一次。查詢嵌套層次越多，效率越低，因此應當盡量避免子查詢。如果子查詢不可避免，那麼要在子查詢中過濾掉盡可能多的行。
5．避免困難的正規表達式
MATCHES和LIKE關鍵字支持通配符匹配，技術上叫正規表達式。但這種匹配特別耗費時間。例如：SELECT ＊ FROM customer WHERE zipcode LIKE 「98_ _ _」
即使在zipcode欄位上建立了索引，在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT ＊ FROM customer WHERE zipcode >「98000」，在執行查詢時就會利用索引來查詢，顯然會大大提高速度。
另外，還要避免非開始的子串。例如語句：SELECT ＊ FROM customer WHERE zipcode[2，3]>「80」，在where子句中採用了非開始子串，因而這個語句也不會使用索引。
6．使用臨時表加速查詢
把表的一個子集進行排序並創建臨時表，有時能加速查詢。它有助於避免多重排序操作，而且在其他方面還能簡化優化器的工作。例如：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
AND cust.postcode>「98000」
ORDER BY cust.name
如果這個查詢要被執行多次而不止一次，可以把所有未付款的客戶找出來放在一個臨時文件中，並按客戶的名字進行排序：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
ORDER BY cust.name
INTO TEMP cust_with_balance
然後以下面的方式在臨時表中查詢：
SELECT ＊ FROM cust_with_balance
WHERE postcode>「98000」
臨時表中的行要比主表中的行少，而且物理順序就是所要求的順序，減少了磁碟I/O，所以查詢工作量可以得到大幅減少。
注意：臨時表創建後不會反映主表的修改。在主表中數據頻繁修改的情況下，注意不要丟失數據。
7．用排序來取代非順序存取
非順序磁碟存取是最慢的操作，表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況，使得我們在寫應用程序時很容易寫出要求存取大量非順序頁的查詢。
有些時候，用資料庫的排序能力來替代非順序的存取能改進查詢。
『伍』 sql2008資料庫，九百萬條數據，如何快速查詢
根據你說的需求：
"可程序中需要查詢每行的所有數據"、「查詢全部九百萬條數據」
-------------------------------
這樣的需求跟索引沒有關系了（因為已經肯定是走全表掃描的了），要提高效率的辦法就是：1、提高硬碟的io速度；2、增加內存以使sql server有更多的緩存。
另外，你程序不要一次性取那麼多數據返回，這樣會拖死的，建議你考慮變換下處理邏輯（如：分批取回--可以根據id列值進行分批；將數據直接在服務端存成文本再傳回本地處理）。
"而是需要根據這些數據逐一進行其他功能的操作，這款程序是不聯網的"
--------------------------------
就算這樣的話,也不能一次性把9百萬數據一次性取回,如果你非要取出來再操作的話，那你得考慮分批去取。或者你把處理邏輯寫在存儲過程，然後由SQL SERVER本身去完成邏輯處理。總之，不管怎樣，你也是得優化你現在的處理邏輯（現有處理邏輯我覺得不合理，效率很低下）。
「真正部署到電力網的伺服器上速度會不會提高呢」
------------------------
伺服器當然比你本地要快得多啦，硬體配置根本就不同一個級別,但不管怎樣，還是建議你參考上面的建議優化你的處理邏輯才行，否則，你系統的效率將很低。
『陸』 資料庫表中大量的數據，如何提高查詢速度
你的資料庫是什麼資料庫？如果是ACCESS，建議你導入到MySQL中去，MySQL據說是世界上執行速度最快的資料庫了，如果是MSSQL，請使用存儲過程執行查詢，可以大提高資料庫的運行速度。你的問題我曾經碰到過，當時我使用的是ACCESS資料庫，資料庫中的數據達到20萬條記錄了，查詢起來速度特慢，後來改用MSSQL的存儲過程，速度提高了很多，你試試吧，祝你成功！
『柒』 如何保證資料庫在大批量插入和高並發查詢時的性能
1、如果硬體允許搞個讀寫分離。
2、讀取數據的時候採用臟讀方式，有效提高讀取性能
3、插入的時候大批量比如10W條，可以分開10次1W插入，有效提高寫入性能，但盡量不要1條1條來，會造成大量事務日誌
『捌』 利用資料庫如何實現海量數據批量搜索
用循環語句生成欄位值insert
SQL 如下：
create procere InsertTest
as
begin
declare @i int
declare @s varchar(20)
set @i=1
while @i<=100
begin
select @s=cast(@i AS varchar(20))
insert into test (A,B,C,D) VALUES ('a'+@s,'b'+@s,'ccccc','ddddd')
SET @i=@i+1
end
end
『玖』 mysql中怎樣對大批量級的數據查詢進行優化
在我們使用MySQL資料庫時，比較常用也是查詢，包括基本查詢，關聯查詢，條件查詢等等，對於同一個操作，SQL語句的實現有很多種寫法，但是不同的寫法查詢的性能可能會有很大的差異。這里主要介紹下select查詢優化的要點。
1. 使用慢查詢日誌去發現慢查詢。
2. 使用執行計劃去判斷查詢是否正常運行。
3. 總是去測試你的查詢看看是否他們運行在最佳狀態下 –久而久之性能總會變化。
4. 避免在整個表上使用count(*),它可能鎖住整張表。
5. 使查詢保持一致以便後續相似的查詢可以使用查詢緩存。
6. 在適當的情形下使用GROUP BY而不是DISTINCT。
7. 在WHERE, GROUP BY和ORDER BY子句中使用有索引的列。
8. 保持索引簡單,不在多個索引中包含同一個列。
9. 有時候MySQL會使用錯誤的索引,對於這種情況使用USE INDEX。
10. 檢查使用SQL_MODE=STRICT的問題。
11.對於記錄數小於5的索引欄位，在UNION的時候使用LIMIT不是是用OR.
12. 為了 避免在更新前SELECT，使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去實現。
3. 不要使用 MAX,使用索引欄位和ORDER BY子句。
14. 避免使用ORDER BY RAND().
15. LIMIT M，N實際上可以減緩查詢在某些情況下，有節制地使用。
16. 在WHERE子句中使用UNION代替子查詢。
17. 對於UPDATES（更新），使用 SHARE MODE（共享模式），以防止獨占鎖。
18. 在重新啟動的MySQL，記得來溫暖你的資料庫，以確保您的數據在內存和查詢速度快。
19. 使用DROP TABLE，CREATE TABLE DELETE FROM從表中刪除所有數據。
20. 最小化的數據在查詢你需要的數據，使用*消耗大量的時間。
21. 考慮持久連接，而不是多個連接，以減少開銷。
22. 基準查詢，包括使用伺服器上的負載，有時一個簡單的查詢可以影響其他查詢。
23. 當負載增加您的伺服器上，使用SHOW PROCESSLIST查看慢的和有問題的查詢。
24. 在開發環境中產生的鏡像數據中 測試的所有可疑的查詢。
來源：PHP程序員雷雪松的博客
『拾』 如何查詢資料庫中大批量數據
樓上的大哥....人家沒說一定是SQL Server資料庫吧..聚集索引是SQL Server的概念. 1樓有一點說對了..創建索引是可以優先考慮的選擇,但是,並不是索引就一定會加快查詢速度的..另外,索引是很消耗磁碟空間的,這點也需要考慮清楚.. 主流的資料庫,在建表的時候就規定了主鍵和外鍵的話,那麼對應的主鍵和外鍵會自動加索引的. 另外SQL語句的好壞可能會造成數倍的查詢速度的差別..寫SQL的時候有二個基本的原則, 一.越接近資料庫核心的SQL語句查詢速度越快.即:用通用的標准SQL函數或語法,一定會比資料庫產品擴展的SQL要快大約80%所有 二.優先使用子查詢而不是關聯查詢,比如表關聯(即FROM後面有多個表)... SQL語句也是可以優化的