‘壹’ 批量查询数据库是否存在某个数据
1.通常遇到这种问题，最初步的想法就是循环，读取数据库判断
2.更进一步，由于循环访问数据库导致性能十分低下，是否可以先取出全集，到内存中进行比较，这里需要提醒的是使用HashSet或Dictionary判断是否存在比List性能要高
3.但当全集数据量极大的时候，这种做法可能会导致内存不足，接下来考虑是否能缩小提取的范围
4.提取原始数据时，直接只提取ID在需要比较的列表中，即selectidfromtablewhereidin(需要判断的id结果集)，单数据提取到HashSet，kv的提取到Dictionary
5.提取出in条件的结果集后，与待比较的ID进行对比，取出的结果集中存在的ID，即是已存在的信息，不存在的，就是新增的ID
‘贰’ 500分，求在千万条记录的数据库中进行批量查询的高效方法
sql关键索引，在大表上创建索引
千万记录的表不算大，只要索引创建对了，性能可以正常提升，
还有一种就是比较偏的方式：先把需要批量的数据库插入临时表
这个可以防止频繁对表进行查询操作，
SQL 如下：select * into #Temp from Table
后面就只需要对临时表操作，不允许主表性能。
‘叁’ 查询数据库时数据量特别大，咋样用 sql优化
1、优化SQL语句，使用Where限定查询的数据范围
2、建立相关字段的索引，避免查询时进行全表扫描
3、多数据表连接时，注意连接的主从表位置，避免小表Join大表
‘肆’ 数据库表数据量大怎么优化查询速度
下面以关系数据库系统Informix为例，介绍改善用户查询计划的方法。
1．合理使用索引
索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：
●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。
●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引。
●在条件表达式中经常用到的不同值较多的列上建立检索，在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值，因此就无必要建立索引。如果建立索引不但不会提高查询效率，反而会严重降低更新速度。
●如果待排序的列有多个，可以在这些列上建立复合索引（compound index）。
●使用系统工具。如Informix数据库有一个tbcheck工具，可以在可疑的索引上进行检查。在一些数据库服务器上，索引可能失效或者因为频繁操作而使得读取效率降低，如果一个使用索引的查询不明不白地慢下来，可以试着用tbcheck工具检查索引的完整性，必要时进行修复。另外，当数据库表更新大量数据后，删除并重建索引可以提高查询速度。
2．避免或简化排序
应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时，优化器就避免了排序的步骤。以下是一些影响因素：
●索引中不包括一个或几个待排序的列；
●group by或order by子句中列的次序与索引的次序不一样；
●排序的列来自不同的表。
为了避免不必要的排序，就要正确地增建索引，合理地合并数据库表（尽管有时可能影响表的规范化，但相对于效率的提高是值得的）。如果排序不可避免，那么应当试图简化它，如缩小排序的列的范围等。
3．消除对大型表行数据的顺序存取
在嵌套查询中，对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略，一个嵌套3层的查询，如果每层都查询1000行，那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如，两个表：学生表（学号、姓名、年龄……）和选课表（学号、课程号、成绩）。如果两个表要做连接，就要在“学号”这个连接字段上建立索引。
还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引，但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作：
SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
虽然在customer_num和order_num上建有索引，但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合，所以应该改为如下语句：
SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>1001
UNION
SELECT ＊ FROM orders WHERE order_num=1008
这样就能利用索引路径处理查询。
4．避免相关子查询
一个列的标签同时在主查询和where子句中的查询中出现，那么很可能当主查询中的列值改变之后，子查询必须重新查询一次。查询嵌套层次越多，效率越低，因此应当尽量避免子查询。如果子查询不可避免，那么要在子查询中过滤掉尽可能多的行。
5．避免困难的正规表达式
MATCHES和LIKE关键字支持通配符匹配，技术上叫正规表达式。但这种匹配特别耗费时间。例如：SELECT ＊ FROM customer WHERE zipcode LIKE “98_ _ _”
即使在zipcode字段上建立了索引，在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT ＊ FROM customer WHERE zipcode >“98000”，在执行查询时就会利用索引来查询，显然会大大提高速度。
另外，还要避免非开始的子串。例如语句：SELECT ＊ FROM customer WHERE zipcode[2，3]>“80”，在where子句中采用了非开始子串，因而这个语句也不会使用索引。
6．使用临时表加速查询
把表的一个子集进行排序并创建临时表，有时能加速查询。它有助于避免多重排序操作，而且在其他方面还能简化优化器的工作。例如：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
AND cust.postcode>“98000”
ORDER BY cust.name
如果这个查询要被执行多次而不止一次，可以把所有未付款的客户找出来放在一个临时文件中，并按客户的名字进行排序：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
ORDER BY cust.name
INTO TEMP cust_with_balance
然后以下面的方式在临时表中查询：
SELECT ＊ FROM cust_with_balance
WHERE postcode>“98000”
临时表中的行要比主表中的行少，而且物理顺序就是所要求的顺序，减少了磁盘I/O，所以查询工作量可以得到大幅减少。
注意：临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下，注意不要丢失数据。
7．用排序来取代非顺序存取
非顺序磁盘存取是最慢的操作，表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况，使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。
有些时候，用数据库的排序能力来替代非顺序的存取能改进查询。
‘伍’ sql2008数据库，九百万条数据，如何快速查询
根据你说的需求：
"可程序中需要查询每行的所有数据"、“查询全部九百万条数据”
-------------------------------
这样的需求跟索引没有关系了（因为已经肯定是走全表扫描的了），要提高效率的办法就是：1、提高硬盘的io速度；2、增加内存以使sql server有更多的缓存。
另外，你程序不要一次性取那么多数据返回，这样会拖死的，建议你考虑变换下处理逻辑（如：分批取回--可以根据id列值进行分批；将数据直接在服务端存成文本再传回本地处理）。
"而是需要根据这些数据逐一进行其他功能的操作，这款程序是不联网的"
--------------------------------
就算这样的话,也不能一次性把9百万数据一次性取回,如果你非要取出来再操作的话，那你得考虑分批去取。或者你把处理逻辑写在存储过程，然后由SQL SERVER本身去完成逻辑处理。总之，不管怎样，你也是得优化你现在的处理逻辑（现有处理逻辑我觉得不合理，效率很低下）。
“真正部署到电力网的服务器上速度会不会提高呢”
------------------------
服务器当然比你本地要快得多啦，硬件配置根本就不同一个级别,但不管怎样，还是建议你参考上面的建议优化你的处理逻辑才行，否则，你系统的效率将很低。
‘陆’ 数据库表中大量的数据，如何提高查询速度
你的数据库是什么数据库？如果是ACCESS，建议你导入到MySQL中去，MySQL据说是世界上执行速度最快的数据库了，如果是MSSQL，请使用存储过程执行查询，可以大提高数据库的运行速度。你的问题我曾经碰到过，当时我使用的是ACCESS数据库，数据库中的数据达到20万条记录了，查询起来速度特慢，后来改用MSSQL的存储过程，速度提高了很多，你试试吧，祝你成功！
‘柒’ 如何保证数据库在大批量插入和高并发查询时的性能
1、如果硬件允许搞个读写分离。
2、读取数据的时候采用脏读方式，有效提高读取性能
3、插入的时候大批量比如10W条，可以分开10次1W插入，有效提高写入性能，但尽量不要1条1条来，会造成大量事务日志
‘捌’ 利用数据库如何实现海量数据批量搜索
用循环语句生成字段值insert
SQL 如下：
create procere InsertTest
as
begin
declare @i int
declare @s varchar(20)
set @i=1
while @i<=100
begin
select @s=cast(@i AS varchar(20))
insert into test (A,B,C,D) VALUES ('a'+@s,'b'+@s,'ccccc','ddddd')
SET @i=@i+1
end
end
‘玖’ mysql中怎样对大批量级的数据查询进行优化
在我们使用MySQL数据库时，比较常用也是查询，包括基本查询，关联查询，条件查询等等，对于同一个操作，SQL语句的实现有很多种写法，但是不同的写法查询的性能可能会有很大的差异。这里主要介绍下select查询优化的要点。
1. 使用慢查询日志去发现慢查询。
2. 使用执行计划去判断查询是否正常运行。
3. 总是去测试你的查询看看是否他们运行在最佳状态下 –久而久之性能总会变化。
4. 避免在整个表上使用count(*),它可能锁住整张表。
5. 使查询保持一致以便后续相似的查询可以使用查询缓存。
6. 在适当的情形下使用GROUP BY而不是DISTINCT。
7. 在WHERE, GROUP BY和ORDER BY子句中使用有索引的列。
8. 保持索引简单,不在多个索引中包含同一个列。
9. 有时候MySQL会使用错误的索引,对于这种情况使用USE INDEX。
10. 检查使用SQL_MODE=STRICT的问题。
11.对于记录数小于5的索引字段，在UNION的时候使用LIMIT不是是用OR.
12. 为了 避免在更新前SELECT，使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去实现。
3. 不要使用 MAX,使用索引字段和ORDER BY子句。
14. 避免使用ORDER BY RAND().
15. LIMIT M，N实际上可以减缓查询在某些情况下，有节制地使用。
16. 在WHERE子句中使用UNION代替子查询。
17. 对于UPDATES（更新），使用 SHARE MODE（共享模式），以防止独占锁。
18. 在重新启动的MySQL，记得来温暖你的数据库，以确保您的数据在内存和查询速度快。
19. 使用DROP TABLE，CREATE TABLE DELETE FROM从表中删除所有数据。
20. 最小化的数据在查询你需要的数据，使用*消耗大量的时间。
21. 考虑持久连接，而不是多个连接，以减少开销。
22. 基准查询，包括使用服务器上的负载，有时一个简单的查询可以影响其他查询。
23. 当负载增加您的服务器上，使用SHOW PROCESSLIST查看慢的和有问题的查询。
24. 在开发环境中产生的镜像数据中 测试的所有可疑的查询。
来源：PHP程序员雷雪松的博客
‘拾’ 如何查询数据库中大批量数据
楼上的大哥....人家没说一定是SQL Server数据库吧..聚集索引是SQL Server的概念. 1楼有一点说对了..创建索引是可以优先考虑的选择,但是,并不是索引就一定会加快查询速度的..另外,索引是很消耗磁盘空间的,这点也需要考虑清楚.. 主流的数据库,在建表的时候就规定了主键和外键的话,那么对应的主键和外键会自动加索引的. 另外SQL语句的好坏可能会造成数倍的查询速度的差别..写SQL的时候有二个基本的原则, 一.越接近数据库核心的SQL语句查询速度越快.即:用通用的标准SQL函数或语法,一定会比数据库产品扩展的SQL要快大约80%所有 二.优先使用子查询而不是关联查询,比如表关联(即FROM后面有多个表)... SQL语句也是可以优化的