当前位置:首页 » 编程语言 » sql优化实例
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

sql优化实例

发布时间: 2023-03-05 08:48:39

数据库系统优化的LECCO sql Expert自动优化实例

假设我们从源代码中抽取出这条SQL语句(也可以通过内带的扫描器或监视器获得SQL语句):
SELECT COUNT(*)
FROM EMPLOYEE
swheresEXISTS (SELECT 'X'
FROM DEPARTMENT
swheresEMP_DEPT=DPT_ID
AND DPT_NAME LIKE 'AC%')
AND EMP_ID IN (SELECT SAL_EMP_ID
FROM EMP_SAL_HIST B
swheresSAL_SALARY > 70000)
按下“优化”按钮后,经过10几秒,SQL Expert就完成了优化的过程,并在这10几秒的时间里重写产生了2267 条等价的SQL语句,其中136条SQL语句有不同的执行计划。
接下来,我们可以对自动重写产生的136条SQL语句进行批运行测试,以选出性能最佳的等效SQL语句。按下“批运行” 按钮,在“终止条件” 页选择“最佳运行时间SQL语句”,按“确定”。
经过几分钟的测试运行后,我们可以发现SQL124的运行时间和反应时间最短。运行速度约有22.75倍的提升(源SQL语句运行时间为2.73秒,SQL124运行时间为0.12秒)。现在我们就可以把SQL124放入源代码中,结束一条SQL语句的优化工作了。

② 如何安装sql server 2008 r2 数据引擎优化

方法/步骤

二、安装的准备过程
1、安装程序支持规则
在这个准备过程里,首先安装程序要扫描本机的一些信息,用来确定在安装过程中不会出现异常。如果在扫描中发现了一些问题,则必须在修复这些问题之后才可能重新运行安装程序进行安装。
安装过程中,如果出现不能重启计算机这一项不能通过,则需要删除一个注册表项。
删除注册表中
HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\Session Manager
下PendingFileRenameOperations子键。
文件挂起操作的错误搞定,可以继续
下一步,输入产口密钥,许可条款,安装程序支持文件

三、功能选择与配置
接下来,才是正式安装SQL Server程序。
1、安装程序支持规则
这个步骤看起来跟刚才在准备过程中的一样,都是扫描本机,防止在安装过程中出现异常。现在并不是在重复刚才的步骤,从下图明显看出这次扫描的精度更细,扫描的内容也更多。
在这个步骤中,一定不要忽略“Windows防火墙”这个警告,因为如果在Windows2008操作系统中安装SQL Server,操作系统不会在防火墙自动打开TCP1433这个端口。将在后面的文章中提到这个问题。

2、设置角色
这里有3个选项可供选择。我们选择“SQL Server功能安装”。

3、功能选择
在这里,我们点一下“全选”按钮,会发现左边的目录树多了几个项目:在“安装规则”后面多了一个“实例配置”,在“磁盘空间要求”后面多了“服务器配置”、“数据库引擎配置”、“Analysis Services配置”和“Reporting Services配置”。
如果只做为普通数据引擎使用,我常常是只勾选:“数据库引擎服务”和“管理工具-基本”

4、安装规则
在这里又要扫描一次本机,扫描的内容跟上一次又不同。
5、实例配置
我们这里安装一个默认实例。系统自动将这个实例命名为:MSSQLSERVER 。
6、磁盘空间要求
从这里可以看到,安装SQL Server的全部功能需要5485MB的磁盘空间。

7、服务器配置
在这里,首先要配置服务器的服务帐户,也就是让操作系统用哪个帐户启动相应的服务。 为了省事,我们选择“对所有SQL Server服务使用相同的帐户”。
也可以选择,NT AUTHORITY\SYSTEM,用最高权限来运行服务。

接着,还要设备排序规则,默认是不区分大小写的按你的要求自行调整。

8、数据库引擎配置
数据库引擎的设置主要有3项。
帐户设置中,一般MSSQLSERVER都做为网络服务器存在,为了方便,都使用混合身份验证,设置自己的用户密码。然后添加一个本地帐户方便管理即可。
目录和FILESTREAM没有必要修改。
对是数据目录,我是这样理解的,我习惯将软件都装在系统盘。在使用SQLSERVER时,数据库文件都放在其他盘,然后附加数据,这样不会混乱自己的数据库和系统的数据库。毕竟数据安全是第一。

后面的过程比较简单,一路下一步然后是等待安装完成即可。

③ 怎么使用sql server 2008数据库引擎优化顾问

确定您希望
数据库引擎
优化顾问在
分析过程
中考虑添加、删除或保留的数据库功能(索引、索引视图、分区)。有关详细信息,请参阅
关于工作负荷和使用数据库引擎优化顾问的注意事项。
创建工作负荷。有关详细信息,请参阅
启动数据库引擎优化顾问,并登录到
MicrosoftSQL
Server
实例。有关详细信息,请参阅
启动数据库引擎优化顾问。在“常规”
选项卡
上,在
“会话名称”
中键入一个名称以创建新的优化会话。
选择一个“工作负荷文件”或“表”
,然后在相邻的
文本框
中键入文件的路径或表的名称。
指定表的格式为
database_name.schema_name.table_name
若要搜索工作负荷文件或表,请单击“浏览”按钮。
数据库引擎优化顾问假定工作负荷文件是滚动更新文件。有关滚动更新文件的详细信息,请参阅
限制
跟踪文件
和表的大小。
使用跟踪表作为工作负荷时,该表必须存在于数据库引擎优化顾问正在优化的同一台服务器上。如果您创建的跟踪表在其他服务器上,则必须将其移到数据库引擎优化顾问准备优化的服务器上才能用作工作负荷。
选择要对其运行在步骤
5
中选择的工作负荷的数据库和表。若要选择表,请单击“所选表”箭头。
选中“保存优化日志”
以保存优化日志的副本。如果不希望保存优化日志的副本,请清除该
复选框

在分析之后,可以通过打开会话并选择“进度”选项卡来查看优化日志。
单击“优化选项”
选项卡,从列出的选项中进行选择。有关详细信息,请参阅
可用的优化选项。
单击工具栏中的
“开始分析”按钮。
如果希望停止已经启动的优化会话,请在“操作”菜单上选择以下选项之一:选择“停止分析(并提供建议)”
将停止优化会话,并提示您选择是否希望数据库引擎优化顾问根据目前已完成的分析来生成建议。选择“停止分析”
将停止优化会话而不生成任何建议。

④ MySQL数据库性能优化之分区分表分库

分表是分散数据库压力的好方法。

分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库。

当然,首先要知道什么情况下,才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。

分表的分类

**1、纵向分表**

将本来可以在同一个表的内容,人为划分为多个表。(所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的。)

分表理由:根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的)

案例:

对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。

这样纵向分表后:

首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb ,可以有更好的更新速度。

其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。

其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis之类的缓存,等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个。

**2、横向分表**

字面意思,就可以看出来,是把大的表结构,横向切割为同样结构的不同表,如,用户信息表,user_1,user_2等。表结构是完全一样,但是,根据某些特定的规则来划分的表,如根据用户ID来取模划分。

分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。

案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。

延伸:为什么要分表和分区?

日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕。分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率。

什么是分表?

分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件。这些子表可以分布在同一块磁盘上,也可以在不同的机器上。app读写的时候根据事先定义好的规则得到对应的子表名,然后去操作它。

什么是分区?

分区和分表相似,都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表,而分区是将数据分段划分在多个位置存放,可以是同一块磁盘也可以在不同的机器。分区后,表面上还是一张表,但数据散列到多个位置了。app读写的时候操作的还是大表名字,db自动去组织分区的数据。

**MySQL分表和分区有什么联系呢?**

1、都能提高mysql的性高,在高并发状态下都有一个良好的表现。

2、分表和分区不矛盾,可以相互配合的,对于那些大访问量,并且表数据比较多的表,我们可以采取分表和分区结合的方式(如果merge这种分表方式,不能和分区配合的话,可以用其他的分表试),访问量不大,但是表数据很多的表,我们可以采取分区的方式等。

3、分表技术是比较麻烦的,需要手动去创建子表,app服务端读写时候需要计算子表名。采用merge好一些,但也要创建子表和配置子表间的union关系。

4、表分区相对于分表,操作方便,不需要创建子表。

我们知道对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力。Master-Slave结构只能对数据库的读能力进行扩展,写操作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略。

**1、分表**

在分表之前,首先要选中合适的分表策略(以哪个字典为分表字段,需要将数据分为多少张表),使数据能够均衡的分布在多张表中,并且不影响正常的查询。在企业级应用中,往往使用org_id(组织主键)做为分表字段,在互联网应用中往往是userid。在确定分表策略后,当数据进行存储及查询时,需要确定到哪张表里去查找数据,

数据存放的数据表 = 分表字段的内容 % 分表数量

**2、分库**

分表能够解决单表数据量过大带来的查询效率下降的问题,但是不能给数据库的并发访问带来质的提升,面对高并发的写访问,当Master无法承担高并发的写入请求时,不管如何扩展Slave服务器,都没有意义了。我们通过对数据库进行拆分,来提高数据库的写入能力,即所谓的分库。分库采用对关键字取模的方式,对数据库进行路由。

数据存放的数据库=分库字段的内容%数据库的数量

**3、即分表又分库**

数据库分表可以解决单表海量数据的查询性能问题,分库可以解决单台数据库的并发访问压力问题。

当数据库同时面临海量数据存储和高并发访问的时候,需要同时采取分表和分库策略。一般分表分库策略如下:

中间变量 = 关键字%(数据库数量*单库数据表数量)

库 = 取整(中间变量/单库数据表数量)

表 = (中间变量%单库数据表数量)

实例:

1、分库分表

很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从members0到members99,然后根据mid分发记录到这些表中,牛逼的代码大概是这样子:

复制代码 代码如下:

<?php

for($i=0;$i< 100; $i++ ){

//echo "CREATE TABLE db2.members{$i} LIKE db1.members
";

echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}
";

}

?>

2、不停机修改mysql表结构

同样还是members表,前期设计的表结构不尽合理,随着数据库不断运行,其冗余数据也是增长巨大,同事使用了下面的方法来处理:

先创建一个临时表:

/*创建临时表*/

CREATE TABLE members_tmp LIKE members

然后修改members_tmp的表结构为新结构,接着使用上面那个for循环来导出数据,因为1000万的数据一次性导出是不对的,mid是主键,一个区间一个区间的导,基本是一次导出5万条吧,这里略去了

接着重命名将新表替换上去:

/*这是个颇为经典的语句哈*/

RENAME TABLE members TO members_bak,members_tmp TO members;

就是这样,基本可以做到无损失,无需停机更新表结构,但实际上RENAME期间表是被锁死的,所以选择在线少的时候操作是一个技巧。经过这个操作,使得原先8G多的表,一下子变成了2G多。

⑤ SQL优化万能公式:5 大步骤 + 10 个案例

在应用开发的早期,数据量少,开发人员开发功能时更重视功能上的实现,随着生产数据的增长,很多SQL语句开始暴露出性能问题,对生产的影响也越来越大,有时可能这些有问题的SQL就是整个系统性能的瓶颈。

1、通过慢查日志等定位那些执行效率较低的SQL语句

2、explain 分析SQL的执行计划

type由上至下,效率越来越高

Extra

3、show profile 分析

了解SQL执行的线程的状态及消耗的时间。默认是关闭的,开启语句“set profiling = 1;”

4、trace

trace分析优化器如何选择执行计划,通过trace文件能够进一步了解为什么优惠券选择A执行计划而不选择B执行计划。

5、确定问题并采用相应的措施

案例1、最左匹配

索引

SQL语句

查询匹配从左往右匹配,要使用order_no走索引,必须查询条件携带shop_id或者索引( shop_id , order_no )调换前后顺序

案例2、隐式转换

索引

SQL语句

隐式转换相当于在索引上做运算,会让索引失效。mobile是字符类型,使用了数字,应该使用字符串匹配,否则MySQL会用到隐式替换,导致索引失效。

案例3、大分页

索引

SQL语句

对于大分页的场景,可以优先让产品优化需求,如果没有优化的,有如下两种优化方式, 一种是把上一次的最后一条数据,也即上面的c传过来,然后做“c < xxx”处理,但是这种一般需要改接口协议,并不一定可行。另一种是采用延迟关联的方式进行处理,减少SQL回表,但是要记得索引需要完全覆盖才有效果,SQL改动如下

案例4、in + order by

索引

SQL语句

in查询在MySQL底层是通过n*m的方式去搜索,类似union,但是效率比union高。in查询在进行cost代价计算时(代价 = 元组数 * IO平均值),是通过将in包含的数值,一条条去查询获取元组数的,因此这个计算过程会比较的慢,所以MySQL设置了个临界值(eq_range_index_pe_limit),5.6之后超过这个临界值后该列的cost就不参与计算了。因此会导致执行计划选择不准确。默认是200,即in条件超过了200个数据,会导致in的代价计算存在问题,可能会导致Mysql选择的索引不准确。

处理方式,可以( order_status , created_at )互换前后顺序,并且调整SQL为延迟关联。

案例5、范围查询阻断,后续字段不能走索引

索引

SQL语句

范围查询还有“IN、between”

案例6、不等于、不包含不能用到索引的快速搜索。(可以用到ICP)

在索引上,避免使用NOT、!=、>、!、NOT EXISTS、NOT IN、NOT LIKE等

案例7、优化器选择不使用索引的情况

如果要求访问的数据量很小,则优化器还是会选择辅助索引,但是当访问的数据占整个表中数据的蛮大一部分时(一般是20%左右),优化器会选择通过聚集索引来查找数据。

查询出所有未支付的订单,一般这种订单是很少的,即使建了索引,也没法使用索引。

案例8、复杂查询

如果是统计某些数据,可能改用数仓进行解决;如果是业务上就有那么复杂的查询,可能就不建议继续走SQL了,而是采用其他的方式进行解决,比如使用ES等进行解决。

案例9、asc和desc混用

desc 和asc混用时会导致索引失效

案例10、大数据

对于推送业务的数据存储,可能数据量会很大,如果在方案的选择上,最终选择存储在MySQL上,并且做7天等有效期的保存。那么需要注意,频繁的清理数据,会照成数据碎片,需要联系DBA进行数据碎片处理。

⑥ sql casewhen优化

不能放循环,因为你每一个case都是针对一个列,而循环是针对的是行,所以不行

你可以考虑使用pivot行专列,然后再统计,你将12个月转换成行,数量转成列,然后就可以

如下使用:

select sum(case 数量 when 999999 then 0 else 数量 end) from table

pivot使用实例:网页链接

如果不使用行专列,你仅仅处理case的话,你可以建立一个函数,这样就只是调用函数,不用看到那么多case,不过这个换汤不换药