sql整合成功案例

㈠ 慢sql治理经典案例分享

作者 | 如期
来源 | 阿里技术公众号

菜鸟供应链金融慢sql治理已经有一段时间，自己负责的应用持续很长时间没有慢sql告警，现阶段在推进组内其他成员治理应用慢sql。这里把治理过程中的一些实践拿出来分享下。

在分页查询治理的文章里已经介绍过我们系统旧的分页查询逻辑，上面的查询sql明显就是分页查询获取总记录数，通过XXX_rules表的分页查询接口溯源，找到发起调用的页面是我们小二后台的一个操作商家准入的页面，页面打开后直接调用分页查询接口，除了分页参数，不传入其他任何查询参数，导致扫描全表。

灵魂拷问：为什么要扫描全表？全表数据展示到页面，花里胡哨的数据有用吗？

调研：和经常使用这个页面的运营聊后了解到，打开页面查询出的全表数据对运营是没有用的，他们根本不看这些数据。运营的操作习惯是拿到商家id，在页面查询框中输入商家id，查到商家数据后进行操作。

由此优化方案就很明朗了：打开页面时不直接查询全量数据，等运营输入商家id后，将商家id作为参数进行查询。XXX_rules表中，商家id这一常用查询条件设置为索引，再结合分页查询优化，全表扫描慢sql得以解决。

优化后的小二后台页面如下：

打开页面时未查询任何数据，查询条件商家账户为必填项。

优化后的sql为:

执行EXPLAIN得到结果如下：

可以看到命中了索引，扫描行数为3，查询速度明显提高。

扫描全表治理简单来说就是加入查询条件，命中索引，去除全表扫描查询，虽然有些粗暴，但并不是没有道理。实际业务场景中，很少有要扫描全表获取全部数据的情况，限制调用上游必须传入查询条件，且该查询条件能命中索引，能很大程度上避免慢sql。

另外，再引申下，XXX_rules初始的用意是准入表，记录金融货主维度的准入情况，最多也就几千条数据，但是很多同事将这张表理解为规则表，写入很多业务相关规则，导致这个表膨胀到一百多万条数据，表不clean了。这就涉及到数据表的设计使用，明确表的使用规范，不乱写入数据，能给后期维护带来很大的便利。

除了时间、操作人字段，XXX_rules表就rule_name、rule_value、status、proct_code四个字段，表的索引对这四个字段做各种排列组合。存在如下问题：

1、rule_name离散度不高，放在索引首位不合适；

2、前三个索引重合度很高；

显然是对索引的命中规则不够了解。XXX_rules表很多业务有定时任务对其写入删除，索引多、混乱，对性能有很大的影响。

高性能的索引有哪些，再来回顾下：

1、独立的列：索引列不能是表达式的一部分；

2、选择区分度高的列作为索引；

3、选择合适的索引列顺序：将选择性高的索引列放在最前列；

4、覆盖索引：查询的列均在索引中，不需要回查聚簇索引；

5、使用索引扫描来做排序;

6、在遵守最左前缀的原则下，尽量扩展索引，而不是创建索引。

但凡记得第3和6规则，也不至于把索引建成这样。

对索引进行整合如下：

系统中有很多任务拉取整个产品下的准入记录，然后进行处理，所以将区分度较高的proct_code放在索引首位，然后添加rule_name、status字段到索引里，进一步过滤数据，减少扫描行数，避免慢sql。针对常用的rule_value查询条件，可以命中UK，因此不用单独建立索引。

很多业务逻辑中，需要拉取满足某个条件的记录列表，查询的sql语句带有order by，记录比较多的情况，排序代价往往很大，但是查询出来的记录是否有序对业务逻辑没有影响，比如分页治理里讨论的count语句，只需要统计条数，order by对条数没有影响，再比如查出记录列表后，不依赖记录的顺序遍历列表处理数据，这时候order by多此一举。

查询sql无limit语句，且业务处理逻辑不依赖于order by后列表记录的顺序，则去除查询sql中的order by语句。

业务中有很多定时任务，扫描某个表中某个产品下所有数据，对数据进行处理，比如：

三个查询条件都是区分度不高的列，查出的数据有27W条，加索引意义也不大。

实际业务量没那么大，顶多几千条数据，表里的数据是从上游同步过来的，最好的办法是让上游精简数据，但是由于业务太久远，找上游的人维护难度太大，因此只能想其他的办法。

这个定时任务目的是拉出XXX_rules表的某些产品下的数据，和另一张表数据对比，更新有差异的数据。每天凌晨处理，对时效性没有很高的要求，因此，能不能转移任务处理的地方，不在本应用机器上实时处理那么多条数据？

数据是离线任务odps同步过来的，首先想到的就是dataWork数据处理平台。

建立数据对比任务，将定时任务做的数据对比逻辑放到dataWork上用sql实现，每天差异数据最多几百条，且结果集含有区分度很高的列，将差异数据写入odps表，再将数据回流到idb。

新建定时任务，通过回流回来的差异数据中区分度高的列作为查询条件查询XXX_rules，更新XXX_rules，解决了慢sql问题。

这个方法的前提是对数据实效性要求不高，且离线产出的结果集很小。

explain上述查询语句，得到结果如下：

XXX_white_list表有将biz_id作为索引，这里查询XXX_white_list表有传入biz_id作为查询条件，为啥explain结果里type为ALL，即扫描全表？索引失效了？索引失效有哪些情况？

索引失效场景

1、OR查询左右有未命中索引的；

2、复合索引不满足最左匹配原则；

3、Like以%开头；

4、需要类型转换；

5、where中索引列有运算；

6、where中索引列使用了函数；

7、如果mysql觉得全表扫描更快时（数据少时）

上述查询语句第8行，customer_id为XXX_level_report表字段，未命中XXX_white_list表索引，导致索引失效。

这个语句用condition、枚举、join花里胡哨的代码拼接起来的，改起来好麻烦，而且看起来“OR customer_id LIKE CONCAT(t.biz_id, '@%')”这句不能直接删掉。最后重构了该部分的查询语句，去除or查询，解决了慢sql。

㈡ SQL怎么把两个表的数据整合起来

先将两张表联合在一起，然后再对联合后的表进行查询。例如:
select sum(t.quantity) as totalQty from
(select * from t1
union all
select * from t2)t;

㈢ SQL两张表联合查询

sql 两表联合查询。, listview怎么实现载入两张表联合查询。sql语句我知道。后面后面怎么这整

select a.栏位1,b.栏位2 from 表a,表b where 表a.相同栏位=表b.相同栏位

sql联合查询语句（两张表）是什么?

sql联合查询语句（两张表）是：

select A.ID,A.VALUE,A.TYPE,A.NAME,B.KEY,B.ID,B.VALUE,B.NAME
min(VALUE),max(VALUE) from A left join B on A.ID = B.ID
where B.NAME="你输入的名字"
and B.VALUE > (select min(VALUE) from B where NAME="你输入的名字"))
and B.VALUE < (select min(VALUE) from B where NAME="你输入的名字"))；

延展阅读：

• A表字段stuid,stuname。

• B表字段bid,stuid,score,coursename，status。

• 要用一条sql查出A表中所有记录的对应的stuid，max(score),coursename，status，并且status=1，sql语句要求跨资料库，不能使用rownum，，limit等方言。

• 比如资料：

A

stuid stuname

11 zhangshan

22 lisi

B

bid sutid coursename scoure status

a 11 yuwen 66 1

b 11 shuxue 78 1

c 11 huaxue 95 0
最后要得到的资料是

stuid couresname scoure status

11 shuxue 78 1

22 null null null

如何用QT实现两张表的查询及联合查询？

SELECT* FROM 表1 JOIN 表2 ON 表1.列3 = 表2.列4
注：表1的列3必须与表2的列4相同。

sql三表联合查询

select * from tb1,tb2,tb3 where (tb1.id=tb2.id) and (tb2.id=tb3.id) and tb1.xx=xx

用SQL对两个表的联合查询

是分别查前20条？selectcol1，col2，col3,sTimefrom(selectcol1，col2，col3,sTimefromtb1orderbysTimedesc)rownum<21unionallselectcol1，col2，col3,sTimefrom(selectcol1，col2，col3,sTimefromtb2orderbysTimedesc)rownum<21

SQL查询两个表联合查询怎么写？

如下方法：

select 1 a.姓名 , b.minnum , b.maxnum from a INNER JOIN b ON a.id = b.id where b.minnum > 40 or b.maxnum < 40。

1、SQL的解释：结构化查询语言（英文简称：SQL）是一种特殊目的的程式语言，是一种资料库查询和程式设计语言，用于存取资料以及查询、更新和管理关系资料库系统；同时也是资料库指令码档案的副档名。它不要求使用者指定对资料的存放方法，也不需要使用者了解具体的资料存放方式，所以具有完全不同底层结构的不同 资料库系统,，可以使用相同的结构化查询语言作为资料输入与管理的接口。

2、SQL的语句结构：其语句，也称为“资料检索 语句”，用以从表中获得资料，确定资料怎样在应用程式给出。保留字SELECT是DQL（也是所有SQL）用得最多的动词，其他DQL常用的保留字有WHERE，ORDER BY，GROUP BY和HAVING。这些DQL保留字常与其他型别的SQL语句一起使用。

两张表联合查询,需要整合两张表不同的栏位~表1 ID ,name,gae 表2 ID yangr date 要得到 ID name gae yangr

select 表1.id,表1.name,表1.gae,表2.ygngr
from 表1 ，表2
where 表1.id=表2.id

mysql两表联合查询

两个表需要有共同的栏位用来做对应关系，假定表a 的ab栏位和表b 的bc栏位意义是一样的：
新建两张表：
表a：ab ac ad
1 1 2
2 3 4
3 5 6
表b: bc bd be
1 7 8
3 9 10
4 11 12
（此时这样建表只是为了演示连线SQL语句，当然实际开发中我们不会这样建表，实际开发中这两个表会有自己不同的主键。）
一、外连线
外连线可分为：左连线、右连线、完全外连线。
1、左连线 left join 或 left outer join
SQL语句：select 表a.ab,表a.ac,表a.ad,表b.bc,表b.bd,表b.be from 表a left join 表b on 表a.ab=表b.bd执行结果以ab行为准：
表：ab ac ad bc bd be
1 1 2 1 7 8
2 3 4 0 0 0
3 5 6 3 9 10
其中b表bc第二行的值在ab中没有对应的所以左连无法找出来，同理右连会变成这样：
SQL语句：select 表a.ab,表a.ac,表a.ad,表b.bc,表b.bd,表b.be from 表a left join 表b on 表a.ab=表b.bd执行结果以bd行为准：
表：ab ac ad bc bd be
1 1 2 1 7 8
3 5 6 3 9 10
0 0 0 4 11 12
左外连线包含left join左表所有行，如果左表中某行在右表没有匹配，则结果中对应行右表的部分全部为0.
注：此时我们不能说结果的行数等于左表资料的行数。当然此处查询结果的行数等于左表资料的行数，因为左右两表此时为一对一关系。
右外连线包含right join右表所有行，如果左表中某行在右表没有匹配，则结果中对应左表的部分全部为0。
注：同样此时我们不能说结果的行数等于右表的行数。当然此处查询结果的行数等于左表资料的行数，因为左右两表此时为一对一关系。
3、完全外连线 full join 或 full outer join
SQL语句：select 表a.ab,表a.ac,表a.ad,表b.bc,表b.bd,表b.be from 表a full join 表b on 表a.ab=表b.bd执行结果：
表：ab ac ad bc bd be
1 1 2 1 7 8
2 3 4 0 0 0
3 5 6 3 9 10
0 0 0 4 11 12
完全外连线包含full join左右两表中所有的行，如果右表中某行在左表中没有匹配，则结果中对应行右表的部分全部为0，如果左表中某行在右表中没有匹配，则结果中对应行左表的部分全部为0。
二、内连线 join 或 inner join
SQL语句：select 表a.ab,表a.ac,表a.ad,表b.bc,表b.bd,表b.be from 表a inner join 表b on 表a.ab=表b.bdinner join 是比较运算子，只返回符合条件的行。
表：ab ac ad bc bd be
1 1 2 1 7 8
3 5 6 3 9 10
三、交叉连线 cross join
1.概念：没有 WHERE 子句的交叉联接将产生连线所涉及的表的笛卡尔积。第一个表的行数乘以第二个表的行数等于笛卡尔积结果集的大小。
表a: ab
星期一
星期二
星期三
表b: cd
张三
李四
王五
SELECT a.ab,b.cd FROM 表a CROSS JOIN 表b
ab cd
星期一 张三
星期一 李四
星期一 王五
星期二 张三
星期二 李四
星期二 王五
星期三 张三
星期三 李四
星期三 王五

㈣ SQL优化万能公式：5 大步骤 + 10 个案例

在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。

1、通过慢查日志等定位那些执行效率较低的SQL语句

2、explain 分析SQL的执行计划

type由上至下，效率越来越高

Extra

3、show profile 分析

了解SQL执行的线程的状态及消耗的时间。默认是关闭的，开启语句“set profiling = 1;”

4、trace

trace分析优化器如何选择执行计划，通过trace文件能够进一步了解为什么优惠券选择A执行计划而不选择B执行计划。

5、确定问题并采用相应的措施

案例1、最左匹配

索引

SQL语句

查询匹配从左往右匹配，要使用order_no走索引，必须查询条件携带shop_id或者索引( shop_id , order_no )调换前后顺序

案例2、隐式转换

索引

SQL语句

隐式转换相当于在索引上做运算，会让索引失效。mobile是字符类型，使用了数字，应该使用字符串匹配，否则MySQL会用到隐式替换，导致索引失效。

案例3、大分页

索引

SQL语句

对于大分页的场景，可以优先让产品优化需求，如果没有优化的，有如下两种优化方式， 一种是把上一次的最后一条数据，也即上面的c传过来，然后做“c < xxx”处理，但是这种一般需要改接口协议，并不一定可行。另一种是采用延迟关联的方式进行处理，减少SQL回表，但是要记得索引需要完全覆盖才有效果，SQL改动如下

案例4、in + order by

索引

SQL语句

in查询在MySQL底层是通过n*m的方式去搜索，类似union，但是效率比union高。in查询在进行cost代价计算时（代价 = 元组数 * IO平均值），是通过将in包含的数值，一条条去查询获取元组数的，因此这个计算过程会比较的慢，所以MySQL设置了个临界值(eq_range_index_pe_limit)，5.6之后超过这个临界值后该列的cost就不参与计算了。因此会导致执行计划选择不准确。默认是200，即in条件超过了200个数据，会导致in的代价计算存在问题，可能会导致Mysql选择的索引不准确。

处理方式，可以( order_status , created_at )互换前后顺序，并且调整SQL为延迟关联。

案例5、范围查询阻断，后续字段不能走索引

索引

SQL语句

范围查询还有“IN、between”

案例6、不等于、不包含不能用到索引的快速搜索。（可以用到ICP）

在索引上，避免使用NOT、!=、>、!、NOT EXISTS、NOT IN、NOT LIKE等

案例7、优化器选择不使用索引的情况

如果要求访问的数据量很小，则优化器还是会选择辅助索引，但是当访问的数据占整个表中数据的蛮大一部分时（一般是20%左右），优化器会选择通过聚集索引来查找数据。

查询出所有未支付的订单，一般这种订单是很少的，即使建了索引，也没法使用索引。

案例8、复杂查询

如果是统计某些数据，可能改用数仓进行解决；如果是业务上就有那么复杂的查询，可能就不建议继续走SQL了，而是采用其他的方式进行解决，比如使用ES等进行解决。

案例9、asc和desc混用

desc 和asc混用时会导致索引失效

案例10、大数据

对于推送业务的数据存储，可能数据量会很大，如果在方案的选择上，最终选择存储在MySQL上，并且做7天等有效期的保存。那么需要注意，频繁的清理数据，会照成数据碎片，需要联系DBA进行数据碎片处理。

㈤ sql多表联查实例

sql多表联查实例
下面提供四款sql多表关联查询的实例，个个效率不一样。
select
*
from
order_info
as
a
,ivrlog4ivrdlvinst
as
b
where
(a.saleorder=b.ext1_skill
and
b.start_date=@date1
and
se_id='55'
and
b.ext1_skill!='')
and
convert(varchar(10),a.instime,112)=@date2
and
max(a.instime)
方法二
select
*
from
order_info
as
a
where
a.saleorder=(
select
b.ext1_skill
from
ivrlog4ivrdlvinst
as
b
where
b.start_date=@date1
and
se_id='55'
and
b.ext1_skill!='')
and
convert(varchar(10),max(a.instime),112)=@date2
方法三
declare
@date1
varchar(20),
@date2
varchar(20)
set
@date1='20100812'
set
@date2='2010-08-12'
select
*
from
order_info
as
a
where
a.saleorder=
(select
b.ext1_skill
from
ivrlog4ivrdlvinst
as
b
where
b.start_date=@date1
and
se_id='55'
and
b.ext1_skill!='')
and
convert(varchar(10),a.instime,112)=@date2
and
max(a.instime)
方法四
select
b.caller,
b.start_date,
b.start_time,
b.ext1_skill,
c.deliveryno,
c.destroyresult,
c.deliverydate,
c.deliverytime,
c.arrangetime,
c.driverphone,
c.drivermobile,
a.servicedate,
a.servicetime,
a.workertel
from
order_info
as
a
,ivrlog4ivrdlvinst
as
b
,delivery_info
as
c
where
a.saleorder
in
(select
b.ext1_skill
from
ivrlog4ivrdlvinst
where
b.start_date=@date1
and
b.se_id='55'
and
b.ext1_skill!='')
and
convert(varchar(10),a.instime,112)=@date2
order
by
b.start_date
desc,
b.start_time
desc

㈥ 1、sql查询语句时怎么把几个字段拼接成一个字段这几个字段是整型的。

1、语句如下：

select 字段A, 字段B, 字段A + 字段B as 字段C From 表1

注：字段A加上字段B的计算列命名为字段C

2、计算列

计算列由可以使用同一表中的其他列的表达式计算得来。表达式可以是非计算列的列名、常量、函数，也可以是用一个或多个运算符连接的上述元素的任意组合。表达式不能为子查询。

原题的答案就是“计算列”。

(6)sql整合成功案例扩展阅读：

计算列应用范围

计算列可用于选择列表、WHERE 子句、ORDER BY 子句或任何可使用正则表达式的其他位置，但下列情况除外：

用作 CHECK、FOREIGN KEY 或 NOT NULL 约束的计算列必须标记为 PERSISTED。如果计算列的值由具有确定性的表达式定义，并且索引列中允许使用计算结果的数据类型，则可将该列用作索引中的键列，或者用作 PRIMARY KEY 或 UNIQUE 约束的一部分。

例如，如果表中含有整数列a和b，则可以对计算列a+b创建索引，但不能对计算列a+ DATEPART(dd,GETDATE()) 创建索引，因为在后续调用中，其值可能发生改变。

计算列不能作为 INSERT 或 UPDATE 语句的目标。

数据库引擎基于使用的表达式自动确定计算列的为 Null 性。即使只有非空列，大多数表达式的结果也“认为”可为空值，因为下溢或溢出生成的结果也可能为空。使用带AllowsNull属性的 COLUMNPROPERTY 函数可查明表中任何计算列的为 Null 性。

通过指定 ISNULL (check_expression,constant) 可以将可为空值的表达式转换为不可为空值的表达式，其中,constant是可替换所有空结果的非空值。

网络.计算列

㈦ sql怎么把两张表合并成一张

sql把两张表合并成一张步骤如下：

1、我们首先将以A为基准用leftjoin以B为基准用right，都要就用fulljoin 。