⑴ 如何自动化完成sql审核
很多游戏项目都是通过每周更新大版本来维持用户的粘性和活跃度，而更新版本必然伴随着数据库的新建create、改表alter的SQL。
运维或者dba负责审核这类sql是否合理、高效，因为很多开发同事特别是经验少的新人是不考虑sql性能、是否合乎MySQL的最佳实践。
经常很多建表语句漏加索引或者加错索引（不满足最左匹配等情况），需要等到开服后数据库负载过高引起告警才发现问题。
MySQL的配置中有一个日志是记录没有使用索引的sql，记录进slow log日志中，不过实际使用过程中，的确存在着很多合理的不使用索引的情况，所以这个日志一般不打开。
为了避免人工审阅的重复劳动，所以运维可以通过写程序、脚本来自动审核sql，而审核的条件一般如下：
1、表结构是否合法 //不合法当然不能通过
2、表名、列名长度超过 16 //主要跟我们自己的授权有关系
3、必须有 unsigned //业务最容易忘记添加，当然如果一定要负值，那么就走人工审核;
4、必须为 InnoDB //当然了，我已经忘记还有MyISAM了，统计日志表除外
5、int bigint(10) 不能小于 10 //大家见过int（1）的情况么？
6、varchar 长度小于 3000 // 这也算是一个人为规定，没有任何意义
7、text 字段个数不能大于 3 //人为规定而已
8、主键必须为 int 类型 //不int，真的会死人
9、索引不能有重复 //见过key（id）,key(id,uid)的情况吗？
10、索引个数不能大于 5 个（包括主键） //人为定义而已
11、索引字段必须为 not null，并且有 default 值 //参照高性能那本书说的，其实不一定影响性能
12、SQL 是否使用到索引 //不能用到索引的SQL，真的很惨
13、SQL 中不能有 * //由于* 经常导致流量、O巨大，所以，也强制了
14、自增字段必须为 int 或者 bigint //见过自增用smallint的吗？然后一下就溢出了
15、请不要使用MySQL的保留字(Reserved Words) //写脚本，大家讨厌<`>符号么？
开发提交sql后，会直接调用后端审核程序，程序根据以上规则，进行审核，就极大的降低了运维、DBA的工作量。
当sql审核通过后，是否马上执行？
根据以下情况判断：
1、表小于10w行，小于10M空间大小，那么直接执行SQL;
2、如果不满足1，并且满足percona online-schema-change条件，那么通过osc工具，进行在线修改;
3、如果1、2都不行，走人工上线流程;
⑵ excel vba使用sql时，提示 运行时错误 -2147467259(80004005) 自动化(Automation)错误
可能只是 Sheet1 这个表名 不存在，
要不然就是版本 问题了， 2007 可能版本有点低，你好像写的 Excel12.0
⑶ SQL Server 自动化管理分区设计方案
一 设计说明
设计这个自动化的目的是想要交替 重复地使用固定的几个分区(分区编号 ~ )来保存数据 当最后一个分区就是快满的时候 我们会把最旧数据的分区的数据清空出分区 新数据就可以使用老分区空间了
应用这个自动化管理分区的环境是有些限制的 其一 分区的数据是呈现递增的 比如分区字段是自增Id值 或者是以日期作为分区;其二 可以接受 历史数据被移除分区表带来的问题 其三 一天进库的数量不应大于分区管理表PartitionManage中Part_Value与 Change_Value的差 因为我们作业执行的频率是 天 不过你可以调整Change_Value或者作业的执行频率;
具体脚本可以参考 SQL Server 自动化删除表分区设计方案
二 看图说话
(图 整体概念图)
数据流经过分区方案 被分配到不同的分区中 从图中可以看出 分区是可以重复利用的 后台有一个所谓的自动化切换分区的作业在跑 目的就是如果 重复利用这些分区 这里的PRIMARY目的就是说明它与其它文件组的一个平级关系 而且我们在做交换分区时候也会用到PRIMARY 需要事先分配足够 的空间
(图 自动化设计图)
这是自动化切换分区作业的逻辑处理 其中分区管理表的设计是比较重要的 它的灵活度关系到整个自动化的效果; 这个逻辑有以下几个特点
分区的索引进行存储位置对齐;其它索引在创建时就陵孙咐使用了分区方案 索引数据跟随分区数据一起存储在分区中;
分区管理表 包含了分区记录数预警设计 在Id达到这个值后凯樱就会进行交换分区;
分区管理表 FileGroup_String字段的数据可以通过SQL脚本自动化生成 条件就是分区文件组名称需要有规律;
临时表是创建在PRIMARY主分区上 跟原表使用相同的分区方案;需要事先给PRIMARY分配大于或者等于一个分区文件大小的空间 这样在交换分区的时候就不用增量为主分区分配数据空间;
交换旧数据到临时表 使用下面的语句可以把数据交换到相同的分区中编号 这样可以应对临时表就是一个历史表 而好处就是历史表也同样使用了分区
ALTER TABLE [tb] SWITCH PARTITION @PARTITION_num TO [Temp_tb] PARTITION@PARTITION_num
这里需要先修改分区方案 才能修改分区函数 这个跟创建分区函数与分区方案的顺序是刚好相反的
(图 分区管理表PartitionManage)
字段说明 Change_Value(预警Id值)Part_Value(分区函数值)FileGroup_String(分区文件组名称)IsDone(状态)UpdateTime(更新时间);
这就是那个分区管理表(PartitionManage) 它是经过了几个版本后才把字段确定下来的 现在它已经比较完善了 能应对比较多的情况
比如我们可以修改预警值(Change_Value) 让数据提早进入交换分区;
比如我们可以修改分区值(Part_Value) 达到调整分区间隔的目的;
比如我们可以修改分区文件组名称(FileGroup_String) 达到跳级文件组的目的;通过修改分区管理表来设置分区值与分区文件组的对应关系;
再比如 我们一次性修改了分区方案和分区函数 已经去到很后面的分区值了 那么我们只要设置这些分区值的状态(IsDone)为 (True)就可以解决了
记录了进行交换分区的时间(UpdateTime) 方便查询;
(图 分区为Id字段的记录分布图)
这是一个实战中的分区情况 这样的分区特点就是分区里面的记录数基本上是持平的 在Partition_num= 的记录中明显多了很多记录 这就是因为我们没有及时进行交换分区造成的
(图 分尺纯区为ClassId(分类)字段的记录分布图)
lishixin/Article/program/SQLServer/201311/22352
⑷ 如何在SQL中建立一个自动化任务
自动化任务直接可以在SQL中创建job
job有时间执行周期
所以可以设置执行起始时间，可以按天，按周，等等
假如按小时，那就选择按天，设置多少小时执行一次
⑸ 如何自动化完成SQL审核
sql审核主要完成两方面的目的.
1、避免性能太差的sql进入生产系统,导致整体性能降低
2、检查开发设计的索引是否合理,是否需要添加索引
第一点是SQL审核最核心的地方,避免乱七八糟的sql影响线上性能,甚至导致线上系统崩溃.
第二点是属于建模的范畴,要解决建模的最好办法是DBA参与项目前期审核,由DBA建模,如果DBA人力资源不足,那么就定期由DBA对开发人员进行培训.然后发现建模太烂的就扣KPI.
现在很多公司都是人肉来完成SQL审核的,人肉审核对dba的要求较高,需要懂一些代码,另外是费时费力,毕竟一般公司几十个开发,对应一个DBA，而且DBA还要干很多其他的事情.
如何将DBA从人肉SQL审核中解放出来呢?
思路其实很简单:
1、获取程序要执行的SQL
2、对要执行的SQL做分析,可以加各种分析条件来判断这个SQL是否可以自动审核通过,未通过审核的需要人工处理.
3、配合后期的慢查询日志分析系统完成长期的监控.
开源的解决方案主要有淘宝丹臣sqlautoreview系统.可以在github上搜索到.
但是这个系统主要是基于java sqlmapfile.xml解决自动创建索引的问题,对源数据有要求,并且是通过解析SQL结构来假设SQL的执行计划,不是特别准确,并且不能够很好的区分新sql还是老sql.
所以产生了一个新的方案:
1、为所有的执行过的sql产生一个figerprint
2、基于慢查询提供的数据,加上explain 提供的数据来判断这个sql的性能是否可接受,或者可优化.
3、自动审核通过性能可接受的部分,给DBA展示性能较差的sql,然后进行优化.
方案的优点在于:
基于用户真正执行的SQL,并且可以观察SQL执行频率.
基于MySQL真正的执行计划和执行结果,分析更准确.
每个SQL都有一个fingerprint,只需要增量处理新加的SQL,效率和性能提高.
基于Box anemometer二次开发,让慢查询和sql审核同平台,增加工具集成性,提高用户体验(DBA和开发人员)。
方案实施:
既然咱是DBA，肯定会有更DBA的思维方式.基于现有软件二次开发完成,减少开发成本,整合管理平台.
基于Box anemometer.安装Box anemometer
Box anemometer是一款B/S架构,图形化的MySQL慢查询分析工具.功能强大易用,设计简单直接.anemometer是基于pt-query-digest的二次封装得来.
核心处理流程:
mysql node–>计划任务通过pt-query-digest收集慢查询信息–>结果写入到数据库中–>anemometer按条件去展示慢查询的结果,并且提供了图形化和趋势分布图等功能.
所以anemometer已经帮我们完成了数据收集,包括每个sql的fingerprint信息,以及相关的信息,我们在测试环境,基于anemometer,将long_query_time设置为0,就可以收集到所以的SQL及相关信息.
在我们收集到所有SQL以后,我们就要来分析这个SQL是否可以自动审核通过.这里开始我们就要定制了.
定制内容如下:
一、
设置一个单独的datasources,可以命名为audit_sql.
这个datasources里面只放置开发环境或者测试环境的慢查询(你要做sql审核基于哪个环境),将此环境的long_query_time设置为0,接收所有的sql查询.
二、修改anemometer
ALTER TABLE `global_query_review` ADD audit_status VARCHAR(255) NOT
NULL DEFAULT ‘refuse’ comment ‘sql审计的状态 refuse未通过 pass审核通过’;
修改PHP代码.
在report模块的where条件中增加一个Ait Status的选项框,可以过滤audit_status的状态
在show_query模块中增加一个Audit Status的选项框,可以人工设置audit_status的状态
三、增加两个额外的脚本,准实时的分析audit_status为refuse的sql,如果sql的满足自动审核通过的条件,那么就设置audit_status为pass,表示自动审核通过.
自动审核未通过的sql,由DBA人工在anemometer上检索和处理.
这里就涉及到一个自动审核通过的算法:
算法分两种.
第一种是准实时,也就是可以几分钟或者一个小时运行一次,主要是根据每个sql的执行效率判断是否pass.
对应的脚本名字叫做:audit_sql.py
第二种是一天一次,弱化执行效率判断,增加一天执行的频率判断.
对应的脚本名字叫做:audit_sql_day.py
各家根据自己的实际情况调整或者优化这两个脚本.
至此,你已经可以让99%以上的代码自动审核通过了,审核不通过的代码你可以让开发自己来tracking也可以主动推给开发.
对于才搭建的环境,可能会有一些乱七八糟的sql,不过使用一段时间稳定以后,异常的sql指纹都有了,那么每天产生的sql指纹就比较少了,而这部分SQL指纹也就是程序员编写新的代码产生的.
⑹ 如何实现一键全自动化统计
1、【数据】-【获取数据】-【来自数据库】，也可以来自本地文件或其他方式，这里以mysql数据源为例讲解。
2、连接数据库，填写SQL语句，点击“确定”。数据查询完后弹出查询结果，点击下方【扮游加载】-【加载到】选择数据放置位置。
3、数据的放置位置可以选现有工作表（选择斗指一个单元格）或新工作表，点击确定即可加载到表中。
4、数据源更新完成后，下面制作报表，主要是利用函数公式来完成（此数据源为分部门、分日的业绩数据，一般报表中需统计当前业绩、同环比等数据，可根据具体需要设置表头）。
5、报表表头设计，并使用日期公式添加辅助统计条件。
6、统计周期起止日期确定后，下一步计算对应周期内的业绩，常用的为sumifs函数，注意使用固定符号$，方便下拉、右拉直接计算出对应结果。
7、汇总公式填写完后，自动报表即制作完成。之后每天刷新数据即可自动获取数据库最新数据，报表也会根据最新的统厅销销计时间周期计算相应的完成。
⑺ 有效使用SQL Server的自动管理功能
如要让数据库进行自动管理 则管理员需要预先定义一些可预测的管理任务以及这些任务发送的条件 当满足这些指定的条件 则数据库会自动运行管理员指定的操作 使用自动管理来处理日常事务 则让管理员可以抽出时间去关注其他的事情 如数据库优化等等更加具有价值的作业
计划就是自动化管理组件的一个成员 计划指定了作业运行的时间 多个作业可以根据一个计兆高划运行;多个计划也可以应用到一个作业 但是这个时间跟我们普通上的几点几分又有差异 这个时间不仅指特定的日期或者时间 而且还可以表示特定的时间 如当SQL Server代理启动的时候或者服务器的CPU使用率处于定义的空闲状态水平时 也就是说 这里指的时间计划也可以实现一定的条件状态控制 简而言之 计划作业就是定义使得作业在没有哦能够互交互情况下开始运行的条件 包括具体的日期或者特定的在状况 通过为作业创建新计划或者将现有的计划添加到作业可以将作业计划设置为自动运行 不过在设置自动执行计划的时候 需要注意一个问题 即一次只能够运行一个作业实例 如果在作业按计划运行时尝试手工运行该作业 则SQL Server代理将拒绝这个请求 另外 即使计划未启用 作业仍可以为响应警报而运行 或者由用户手动运行 如果作业计划未启用 则任何使用该计划的作业都不会启用该计划
一 计划触发的时间与事件
上面笔者说过 计划可以基于特定的时间与事件而触发 那么这些具体的时间与事件是什么呢?笔者平时用到的最多的就是如下几种情况
一是特定的日期和时间运行一次 这个计划时间在数据库备份的时候特别有用 大家都知道 数据库备份会占用比较多的系统资源 如果在数据库服务器使用高峰期(如白天上班时间)进行备份的话 那么会对用户的访问造成比较大的影响 为此笔者就把数据库备份的时间放在晚上 点之后 这个时段相对来说 很少有用户会访问数据库 此时管理员就可以利用计划功能 让其在每天的 点之后进行数据库备份 这就是基于特定的日期和时间计划的典型应用
二是安族毁尺重复执行的计划运行 这个跟上面讲的特定日期和时间运行一次比较类似 只是上面的情况只运行一次 而这个按重复执行计划运行则是指会重复运行多次 如每天晚上 点都进行数据库备份等等 在实际工作中 特定日期和时间运新一次往往只是针对一些特殊的情况 如今天刚对数据库结构进行了比较大的更改 如添加了几张表或者视图 此时就需要对数据库进行一次完全备份 如故不急于进行备份的话 则就可以建立一个在特定的日期和时间运行的数据库完全备份计划 让其在午后进行数据库备份 但是对于常规的数据库备份 则需要采取这个按重复执行计划运行
三是当计算机的CPU使用率处于定义的空闲状态水平时 也就是说 数据库服务器当前的CPU使用率比较低 可以执行其他一些比较复杂的管理任务 如有些数据库系统在设计的时候 有一个库存补货点作业 当库存低于安全库存的时候 系统就会自动生成一张物料请购单 来满足安全库存的需要 由于这张表设计到的物料比较多 会占用比较多的系统资源 故可以设置每天运行一次 而运行的时间就定在CPU使用率比较低的时候 如此就可以减少对其他作业造成的负面影响
二 CPU空闲计划的典型应用
其他的几种计划类型 不少数据库管理员已经非常了解 笔者今天想谈的是CPU空闲计划的应用 这个计余郑划如果应用的好的话 可以大大提高数据库的性能 如果要想利用好这个功能 则需要回答如下两个问题
一是什么作业需要使用CPU空闲计划?这个问题比较难回答 从理论上来说 任何作业都可以采用CPU空闲计划在自动执行 只是他们带来的效果不同 有的作业即使采用了CPU空闲计划 也不能够带来很大的性能改善 简单的来说 一些占用CPU资源比较大的作业 采用CPU空间计划规则来自动执行 可以取得比较好的效果 如数据库有时候需要重新生成索引 这项工作会占用比较多的CPU资源 而且随着数据量的增多 这个CPU使用率也会越来越高 为此 如果可以把重新生成索引的作业 放在CPU空闲时间来进行的话 那么对于提高数据库的性能效果是比较明显的 总之当某个作业比较复杂 可能需要占用到比较多的CPU或者内存资源的话 则可以采用这个CPU空闲计划
二是什么时候CPU是空闲的?空闲是一个相对的标准 有时会CPU使用率 %以下可以定义为空闲;而有时候CPU使用率只有不到 % 就是空闲 这要根据服务器的配置已经所部属的应用来考虑 所以管理员在采用CPU空闲计划之前 先要对服务器进行观测一定时间 采用性能监视器等工具来监视服务器流量并收集相关的统计信息 然后利用收集到的信息来分析CPU空闲的标准 并在数据库中进行相关的设置 将 CPU 空闲条件定义为一个百分比 在该百分比以下 CPU 使用率必须持续指定的时间 然后 设置持续时间长度 如果 CPU 使用率在指定时间内低于指定的百分比 则 SQL Server 代理将启动具有 CPU 空闲时间计划的所有作业 如管理员认为CPU使用率在 %以下可以运行重建索引的作业 即当这个重建索引作业运行时CPU使用率在可以忍受的范围之内 此时就可以把CPU的空闲率标准设置为 % 而且这个低于 %的CPU使用率必须要持续一段时间 如这个低于 %的CPU持续时间很短 那么系统仍然不会认为这个CPU是出于空闲状态 这个持续时间最好能够参考具体作业的执行时间 若重建索引作业所需要的时间等等
三 如何停止计划的自动执行?
有些时间我们可能并不需要自动执行计划 如在数据库设计的时候 管理员并不需要这些自动执行的计划 为此需要把他们暂时停止 此时有哪些方法可以做到这一点呢?
一是可以把计划与作业剥离 计划与作业是两个独立的内容 如数据库完全备份与计划时间就是相互独立的 如果设置好了数据库完全备份的策略 但是没有把计划时间与这个作业进行关联的话 则数据库完全备份不会自动执行 此时如果需要执行这个作业的话 则就要进行手工启动 故当管理员暂时不想要某个计划的时候 可以把计划作业剥离 即在作业中去掉这个时间计划即可
二是禁用作业或者计划 当管理员不需要某个作业自动运行的时候 可以把这个计划或者作业进用掉 禁用计划或者禁用作业都会让某个作业停止自动运行 但是他们仍然有微小的差异 如禁止计划的话 只是这个这个作业停止自动运行 但是管理员仍然可以手工执行它 可是禁用作业的话 则系统不仅不会自动运行 而且管理员还不能够手工执行它 这就好像给这个作业设置了终身监禁 为此 为了避免这种情况的发生 笔者是建议最好采用禁用计划而不是禁用作业 如此的话 在必要的时候管理员还可以手工启动该作业来应急 另外 如果这个计划将来仍然需要采用的话 笔者不建议把计划与作业剥离的方式来停止计划的自动执行;而是建议这种禁用计划的方式来完成 不然的话 下次需要的时候仍然需要把计划与作业关联 反而会增加工作量
另外 如果这个测试计划以后再也不用时 有两种处理方法 一是把计划直接删除 这个是最彻底的方法 但是不会留下任何历史纪录 二是先把计划跟作业玻璃 然后再禁用这个计划 这虽然比较麻烦一点 而且会在数据库中留下垃圾数据 但是却可以保留历史纪录 这可能会对数据库的后续维护带来一定的帮助 到底不用的计划是删除还是禁用 没有一个统一的标准 还是需要根据数据库管理员的操作习惯来判断
lishixin/Article/program/SQLServer/201311/22479
⑻ 如何使用SSDT进行SQL数据库的自动化部署到生产环境和版本控制
嗯问题解决数据库先附加2014数据库给创建脚本脚本放低版本数据库进行创建行想单纯降低能微软具兼容性所能高兼低低兼高太实现
⑼ 自动生成报表软件怎样快速生成报表
思迈特软件Smartbi简单、高效、智能，可快速搭建的企业级Web报表。从报表开发的数据准备、样式设计、数据计算、数据可视化到互动逻辑、共享发布。它满足各种格式的行业监管报表、内部管理报表的需求。包括：清单报表、交叉报表、分组报表、多源分片报表、分块报表、表单报表、图形报表、回写报表、假设分析报表、二次计算报表、套打报表、段落式报表、预警报表（Excel条件格式）、组合报表（智能评语）。Excel也能设计回写类报表。
任何有报表开发、展现需要的机构与人员；任何行业的IT人员、业务人员、高层管理人员或从事数据分析工作的人员，都将从Smartbi Insight 中获益。
IT部门：IT用户在平台上轻松完成多业务系统或者文件数据对接和整合、数据语义模型构建、可视化自助ETL处理、复杂报表/可视化报告生成等多项工作。同时可使用同一的可视化运维界面来监控用户的运行状况，通过银行级的多级权限管理来实现集团权限管控，让IT运维省心、安心。
业务人员: 可随时使用思迈特软件Smartbi进行自助式即席查询和多维度分析。再不用提需求给IT 后进入到漫长的流程等待，自己掌控业务开展，实现“数据不求人”。
高层管理者：弥合数据与决策制定之间的差距，通过可视化界面实时查看业务关键指标，为决策分析提供辅助支撑。使数据实时回归到业务部门，缩短数据从基层部门到管理层汇总周期，提高管理层决策的时效性和准确性。
任何从事数据分析工作的人员: 无论是专业数据分析的研究人员，还是希望从Smartbi中学习数据分析的方法的学生和利用Smartbi进行个人工作的分析汇报的人员，都可以使用Smartbi Insight满足其想法。
思迈特软件Smartbi平台通用化、标准化、易于使用、专业，可帮助企业获取更深入的数据见解，连接到数据并对数据进行可视化。经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。
思迈特软件Smartbi个人用户全功能模块长期免费试用
马上免费体验:Smartbi一站式大数据分析平台
⑽ excel如何使用sql帮助运算一些复杂的多条件求和，然后将需要的结果返回到excel。
发来，帮你处理。。。。
扣删除三删除五删除八删除一删除零删除六删除七删除三删除六