1. Django配置Celery执行异步和同步任务(tasks))
celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架,支持清弊使用任务队列的方式在分布式的机器/进程/线程上执行任务调度。采用典型的生产者-消费者模型,主要由三部分组成:
比如系统上线前后台批量导入历史数据,发送短信、发送邮件等耗时的任务
1.安装RabbitMQ,这里我们使用RabbitMQ作为broker,安装完成后默认启动了,也不需要其他任何配置
Ubuntu linux安装
CentOS Linux 安装
苹果mac 安装需要配置
配置环境变量 (苹果用户)
启动rabbitmq-server
2.安装celery
3.celery用在django项目中,django项目目录结构(简化)如下
4.创建 oa/celery.py 主文件
5.在 oa/__init__.py 文件中增加如下内容,确保django启动的时候这个app能够被加载到
6.各应用创建tasks.py文件,这里为 users/tasks.py
7.views.py中引用使用这个tasks异步处理
8.启动celery
9.这样在调用post这个方法时,里边的add就可以异步处理了
定时任务的使用场景就很普遍了,比如我需要定时发送报告给老祥谈板~
1. oa/celery.py 文件添加谨正碰如下配置以支持定时任务crontab
3.启动celery beat,celery启动了一个beat进程一直在不断的判断是否有任务需要执行
2. ASP.NET如何后台定时执行任务
你可以在前台定一个计时器,定时去执行后台呀。用ajax+json可以。如果你非要在后台定时执行任务。你在后台茄冲服务器上写个服务也行呀。这个是前台的ajax调用后台处理程序,返回json
$(document).ready(
function(){
setTimeout(function(){
$.ajax({
type:"post",
url:"Handler1.ashx",
dataType: "json",
success: function(data) { //执明备行OK,就把消息返回到前台
$("#msg").css("color", "#0000FF").html(data.MSG);
},
error: function(err) { //失败
$("颤槐歼#msg").css("color", "#FF0000").html("access faield:" + err);
}
});
}, 1000)
});
3. Nacos动态配置原理浅谈
SpringBoot环境引入配置中心依赖
查看spring-cloud-starter-alibaba-nacos-config的spring.factories文件
首先加载初始化:org.springframework.cloud.alibaba.nacos.的NacosPropertySourceLocator对象
ps:何时加载 请参考: https://blog.csdn.net/m0_37607945/article/details/107762760 )
重点关注NacosPropertySourceLocator.locate方法
那locate方法具体什么时候执行呢?
spring容器在初始化,准备上下文时,会调用所有实现ApplicationContextInitializer接口的类然后遍历执行其initialize()方法
而nacos则正是利用了spring的这种自定义PropertySourceLoader加载机制与spring完美结合,说明一个好的框架的扩展性设计是多么重要,同样如果从事自研中间件的小伙伴也必须对spring的各种机制,功能点必须非常熟悉才能写出优秀的框架。
接下来就回到了:NacosPropertySourceLocate的locate方法
利用反射创建NacosConfigService实例
接下来我们看看其构造函数都做了什么操作
依次初始化命名空间,以及http的包装类,实际执行的是serverHttpAgent,以及ClientWorker(长轮询),重点看一下ClientWorker
可以看到ClientWorker里面初始化了两个线程池,一个是定时执行任务线程池,一个是不定长线程池,同时启动了定时任务线程池,设定每10毫秒执行一次:checkConfigInfo()方法。(先记得有这么回事)
继续看locate 加载方法:
先加载共享配置类文件,即配置:spring.cloud.nacos.config. shared-dataids的文件
再加载配置为:spring.cloud.nacos.config.ext-config 的列表文件,
再去加载系统默认配置
内部方法调用逻辑大同小异,都是调用loadNacosDataIfPresent方法
继续跟,走到loadNacosData方法
走到NacosConfigService的getConfig方法,getConfig方法会先去查询本地文件(降级策略),本地文件存在则返回,本地文件不存在则调用http接口获取,至此,配置中心初始化拉取数据完毕。
我们在nacos控制台修改了数据,客户端又是如何快速感知到的呢?
入口在:NacosConfigAutoConfiguration的nacosContextRefresher方法
nacosContextRefresher实现了ApplicationListener<ApplicationReadyEvent>,会在spring容器发布ApplicationReadyEvent事件时,触发监听操作
针对每个配置文件注册监听
首先声明一个Lister逻辑,然后放到listerMap中,key为dataId,lister内部逻辑主要是收到更新配置后,更新md5值,然后利用spring applicaiton发布RefreshEvent事件。
紧接着调用
configService.addListener(dataId, group, listener);
看下其内部处理逻辑
简单概括就是将配置信息封装成了一个cacheData对象,然后放到hashmap中
再次回到上文中的,ClientWorker的定时任务线程池中checkConfigInfo方法,每隔10s会去执行一次,
此处的longintTaskCount 自己理解应该一直是0,因为listenerSize 为配置文件数目不会超过3000,然后ParamUtil.getPerTaskConfigSize()也是固定值为3000,因此longingTaskCount为0,currentLongingTaskCount也为0,也就是if条件会永远不满足,但debug发现longingTaskCount会变为1,但是不知道为啥(希望大神解惑)
继续看LongPollingRunnable的run方法
如果没有用到本地配置,并且本地配置文件确实存在,则采用本地配置
如果是采用的本地配置。并且本地文件删除了 ,则设置setUseLocalConfigInfo(false)
检查md5值是否有变更,如有通知发送监听
执行lister的receiveConfigInfo()方法
总结:客户端通过定时任务线程池来监听配置,当服务端配置发生变更时,客户端会通过拉(长轮询)方式得到最新的值并保存在cacheData中,然后于cacheData的listener的md5值做对比,如果有更新则通知,触发lister的reveiveConfig方法;
来看下服务端的长轮询处理:
发起长轮询请求,对应http接口:post请求,/v1/cs/configs/listener,并设置超时时间30s,逻辑是如果30s内配置发生了变更,则会立马返回,否则等待29s后执行检查判断配置是否发生变更返回。然后继续发起轮询请求,循环往复
服务端长轮询接口处理逻辑:
将请求设为异步,并封装成ClientLongPolling
ClientLongPolling 的run逻辑:
1.创建一个调度的任务,调度的延时时间为 29.5s,(29.5由客户端默认传递超时时间30s-服务端设置的500ms得来)
2.将该 ClientLongPolling 自身的实例添加到一个 allSubs 中去
3.延时时间到了之后,首先将该 ClientLongPolling 自身的实例从 allSubs 中移除
4.获取服务端中保存的对应客户端请求的 groupKeys 是否发生变更,将结果写入 response 返回给客户端
allSubs则必然和客户端配置变更有必然联系,查看服务端修改配置方法:post /v1/cs/configs/
先持久化,再去发布configDataChangeEvent事件
而我们的LongPollService 监听的则是LocalDataChangeEvent事件,似乎和ConfigDataChangeEvent没关系,其实不然
继续跟进ConfigController的ConfigChangePublisher
.notifyConfigChange(new ConfigDataChangeEvent(....)))方法
AsyncNotifyService中注册监听逻辑
会执行一个AsyncTask任务,从而触发一个http get接口:
也就是:
mpService是负责将配置保存到磁盘的服务类
看到确实发布了LocalDataChangeEvent事件,
然后又回到了上图:LongPollingService 的onEvent方法,接着看DataChangeTask的逻辑,
首先遍历allStubs队列,然后找出当前的ClientLongPolling,
从队列中移除,然后response写入变更的groupKey
总结:可以看到nacos实际上是利用了推+拉 结合的方式来获取配置,当没有配置发生变更时,会hang住请求,默认等待(30-0.5)29.5秒后返回,而一旦发生数据变更,又会立刻推送变更数据写入到response,然后客户端更新配置;
以上则是动态配置原理,如果有不对的地方请指出;
参考: https://www.jianshu.com/p/acb9b1093a54
4. crontab定时任务 和linux请求接口
我能看懂的我感觉所有人都可以看懂
1. crontab文件格式:
* * * * * command
minute hour day month week command
分 时 知做瞎 天 月 星期 命令
minute: 表示分钟,可以是从0到59之间的任何整数。
hour:表示小时,可以是从0到23之间的任何整数。
day:表示日期,胡纳可以是从1到31之间的任何整数。
month:表示月份,可以是从1到12之间的任何整数。
week:表示星期几,可以是从0到7之间的任何整数,这里的0或7代表星期日。
command:要执行的命令,可以是系统命令,也可以是自己编写的脚本文件
2. 特殊字符:
星号(*):代表所有可能的值,例如month字段如果是星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。
逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”。
中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”。
正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用,例搭空如*/10,如果用在minute字段,表示每十分钟执行一次。
3.运行crontab –e 编写一条定时任务 */5 * * * * /home/test.sh 在每5分钟执行一次test.sh脚本。
4.查询当前用户定时任务或删除当前用户定时任务
chkconfig --list crond 查看是否开机自动启动
chkconfig --level 35 crond on 设置cond开机自动启动
测试get请求
$ curl http://www.linuxidc.com/login.cgi?user=test001&password=123456
2、测试post请求
$ curl -d "user=nickwolfe&password=12345" http://www.linuxidc.com/login.cgi
我长用到的就这俩。
5. sae中使用 spring Scheled 定时任务 怎么弄
首先要配置我们的spring.xml
xmlns 多加下面的内容、
然后xsi:schemaLocation多加下面的内容、
最后是我们的task任务扫描注解
[html] view plain
<task:annotation-driven/>
我的配置扫描位置是:
[html] view plain
<context:annotation-config/>
<bean class="org.springframework.beans.factory.annotation."/>
<context:component-scan base-package="com.test"/>
扫描的是com.test这样的包下的穗州颂内容、
下面需要接口和实现(我的这几个java文件都是com.test的包下的、)
[java] view plain
public interface IMyTestService {
public void myTest();
}
[java] view plain
@Component //import org.springframework.stereotype.Component;
public class MyTestServiceImpl implements IMyTestService {
@Scheled(cron="0/5 * * * * ? ") //每5秒执行一次
@Override
public void myTest(){
System.out.println("进入测试");
}
}
执行猜郑后控制台就会打印出 进入测试 了
需要注意的几点:
1、spring的@Scheled注解 需要写在实现上迹郑、
2、 定时器的任务方法不能有返回值(如果有返回值,spring初始化的时候会告诉你有个错误、需要设定一个proxytargetclass的某个值为true、具体就去网络google吧)
3、实现类上要有组件的注解@Component
6. 用ASP实现一个定时任务。怎么实现
把下面的存为。ASP文件,运行,就可以可以了,可以自己提交
<html>
<head>耐明衫
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>新建网页 1</title>
<script language="javascript">
function tijiao(){
setTimeout("tijiao1()",2000);//2秒以后提交。
}
function tijiao1(){
form1.submit();
}
</script>
</head>
<body onLoad="javascript:tijiao();">
<%if request("T1")<>"" then
response.write request("T1")
end if%>
<form method="POST" name="form1" action="index.asp">
<p>要提交的内容:<input type="text" name="T1" size="20" value="DFGDFGDFG"><昌腔/p>
<p><input type="submit" value="提交" name="B1"><input type="reset" value="重置" name="B2">槐猛</p>
</form>
</body>
</html>
7. js定时器发post请求行吗
定时器可以定时发出警报或其他信号,它是一种电子设备,能够让你在某个指定的时间内发出警告或完成任务。定时器可以定历档蠢时发肢陪出警报或其他信号,蠢粗它是一种电子设备,能够让你在某个指定的时间内发出警告或完成任务。