⑴ HttpRunner回放录制的har转yml和json脚本报错
好厉害的样子。感觉受到打击了
⑵ 如何使用Elasticsearch groovy script脚本更新数据
今天细说一下elasticsearch的update更新功能，以及如何利用script脚本更新数据。
想要使用script脚本功能,需要在配置文件elasticsearch.yml里设置
Python
script.disable_dynamic: false
关于elasticsearch script的文章，总是会没完没了的修改
ES支持更新，但是更新的方式是通过一个提供的脚本进行的。ES的做法是，通过
index找到相应的存放记录的节点，然后执行脚本，执行完之后，返回新的索引。实际上执行的是一个get和reindex的过程，在这个过程中，通过
versioning来控制没有其它的更新操作（这个功能是0.19后可用的）。具体实现的原理应该和elasticsearch
Versioning相关。
⑶ 如何利用ansible callback插件对执行结果进行解析
Adhoc
adhoc 其实执行 Ansible 模块, 通 adhoc 我便快捷完些临运维操作.
2.0 前调用
import ansible.runner
import json
runner = ansible.runner.Runner(
mole_name='ping', # 模块名
mole_args='', # 模块参数
pattern='all', # 目标机器pattern
forks=10
)
datastructure = runner.run()
data = json.mps(datastructure,indent=4)
加载默认 inventory
想使用 inventory 文件或者想使用态 inventory, 则使用 host_list 参数代替
import ansible.runner
import json
runner = ansible.runner.Runner(
host_list=["10.10.0.1"], # 明确指定主机需要传递列表, 或者指定态inventory脚本
mole_name='ping', # 模块名
mole_args='', # 模块参数
extra_vars={"ansible_ssh_user":"root","ansible_ssh_pass":"xx"},
forks=10
)
datastructure = runner.run()
data = json.mps(datastructure,indent=4)
2.0 调用
import json
from ansible.parsing.dataloader import DataLoader
from ansible.vars import VariableManager
from ansible.inventory import Inventory
from ansible.playbook.play import Play
from ansible.executor.task_queue_manager import TaskQueueManager
from ansible.executor.playbook_executor import PlaybookExecutor
loader = DataLoader() # 用加载解析yaml文件或JSON内容,并且支持vault解密
variable_manager = VariableManager() # 管理变量类,包括主机,组,扩展等变量,前版本 inventory
inventory = Inventory(loader=loader, variable_manager=variable_manager)
variable_manager.set_inventory(inventory) # 根据 inventory 加载应变量
class Options(object):
'''
公共类,ad-hocplaybook都需要options参数
并且所需要拥同属性,部属性都返None或False
用类省初始化堆空值属性
'''
def __init__(self):
self.connection = "local"
self.forks = 1
self.check = False
def __getattr__(self, name):
return None
options = Options()
def run_adhoc():
variable_manager.extra_vars={"ansible_ssh_user":"root" , "ansible_ssh_pass":"xxx"} # 增加外部变量
# 构建pb, 意思, 新版本运行ad-hoc或playbook都需要构建pb, 调用play类
# :param name: 任务名,类似playbooktasksname
# :param hosts: playbookhosts
# :param tasks: playbooktasks, 其实playbook语, tasks值列表,写入task
play_source = {"name":"Ansible Ad-Hoc","hosts":"10.10.0.1","gather_facts":"no","tasks":[{"action":{"mole":"shell","args":"w"}}]}
play = Play().load(play_source, variable_manager=variable_manager, loader=loader)
tqm = None
try:
tqm = TaskQueueManager(
inventory=inventory,
variable_manager=variable_manager,
loader=loader,
options=options,
passwords=None,
stdout_callback='minimal',
run_tree=False,
)
result = tqm.run(play)
print result
finally:
if tqm is not None:
tqm.cleanup()
if __name__ == '__main__':
run_adhoc()
Playbook
playbook 则类似于 SaltStack state
2.0 前调用
from ansible import callbacks
from ansible import utils
from ansible.playbook import PlayBook
stats = callbacks.AggregateStats()
callback = callbacks.PlaybookCallbacks()
runner_callbacks = callbacks.PlaybookRunnerCallbacks(stats)
pb = ansible.playbook.PlayBook(
playbook="tasks.yml",
stats=stats,
callbacks=playbook_cb,
runner_callbacks=runner_cb,
check=True
)
pb.run()
2.0 调用
import json
from ansible.parsing.dataloader import DataLoader
from ansible.vars import VariableManager
from ansible.inventory import Inventory
from ansible.playbook.play import Play
from ansible.executor.task_queue_manager import TaskQueueManager
from ansible.executor.playbook_executor import PlaybookExecutor
loader = DataLoader() # 用加载解析yaml文件或JSON内容,并且支持vault解密
variable_manager = VariableManager() # 管理变量类,包括主机,组,扩展等变量,前版本 inventory
inventory = Inventory(loader=loader, variable_manager=variable_manager)
variable_manager.set_inventory(inventory) # 根据 inventory 加载应变量
class Options(object):
'''
公共类,ad-hocplaybook都需要options参数
并且所需要拥同属性,部属性都返None或False
用类省初始化堆空值属性
'''
def __init__(self):
self.connection = "local"
self.forks = 1
self.check = False
def __getattr__(self, name):
return None
options = Options()
def run_playbook():
playbooks=['task.yaml'] # 列表, 运行playbook
variable_manager.extra_vars={"ansible_ssh_user":"root" , "ansible_ssh_pass":"xxx"} # 增加外部变量
pb = PlaybookExecutor(playbooks=playbooks, inventory=inventory, variable_manager=variable_manager, loader=loader, options=options, passwords=None)
result = pb.run()
print result
if __name__ == '__main__':
run_playbook()
⑷ 为什么gitlab-runner执行完script停不下来
这些例子的名字是。在示例的末尾，如果需要启用它们，首先删除后缀: cd。Git/hookslapplypatch-msg.采样-味精。更新后样本。实验前测试。样本提前提交。取样前推。样本预重建。样品，准备-提交-味精。样本更新。[咒语]。示例 applypatch-msg 钩子按功能分为两类: 客户端和服务器端。客户机钩子由诸如提交和合并之类的操作调用，而服务器钩子则作用于诸如接收推送提交之类的网络操作。
⑸ 如何部署Spring Boot应用
在Ubuntu中安装Java8
以下是一个简单的安装方法。
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java8-installer
$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
2. 本地使用Gradle发布Spring Boot应用
我这里使用Jetty9作为内置的服务器。
// ...
bootRun {
systemProperties = System.properties
}
configurations {
compile.exclude mole: "spring-boot-starter-tomcat"
}
dependencies {
// spring boot
compile "org.springframework.boot:spring-boot-starter-web:1.3.0.M5"
compile "org.springframework.boot:spring-boot-starter-jetty"
// ...
}
//...
在本地运行默认使用src/main/resources/application.yml作为配置文件，而在proction环境中我们系统它支持提供外部的配置文件application-proction.yml。
./gradlew bootRun # 开发环境下默认使用项目里的application.yml
# 在本地测试使用外部配置文件
./gradlew bootRun -Dspring.config.location=/path/to/application-proction.yml
# 发布
./gradlew build
# 运行
java -jar build/libs/SpringBlog-0.1.jar # 默认使用jar包里面的application.yml配置文件
# 使用外部配置文件
java -jar build/libs/SpringBlog-0.1.jar --spring.config.location=/path/to/application-proction.yml
3. 在Ubuntu服务器上部署Spring Boot应用
# 上传SpringBlog-0.1.jar到服务器
scp build/libs/SpringBlog-0.1.jar root@your_server_ip:/root/spring-blog/current
# 在服务器上配置生产环境的配置文件
scp application-proction.yml root@your_server_ip:/root/spring-blog/current
然后SSH登录服务器，修改配置文件application-proction.yml，试运行应用。
ssh root@your_server_ip
cd spring-blog/current
java -jar SpringBlog-0.1.jar --spring.config.location=application-proction.yml
# application-proction.yml
server:
address: raysmond.com # 使用域名或者IP，启动之后就可以这个域名或IP访问网站了
port: 80
contextPath:
spring:
profiles:
active: proction
thymeleaf:
cache: true
jade4j:
caching: true
dataSource:
driverClassName: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1/spring_blog
username: root
password:
hibernate:
dialect: org.hibernate.dialect.MySQLDialect
hbm2ddl.auto: update
show_sql: false
redis:
host: localhost
port: 6379
4. 如何在Ubuntu中后台运行Spring Boot应用？
推荐使用nohup这个命令。
cd /root/spring-blog/current
nohup java -jar SpringBlog-0.1.jar --spring.config.location=application-proction.yml
> ../logs/proction.log 2> ../logs/proction.err &
在Ubuntu还可以/etc/init.d目录下新建一个脚本，把SpringBlog作为service来运行，这样不用每次都打这么繁琐的命令了。新建一个/etc/init.d/spring_blog文件，内容如下：
#!/bin/sh
SERVICE_NAME=spring_blog
HOME=/root/spring-blog
PATH_TO_JAR=$HOME/current/SpringBlog-0.1.jar
PID_PATH_NAME=/tmp/spring_blog.pid
LOG=$HOME/logs/proction.log
ERROR_LOG=$HOME/logs/proction.err
CONFIG=$HOME/application-proction.yml
case $1 in
start)
echo "Starting $SERVICE_NAME ..."
if [ ! -f $PID_PATH_NAME ]; then
cd $HOME/current
nohup java -jar $PATH_TO_JAR --spring.config.location=application-proction.yml > $LOG 2> $ERROR_LOG &
echo $! > $PID_PATH_NAME
echo "$SERVICE_NAME started ..."
else
echo "$SERVICE_NAME is already running ..."
fi
;;
stop)
if [ -f $PID_PATH_NAME ]; then
PID=$(cat $PID_PATH_NAME);
echo "$SERVICE_NAME stoping ..."
kill $PID;
echo "$SERVICE_NAME stopped ..."
rm $PID_PATH_NAME
else
echo "$SERVICE_NAME is not running ..."
fi
;;
restart)
if [ -f $PID_PATH_NAME ]; then
PID=$(cat $PID_PATH_NAME);
echo "$SERVICE_NAME stopping ...";
kill $PID;
echo "$SERVICE_NAME stopped ...";
rm $PID_PATH_NAME
echo "$SERVICE_NAME starting ..."
cd $HOME/current
nohup java -jar $PATH_TO_JAR --spring.config.location=application-proction.yml > $LOG 2> $ERROR_LOG &
echo $! > $PID_PATH_NAME
echo "$SERVICE_NAME started ..."
else
echo "$SERVICE_NAME is not running ..."
fi
;;
esac
现在就可以使用service的方式来运行网站了。
sudo service spring_blog start
sudo service spring_blog stop
sudo service spring_blog restart
5. 在本地自动化部署网站到远程服务器
在本地我用了一个shell脚本和一个python脚本来配合自动化部署。
deploy.sh 使用gradle的命令发布jar包，使用scp命令吧jar包上传到服务器上；
deploy.py 使用SSH远程登录服务器，并在服务器上执行部署命令。
# deploy.sh
#!/bin/bash
SERVER="your_server_ip"
JAR="build/libs/SpringBlog-0.1.jar"
echo "Building $JAR..."
./gradlew build
echo "Upload $JAR to server $SERVER..."
scp $JAR root@$SERVER:/root/spring-blog/
python deploy.py
deploy.py主要使用了一个paramiko库，用于SSH远程登录服务器，并执行命令。这个脚本会把服务器上/root/spring-blog/current/SpringBlog-0.1.jar备份到/root/spring-blog/releases中，并把新发布的jar包放到/root/spring-blog/current中，然后重启spring_blog服务。
全选复制放进笔记#!/usr/bin/python
import paramiko
import threading
import time
ip = 'your_server_ip'
user = 'root'
password = ''
jar = 'SpringBlog-0.1.jar'
home='/root/spring-blog'
current=home+"/current"
releases=home+"/releases"
def execute_cmds(ip, user, passwd, cmd):
try:
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(ip,22,user,passwd,timeout=5)
for m in cmd:
print m
stdin, stdout, stderr = ssh.exec_command(m)
# stdin.write("Y")
out = stdout.readlines()
for o in out:
print o,
print '%s OK '%(ip)
ssh.close()
except :
print '%s Error '%(ip)
if __name__=='__main__':
print 'Start deploying %s to server %s'%(jar, ip)
now = time.strftime("%Y%m%d%H%M%S")
cmd = [
'echo Stop spring_blog service... && service spring_blog stop',
'echo Flush all redis cache data... && redis-cli -r 1 flushall',
'echo Stop redis server... && service redis_6379 stop',
'echo Use new jar... ' +
' && mv ' + current + '/' + jar + ' ' + releases + '/' + now + '_' + jar ,
'mv ' + home + '/' + jar + ' ' + current + '/' + jar,
'echo Stop redis... && service redis_6379 start',
'echo Start spring_blog service... && service spring_blog start ' +
' && echo All done.'
]
a=threading.Thread(target=execute_cmds, args=(ip,user,password,cmd))
a.start()
配置完以后，在本地写完代码就可以运行./deploy.sh一键部署到远程服务器了。
⑹ 如何在src/main/resources下创建application.yml文件，还有图片的红括号里的文件，都是怎么创建的谢谢
配置文件构建springboot项目时会自动创建，编码文件肯定是手动创建的啊，右键new - Class 或者new - File 创建配置文件，以yml结尾就行了
⑺ docker-compose.yml文件如何识别变量
这是一个新颖的想法，在码农的IDE环境中，若是可以很方便地使用Docker，真是一件很有意思的事：对Dockerfile或者Compose YML文件进行语法高亮、自动补全、语法验证，甚至还可以直接在IDE中启动这个Docker容器来进行更深入的测试或者开发。让懒惰的程序员们可以更高效地利用时间，专注于解决应用本身的问题。有兴趣的小伙伴，可以搜搜有没有更好的可以分享分享，或者帮助社区写另一个优秀的工具出来。
这个博客帖子是关于如何集成Docker到我们的IDE中。让我们有机会介绍一个Eclipse插件 doclipser ，可以在IDE中编辑，构建和运行Docker容器。
Docker的开发环境
在深入Docker和IDE细节之前，让我们看看，为什么得把Docker放进必需的开发工具列表中。
构建系统
首先，Docker能够使我们的构建环境便携，可重复以及保持隔离。举个例子：你需要使用5.1版本的gcc工具构建一个C文件。 所有需要做的就是运行以下命令（当然，这里假定你已经安装了Docker）：
docker run gcc:5.1 gcc -o helloworld helloword.c
神奇的是，你可以在任何地方运行它，你不必理会依赖的库文件、之前的冲突或者gcc的安装。只要它能在你的笔记本上跑起来，也就可以在集成服务器上运行了。
运行环境
同样适用于运行时环境。如果你只想在tomcat 8上运行Java Web应用程序，可以只使用：
docker run tomcat:8 -v HelloWorld.war:/usr/local/tomcat/webapps/Helloworld.war
同样，你不用担心依赖性，平台配置或Linux发行版的差异，这些Docker都能搞定。
Docker和IDE
好吧，这应该很清楚，为什么现在Docker对开发真的非常有用。就像我们描述的，你可以使用喜欢的shell来执行这些命令。 问题是，开发者都是懒惰的。这意味着，如果我们在最喜欢的IDE中码字，就不希望跑到IDE外面来使用Docker。我们想直接从IDE中运行容器。
不幸的是，现在主要IDE都不支持Docker。
所以，你是不是很想看到IDE中集成了Docker？
你想要在容器中运行IDE？
docker run eclipse
汗，这不是容器的使用方式。在容器里面运行图形化应用程序，太过复杂也缺少可移植性。
你想要从IDE中运行容器？
是哦！我们希望能看到对Dockerfile，Docker Compose YML文件的支持，IDE构建系统和容器内的运行时环境。让我们来看看详细的需求：
Dockerfile的支持
Dockerfile支持应该带有语法高亮显示，自动补全（当按下Ctrl+SPACE键，dockerfile指令会自动弹出来）和语法验证（在执行 docker build 之前，IDE要能指出语法错误）
Docker Compose YML文件的支持
更有意思的是对Docker Compose YML文件的支持。这将允许定义容器间的关系，如Link和Volume，也可以从你的编辑器一次启动多个容器。真的很酷！
IDE构建系统
当然，你需要得到IDE中运行容器的支持。具体地，容器可以构建你的源文件。如果利用Docker多种语言特性，这可能变得更容易。
IDE运行时环境
我们期待IDE的最后一项功能，能够启动容器的运行时环境。
doclipser简介
根据上述四个功能，我们构建了doclipser，一个Eclipse插件来编辑，构建和运行Docker容器。
doclipser支持Dockerfile：语法高亮显示，自动补全和语法验证。虽仍没有支持Docker Compose YML文件，但已经可以执行一些Docker的命令，来构建源文件或启动运行时环境。
doclipser不是唯一的Docker Eclipse插件。这里有一个很优秀的Eclipse Docker工具集(以下简称:EDT)，由JBoss维护且和Eclipse的Linux工具包一起分发。 即使它们都能使大家在IDE中使用Docker，doclipser和EDT还是两种不同的方法：
1、doclipser通过对Dockerfiles的支持，专注于编辑和运行容器，在未来的版本中，将提供对Docker Compose YML文件的支持。
2、EDT对Docker镜像和容器拥有更高级的管理方式，但缺乏对Dockerfiles的支持。
⑻ YML格式文件用什么程序编辑打开
YML文件格式是YAML (YAML Aint Markup Language)编写的文件格式，YAML是一种直观的能够被电脑识别的的数据数据序列化格式，他并且容易被人类阅读，容易和脚本语言交互的，可以被支持YAML库的不同的编程语言程序导入，比如： C/C++, Ruby, Python, Java, Perl, C#, PHP等。例如YML文件格式的用法：
文件，通常就是Ruby on Rails 用来保存连接数据库时使用的连接信息文件。
⑼ .yml是什么文件
YML文件格式是YAML (YAML Aint Markup Language)编写的文件格式，YAML是一种直观的能够被电脑识别的的数据数据序列化格式，并且容易被人类阅读，容易和脚本语言交互的，可以被支持YAML库的不同的编程语言程序导入，比如： C/C++, Ruby, Python, Java, Perl, C#, PHP等。