⑴ HttpRunner回放錄制的har轉yml和json腳本報錯
好厲害的樣子。感覺受到打擊了
⑵ 如何使用Elasticsearch groovy script腳本更新數據
今天細說一下elasticsearch的update更新功能，以及如何利用script腳本更新數據。
想要使用script腳本功能,需要在配置文件elasticsearch.yml里設置
Python
script.disable_dynamic: false
關於elasticsearch script的文章，總是會沒完沒了的修改
ES支持更新，但是更新的方式是通過一個提供的腳本進行的。ES的做法是，通過
index找到相應的存放記錄的節點，然後執行腳本，執行完之後，返回新的索引。實際上執行的是一個get和reindex的過程，在這個過程中，通過
versioning來控制沒有其它的更新操作（這個功能是0.19後可用的）。具體實現的原理應該和elasticsearch
Versioning相關。
⑶ 如何利用ansible callback插件對執行結果進行解析
Adhoc
adhoc 其實執行 Ansible 模塊, 通 adhoc 我便快捷完些臨運維操作.
2.0 前調用
import ansible.runner
import json
runner = ansible.runner.Runner(
mole_name='ping', # 模塊名
mole_args='', # 模塊參數
pattern='all', # 目標機器pattern
forks=10
)
datastructure = runner.run()
data = json.mps(datastructure,indent=4)
載入默認 inventory
想使用 inventory 文件或者想使用態 inventory, 則使用 host_list 參數代替
import ansible.runner
import json
runner = ansible.runner.Runner(
host_list=["10.10.0.1"], # 明確指定主機需要傳遞列表, 或者指定態inventory腳本
mole_name='ping', # 模塊名
mole_args='', # 模塊參數
extra_vars={"ansible_ssh_user":"root","ansible_ssh_pass":"xx"},
forks=10
)
datastructure = runner.run()
data = json.mps(datastructure,indent=4)
2.0 調用
import json
from ansible.parsing.dataloader import DataLoader
from ansible.vars import VariableManager
from ansible.inventory import Inventory
from ansible.playbook.play import Play
from ansible.executor.task_queue_manager import TaskQueueManager
from ansible.executor.playbook_executor import PlaybookExecutor
loader = DataLoader() # 用載入解析yaml文件或JSON內容,並且支持vault解密
variable_manager = VariableManager() # 管理變數類,包括主機,組,擴展等變數,前版本 inventory
inventory = Inventory(loader=loader, variable_manager=variable_manager)
variable_manager.set_inventory(inventory) # 根據 inventory 載入應變數
class Options(object):
'''
公共類,ad-hocplaybook都需要options參數
並且所需要擁同屬性,部屬性都返None或False
用類省初始化堆空值屬性
'''
def __init__(self):
self.connection = "local"
self.forks = 1
self.check = False
def __getattr__(self, name):
return None
options = Options()
def run_adhoc():
variable_manager.extra_vars={"ansible_ssh_user":"root" , "ansible_ssh_pass":"xxx"} # 增加外部變數
# 構建pb, 意思, 新版本運行ad-hoc或playbook都需要構建pb, 調用play類
# :param name: 任務名,類似playbooktasksname
# :param hosts: playbookhosts
# :param tasks: playbooktasks, 其實playbook語, tasks值列表,寫入task
play_source = {"name":"Ansible Ad-Hoc","hosts":"10.10.0.1","gather_facts":"no","tasks":[{"action":{"mole":"shell","args":"w"}}]}
play = Play().load(play_source, variable_manager=variable_manager, loader=loader)
tqm = None
try:
tqm = TaskQueueManager(
inventory=inventory,
variable_manager=variable_manager,
loader=loader,
options=options,
passwords=None,
stdout_callback='minimal',
run_tree=False,
)
result = tqm.run(play)
print result
finally:
if tqm is not None:
tqm.cleanup()
if __name__ == '__main__':
run_adhoc()
Playbook
playbook 則類似於 SaltStack state
2.0 前調用
from ansible import callbacks
from ansible import utils
from ansible.playbook import PlayBook
stats = callbacks.AggregateStats()
callback = callbacks.PlaybookCallbacks()
runner_callbacks = callbacks.PlaybookRunnerCallbacks(stats)
pb = ansible.playbook.PlayBook(
playbook="tasks.yml",
stats=stats,
callbacks=playbook_cb,
runner_callbacks=runner_cb,
check=True
)
pb.run()
2.0 調用
import json
from ansible.parsing.dataloader import DataLoader
from ansible.vars import VariableManager
from ansible.inventory import Inventory
from ansible.playbook.play import Play
from ansible.executor.task_queue_manager import TaskQueueManager
from ansible.executor.playbook_executor import PlaybookExecutor
loader = DataLoader() # 用載入解析yaml文件或JSON內容,並且支持vault解密
variable_manager = VariableManager() # 管理變數類,包括主機,組,擴展等變數,前版本 inventory
inventory = Inventory(loader=loader, variable_manager=variable_manager)
variable_manager.set_inventory(inventory) # 根據 inventory 載入應變數
class Options(object):
'''
公共類,ad-hocplaybook都需要options參數
並且所需要擁同屬性,部屬性都返None或False
用類省初始化堆空值屬性
'''
def __init__(self):
self.connection = "local"
self.forks = 1
self.check = False
def __getattr__(self, name):
return None
options = Options()
def run_playbook():
playbooks=['task.yaml'] # 列表, 運行playbook
variable_manager.extra_vars={"ansible_ssh_user":"root" , "ansible_ssh_pass":"xxx"} # 增加外部變數
pb = PlaybookExecutor(playbooks=playbooks, inventory=inventory, variable_manager=variable_manager, loader=loader, options=options, passwords=None)
result = pb.run()
print result
if __name__ == '__main__':
run_playbook()
⑷ 為什麼gitlab-runner執行完script停不下來
這些例子的名字是。在示例的末尾，如果需要啟用它們，首先刪除後綴: cd。Git/hookslapplypatch-msg.采樣-味精。更新後樣本。實驗前測試。樣本提前提交。取樣前推。樣本預重建。樣品，准備-提交-味精。樣本更新。[咒語]。示例 applypatch-msg 鉤子按功能分為兩類: 客戶端和伺服器端。客戶機鉤子由諸如提交和合並之類的操作調用，而伺服器鉤子則作用於諸如接收推送提交之類的網路操作。
⑸ 如何部署Spring Boot應用
在Ubuntu中安裝Java8
以下是一個簡單的安裝方法。
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java8-installer
$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
2. 本地使用Gradle發布Spring Boot應用
我這里使用Jetty9作為內置的伺服器。
// ...
bootRun {
systemProperties = System.properties
}
configurations {
compile.exclude mole: "spring-boot-starter-tomcat"
}
dependencies {
// spring boot
compile "org.springframework.boot:spring-boot-starter-web:1.3.0.M5"
compile "org.springframework.boot:spring-boot-starter-jetty"
// ...
}
//...
在本地運行默認使用src/main/resources/application.yml作為配置文件，而在proction環境中我們系統它支持提供外部的配置文件application-proction.yml。
./gradlew bootRun # 開發環境下默認使用項目里的application.yml
# 在本地測試使用外部配置文件
./gradlew bootRun -Dspring.config.location=/path/to/application-proction.yml
# 發布
./gradlew build
# 運行
java -jar build/libs/SpringBlog-0.1.jar # 默認使用jar包裡面的application.yml配置文件
# 使用外部配置文件
java -jar build/libs/SpringBlog-0.1.jar --spring.config.location=/path/to/application-proction.yml
3. 在Ubuntu伺服器上部署Spring Boot應用
# 上傳SpringBlog-0.1.jar到伺服器
scp build/libs/SpringBlog-0.1.jar root@your_server_ip:/root/spring-blog/current
# 在伺服器上配置生產環境的配置文件
scp application-proction.yml root@your_server_ip:/root/spring-blog/current
然後SSH登錄伺服器，修改配置文件application-proction.yml，試運行應用。
ssh root@your_server_ip
cd spring-blog/current
java -jar SpringBlog-0.1.jar --spring.config.location=application-proction.yml
# application-proction.yml
server:
address: raysmond.com # 使用域名或者IP，啟動之後就可以這個域名或IP訪問網站了
port: 80
contextPath:
spring:
profiles:
active: proction
thymeleaf:
cache: true
jade4j:
caching: true
dataSource:
driverClassName: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1/spring_blog
username: root
password:
hibernate:
dialect: org.hibernate.dialect.MySQLDialect
hbm2ddl.auto: update
show_sql: false
redis:
host: localhost
port: 6379
4. 如何在Ubuntu中後台運行Spring Boot應用？
推薦使用nohup這個命令。
cd /root/spring-blog/current
nohup java -jar SpringBlog-0.1.jar --spring.config.location=application-proction.yml
> ../logs/proction.log 2> ../logs/proction.err &
在Ubuntu還可以/etc/init.d目錄下新建一個腳本，把SpringBlog作為service來運行，這樣不用每次都打這么繁瑣的命令了。新建一個/etc/init.d/spring_blog文件，內容如下：
#!/bin/sh
SERVICE_NAME=spring_blog
HOME=/root/spring-blog
PATH_TO_JAR=$HOME/current/SpringBlog-0.1.jar
PID_PATH_NAME=/tmp/spring_blog.pid
LOG=$HOME/logs/proction.log
ERROR_LOG=$HOME/logs/proction.err
CONFIG=$HOME/application-proction.yml
case $1 in
start)
echo "Starting $SERVICE_NAME ..."
if [ ! -f $PID_PATH_NAME ]; then
cd $HOME/current
nohup java -jar $PATH_TO_JAR --spring.config.location=application-proction.yml > $LOG 2> $ERROR_LOG &
echo $! > $PID_PATH_NAME
echo "$SERVICE_NAME started ..."
else
echo "$SERVICE_NAME is already running ..."
fi
;;
stop)
if [ -f $PID_PATH_NAME ]; then
PID=$(cat $PID_PATH_NAME);
echo "$SERVICE_NAME stoping ..."
kill $PID;
echo "$SERVICE_NAME stopped ..."
rm $PID_PATH_NAME
else
echo "$SERVICE_NAME is not running ..."
fi
;;
restart)
if [ -f $PID_PATH_NAME ]; then
PID=$(cat $PID_PATH_NAME);
echo "$SERVICE_NAME stopping ...";
kill $PID;
echo "$SERVICE_NAME stopped ...";
rm $PID_PATH_NAME
echo "$SERVICE_NAME starting ..."
cd $HOME/current
nohup java -jar $PATH_TO_JAR --spring.config.location=application-proction.yml > $LOG 2> $ERROR_LOG &
echo $! > $PID_PATH_NAME
echo "$SERVICE_NAME started ..."
else
echo "$SERVICE_NAME is not running ..."
fi
;;
esac
現在就可以使用service的方式來運行網站了。
sudo service spring_blog start
sudo service spring_blog stop
sudo service spring_blog restart
5. 在本地自動化部署網站到遠程伺服器
在本地我用了一個shell腳本和一個python腳本來配合自動化部署。
deploy.sh 使用gradle的命令發布jar包，使用scp命令吧jar包上傳到伺服器上；
deploy.py 使用SSH遠程登錄伺服器，並在伺服器上執行部署命令。
# deploy.sh
#!/bin/bash
SERVER="your_server_ip"
JAR="build/libs/SpringBlog-0.1.jar"
echo "Building $JAR..."
./gradlew build
echo "Upload $JAR to server $SERVER..."
scp $JAR root@$SERVER:/root/spring-blog/
python deploy.py
deploy.py主要使用了一個paramiko庫，用於SSH遠程登錄伺服器，並執行命令。這個腳本會把伺服器上/root/spring-blog/current/SpringBlog-0.1.jar備份到/root/spring-blog/releases中，並把新發布的jar包放到/root/spring-blog/current中，然後重啟spring_blog服務。
全選復制放進筆記#!/usr/bin/python
import paramiko
import threading
import time
ip = 'your_server_ip'
user = 'root'
password = ''
jar = 'SpringBlog-0.1.jar'
home='/root/spring-blog'
current=home+"/current"
releases=home+"/releases"
def execute_cmds(ip, user, passwd, cmd):
try:
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(ip,22,user,passwd,timeout=5)
for m in cmd:
print m
stdin, stdout, stderr = ssh.exec_command(m)
# stdin.write("Y")
out = stdout.readlines()
for o in out:
print o,
print '%s OK '%(ip)
ssh.close()
except :
print '%s Error '%(ip)
if __name__=='__main__':
print 'Start deploying %s to server %s'%(jar, ip)
now = time.strftime("%Y%m%d%H%M%S")
cmd = [
'echo Stop spring_blog service... && service spring_blog stop',
'echo Flush all redis cache data... && redis-cli -r 1 flushall',
'echo Stop redis server... && service redis_6379 stop',
'echo Use new jar... ' +
' && mv ' + current + '/' + jar + ' ' + releases + '/' + now + '_' + jar ,
'mv ' + home + '/' + jar + ' ' + current + '/' + jar,
'echo Stop redis... && service redis_6379 start',
'echo Start spring_blog service... && service spring_blog start ' +
' && echo All done.'
]
a=threading.Thread(target=execute_cmds, args=(ip,user,password,cmd))
a.start()
配置完以後，在本地寫完代碼就可以運行./deploy.sh一鍵部署到遠程伺服器了。
⑹ 如何在src/main/resources下創建application.yml文件，還有圖片的紅括弧里的文件，都是怎麼創建的謝謝
配置文件構建springboot項目時會自動創建，編碼文件肯定是手動創建的啊，右鍵new - Class 或者new - File 創建配置文件，以yml結尾就行了
⑺ docker-compose.yml文件如何識別變數
這是一個新穎的想法，在碼農的IDE環境中，若是可以很方便地使用Docker，真是一件很有意思的事：對Dockerfile或者Compose YML文件進行語法高亮、自動補全、語法驗證，甚至還可以直接在IDE中啟動這個Docker容器來進行更深入的測試或者開發。讓懶惰的程序員們可以更高效地利用時間，專注於解決應用本身的問題。有興趣的小夥伴，可以搜搜有沒有更好的可以分享分享，或者幫助社區寫另一個優秀的工具出來。
這個博客帖子是關於如何集成Docker到我們的IDE中。讓我們有機會介紹一個Eclipse插件 doclipser ，可以在IDE中編輯，構建和運行Docker容器。
Docker的開發環境
在深入Docker和IDE細節之前，讓我們看看，為什麼得把Docker放進必需的開發工具列表中。
構建系統
首先，Docker能夠使我們的構建環境便攜，可重復以及保持隔離。舉個例子：你需要使用5.1版本的gcc工具構建一個C文件。 所有需要做的就是運行以下命令（當然，這里假定你已經安裝了Docker）：
docker run gcc:5.1 gcc -o helloworld helloword.c
神奇的是，你可以在任何地方運行它，你不必理會依賴的庫文件、之前的沖突或者gcc的安裝。只要它能在你的筆記本上跑起來，也就可以在集成伺服器上運行了。
運行環境
同樣適用於運行時環境。如果你只想在tomcat 8上運行Java Web應用程序，可以只使用：
docker run tomcat:8 -v HelloWorld.war:/usr/local/tomcat/webapps/Helloworld.war
同樣，你不用擔心依賴性，平台配置或Linux發行版的差異，這些Docker都能搞定。
Docker和IDE
好吧，這應該很清楚，為什麼現在Docker對開發真的非常有用。就像我們描述的，你可以使用喜歡的shell來執行這些命令。 問題是，開發者都是懶惰的。這意味著，如果我們在最喜歡的IDE中碼字，就不希望跑到IDE外面來使用Docker。我們想直接從IDE中運行容器。
不幸的是，現在主要IDE都不支持Docker。
所以，你是不是很想看到IDE中集成了Docker？
你想要在容器中運行IDE？
docker run eclipse
汗，這不是容器的使用方式。在容器裡面運行圖形化應用程序，太過復雜也缺少可移植性。
你想要從IDE中運行容器？
是哦！我們希望能看到對Dockerfile，Docker Compose YML文件的支持，IDE構建系統和容器內的運行時環境。讓我們來看看詳細的需求：
Dockerfile的支持
Dockerfile支持應該帶有語法高亮顯示，自動補全（當按下Ctrl+SPACE鍵，dockerfile指令會自動彈出來）和語法驗證（在執行 docker build 之前，IDE要能指出語法錯誤）
Docker Compose YML文件的支持
更有意思的是對Docker Compose YML文件的支持。這將允許定義容器間的關系，如Link和Volume，也可以從你的編輯器一次啟動多個容器。真的很酷！
IDE構建系統
當然，你需要得到IDE中運行容器的支持。具體地，容器可以構建你的源文件。如果利用Docker多種語言特性，這可能變得更容易。
IDE運行時環境
我們期待IDE的最後一項功能，能夠啟動容器的運行時環境。
doclipser簡介
根據上述四個功能，我們構建了doclipser，一個Eclipse插件來編輯，構建和運行Docker容器。
doclipser支持Dockerfile：語法高亮顯示，自動補全和語法驗證。雖仍沒有支持Docker Compose YML文件，但已經可以執行一些Docker的命令，來構建源文件或啟動運行時環境。
doclipser不是唯一的Docker Eclipse插件。這里有一個很優秀的Eclipse Docker工具集(以下簡稱:EDT)，由JBoss維護且和Eclipse的Linux工具包一起分發。 即使它們都能使大家在IDE中使用Docker，doclipser和EDT還是兩種不同的方法：
1、doclipser通過對Dockerfiles的支持，專注於編輯和運行容器，在未來的版本中，將提供對Docker Compose YML文件的支持。
2、EDT對Docker鏡像和容器擁有更高級的管理方式，但缺乏對Dockerfiles的支持。
⑻ YML格式文件用什麼程序編輯打開
YML文件格式是YAML (YAML Aint Markup Language)編寫的文件格式，YAML是一種直觀的能夠被電腦識別的的數據數據序列化格式，他並且容易被人類閱讀，容易和腳本語言交互的，可以被支持YAML庫的不同的編程語言程序導入，比如： C/C++, Ruby, Python, Java, Perl, C#, PHP等。例如YML文件格式的用法：
文件，通常就是Ruby on Rails 用來保存連接資料庫時使用的連接信息文件。
⑼ .yml是什麼文件
YML文件格式是YAML (YAML Aint Markup Language)編寫的文件格式，YAML是一種直觀的能夠被電腦識別的的數據數據序列化格式，並且容易被人類閱讀，容易和腳本語言交互的，可以被支持YAML庫的不同的編程語言程序導入，比如： C/C++, Ruby, Python, Java, Perl, C#, PHP等。