Pipeline As Code With Jenkins2.0

Jenkins2.0 Pipeline 导入

Pipeline as Code 是 Jenkins 2.0 版本的精华所在，是帮助 Jenkins 实现从 CI 到 CD 华丽转身的关键工具。

所谓 Pipeline，简单来说，就是一套运行于 Jenkins 上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程

Pipeline 的实现方式是一套 Groovy DSL(类似 Gradle)，我也正在学习和实践，任何发布流程都可以表述为一段 Groovy 脚本，并且 Jenkins 支持从代码库直接读取脚本，从而实现了 Pipeline as Code 的理念。

为什么要使用 Jenkins2.0 Pipeline

这里主要结合我自己对传统 Jenkins Job 使用的一些痛点来说：

• 传统的 Jenkins Job 难以灵活高效地并行（ Job 间、节点间、任务间、甚至任务内四个维度的并行）

• 传统的 Jenkins Job 日益失控的趋势让我们措手不及，Job 太多，CI 脚本太离散，维护成本实在太高了，而且很危险，一单 Jenkins Server 挂了，一切都 Game Over 了

• 新拉分支的分支代码 CI 部署太麻烦了

• 传统的 Jenkins Job 显示真的是不太直观啊

我想这些理由应该足以让我们把目光转向 Jenkins2.0 的 Pipeline ！

Pipeline 的功能和优点：

1. 持久性：在 jenkins 的 master 按计划和非计划的重启后，pipeline 的 job 仍然能够工作，不受影响。其实理解起来也很简单，jenkins 的 master 和 agent 通过 ssh 连接，如果你知道 nohup 或 disown 的话，就可以理解为啥 master 的重启不会影响 agent 上的 job 继续运行。
2. 可暂停性：pipeline 基于 groovy 可以实现 job 的暂停和等待用户的输入或批准然后继续执行。 3. 更灵活的并行执行，更强的依赖控制，通过 groovy 脚本可以实现 step，stage 间的并行执行，和更复杂的相互依赖关系。
3. 可扩展性：通过 groovy 的编程更容易的扩展插件。
4. 设计 Pipeline = 设计代码，很优雅
5. As Code：集中管理 CI 脚本、用代码库来管理脚本、从代码库直接读取脚本，从而可以将项目 CI 迅速拉起来！

Pipeline 原理与流程

Pipeline 为用户设计了三个最最基本的概念：

• Stage：一个 Pipeline 可以划分为若干个 Stage，每个 Stage 代表一组操作。注意，Stage 是一个逻辑分组的概念，可以跨多个 Node。
• Node：一个 Node 就是一个 Jenkins 节点，或者是 Master，或者是 Agent，是执行 Step 的具体运行期环境。
• Step：Step 是最基本的操作单元，小到创建一个目录，大到构建一个 Docker 镜像，由各类 Jenkins Plugin 提供。

一个典型的 Stage View 如下图所示：

从图中可以十分方便地看到哪些 Stage 通过，哪些 Stage 失败，以及构建的时间。

Jenkins2.0 的 Pipeline 搭建使用的是 Groovy 脚本，通过 Groovy 脚本实现工作流管理的步骤如下：

• 去 Jenkins 主界面建立 Pipeline 任务

实际上更常用的是 MultiBranch Pipeline，上面的图中截图没有包含，但与普通 Pipeline 基本类似。

• 使用 Groovy 脚本自定义工作流

上图的实例脚本如下：

node { 
    stage('Checkout Code') { // for display purposes 
        // Get some code from a GitHub repository 
        git 'https://github.com/jglick/simple-maven-project-with-tests.git' 
    }
 
    stage('Build') { 
        // Run the maven build 
        if (isUnix()) { 
            sh "'${MAVEN_HOME}/bin/mvn' -Dmaven.test.failure.ignore clean package" 
        } else { 
            bat(/"${MAVEN_HOME}\bin\mvn" -Dmaven.test.failure.ignore clean package/) 
        } 
    } 
 
    stage('Unit test') { 
        junit '**/target/surefire-reports/TEST-UT.xml' 
        archive 'target/*.jar' 
    } 
} 

• 开始执行 Pipeline

构建过程的 stage View 如下：

很明显可以看出，这里显示的和 Groovy 脚本中格式化的代码是一致的，会实时显示各个工作流的执行进度和结果，直观易懂。鼠标移上去，能看到日志信息的缩略图，单击可以调到对应 stage 的 console 中。

总而言之，一切都是那么地优雅！

Jenkins2.0 Pipeline 关键 DSL 语法及示例

在这里总结一下 Pipeline 中的关键 DSL 语法，利用 Groovy 对其进行组合可以完成任何一项复杂的 CI/CD 流程，熟悉它们大有裨益。

• archiveArtifacts

归档文件，举例：

archiveArtifacts 'target/*.jar'

• bat

执行 windows 平台下的批处理文件，如

bat "call example.bat"

• build

触发构建一个 jenkins job，如

build 'TEST_JOB'

• checkout

从 SCM 系统中 checkout repo，如：

checkout([$class: 'SubversionSCM', additionalCredentials: [], excludedCommitMessages: '', excludedRegions: '', excludedRevprop: '', excludedUsers: '', filterChangelog: false, ignoreDirPropChanges: false, includedRegions: '', locations: [[credentialsId: '30e6c1e5-1035-4bdd-8a44-05ba8f885158', depthOption: 'infinity', ignoreExternalsOption: true, local: '.', remote: 'svn://xxxxxx']], workspaceUpdater: [$class: 'UpdateUpdater']]) 

• deleteDir()

从 workspace 中删除当前目录

• dir

切换目录，如

dir('/home/jenkins') { // 切换到 /home/jenkins 目录中做一些事情
    // some block
}

• echo

打印信息，如 echo 'hello world'

• emailtext

利用 Jenkins 发送邮件，内容、主题全都可以自定义，如

emailext body: 'Subject_test', subject: 'Subject_test', to: '[email protected]'
// 邮件的正文 body，主题 subject，收件人 to 等可以进行自定义

• error

抛出一个错误信号，可以自行在代码里抛出，如 error 'read_error'

• fileExists

检查工作空间某个路径里是否存在某个 file，举例：

fileExists '/home/test.txt'  // 检查是否存在 test.txt

• input

等待外界用户的交互输入，举例：

input message: '', parameters: [string(defaultValue: '默认值', description: '版本号', name: 'version')] // 在某一步骤，等待用户输入 version 参数才能往下执行

• isUnix

用于判断当前任务是否运行于 Unix-like 节点上，举例：

def flag = isUnix()
if( flag == false ) { // 可以据此进行判断
	echo "not run on a unix node !"
}

• load

调用一个外部 groovy 脚本，举例：

load 'D:\\jenkins\\workspace\\test.groovy'

• node

分配节点给某个任务运行，举例：

node('节点标签') { // 在对应标签的节点上运行某项任务
	Task()
}

• parallel

并行地执行任务，可以说是最实用高效的工具了，举例：

parallel(   //并行地执行 android unit tests 和 android e2e tests 两个任务
	'android unit tests': {
		runCmdOnDockerImage(androidImageName, 'bash /app/ContainerShip/scripts/run-android-docker-unit-tests.sh', '--privileged --rm')
	},
	'android e2e tests': {
	runCmdOnDockerImage(androidImageName, 'bash /app/ContainerShip/scripts/run-ci-e2e-tests.sh --android --js', '--rm')
	}
)

• properties：

设置 Job 的属性，举例：

properties([parameters([string(defaultValue: '1.0.0', description: '版本号', name: 'VERSION')]), pipelineTriggers([])]) // 为 job 设置了一个 VERSION 参数

• pwd 显示当前目录

• readFile

从工作空间中读取文件，举例：

def editionName = readFile '/home/Test/exam.txt'

• retry

重复 body 内代码 N 次，举例：

retry(10) {
    // some block
}

• sh

执行 shell 脚本，如：sh "sh test.sh"

• sleep

延时，如延时 2 小时：sleep time: 2, unit: 'HOURS'

• stage

创建任务的 stage，举例：

stage('stage name') {
    // some block
}

• stash

存放文件为后续构建使用，举例：

dir('target') {
	stash name: 'war', includes: 'x.war'
}

• unstash

将 stash 步骤中存放的文件在当前工作空间中重建，举例：

def deploy(id) {
    unstash 'war'
    sh "cp x.war /tmp/${id}.war"
}

• timeout

时间限制，举例

timeout(time: 4, unit: 'SECONDS') {
    // some block
}

• timestamps

用于在控制台加时间戳，举例：

timestamps {
    // some block
}

• touch

创建文件，举例：

touch file: 'TEST.txt', timestamp: 0

• unzip

解压文件，举例：

unzip dir: '/home/workspace', glob: '', zipFile: 'TEST.zip'

• validateDeclarativePipeline

检查给定的文件是否包含一个有效的 Declarative Pipeline，返回 T 或者 F

validateDeclarativePipeline '/home/wospace'

• waitUntil

等待，直到条件满足

waitUntil {
    // some block
}

• withCredentials

使用凭据

withCredentials([usernameColonPassword(credentialsId: 'mylogin', variable: 'USERPASS')]) {
    sh '''
      set +x
      curl -u $USERPASS https://private.server/ > output
    '''
}

• withEnv

设置环境变量，注意近本次运行有效!

withEnv(['MYTOOL_HOME=/usr/local/mytool']) {
    sh '$MYTOOL_HOME/bin/start'
}

• writeFile

写文件到某个路径

writeFile file: '/home/workspace', text: 'hello world'

• writeJSON

写 JSON 文件，用法基本同上

• zip

创建 zip 文件

zip dir: '/home/workspace', glob: '', zipFile: 'TEST.zip'

• ws

自定义工作空间，在其中做一些工作，效果类似于 Dir 命令，举例：

ws('/home/jenkins_workspace') {
    // some block
}

后记

作者更多的原创文章在此