『高级篇』docker之gitlab和jenkins-CICD流程(43)

zhugeaming 2019-03-11 09:10:11

原创文章,欢迎转载。转载请注明:转载自 IT人故事会 ,谢谢!原文链接地址: 『高级篇』docker之gitlab和jenkins-CICD流程(43)

上节已经安装好了gitlab和jenkins,这次就把CICD的流程串起来切身的体验下CICD。目的就是在gitlab提交代码。触发一系列的流程,最后可以看到新代码的效果(机器内容优先,只做到镜像的打包推送)。源码: https://github.com/limingios/msA-docker/vagrant master分支CICD


v2-3021d20ed843dbefbcf8a922307cc8ee_hd.p

了解git代码提交完成jenkins的构建

上次已经把代码上传上去了,进入项目选择settings里面的Integrations


v2-f7a3c05724380ed5d43400c39e9be5d8_hd.p

这里可以配置一个url,默认的trigger触发器push的时候,


v2-0ef4fe318e6983e59a80fbd49d2eb75e_hd.p

这里的url地址是哪里来的。请查看jenkins,因为本身gitlab里面的微服务比较多,选择其中的一个服务吧,新建一个任务名称:user-edge-service,允许url远程触发构建任务。


v2-3c68c8f84ad3dcf003be368bc1af1935_hd.p


v2-73efc69fdb0014626525cbe7498e382e_hd.p

Jenkins中的Job配置里缺少 触发远程构建(例如,使用脚本) 选项的


v2-889e9d17c8cc6224c824cae287e30a2c_hd.p

如图所示的功能没有出现在Job配置页面,这是由于权限问题导致的:


v2-6f9cf58855aed4d03e277e6b0fb544b2_hd.p

关闭防止跨站点请求伪造


v2-4564b9966ca36a6d410e36d0e0c456af_hd.p

gitlab的Integrations的URL地址修改: http://192.168.66.102:8888/job/user-edge-service/build?token=123456


v2-8257ccf33a732bac0d3ca1bbacd3b10c_hd.p


v2-26662bd25fbc2e01d2c870bb53b2836b_hd.p

gitlab设置Webhooks报错Urlis blocked: Requests to localhost are not allowed。admin 登录设置


v2-4bc9f548df99efe7b8a9d369f367e687_hd.p



v2-052745894fd99b651084dec01b9319ff_hd.p



v2-09dde23f1b187d00f0c288f99d0c22bb_hd.p

gitlab的Integrations,添加完毕。


v2-77aea99fe1c60c7d297591c035c85293_hd.p

jenkins的添加完毕


v2-055e7f949eacd366ac42d259377d7cd4_hd.p

image.png

  • 测试一把


v2-0e3d52a801f2d835d626065b8bef1915_hd.p

返回201,说明构建返回成功。


v2-19910bbdc051208fa770fa81207dac75_hd.p


v2-089cb0bb94d91a6d560913e56cb18614_hd.p


v2-3c763aa6eb5af5369f9b0b9d3ce91ae8_hd.p

构建说明

咱们的所有构建都是基于pipline的,脚本是用groovy来做的,如果老铁有不会的可以查看,可以流水线语法。


v2-080d41031afd805f7984c3e2b4777811_hd.p


v2-d321b1c70a4f8b0f95b049bf2e47a396_hd.p

  • 开始pipline的编写

Jenkins Pipeline是一套插件,支持将连续输送Pipeline实施和整合到Jenkins。Pipeline 提供了一组可扩展的工具,用于通过Pipeline DSL为代码创建简单到复杂的传送Pipeline 。


v2-c7b1709d53a7bfc46695c71a9c5ac3a0_hd.p

写个测试的试试

#!groovy
pipeline {
//之前说过jenkins是支持集群的,但是咱们这里不需要集群的方式,因为有了k8s。any在任何可用的agent 上执行
    agent any
    //环境变量,
    environment {
        REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
    
    }
    //流水线是如何提前,都是通过很多个stages下面的stage
    stages {
        stage('获取代码'){
            steps{
                echo " start fetch code from git ssh://git@192.168.66.101:2222/liming/microservice.git"
                deleteDir()
                git "${REPOSITORY}"
            }
        }
    }
}


v2-b63cc32580ec307aed92566ccc91a536_hd.p

点击立即构建,然后查看效果


v2-44571429f32608d32ed1ddaf0fcf508f_hd.p


v2-36fe66e414da2b73619c650521e72341_hd.p


v2-3ef9c344c8e00414e22e4ed10c2aecff_hd.p

jenkins所在容器未配置,秘钥到gitlab上,来一起配置下


v2-3602db077d56c02ae4a79670fffede27_hd.p

进入102的主机上

docker ps
docker exec -it d918e00a583f /bin/bash
ssh-keygen -t rsa -C "394498036@qq.com"
cat /root/.ssh/id_rsa.pub


v2-79f1cf2e82e4475604eab1dfa89aca33_hd.p


v2-8d5257f4bd2cba0b5405d56eec991408_hd.p

在容器内试试看能git clone 不


v2-26fe8ac8e196553d5d0794a781540724_hd.p

在试试,立刻构建


v2-f8374ca2564f010f2b981329c743a3b7_hd.p


v2-95e1bd89d6753c0a1c30c4ed4c2d6448_hd.p

查看目录


v2-986b718443779731663fb188c03f14d8_hd.p

需要配置maven仓库地址,当前这个镜像nds国内不识别,在容器内需要操作

echo "nameserver 8.8.8.8" | tee /etc/resolv.conf > /dev/null
apt-get update
apt-get install vim
cd /opt/maven/conf
vi settings.xml
mkdir /usr/lib/jvm/java-8-openjdk-amd64/lib

通过更换maven镜像可以解决此问题,在maven安装目录下/opt/maven/conf的conf/settings.xml文件内<mirrors>增加一段更改镜像地址为阿里云的maven,在mvn compile可解决此问题

<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

如果出现这个错误,就是找不到tool.jar直接复制一个tool.jar,源码包里面我复制的有。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile) on project message-thrift-service-api: Compilation failure
[ERROR] Unable to locate the Javac Compiler in:
[ERROR] /usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar
[ERROR] Please ensure you are using JDK 1.4 or above and
[ERROR] not a JRE (the com.sun.tools.javac.Main class is required).
[ERROR] In most cases you can change the location of your Java
[ERROR] installation by setting the JAVA_HOME environment variable.

复制命令

yum install lrzsz#rz  选择tool.jardocker cp  tool.jar 容器ID:/usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar
···
![](https://upload-images.jianshu.io/upload_images/11223715-27d864caa1b8bffa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
>配置环境变量
``` bash
docker exec -it 容器ID /bin/bash
vi ~/.bashrc#配置下面的环境变量set JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=${JAVA_HOME}/bin:$PATH


v2-863650b7d82584dff470e6b2b15447ac_hd.p


v2-1d7eb69b4400c3d94c11f50962830145_hd.p

  • 在此尝试构建

#!groovypipeline {
//之前说过jenkins是支持集群的,但是咱们这里不需要集群的方式,因为有了k8s。any在任何可用的agent 上执行
    agent any
    //环境变量,
    environment {
        REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
        MODULE="user-edge-service"
    
    }
    //流水线是如何提前,都是通过很多个stages下面的stage
    stages {
        stage('获取代码'){
            steps{
                echo " start fetch code from git ssh://192.168.66.101:2222/liming/microservice.git"
                deleteDir()
                git "${REPOSITORY}"
            }
        }
        stage('编译+单元测试') {
            steps{
                echo " start compile"
                sh "mvn -U -pl ${MODULE} -am clean package"
            }
        }
    }
}


v2-8773027030f5f971f6e517fbc31054bf_hd.p

jenkins完成推送到官网镜像

  1. 创建build-imge文件

  2. docker login登录到docker仓库中(之前已经说过了,我的机器内存比较小,无法启动私有的docker仓库我通过的官网的,不管哪个都在jenkins的机器上登录下,push的时候就不报错了)

cd ~
vi build-image.sh
chmod 775 build-image.sh
docker login


v2-0d7e7a7e56c105173e20c91df4f02890_hd.p

#!groovypipeline {
//之前说过jenkins是支持集群的,但是咱们这里不需要集群的方式,因为有了k8s。any在任何可用的agent 上执行
    agent any
    //环境变量,
    environment {
        REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
        MODULE="user-edge-service"
        SCRIPT_PATH="/root/"
    
    }
    //流水线是如何提前,都是通过很多个stages下面的stage
    stages {
        stage('获取代码'){
            steps{
                echo " start fetch code from git ssh://192.168.66.101:2222/liming/microservice.git"
                deleteDir()
                git "${REPOSITORY}"
            }
        }
        stage('代码静态检查') {
            steps{
                echo " start code check"
            }
        }
        stage('编译+单元测试') {
            steps{
                echo " start compile"
                sh "mvn -U -pl ${MODULE} -am clean package"
            }
        }
        stage('构建镜像') {
            steps{
                echo " start build image"
                sh "#{SCRIPT_PATH}/build-image.sh ${MODULE}"
            }
        }
        
        stage('发布系统') {
            steps{
                echo " start deploy"
                sh "#{SCRIPT_PATH}/deploy.sh ${MODULE} ${MODULE}"
            }
        }
        
    }
}

build-image.sh

#!/bin/bash
MODULE=$1
TIME=`date "+%Y%m%d%H%M"`
GIT_REVISION=`git log -1 --pretty=format:"%h"`
IMAGE_NAME=zhugeaming/${MODULE}:${TIME}_${GIT_REVISION}
cd ${MODULE}
docker build -t ${GIT_REVISION} .
docker push ${GIT_REVISION}

deply.sh

#!/bin/bash
IMAGE=`cat IMAGE_NAME`
DEPLOYMENT=$1
MODULE=$2
echo "update image to ${IMAGE}"
kubectl set image deployment/${DEPLOYMENT} ${MODULE} =${MODULE}

PS:最后总结下,建议jenkins不要使用容器安装,我用容器安装入了至少十几个坑,对了解命令还是有好处的。我总结几点

  1. 不要容器化jenkins,直接在机器上安装就可以了。容器本身都是单个个体,你想想里面还要装jdk,mvn,docker。如果jenkins容器化,等于容器里面还要装docker是不是很蛋疼。

  2. 使用pipline写脚本其实很简单本身就是流水线,比较负责命令建议使用shell脚本的方式,这是也方便维护。

  3. gitlab里面,outbound requests 允许

  4. jenkins里面有几个重要的点跨域允许访问,允许用户注册

  5. 写的流程有点复杂,我是边练边写的,但是记录了我遇到的各种问题,希望能对有问题的老铁有帮助。

  6. 里面的sh 脚本可能比较适合我,特别是build-image那块,建议自行修改。

  7. 不要用容器安装jenkins了 这个坑太大了,gitlab还是容器安装爽。

  8. 最后在说一点,jenkins的pipline语法不复杂,参考我的写你可以可以完成自动化构建,push镜像,更新服务这块其实也没完全弄好,我准备在继续好好研究下k8s,感觉k8s水太深,下次出专辑深啃一把!


v2-5e0719d9fc7dd03ce32e624534c0b631_hd.p


蝉知2.0