基于gitlab+docker实现CICD

最新推荐文章于 2025-06-12 09:58:27 发布
最新推荐文章于 2025-06-12 09:58:27 发布
阅读量1.4k 收藏 13
点赞数 26
CC 4.0 BY-SA版权
分类专栏： CICD 文章标签： gitlab docker 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33816243/article/details/140297833

项目简介

利用Docker、Gitlab、Gitlab Runner、SonarQube、Harbor、Jmeter、Maven、Java技术，搭建一个完整的 CI/CD 管道，实现当开发人员完成代码提交后，开始流水线工作，完成编译打包、单元测试、源码扫描、上传制品、部署服务到Docker容器、自动化测试工作。通过自动化构建、测试、代码质量检查和容器化部署，将开发人员从繁琐的手动操作中解放出来，提高团队的开发效率、软件质量和安全性，实现持续更新迭代和持续部署交付。

CI/CD流程图

在这里插入图片描述

流程说明

  1. 开发人员将代码提交到Gitlab代码仓库时，触发持续构建和持续部署流程。
  2. 在build标签的Runner上通过maven镜像实现编译打包、单元测试操作。
  3. 在build标签的Runner上通过sonar-scanner镜像请求sonarqube服务，实现源码扫描操作。
  4. 在build标签的Runner上通过docker-dind镜像实现项目镜像构建并推送至Harbor镜像仓库。
  5. 在deployment标签的Runner上执行shell脚本完成镜像拉取以及启动容器服务操作。
  6. 在build标签的Runner上通过jmeter镜像实现自动化测试操作。
  7. 流水线执行完成后，将结果邮件通知给开发和运维人员。
  8. 用户访问项目服务器。

服务器列表

服务器名称主机名IP部署服务Runner标签
代码审查服务器sonarqube192.168.10.71SonarQube
代码托管服务器gitlab192.168.10.72Gitlab
打包编译服务器build192.168.10.74Dockerbuild
服务部署服务器springboot192.168.10.75Dockerdeployment
镜像仓库服务器harbor192.168.10.10Harbor

服务部署

镜像构建

Maven镜像

maven镜像只需要修改镜像源为国内地址即可。

FROM maven:3.9.3
RUN sed -i -E '159a <mirror>\n<id>TencentMirror</id>\n<name>Tencent Mirror</name>\n<url>https://mirrors.cloud.tencent.com/nexus/repository/maven-public/</url>\n<mirrorOf>central</mirrorOf>\n</mirror>' /usr/share/maven/conf/settings.xml

sonar-scanner镜像

仓库地址：https://hub.docker.com/r/sonarsource/sonar-scanner-cli

docker pull sonarsource/sonar-scanner-cli:10

docker-dind镜像

仓库地址：https://hub.docker.com/_/docker

docker pull docker:dind

jmeter镜像

由于官方并未提供jmeter镜像，且第三方镜像版本较老，因此推荐构建自定义镜像完成部署。

[root@jmeter ~]# cat Dockerfile
# FROM openjdk:17-jdk-alpine
FROM harbor.local.com/library/openjdk:17-jdk-alpine
ENV JMETER_HOME /opt/jmeter
ENV PATH $JMETER_HOME/bin:$PATH
ENV CLASSPATH $JMETER_HOME/lib/ext/ApacheJMeter_core.jar:$JMETER_HOME/lib/jorphan.jar:$CLASSPATH
COPY apache-jmeter-5.6.3.tgz /tmp/
RUN tar -zxf /tmp/apache-jmeter-5.6.3.tgz -C /tmp \
  && mv /tmp/apache-jmeter-5.6.3 /opt/jmeter \
  && rm -rf /tmp/apache-jmeter-5.6.3.tgz
CMD ["jmeter","-v"]
[root@jmeter ~]# docker build -t harbor.local.com/cicd/jmeter:5.6.3 .

模板库资源更新

模板库具体介绍可参考文档：https://www.cuiliangblog.cn/detail/section/173479217，本文是在gitlab+Linux项目基础上补充模板库内容。

deploy.yml

# 服务部署
.deploy-linux: # 部署到linux系统
  stage: deploy
  tags:
    - deploy
  script:
    - sh -x $DEPLOY_PATH $ARTIFACT_USER $ARTIFACTORY_KEY /opt/$ARTIFACT_URL_PATH $ARTIFACTORY_PUBLIC_URL/$ARTIFACT_REPO/$ARTIFACT_URL_PATH

.deploy-docker: # 部署到docker环境
  stage: deploy
  image: harbor.local.com/cicd/docker:dind # 在部署阶段使用docker:dind镜像操作
  tags:
    - docker
  script:
    - sh -x $DEPLOY_PATH $HARBOR_USER $HARBOR_PASSWORD $IMAGE_FULL_NAME $CI_PROJECT_NAME

harbor.yml

# 镜像上传与下载
variables: # 全局变量
  HARBOR_URL: harbor.local.com # harbor仓库地址
  IMAGE_FULL_NAME: "$HARBOR_URL/$HARBOR_REPO/$IMAGE_NAME"

.docker-upload-harbor:
  stage: upload-harbor
  image: harbor.local.com/cicd/docker:dind # 在构建镜像阶段使用docker:dind镜像操作
  tags: # 在docker机器构建镜像
    - docker
  before_script:
    - cat $DOCKERFILE_PATH 
  script:
    - docker build -f $DOCKERFILE_PATH -t $IMAGE_FULL_NAME .
    - docker login $HARBOR_URL -u $HARBOR_USER -p $HARBOR_PASSWORD # 登录harbor
    - docker push $IMAGE_FULL_NAME # 上传镜像
    - docker rmi -f $IMAGE_FULL_NAME # 删除镜像

.docker-download-harbor:
  stage: download-harbor
  image: harbor.local.com/cicd/docker:dind # 在构建镜像阶段使用docker:dind镜像操作
  tags:
    - docker
  script:
    - docker login $HARBOR_URL -u $HARBOR_USER -p $HARBOR_PASSWORD # 登录harbor
    - docker pull $IMAGE_FULL_NAME # 下载镜像
  after_script:
    - docker images

流水线项目创建

项目代码仓库地址

gitee：https://gitee.com/cuiliang0302/spring_boot_demo
github：https://github.com/cuiliang0302/spring-boot-demo

gitlab项目权限配置

具体参考文档：https://www.cuiliangblog.cn/detail/section/169621642

Runner部署配置

Runner安装：https://www.cuiliangblog.cn/detail/section/123128550
Runner注册：https://www.cuiliangblog.cn/detail/section/123863613
注册的Runner执行器类型为Docker，作用范围为shared类型，注册后效果如下：
image.png

配置密钥变量

进入项目——>设置——>CI/CD——>变量
新建ARTIFACTORY_KEY、SONAR_QUBE_TOEKN、HARBOR_PASSWORD三个变量，取消保护变量，并勾选隐藏变量。
变量配置信息内容如下：
image.png

配置邮件发送

具体可参考文档：https://www.cuiliangblog.cn/detail/section/173068275

流水线配置

在项目根目录下创建.gitlab-ci.yml文件
image.png
流水线内容如下

include: # 引入模板库公共文件
  - project: 'devops/gitlabci-template'
    ref: master
    file: 'jobs/build.yml'
  - project: 'devops/gitlabci-template'
    ref: master
    file: 'jobs/test.yml'
  - project: 'devops/gitlabci-template'
    ref: master
    file: 'jobs/sonarqube.yml'
  - project: 'devops/gitlabci-template'
    ref: master
    file: 'jobs/harbor.yml'
  - project: 'devops/gitlabci-template'
    ref: master
    file: 'jobs/deploy.yml'
  - project: 'devops/gitlabci-template'
    ref: master
    file: 'jobs/jmeter.yml'

variables: # 全局变量
  SONAR_QUBE_PATH: "$CI_PROJECT_DIR/cicd/sonar-project.properties" # sonarqube配置文件地址
  # 镜像上传
  HARBOR_REPO: devops # harbor仓库名
  HARBOR_USER: admin # harbor用户名
  DOCKERFILE_PATH: cicd/Dockerfile # Dockerfile文件路径
  IMAGE_NAME: "$CI_PROJECT_NAME:$CI_COMMIT_BRANCH-$CI_COMMIT_SHORT_SHA" # 镜像名称
  # 服务部署
  DEPLOY_PATH: "$CI_PROJECT_DIR/cicd/deployment-docker.sh" # 服务部署脚本路径
  # 自动化测试
  JMETER_PATH: "$CI_PROJECT_DIR/cicd/jmeter/demo.jmx" # 自动化测试脚本路径

default:
  cache: # 全局缓存配置
    paths:
      - target/

stages:
  - build
  - code_scan
  - product
  - deploy
  - test

mvn: # 编译打包
  stage: build
  extends: .mvn-build
  image: harbor.local.com/cicd/maven:v3.9.3 # 构建阶段使用指定的maven镜像
  tags:
    - build
  
unit_test: # 单元测试
  stage: build
  extends: .mvn_unit_test
  image: harbor.local.com/cicd/maven:v3.9.3 # 构建阶段使用指定的maven镜像
  tags:
    - build

code_scan: # SonarQube代码扫描
  stage: code_scan
  extends: .sonarqube
  image: harbor.local.com/cicd/sonar-scanner-cli:10 # 代码扫描阶段使用sonar-scanner-cli镜像
  before_script:
    - ls target/
  tags:
    - build
  
product: # 上传到harbor仓库
  stage: product
  extends: .docker-upload-harbor
  tags:
    - build

deploy_to_prod: # 部署到生产环境
  stage: deploy
  extends: .deploy-docker
  rules:
    - if: '$CI_COMMIT_BRANCH == "master"'
  tags: 
    - deployment
  after_script:
    - sleep 10
    - docker ps | grep 8888
  environment: # 生产环境
    name: production
    url: http://prod.demo.com:8888

deploy_to_test: # 部署到测试环境
  stage: deploy
  extends: .deploy-docker
  rules:
    - if: '$CI_COMMIT_BRANCH == "test"'
  tags: 
    - build
  after_script:
    - sleep 10
    - docker ps | grep 8888
  environment: # 测试环境
    name: test
    url: http://test.demo.com:8888

pages: # 自动化测试并收集测试报告
  stage: test
  extends: .jmeter
  image: harbor.local.com/cicd/jmeter:5.6.3 # 自动化阶段使用jmeter镜像
  tags: 
    - build

结果验证

镜像查看

image.png

容器信息查看

登录springboot服务器查看容器信息

[root@springboot ~]# docker ps
CONTAINER ID   IMAGE                                                      COMMAND                   CREATED          STATUS                    PORTS                                       NAMES
b5bbf8ecd87d   harbor.local.com/devops/spring_boot_demo:master-12895965   "java -jar /app.jar"      51 seconds ago   Up 50 seconds (healthy)   0.0.0.0:8888->8888/tcp, :::8888->8888/tcp   spring_boot_demo
9c3bd4d81c61   harbor.local.com/cicd/gitlab-runner:v16.10.0               "/usr/bin/dumb-init …"   17 minutes ago   Up 12 minutes                                                         gitlab-runner

其他效果与之前gitlab+linux效果类似，区别在于本次全程使用docker类型runner运行job任务。

查看更多

微信公众号

微信公众号同步更新，欢迎关注微信公众号《崔亮的博客》第一时间获取最近文章。

博客网站

崔亮的博客-专注devops自动化运维，传播优秀it运维技术文章。更多原创运维开发相关文章，欢迎访问https://www.cuiliangblog.cn

K8S部署GitLab（详细完整版）
博客主要分享技术教程、工具教程、bug解决、前沿技术动态、编程经验、心得感悟等。 内容同步、干货获取、推广宣发请看侧栏推广信息
01-11 5724
在k8s中部署gitlab，然后使用gitlab来实现代码打包到打镜像再到使用镜像自动生成容器服务的过程gitlab部署主要有三个部分，用到了reids、postgresql、gitlab，将三个应用配置好之后启动即可安装gitlab。
基于Gitlab+docker实现CI/CD
虫虫的博客
07-31 1218
利用Docker、Gitlab、Gitlab Runner、SonarQube、Harbor、Jmeter、Maven、Java技术，搭建一个完整的 CI/CD 管道，实现当开发人员完成代码提交后，开始流水线工作，完成编译打包、单元测试、源码扫描、上传制品、部署服务到Docker容器、自动化测试工作。通过自动化构建、测试、代码质量检查和容器化部署，将开发人员从繁琐的手动操作中解放出来，提高团队的开发效率、软件质量和安全性，实现持续更新迭代和持续部署交付。
使用GitLab自带的CI/CD功能在K8S集群里部署项目（四）
霸天虎的专栏
05-10 2071
本地搭建K8S集群环境其实没那么复杂，大家可以去我主页找相关教程学习一下，多动手实验。
使用Gitlab CI/CD结合docker容器实现自动化部署
最新发布
QAZ600888的博客
06-12 1343
本文介绍了Gitlab CI/CD的基本概念和实现方案。主要内容包括：Gitlab CI/CD核心组件（Pipeline、.gitlab-ci.yml、Runner）和工作流程；部署前的准备工作，包括安装gitlab-runner、注册Runner到项目以及生成SSH密钥；通过一个示例.gitlab-ci.yml文件，展示了使用Docker构建镜像并部署到多台服务器的完整流程。该方案实现了代码提交后自动构建、测试和部署的持续集成/持续交付流程，提高了开发效率。执行结果在Gitlab界面实时可见，便于监控管理
基于Gitlab +Docker 的CI/CD实践
qq_18630487的博客
09-18 989
原作者@小松同学 基于Gitlab +Docker 的CI/CD实践 背景 目前点米HRO项目已经利用Jenkins实现了持续集成，但是这套方案过度依赖开发人员对于Shell脚本掌握程度，上手难度相对较高。同时现有方案还未实现服务容器化部署，因此本文将介绍一种基于 Gitlab+Docker 实现容器化部署的一套CI/CD工作流解决方案。 环境准备 Gitlab 服务器一台 （源码存放） 应用构建服务器一台 （应用打包构建） Gitlab 持续集成 3.1 Gitlab CI 是什么？..
gitlab+docker实现CICD
qq954724583的博客
05-12 1733
gitlab+docker实现CICD
基于gitlab+k8s(container)实现CI/CD
油墨香^-^的博客
08-05 114
利用Container、Gitlab、Gitlab Runner(k8s)、SonarQube、Harbor、Jmeter、Maven、Java技术，搭建一个完整的 CI/CD 管道，实现当开发人员完成代码提交后，开始流水线工作，完成编译打包、单元测试、源码扫描、上传制品、部署服务到Docker容器、自动化测试工作。通过自动化构建、测试、代码质量检查和容器化部署，将开发人员从繁琐的手动操作中解放出来，提高团队的开发效率、软件质量和安全性，实现持续更新迭代和持续部署交付。
【DevOps自动化】基于GitLab+GitLab Runner+SonarQube+Sonar Scanner的SpringCloud项目代码扫描与质量检测系统构建
05-06
内容概要：本文详细介绍了如何利用Docker容器部署GitLab、GitLab Runner、SonarQube和Sonar Scanner，实现SpringCloud项目代码提交后的自动化代码扫描流程。具体步骤包括：在服务器A上运行GitLab容器，配置相关端口...
轻松部署Jenkins+harbor+gitlab实现docker的CICD
Friendsofthewind的博客
12-08 1798
利用Jenkins+gitlab实现代码自动上线，自动部署服务到应用服务器 难点： 如何把新构建镜像自动拉取到应用服务器并自动部署容器？ 一、环境 流程： 服务器列表 提示：harbor、应用测试主机安装docker19.03.10，需要Java环境，本例为java-1.8.0。 角色 主机名 IP 软件 持续集成 jenkins 192.168.42.4 git、jenkins-2.222 代码托管 git 192.168.42.
DevOps 企业级 CI/CD 实战 —— 整合 GitLab+Jenkins+Harbor+Docker 实现代码全自动化流程管理
风尘浪子
01-13 1926
本文将以 GitLab+Jenkins+Harbor+Docker 的管理方案为例子，介绍如何通过合理的部署，实现项目全流程的自动化管理。文章将详细介绍 Jenkins 中常用插件的应用以及 pipeline 脚本的编写方式、harbor 服务器的部署、并讲解 Publish Over SSH 插件中 sshPublisher 函数的应用以及常见的问题。
详解Docker+Jenkins+Gitlab+Django应用部署实践
01-11
一、背景介绍 ... 当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用 在docker host上部署应用git clone来自gitlabserver源码，并启动应用 前端可以放置lb来做高可用 数据库连接云数
K8S集群实现CI/CD
weixin_58475203的博客
07-06 2752
CI：持续集成，开发持续更新代码，常用工具：svn（早期），gitlabCD：持续部署，运维将集成代码部署到环境中，常用工具：jenkins。
基于Gitlab, K8S进行DevOps
一支烟一朵花
11-14 2212
由于微服务存在相关依赖的关系，发布的时候最好按照以下顺序进行： 在gitlab相关项目下打Tag及发布顺序： 发布步骤： 一 基于Gitlab 为每个服务打Tag 每次发布前需要和Leader进行确认发布的服务列表 1 根据发布顺序依次打开Gitlab 相应项目地址： 2 打开相应项目的tag页面 https://gitlab.xxx/服务名}/tags 3 点击 "New t...
gitlab ci + k8s(kubesphere) + springcloud微服务部署及使用经验
quadimodo的博客
10-15 1388
使用gitlab ci发布springboot 项目到k8s环境实践
基于gitlab的 CI/CD 自动化构建（一）基本介绍
Luckyzhoufangbing的博客
10-29 435
stages: - test - sandbox - production # 测试环境 test: stage: test only: - test script: # - npm rebuild - npm install - npm run build test - jz-deploy:static test - npm run jz-sen...
docker+gitlab+cicd
q1553048604的博客
04-30 866
docker+gitlab实现简单的代码管理以及ci/cd
【基于 GitLab 的 CI/CD 实践】01、GitLab CI/CD 基础概念
GG Bond 的博客
07-18 3098
GitLab CI/CD 基础概念！！！
gitlab-cicd详解(附带docker+k8s版本)
u010074572的博客
03-07 2024
定义pipeline的全部阶段（stage），阶段内的全部任务并行执行，全部任务成功开始下一阶段任务，任何阶段内的任意job失败都会导致pipeline失败，所有stage，job执行成功后pipeline会显示pass。部署Deployment: 管理pod，创建、删除、更新pod，以确保 Pod 的副本数始终处于指定状态，用Deployment启动的容器，如果直接删除Pod则会在被删除后自动再次创建pod，只有这个Deployment被删除才能永久删除pod。可以使用正则表达式指定，也可以指定关键字。
vivado 2017.4
06-10
### Vivado 2017.4 下载、安装指南及常见问题解决 Vivado 2017.4 是 Xilinx 提供的一款集成开发环境，主要用于 FPGA 和 ASIC 的设计。以下是关于 Vivado 2017.4 的下载、安装指南以及使用教程的相关信息。 #### 1. 下载 Vivado 2017.4 Vivado 2017.4 可以通过 Xilinx 官方网站进行下载。访问以下链接可以找到对应版本的下载页面： - 官方下载地址：https://china.xilinx.com/support/download/index.html/content/xilinx/zh/downloadNav/vivado-design-tools/archive.html [^1] 在下载之前，确保注册并登录 Xilinx 账户。选择合适的操作系统（Windows 或 Linux），然后下载对应的安装文件。注意，Vivado 的安装包体积较大，可能需要较长时间完成下载。 #### 2. 安装指南 安装 Vivado 2017.4 的步骤如下： - **准备工作** 确保系统满足最低硬件要求，例如足够的磁盘空间和内存。推荐的系统配置可以在官方文档中找到 [^2]。 - **运行安装程序** 解压下载的安装包后，运行 `setup.exe`（Windows）或 `xsetup`（Linux）。按照向导提示选择安装路径和组件。 - **许可证配置** 在安装完成后，需要配置许可证文件。可以通过 Xilinx License Manager 工具完成此操作 [^3]。 #### 3. 使用教程 Xilinx 提供了丰富的在线资源和教程，帮助用户快速上手 Vivado 2017.4： - **官方用户指南** Xilinx 提供了详细的用户指南，涵盖了从基础操作到高级功能的所有内容。可以从以下链接下载： https://www.xilinx.com/support/documentation/sw_manuals/xilinx2017_4/ug906-vivado-getting-started.pdf [^4] - **视频教程** Xilinx 官方 YouTube 频道提供了多个 Vivado 使用教程，适合不同水平的用户学习 [^5]。 #### 4. 常见问题解决 以下是 Vivado 2017.4 使用过程中可能遇到的一些常见问题及其解决方案： - **问题 1：安装过程中出现错误** 如果在安装过程中遇到错误，建议检查系统是否满足最低要求，并确保安装包完整无损 [^2]。 - **问题 2：无法加载许可证** 如果许可证无法加载，确认许可证文件是否正确配置，并检查网络连接是否正常 [^3]。 - **问题 3：项目生成失败** 如果项目生成失败，检查设计文件是否存在语法错误，并确保所有依赖库已正确导入 [^6]。 ```python # 示例代码：检查 Vivado 版本 import subprocess def check_vivado_version(): try: result = subprocess.run(['vivado', '-version'], capture_output=True, text=True) print(result.stdout) except FileNotFoundError: print("Vivado 未正确安装或未添加到系统路径中。") check_vivado_version() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值