Gitlab与Jenkins结合构成持续集成(CI)环境
Jenkins概述:
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作。
官方网址:https://jenkins.io/
Gitlab概述:
Gitlab是一个可以实现自托管的Git项目仓库,可通过web界面进行访问公开的或者私人项目。
Gitlab拥有与GitHub类似的功能,能够浏览源代码,管理缺陷和注释,可以管理团队对仓库的访问。
Gitlab中文网:https://www.gitlab.cc/installation/#centos-7
Gitlab与GitHub的区别:
从代码私有性方面来看,有事公司并不希望员工获取到全部的代码,这个时候Gitlab是一个很好地选择,但是对于开源项目来说,GitHub依旧是代码托管的首选。
Git相关概念:
git 是一个版本控制系统,是一个命令,是一个工具
gitlab 是用于实现 git 功能的开发库
GitHub 是一个基于git实现的在线代码托管仓库,报刊一个网站界面,向互联网开放
gitlab 是一个基于git实现的在线代码仓库托管软件,一般用于在企业内部网络搭建 git 私服
注:gitlab-ce 社区版 gitlab-ee 企业版 收费
1.1、搭建Gitlab 平台
实验环境:CentOS7.4 虚拟机需要6G,否则可能会导致后期运行内存不够用
1.2、安装Gitlab需要的组件:
[ ~]#yum install curl policycoreutils openssh-server openssh-clients postfix -y
这里选择postfix发送邮件
[ ~]#systemctl enable postfix [ ~]#systemctl start postfix [ ~]# iptables -F #清空规则 [ ~]# systemctl stop firewalld [ ~]# systemctl disable firewalld 禁止防火墙,就丌用执行下面两条命令: [ ~]#firewall-cmd --permanent --add-service=http [ ~]#systemctl reload firewalld
1.3、安装Gitlab
下载gitlab的两种方法:
方法一:使用yum可以下载,推荐清华大学开源软件镜像,可以用迅雷下载一下链接:
https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-10.2.3-ce.0.el7.x86_64.rpm
上传到 gitlab-ce-10.2.3-ce.0.el7.x86_64.rpm 到 linux 系统上
[ ~]# rpm -ivh gitlab-ce-10.2.3-ce.0.el7.x86_64.rpm #安装
方法二:配置yum 源,使用yum安装:
[ ~]# yum install gitlab-ce -y #安装太慢。下面使用清华的源: [ yum.repos.d]# cat gitlab_gitlab-ce.repo [gitlab-ce] name=gitlab-ce baseurl=http://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7 repo_gpgcheck=0 gpgcheck=0 enabled=1 gpgkey=https://packages.gitlab.com/gpg.key [ ~]# yum install gitlab-ce -y
配置gitlab 域名:
[ ~]# vim /etc/gitlab/gitlab.rb #修改 gitlab 外部访问地址 改:13 external_url ‘http://gitlab.example.com‘ 为:13 external_url ‘http://192.168.1.63‘ 注:这里必须修改,丌然后后期访问时,用户到地址是:http://gitlab.example.com/xxxx ,根本 不能访问。 修改后获得是: http://192.168.1.63/xxxx
配置好后重启Gitlab
[ ~]# gitlab-ctl reconfigure #重新配置应用程序。修改了 gitlab 服务配置文 件后,都需要执行一下这个命令。让各个服务的配置文件,重新加载一下配置文件。这里等个 2 分钟左史。 。。。 Running handlers: Running handlers complete Chef Client finished, 2/501 resources updated in 37 seconds gitlab Reconfigured! [ ~]# gitlab-ctl status [ ~]# gitlab-ctl status #可以使用 gitlab-ctl 管理 gitlab,例如查看 gitlab 状 态: run: gitlab-workhorse: (pid 3275) 169s; run: log: (pid 3151) 280s run: logrotate: (pid 3169) 273s; run: log: (pid 3168) 273s run: nginx: (pid 3157) 279s; run: log: (pid 3156) 279s run: postgresql: (pid 3009) 349s; run: log: (pid 3008) 349s run: redis: (pid 2926) 360s; run: log: (pid 2925) 360s run: sidekiq: (pid 3142) 287s; run: log: (pid 3141) 287s run: unicorn: (pid 3110) 293s; run: log: (pid 3109) 293s [ config]# netstat -antup | grep :80 tcp 0 0 127.0.0.1:8080 0.0.0.0:* LISTEN 10864/unicorn maste tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 10729/nginx: master 默认使用 nginx 做为 web 服务器。 注:如果后期 web 界面访问时,总报 502,要把防火墙清空规则,另外内存要大于 4G,丌然后内存 不足,也报 502
[ ~]# iptables -F #清空规则 [ ~]# free -m #已经使用 4G 以上内存 total used free shared buff/cache available Mem: 5817 4187 133 80 1496 1198
1.4、登录Gitlab
http://192.168.1.63/users/sign_in
第一次登录 gitlab,需要为 root 用户修改密码,root 用户也是 gitlab 的超级管理员,输入新密码:xxxxxxxx,密码不要太过简单
密码改完后重新登录一下:
使用 root 用户和刚才创建的密码登录gitlab:
登录:http://192.168.1.63/ 用户名: root 密码:xxxxxxxx
到此,gitlab搭建成功
1.5、管理 gitlab
关闭gitlab: # gitlab-ctl stop 启动gitlab: # gitlab-ctl start 重启gitlab: # gitlab-ctl restart gitlab主配置文件: /etc/gitlab/gitlab.rb //可以自定义一些邮件服务等 日志地址: /var/log/gitlab/ // 对应各服务 服务地址: /var/opt/gitlab/ // 对应各服务的主目录 仓库地址: /var/opt/gitlab/git-data //记录项目仓库等提交信息 重启服务: gitlab-ctl stop/start/restart //启动命令
1.6、注册新用户和关闭gitlab注册功能
退出root用户。默认情况下可以直接注册账号。
http://192.168.163/users/sign._in开始注册
关闭gitlab注册功能:
以root用户登录: http://192.168.1.63/users/sign_in点Admin area >> setting >> 取消sign-up enabled标签前对勾
勾选完在此网页的最后,点save:
测试,清空历史浏览缓存,发现已经关闭了注册功能
1.7、CentOS7 部署汉化版 gitlab 10.2.3
下载最新的汉化包:
[ ~]# git clone https://gitlab.com/xhang/gitlab.git 如果是其他版本需要添加上所需要的分支[ ~]# git clone https://gitlab.com/xhang/gitlab.git -b v10.2.3-zh
可以直接上传本地gitlab-patch到服务器
[ ~]# tar zxvf gitlab-patch-zh.tat.gz 扩展:汉化的方法,就是直接把汉化过的 web 页面调换原来的页面 [ ~]# gitlab-ctl stop #关闭服务 # /usr/bin/cp -rvf /root/gitlab/* /opt/gitlab/embedded/service/gitlab-rails/ 直接把汉化好的文件替换了源文件中 gitlab-rails 下的文件。gitlab-rails 下面存放的都是 web 界面相关的文件 复制时可能不断提示是否要覆盖,所以我们直接使用 cp 命令,因为系统中的 cp 命令是实际是“alias cp=’cp -i’”的别名 -v 显示复制的过程 -f 强行复制 [ gitlab]# gitlab-ctl restart #重启服务,等 1 分钟,再去访问 web 页面,访问太快会显示 502 错误。
登录汉化版本: http://192.168.1.63/profile
1.8、gitlab日常使用:
一、新建项目
先创建项目所在的组,选择Admin area
选择group----new group
选择创建新项目(New project),然后输入项目名称,同时在namespace 里选择刚才创建的组
Visibility Level(项目可见级别):
1、Private(私有的,只有你自己戒者组内的成员能访问)
2、Internal(所有登录 gitlab 平台的用户都可能访问)
3、Public(公开的,所有人都可以访问)三种选项。即丌登录 gitlab 也可以访问
注:稍后我们会设置一个公钥,这样就可以无交互,直接上传戒下载代码了。就像 ssh 无密钥登录一样。这样方便后期迚行 jenkins 自劢部署
二、创建用户
选择 Admin area
选择users --- new users
其中Name为对方的中文名,Username是登录用户名,一般可以设置成邮箱的前缀,Email为公司邮箱
项目默认,创建一个普通用户
信息输入完成后,选择Create User,基本资料可以不写
三、重置用户密码
登录刚才设置好的邮箱地址, 有时可以收到邮件,有时候也会收不到(不是很明细)
按照要求重新设置密码,最好是复杂点,8位数以上
生成密码后登录即可
配置 STMP 邮件发送服务 这个方法更可靠,但是有时也会收不到邮件
编辑/etc/gitlab/gitlab.rb 文件,配置 STMP 邮件发送服务。前提你的邮件已经开通 stmp/pop3收发功能
[ ~]# vim /etc/gitlab/gitlab.rb #在 430 行插入 gitlab_rails[‘smtp_enable‘] = true gitlab_rails[‘smtp_address‘] = "smtp.163.com" gitlab_rails[‘smtp_port‘] = 25 gitlab_rails[‘smtp_user_name‘] = "" gitlab_rails[‘smtp_password‘] = "自己邮箱的密码" gitlab_rails[‘smtp_authentication‘] = "login" gitlab_rails[‘smtp_enable_starttls_auto‘] = true gitlab_rails[‘smtp_tls‘] = true gitlab_rails[‘gitlab_email_from‘] = ‘‘
设置gitlab开机自动启动
systemctl enable gitlab-runsvdir.service systemctl restart gitlab-runsvdir.service [ gitlab]# gitlab-ctl restart
已发送邮件的方式,有时可以收到邮件,也有时会收不到,不是很及时
第二个方法
以root管理员账号直接修改密码,这个方法有效
1、选择Admin area >> 用户 >> 选中用户 然后编辑
2、编辑后保存 save
四、删除用户
1、当这个人离职的时候,为了安全起见,需要删除对方的gitlab权限,避免机密信息丢失
选择 用户>>编辑>>删除用户(如果想把用户和其他记录都删掉,就选择删除用户和贡献)
2、把用户zhoujiangtao添加到 刚才建的组中,身份选择“主程序员”,这样后期就尅提交代码了
注:“开发人员” 会没有权限提交代码
选择群组>> 点击刚才的建组,然后添加用户到群组
五、在项目中添加一个文件index.html
点击添加 + 会有一个new file
2.1、安装git客户端使用gitlab
2.2、安装git并clone代码
[ ~]# yum install git -y #下载地址,可以从这里获得 [ ~]# git clone http://192.168.1.63/jiang/jiang-web.git 正克隆到 ‘jiang-web‘... Username for ‘http://192.168.1.63‘: zhoujiangtao Password for ‘http://‘: xxxxxxxx [ ~]# cd jiang-web/ [ jiang-web]# ls index.html 注:后期可以部署 ssh 公钥,实现不输入密码直接下载和上传代码。
2.3、 初次运行 Git 前的配置
一般在新的系统上,我们都需要先配置下自己的 Git 工作环境。配置工作只需一次,以后升级时还会
沿用现在的配置。
第一个要配置的是你个人的用户名称和电子邮件地址。这两条配置很重要,每次 Git 提交时都会引用
这两条信息,说明是谁提交了更新,所以会随更新内容一起被永久纳入历史记录。
git 运行的环境变量有点像.bashrc,决定了 Git 在各个环节的具体工作方式和行为。这些变量可以
存放在以下两个的地方:
1、~/.gitconfig 文件:用户目录下的配置文件只适用于该用户。若使用 git config 时用 --global选项,读写的就是这个文件。
例 1:修改用户信息
[ ~]# git config --global user.name "zhoujiangtao" [ ~]# git config --global user.email "" [ ~]# cat ~/.gitconfig #上面两条命令会生成~/.gitconfig [user] email = 163.com name = zhoujiangtao
2、当前项目的 Git 目录中的配置文件(也就是工作目录中的 .git/config 文件):这里的配置仅仅针对当前项目有效。
每一个级别的配置都会覆盖上层的相同配置,所以 .git/config 里的配置会覆盖 ~/.gitconfig 中的同名变量。
如果要在某个特定的项目中使用其他名字戒者邮件地址,先迚到项目上下,然后只要去掉 --global 选项重新配置即可。
最后配置的用户和邮件地址会保存在当前项目的 .git/config 文件里。
例:修改某个 git 项目下的环境变量
[ jiang-web]# cd jiang-web/ [ jiang-web]# vim ./.git/config #先查看一下,里面没有 user.name 和 user.email [ jiang-web]# git config user.name "zhoujiangtao" [ jiang-web]# git config user.email "" [ .git]# vim ./.git/config ... [user] name = zhoujiangtao email = 163.com
2.4、git 常用命令
git config --global user.name “name“ #设置全局用户名 git config --global user.email mail #设置全局邮箱 git config --global --list #列出用户全局设置 git add index.html #添加文件到暂存区 git commit -m “描述内容“ #提交文件到工作区 git status #查看工作区的状态 git push #提交代码到 git 服务器上 git pull #获取代码到本地 git log #查看操作日志 vim .gitignore #定义忽略文件 git reset --hard HEAD^ #git 版本回滚, HEAD 为当前版本,加一个^为上一个,^^为上上一 个版本 git reflog # #获取每次提交的 ID,可以使用--hard 根据提交的 ID 迚行版本回退 git reset --hard 5ae4b06 #回退到指定 id 的版本 git branch #查看当前所处的分支 git checkout -- file #从服务器更新某个那文件覆盖本地的文件
例如:把修改过的index.html文件更新到主版本中
[ test]# cd jiang-web/ [ jiang-web]# echo "bbs.jiang.cn" >> index.html [ jiang-web]# git add index.html [ jiang-web]# git commit -m "add bbs.jiang.cn" [ jiang-web]# git push -u origin master #上传到 master 主干下 [ jiang-web]# rm -rf index.html #初除一些代码 [ jiang-web]# git reset --hard HEAD #回滚到最新版本 [ jiang-web]# ls [ jiang-web]# git reflog #获取每次提交的 ID 9c1e21a {0}: commit: aaa cd9d1d5 {1}: commit: add bbs b2866fd {2}: clone: from http://192.168.1.63/jiang/jiang-web.git
3.1、工作区和暂存区以及分支概述
3.1.1、 工作区就是编辑文件的目录区域,需要将工作区的修改好的文件 add 到暂存区才能提交到 git 服务器,在工作区有多个文件的时候可以将一个戒多个文件添加至暂存区,再提交到 git 服务器即可。
3.1.2、在服务器创建分支
[ jiang-web]# git branch bbs #创建一个分支 [ jiang-web]# git checkout bbs #切换到分支 bbs [ jiang-web]# git branch #查看当前所处的分支 [ jiang-web]# echo aaa > a.txt #随意在里面写一些内容 [ jiang-web]# git add a.txt [ jiang-web]# git commit -m "add a.txt" #提交到暂存区中 [ jiang-web]# git push -u origin bbs #上传到分支 bbs 分支上
图解:
关于 git push.default 设置的几个关键点
默认配置下,当使用 git push 命令而没有明确的指名本地分支和进程参考分支的情冴下,会有如上的提示。如果 git push 命令没有明确指定引用规格(refspec),也就是没有指定推送的源分支和目标分支, 那么 git 会采用 push.default 定义的劢作。不同的值适用于不同的工作流程模式。
显而易见,主要是因为之前没有进行设置引用规格才出现的这种问题,现在我把 push.default的可用值与配置方法贴在下面。push.default 可用的值如下:
1.nothing 不推送任何东西并有错误提示,除非明确指定分支引用规格。强制使用分支引用规格来避免可能潜在的错误。
2.current 推送当前分支到接收端名字相同的分支。
3.upstream 推送当前分支到上游@{upstream}。这个模式只适用于推送到不拉取数据相同的仓库,比如中央工作仓库流程模式。
4.simple 在中央仓库工作流程模式下,拒绝推送到上游与本地分支名字不同的分支。也就是只有本地分支名和上游分支名字一致才可以推送, 就算是推送到不是拉取数据的进程仓库,只要名字相同也是可以的。在 GIT 2.0 中,simple 将会是 push.default 的默认值。 simple 只会推送本地当前分支。
5.matching 推送本地仓库和进程仓库所有名字相同的分支。这是 git 当前版本的缺省值。
配置 push.default 的命令如下: git config --global push.default simple
4.1、搭建Jenkins实现持续集成
4.1.1、安装jdk环境,Jenkins是Java 编写的,所以需要先安装jdk,这里采用yum安装(如果版本有需求,可以直接在Oracle官方下载jdk)
[ ~]# yum install -y java-1.8.0-openjdk #光盘镜像中有,也可以 rpm 直接安装
4.1.2、安装Jenkins
方法一:直接上传rpm包到服务器,并安装
[ ~]# rpm -ivh jenkins-2.93-1.1.noarch.rpm
方法二:在线安装
[ ~]# cd /etc/yum.repos.d/ [ yum.repos.d]# wget http://pkg.jenkins.io/redhat/jenkins.repo [ yum.repos.d]# rpm --import http://pkg.jenkins.io/redhat/jenkins.io.key [ yum.repos.d]# yum install -y jenkins #安装 jenkins
4.2、新版Gitlab的服务端口为8080,为了不和Gitlab端口冲突,修改Jenkins的端口为其他数值
[ config]# netstat -antup | grep :80 tcp 0 0 127.0.0.1:8080 0.0.0.0:* LISTEN 10864/unicorn maste tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 10729/nginx: master [ yum.repos.d]# vim /etc/sysconfig/jenkins 改:29 JENKINS_USER="jenkins" 为:29 JENKINS_USER="root" #以 root 改:56 JENKINS_PORT="8080" 为:56 JENKINS_PORT=" 198 " [ ~]# /etc/init.d/jenkins start #启劢 [ ~]# chkconfig jenkins on #设置开机启劢 [ ~]# chkconfig --list jenkins
4.3、访问Jenkins并安装相关插件
[ jenkins]# iptables -F # 要清空防火规则,还要关闭 selinux 开始正常使用:http://192.168.1.63:198
首先需要解锁Jenkins
[ ~]# cat /var/lib/jenkins/secrets/initialAdminPassword #查看刜始化密码文件
然后选择安装插件,这里安装通用的社区插件即可,其他用到的时候再安装也不迟
确保插件安装成功
然后创建用户名,密码,全名,电子邮箱地址
完成Jenkins的安装
5.1、插件管理
5.1.1、安装成功后,登录系统进行管理
系统管理 -> 插件管理 -> 高级
5.2、插件下载地址:
方法一:网址:https://jenkins.io/ 点击跳转
下载好后,再把自己需要的插件本地上传
方法二:可以把一台安装好的Jenkins插件服务器的 /var/lib/jenkins/plugins 目录下的文件复制到新的Jenkins中
把准备好的插件解压一下: [ jenkins]# tar czvf plugins.tar.gz plugins/ #cd /var/lib/jenkins/ #rm -rf /var/lib/jenkins/plugins #tar -zxvf plugins.tar.gz #上传 plugins.tar.gz 到服务器上,解压 #chown jenkins.jenkins ./* -R #/etc/init.d/jenkins restart 注:记得重启 jenkins,这个非常重要,因为不重启,插件不会生效 登录 gitlab http://192.168.1.63/ 用户名:root 密码: xxxxxxxx 登录 jenkins http://192.168.1.63:198/ 用户名: admin 密码: 123456 注:虚拟机做好后创建一个快照
完成!