详细记一次Docker部署服务的爬坑历程
第一次写文。请允许我自我介绍一下...
大家好我是茉莉。为什么叫茉莉呢?emmm ID茉莉转圈圈? 皮一下,嘻嘻嘻。笔者两年小菜鸡(差三天满两年)。因为公司只有一个我和前端两个人。所以线上服务部署的任务自然而然就落到了我的肩膀上啦。第一次用docker正式在生产环境部署服务。从一个坑爬出来又掉入另一个坑。就记录一下这次上线遇到的bug。写的不对的地方麻烦各位指正噢。见谅! 好啦。废话不多说。action!
本项目采用的是spring cloud+spring boot+spring gateway+mysql还用到了rabbitmq。服务器为centos7。 这里漏掉了一位大锅。我其实还有一个相处了三个月的后端同事。这位大锅因为请假去面试老板没有批但是他还是去了被开了,框架都是他搭的。emmmm于是“锅”便甩到了我的头上!
他采用的zuul被我换成了gateway。 Zuul基于servlet 2.5(使用3.x),使用阻塞API。 它不支持任何长连接,如websockets。而Gateway建立在Spring Framework 5,Project Reactor和Spring Boot 2之上,使用非阻塞API。 Websockets得到支持,并且由于它与Spring紧密集成,所以将会是一个更好的开发体验。
docker镜像服务使用的是阿里云的容器镜像服务。问了一下同事,说是用的google的容器工具jib。于是Cmd+Shift+F全局搜了一下jib。(原谅是公司代码所以是骑兵代码⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄)
点击进去可以看到
进入到阿里云找到容器镜像服务(此处省略不知道镜像仓库是分区的,找不到仓库以为是没权限,然后厚着脸皮要来了管理员账号修改了离职同事的员工账号也还是没有找到仓库的步骤)
然后我创建了一个命名空间xxx-prod,然后在该空间下为每个服务都建好了仓库.私有仓库。代码源我选择的是本地仓库推送到镜像仓库。其他的我也不太了解。
(后来发现其实不用建,jib提交会自动创建仓库,手动创建的时候选择) 使用jib提交上去后,可以在仓库的版本信息里看到更新。
然后连接上服务器。在home文件夹下面创建一个docker文件夹
//在root根目录 //~]# centos7的emmm怎么说呢,就是GitBash和OS系统上面是$ windows下面cmd是> //home下面创建一个docker文件夹 ~]# mkdir /home/docker //进入创建的docker ~]# cd /home/docker
然后开始pull我们上传到阿里云的镜像。其实随便哪个目录都可以pull(此处省略第一次pull阿里镜像服务时,没有看操作指南,一度怀疑自己账号没有权限其实是没有login,然后一直docker login,殊不知后面应该加上阿里云的镜像地址:registry.cn-hangzhou.aliyuncs.com) 在阿里云的镜像服务管理控制台,随便点开一个镜像仓库――>管理,可以看到对镜像仓库的操作指南
镜像拉取完毕以后输入
~]# docker images
可以看到自己刚才pull到的镜像。
我问同事这里怎么这么多镜像,他跟我解释说
emmm,行吧!总觉得有很多镜像占内存(希望有知道的大佬不吝赐教,感谢)
启动eureka
~]# docker run -d --name eureka -p 8761:8761 -p 15672:15672 -p 9001:9001 -v /etc/localtime:/etc/localtime registry.cn-hangzhou.aliyuncs.com/xx_xxx_prod/eureka // -d后台运行 -p绑定端口这里绑定了三个端口,一个是注册中心本身的端口,一个是网关的端口,另外一个是rabbitmq的端口 //-v打印版本信息
由于使用了rabbitmq,所以还需要再创建一个rabbitmq容器。 还是先拉取镜像
//这里注意获取镜像的时候要获取management版本的,不要获取last版本的,management版本的才带有管理界面。 ~]# docker pull rabbitmq:management ~]# docker run -d --name rabbit -e RABBITMQ_DEFAULT_USER=xxx -e RABBITMQ_DEFAULT_PASS=xxx --network=container:eureka rabbitmq:management //因为docker容器间是网络隔断的 --network是加入eureka一样的网络环境这样才能被eureka治理下的服务访问到。 //-e是设置默认的账户密码 指令中是xxx,用到的朋友请自行调整。
然后启动自己的服务
~]# docker run -d --name xxx -v /home/docker/web-prod/logs:/logs -v /etc/localtime:/etc/localtime --network=container:eureka registry.cn-hangzhou.aliyuncs.com/xx_xxx_prod/xxx //-v是将日志挂载到自己制定的目录。 同样--network加入eureka的网络,这里不用绑定端口。 //启动后可以在注册中心的控制台查看服务状态。ip + eureka的端口。
这样服务就跑起来啦。其他服务步骤类似。最后补充一些在上线是遇到的小插曲。 一开始不知道docker容器间是网络隔断的,一直连不上rabbitmq,因为之前一直没有使用--network假如eureka的网络。所以服务内localhost访问不到rabbitmq。还有,如果服务中有用到rabbitmq延时队列的话,还需要安装延时队列的插件。 插件安装步骤
打开官网下载:http://www.rabbitmq.com/community-plugins.html 选择相应的对应的版本“3.7.x”点击下载。 ~]# docker cp /home/docker/rabbitmq_delayed_message_exchange-20171201-3.7.x.ez rabbit:/plugins //进入到docker内部 ~]# docker exec -it rabbit /bin/bash //开启插件 rabbitmq-plugins enable rabbitmq_delayed_message_exchange //查看安装的所有插件 rabbitmq-plugins list
安装成功,如图:
docker rm 删除容器时,突然就删除不了了。docker ps -a发现该容器的状态是Dead(死亡),网上查阅了很多资料,什么强删、查看挂载状态、手动删除文件夹、查看端口占用情况。几乎都试过了,没有效果。
最后大概经验使然,鬼使神差的把nginx和httpd都关掉然后就可以删除了。 不要问我为什么同一台服务器同时装nginx和httpd,此项目原本是php项目,由他们部署的,我接手后自己使用的nginx。
还有一个很奇怪的问题,虽然解决了但后面我还是不太明白为什么会这样子。用户表里面有一个last_password_reset_date,用户登录时会校验这个时间字段,一直报token失效,一个个字段日志输入后,发着这个字段比数据库里面的时间相差10个小时,当时想过是时区问题。但是同一张表的另一个register_date字段时间是正常的,于是便没有处理时区。排查了很久,以为是java接受的时间类型不对,或是同事对这个字段进行了处理。一直没搞定。后面我把线上环境脸上测试库,发现又正常。最后查看了一下测试环境数据库的时区 ,是东八区。线上库是默认的GTM。最后把正式库的时间改成了东八区就好了。
还有一个就是Redis,因为之前有一个公众号服务,用到了redis,当时redis服务是在宿主机上面的。所以,想就连服务器宿主机上面算了,但是一开始连不上,后来把redis的配置文件改了一下,bind参数绑定内网ip就好了。然后程序里面使用内网ip连上redis。