MongoDB集群分片安装部署手册
1 简介
1.1 简介
MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。
MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。
1.2 参考资料
https://www.jianshu.com/p/e18...
https://www.cnblogs.com/tians...
https://blog.csdn.net/weixin_...
https://blog.csdn.net/eagle89...
2 单机部署
2.1 单机部署环境
操作系统：CentOS7 +
三台服务器：192.168.90.225
安装包： mongodb-linux-x86_64-4.0.10.tgz
2.2 安装MongoDB单机测试
2.2.1 目录规划
mkdir /usr/local/tmp #临时目录，用于上传压缩包 mkdir /topinfo #mongodb的安装目录
2.2.2 上传MongoDB安装包
上传安装包：
cd /usr/local/tmp/ # 跳转到临时目录 rz #通过rz 上传mongodb-linux-x86_64-4.0.10.tgz
2.2.3 安装
1、解压
tar -zxvf mongodb-linux-x86_64-4.0.10.tgz # 解压 mv mongodb-linux-x86_64-4.0.10 mongodb #重命名 mv /usr/local/tmp/mongodb /topinfo # 将解压包拷贝到指定目录
2、MongoDB 的可执行文件位于 bin 目录下，所以可以将其添加到 PATH 路径中：
vim /etc/profile
#加入以下内容 export MONGODB_HOME=/topinfo/mongodb export PATH=$MONGODB_HOME/bin:$PATH
#保持退出后，执行以下命令，立即生效 source /etc/profile
3、环境变量验证
使用命令mongod -v输出信息版本信息验证环境变量是否配置成功
mongod -v
2.2.4 创建数据库目录
1、创建数据库的目录
MongoDB的默认数据存储在跟目录data/db目录下，但是这个目录在安装过程不会自动创建，所以你需要手动创建data目录，并在data目录。
注意： data/db 是 MongoDB 默认的启动的数据库路径。如果你的数据库目录不是/data/db，可以通过 --dbpath 来指定。(mongod --dbpath /usr/local/mongo/data)
如果是不是分片，则可以暂时不需要创建数据库的目录。后续在分配中创建。
mkdir -p /topinfo/mongodb/data # 创建数据库数据目录 mkdir -p /topinfo/mongodb/logs # 创建数据库日志目录
2.2.5 启动
先测试一下 MongoDB 是否安装成功：
which mongod
显示 MongoDB 的bin/mongod 路径则表示安装成功。
启动mongodb:
你可以再命令行中执行mongo安装目录中的bin目录执行mongod命令来启动mongdb服务。
MongoDB后台运行，启动时只需添加 --fork函数即可。可以在日志路径后面添加--logappend，防止日志被删除。
mongod --fork --dbpath= /topinfo/mongodb/data --logpath= /topinfo/mongodb/logs/mongodb2.log --logappend
查看进程：
ps -ef | grep mongo
停止MongoDB
mongod -shutdown --dbpath= /topinfo/mongodb /data --logpath= /topinfo/mongodb /logs/mongodb2.log --logappend
2.2.6 远程连接
MongoDB数据库启动后，默认只能在本地使用，如果远程访问，需要进行一下设置。
1、关闭防火墙，或开放对应的端口
systemctl stop firewalld
2、启动命令中添加 。--bind_ip=0.0.0.0
mongod --fork --dbpath= /topinfo/mongodb /data --logpath= /topinfo/mongodb /logs/mongodb2.log --logappend --bind_ip=0.0.0.0
在用客户端连接如图：
3 分片部署
3.1 分片部署环境
操作系统：CentOS7 +
三台服务器：192.168.90.225/226/227
安装包： mongodb-linux-x86_64-4.0.10.tgz
3.2 部署设计
3.2.1 机器规划
为了更好的均衡机器的压力，把每个机器既可以作为主节点、副本节点、仲裁节点，这样压力就会均衡很多了。
3.2.2 端口规划
由于一个机器需要同时部署 mongos、config server 、shard1、shard2、shard3，所以需要用端口进行区分。
端口分配：
config：21000
shard1：27001
shard2：27002
shard3：27003
mongos：20000
3.2.3 目录规划
1、 创建安装和临时目标
mkdir /usr/local/tmp #临时目录，用于上传压缩包 mkdir /topinfo #mongodb的安装目录
2、目录规划
mkdir -p /topinfo/mongodb/conf # 存放所有服务器的配置文件 mkdir -p /topinfo/mongodb/mongos/logs # 存放路由服务器的日志信息 mkdir -p /topinfo/mongodb/config/data # 存放配置服务器的数据 mkdir -p /topinfo/mongodb/config/logs # 存放配置服务器的日志 mkdir -p /topinfo/mongodb/shard1/data # 存放分片服务器上的数据 mkdir -p /topinfo/mongodb/shard1/logs # 存放分片服务器上的日志 mkdir -p /topinfo/mongodb/shard2/data # 存放分片服务器上的数据 mkdir -p /topinfo/mongodb/shard2/logs # 存放分片服务器上的日志 mkdir -p /topinfo/mongodb/shard3/data # 存放分片服务器上的数据 mkdir -p /topinfo/mongodb/shard3/logs # 存放分片服务器上的日志
根据服务器规划：
1、mongo服务通过配置文件启动,存放配置文件目录/topinfo/mongodb/conf
2、在每台服务器创建该节点所含shard的数据存放目录/topinfo/mongodb/shard1-3
3、在每台服务器（也可以在其中两台）创建存放config server数据的数据目录/topinfo/mongodb/config，本次配置是在三台机器上都配置。
故：分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。
如图：
3.3 安装
3.3.1 上传MongoDB安装包
上传安装包：
cd /usr/local/tmp/ # 跳转到临时目录 rz #通过rz 上传mongodb-linux-x86_64-4.0.10.tgz
3.3.2 安装
1、解压
tar -zxvf mongodb-linux-x86_64-4.0.10.tgz # 解压 mv mongodb-linux-x86_64-4.0.10 mongodb #重命名 mv /usr/local/tmp/mongodb /topinfo # 将解压包拷贝到指定目录
2、MongoDB 的可执行文件位于 bin 目录下，所以可以将其添加到 PATH 路径中：
vim /etc/profile
#加入以下内容 export MONGODB_HOME=/topinfo/mongodb export PATH=$MONGODB_HOME/bin:$PATH
#保持退出后，执行以下命令，立即生效 source /etc/profile
如图：
3、环境变量验证
使用命令mongod -v输出信息版本信息验证环境变量是否配置成功
mongod -v
如图：
3.4 config server集群配置
3.4.1 config server服务器（副本集）
根据服务器规划，我们在三台机器上部署config server副本集，在该三台服务器上分别添加以下配置文件：
进入配置文件目录 /topinfo/mongodb/conf/config.conf
vi /topinfo/mongodb/conf/config.conf
添加配置文件信息：
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /topinfo/mongodb/config/logs/config.log
# Where and how to store data.
storage:
dbPath: /topinfo/mongodb/config/data/
journal:
enabled: true
# how the process runs
processManagement:
fork: true
pidFilePath: /topinfo/mongodb/config/logs/configsrv.pid
# network interfaces
net:
port: 21000
bindIp: 0.0.0.0
# 集群名称
replication:
replSetName: configs
# 声明这是一个集群的配置数据服务
sharding:
clusterRole: configsvr退出保存：
wq!
启动三台服务器的 config server
mongod -f /topinfo/mongodb/conf/config.conf
登录任意一台配置服务器(注意是配置端口)，初始化配置副本集(执行命令的时候，不要复制注释，只复制命令去一步步执行)。
mongo --port 21000
定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致）
config = {
_id : "configs",
members : [
{_id : 0, host : "192.168.90.225:21000" },
{_id : 1, host : "192.168.90.226:21000" },
{_id : 2, host : "192.168.90.227:21000" }
]
}初始化副本集
rs.initiate(config)
查看分区状态
rs.status();
此时会发现终端上的输出已经有了变化。
rs.initiate(config) 初始化。不成功的话，路由服务器与配置服务器连接不上。
其中，”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 为三个节点的 ip 和 配置port。
3.5 shard server分片服务器集群配置
3.5.1 配置第一个分片副本集
根据服务器规划：
192.168.90.225: 27001 - 主节点
192.168.90.226: 27001 - 副节点
192.168.90.227: 27001 - 仲裁节点
三台服务器上分别添加以下配置文件：
进入配置文件：
vi /topinfo/mongodb/conf/shard1.conf #分片配置文件
配置文件内容：
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /topinfo/mongodb/shard1/logs/shard1.log
# Where and how to store data.
storage:
dbPath: /topinfo/mongodb/shard1/data
journal:
enabled: true
# how the process runs
processManagement:
fork: true
pidFilePath: /topinfo/mongodb/shard1/logs/shard1.pid
# network interfaces
net:
port: 27001
bindIp: 0.0.0.0
# 副本集名称
replication:
replSetName: shard1
# 声明这是一个集群的分片服务;
sharding:
clusterRole: shardsvr启动三台服务器的shard1 server
mongod -f /topinfo/mongodb/conf/shard1.conf
登陆任意一台服务器(注意是分片端口)，初始化副本集(执行命令的时候，不要复制注释，只复制命令去一步步执行)
mongo --port 27001
#定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100]，大的被分配为主服务器，0永久不会变为主服务器）
config = {
_id : "shard1",
members : [
{_id : 0, host : "192.168.90.225:27001", priority : 2 },
{_id : 1, host : "192.168.90.226:27001", arbiterOnly :true },
{_id : 2, host : "192.168.90.227:27001", priority : 1 }
]
}
#初始化副本集
rs.initiate(config)
#查看分区状态
rs.status();3.5.2 设置第二个分片副本集
其他副本集都按照以上方式进行配置：
注意事项：
1、复制集的名称不要重复
2、ip和端口根据分配进行配置
3、合理分配仲裁服务器的位置（因为仲裁不存放数据，很轻，合理的分配，可以分担其他服务器的压力）
3.6 mongos server路由服务器集群配置
3.6.1 配置mongos
注意：启动mongodb时，先启动配置服务器，再启动分片服务器，最后启动路由服务器。
根据服务器规划，我们在每台服务器都配置了mongos:
192.168.90.225: 20000 - mongos
192.168.90.226: 20000 - mongos
192.168.90.227: 20000 - mongos
三台服务器上分别添加以下配置文件：
进入配置文件：
vi /topinfo/mongodb/conf/mongos.conf
配置文件内容 # where to write logging data. systemLog: destination: file logAppend: true path: /topinfo/mongodb/mongos/logs/mongos.log # how the process runs processManagement: fork: true # pidFilePath: /var/log/nginx/mongos.pid # network interfaces net: port: 20000 bindIp: 0.0.0.0 #监听的配置服务器,只能有1个或者3个，configs为配置服务器的副本集名字，ip:configs配置服务器的端口 sharding: configDB: configs/192.168.90.225:21000,192.168.90.226:21000,192.168.90.227:21000
启动三台服务器的mongos server
mongos -f /topinfo/mongodb/conf/mongos.conf
目前已经搭建好配置服务器、数据分片服务器、路由服务器，下面进行分片启用，使得app连接到路由服务器时可以使用分片机制
3.6.2 串联路由服务器与分配副本集
登录任意一台mongos：
mongo --port 20000
使用admin数据库
use admin
串联路由服务器与分片副本集：
#串联路由服务器与分片副本集
sh.addShard("shard1/192.168.90.225:27001,192.168.90.226:27001,192.168.90.227:27001")
#sh.addShard("shard2/192.168.90.225:27001,192.168.90.226:27001,192.168.90.227:27001")查看集群状态：
sh.status()
如图：
3.6.3 启动分片
目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。
指定testdb分片生效
use admin # enableSharding只能针对admin数据库运行，适宜选用admin
db.runCommand( { enablesharding :"testdb"});指定数据库里需要分片的集合和片键:
我们设置testdb的 testcoll 表需要分片，根据 id 自动分片到 shard1 ，shard2，.. 上面去。
db.runCommand( { shardcollection : "testdb.testcoll",key : {id: "hashed"} } )要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！!
查看分片状态
db.testcoll.stats()
3.7 分片测试
3.7.1 测试
连接 MongoDB 路由服务:
执行测试语句：
for(i=1;i<=10000;i++){db.testcoll.insert({"id":i,"name":"yangp"})};查看分片结果：
db.testcoll.stats();
如图：
说明分片成功！
4 注意事项
4.1 分片配置异常
4.1.1 执行命令
分片配置副本集的执行以下：
#定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100]，大的被分配为主服务器，0永久不会变为主服务器）
config = {
_id : "shard1",
members : [
{_id : 0, host : "192.168.90.225:27001", priority : 2 },
{_id : 1, host : "192.168.90.226:27001", priority : 1 },
{_id : 2, host : "192.168.90.227:27001", arbiterOnly :true }
]
}
#初始化副本集
rs.initiate(config)4.1.2 异常日志
This node, 192.168.90.227:27001, with _id 2 is not electable under the new configuration version 1 for replica set shard1",
4.1.3 异常处理
192.168.90.227这台服务器不能初始化，换一台机器做仲裁，顺利通过。
#定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100]，大的被分配为主服务器，0永久不会变为主服务器）
config = {
_id : "shard1",
members : [
{_id : 0, host : "192.168.90.225:27001", priority : 2 },
{_id : 1, host : "192.168.90.226:27001", arbiterOnly :true },
{_id : 2, host : "192.168.90.227:27001", priority : 1 }
]
}
#初始化副本集
rs.initiate(config)
#查看分区状态
rs.status();4.2 MongoDB 常用命令
4.2.1 启动命令
4.2.2 停止命令
mongod -shutdown -dbpath=/usr/local/mongodb/data
或
use admin db.shutdownServer()