OpenStack Mitaka for Ubuntu 16.04 LTS 部署指南
1. 硬件服务器
- 名称：浪潮P8000工作站
- CPU：Intel Xeon CPU E5-2620 v3 2.40GHz * 2，共12个物理核，24个逻辑核
- 内存：16 * 8 = 128GB
- 存储：SAS 300GB * 3 = 900GB
- 网络：千兆网卡 * 6
- 操作系统：Windows Server 2012 R2 DataCenter
2. OpenStack部署分析及规划
2.1 目的
- 部署一个OpenStack测试环境
- 硬件虚拟化，提供一个Infrastructure-as-a-Service (IaaS)解决方案
- 基于OpenStack云计算平台提供Hadoop MapReduce、Spark等计算服务
- 提供OpenStack开源云计算学习平台
2.2 OpenStack网络模型选择
官方文档中OpenStack提供了两种网络模型架构
Provider Networks
OpenStack最简单的部署方式，主要利用二层网络服务（Layer-2 Services）（通过网桥和交换机连接不同网络）和VLAN划分，其本质上是将虚拟机网络（Virtual Networks）通过桥接到物理网络（Physical Networks）并利用物理网络设施提供三层网络服务（Layer-3 Services）；此外，通过DHCP服务向虚拟网络实例提供IP地址。
注：该方式不支持私有自服务网络（Private Self-Service Networks），如三层路由服务（Layer-3 Routing Services）。
Self-Service Networks
该方式和Provider Networks方式相比，通过诸如VXLAN方式在自服务网络中支持三层路由服务。
本文采用Provider Networks网络模型设计
2.3 OpenStack节点硬件需求
2.4 OpenStack服务组件选择
本文选择OpenStack Mitaka版本
Compute-Focused OpenStack Design
根据OpenStack官方文档，以计算服务为主的OpenStack私有云计算平台可选取以下组件：For a compute-focused OpenStack design architecture, the following components may be present: Identity (keystone) Dashboard (horizon) Compute (nova) Object Storage (swift) Image (glance) Networking (neutron) Orchestration (heat)
OpenStack服务组件选择：
注：本文选择MariaDB（MySQL的一个分支，完全兼容MySQL）开源数据库为OpenStack组件提供后端数据访问服务。Service Name Component Name Brief Description Identity Service Keystone 身份服务，提供单点集成方式管理身份认证、授权、服务目录服务 Image Service Glance 镜像服务 Compute Service Nova 计算服务 Networking Service Neutron 网络服务 Dashboard Service Horizon 仪表盘，访问OpenStack服务的图形化接口 Block Storage Service Cinder 块存储服务 Shared File Systems Service Manila 共享文件系统服务，用于文件存储 Object Storage Service Swift 对象存储服务，用于对象存储和检索 Orchestration Service Heat 编排服务，基于模板创建管理云资源 Telemetry Data Collection Service Ceilometer 计量服务 Telemetry Alarming Service Aodh 警报服务 Database Service Trove 数据库服务，用于云部署关系型和非关系性数据库引擎 Data Processing Service Sahara 数据处理服务，提供一个数据处理框架，如Hadoop、Spark、Storm
2.5 OpenStack节点网络设计
OpenStack官方文档建议网络布局如下：
本文采用如下网络设计
总共3个子网：
① 互联网连接/对外出口（External）
② Openstack管理网络（Management）
③ VM虚拟机内网连接（Data）
注：此外，本文将Block Storage Node和Object Storage Node加入Management Network。
2.6 OpenStack节点服务器规划
6台Ubuntu 16.04 LTS：
① Cotroller：用于整个集群的控制，高可靠性要求。承载数据库（MySQL）、队列服务器（RabbitMQ）、和最终的web入口（Apache+Memcache）。设置一块虚拟硬盘。要求网卡eth0接External Network，eth1接Management Network子网。
② Network：网络控制节点，高网络吞吐型节点。设置一块虚拟硬盘。要求3网卡，eth0接External Network，eth1接Management Network子网, eth2接Data Network子网。
③ Compute：计算节点，高内存+CPU+IO消耗型节点。设置一块虚拟硬盘。要求网卡eth0接External Network，eth1接Management Network子网，eth2接Data Network子网。
④ BlockStorage：块存储节点，提供块存储和共享文件系统服务。设置三块虚拟硬盘，一块安装操作系统，一块用于块存储服务，一块用于共享文件系统服务。要求网卡eth0接External Network，eth1接Management Network子网。
⑤ ObjectStorage：两个对象存储节点，提供对象存储服务。设置三块虚拟硬盘，一块安装操作系统，两块用于对象存储服务。要求网卡eth0接External Network，eth1接Management Network子网。
注：上述为了方便管理，对每个节点都添加了eth0网络接口，实际生产环境请根据实际情况配置。服务器配置：
Node CPU 内存 存储 Controller 4核 16GB 100GB Network 2核 8GB 100GB Compute 16核 64GB 300GB BlockStorage 2核 8GB 100GB+100GB+100GB ObjectStorage1 2核 8GB 100GB+100GB+100GB ObjectStorage2 2核 8GB 100GB+100GB+100GB 注：此处资源分配超出了实际物理资源，可根据实际分配资源。
网络配置：
Node eth0 eth1 eth2 External Network Management Network Data Network Controller 192.168.1.11 10.0.0.11 Network 192.168.1.21 10.0.0.21 10.0.1.21 Compute 192.168.1.31 10.0.0.31 10.0.1.31 BlockStorage 192.168.1.41 10.0.0.41 ObjectStorage1 192.168.1.51 10.0.0.51 ObjectStorage2 192.168.1.52 10.0.0.52 Subnet Mask 255.255.255.0 255.255.255.0 255.255.255.0 Gateway 192.168.1.1 10.0.0.1 10.0.1.1 注：由于实际网络限制， External Network通过虚拟网卡
192.168.1.1共享主机网络来访问外网物理主机端口映射信息：
物理机端口 虚拟机IP 虚拟机端口 服务描述 11122 192.168.1.11 22 Controller SSH 服务 12122 192.168.1.21 22 Network SSH 服务 13122 192.168.1.31 22 Compute SSH 服务 14122 192.168.1.41 22 BlockStorage SSH 服务 15122 192.168.1.51 22 ObjectStorage1 SSH 服务 15222 192.168.1.52 22 ObjectStorage2 SSH 服务 11180 192.168.1.11 80 OpenStack Dashboard 服务 6080 192.168.1.11 6080 OpenStack Compute Service of Nova Proxy 注：将虚拟机SSH端口映射到物理主机特定端口，以便外网通过物理主机访问虚拟机。
物理主机端口：为方便管理，针对SSH服务，将物理主机映射端口设计如下，前三位表示对应虚拟机地址末两字节，最后两位表示对应虚拟机端口。OpenStack服务密码要求：
根据OpenStack官方文档
2.7 OpenStack各节点组件规划
节点组件信息：
Node OpenStack Service Controller mariadb-server、mongodb-server、rabbitmq-server、memcached、keystone、apache2、glance、nova-api、nova-conductor、nova-consoleauth、nova-novncproxy、nova-scheduler、neutron-server、neutron-plugin-ml2、horizon(dashboard)、cinder-api cinder-scheduler、manila-api、manila-scheduler、python-manilaclient、swift、swift-proxy、python-swiftclient、heat-api、heat-api-cfn、heat-engine、ceilometer-api、ceilometer-collector、ceilometer-agent-central、ceilometer-agent-notification、python-ceilometerclient、python-ceilometermiddleware、aodh-api、aodh-evaluator、aodh-notifier、aodh-listener、aodh-expirer、python-trove、python-troveclient、python-glanceclient、trove-common、trove-api、trove-taskmanager、trove-conductor、sahara-api、sahara-engine、sahara-templates、sahara-wsgi-api Network neutron-linuxbridge-agent、neutron-l3-agent、neutron-dhcp-agent、neutron-metadata-agent Compute nova-compute、neutron-linuxbridge-agent、kvm、ceilometer-agent-compute BlockStorage lvm2、cinder-volume、manila-share、neutron-plugin-linuxbridge-agent ObjectStorage xfsprogs、rsync、swift、swift-account、swift-container、swift-object 各节点功能可参考下图
注：仅供参考理解，具体根据实际情况而定
2.8 用户、密码、地址、端口信息登记
注：
① 请提前设计好所需密码并登记存档，并及时登记用到的服务地址&端口信息。
② 根据实际情况，将下面Password列替换为实际密码。
（若为测试环境，建议密码采用一定规则，方便记忆，但数据库等服务密码不要包含一些特殊字符，如:、/、+、@）
OpenStack节点主机用户&密码：
Node Hostname User Password Controller controller controller your_password Controller controller root your_password Network network network your_password Network network root your_password Compute compute compute your_password Compute compute root your_password BlockStorage blockstorage blockstorage your_password BlockStorage blockstorage root your_password ObjectStorage1 objectstorage1 objectstorage your_password ObjectStorage1 objectstorage1 root your_password ObjectStorage2 objectstorage2 objectstorage your_password ObjectStorage2 objectstorage2 root your_password OpenStack服务用户&密码：
Name User Password Database_PASS(MariaDB/MySQL) root your_password RABBIT_PASS openstack your_password KEYSTONE_DBPASS keystone your_password ADMIN_PASS admin your_password DEMO_PASS demo your_password GLANCE_DBPASS glance your_password GLANCE_PASS glance your_password NOVA_DBPASS nova your_password NOVA_PASS nova your_password NEUTRON_DBPASS nuetron your_password NEUTRON_PASS nuetron your_password METADATA_SECRET your_password CINDER_DBPASS cinder your_password CINDER_PASS cinder your_password MANILA_DBPASS manila your_password MANILA_PASS manila your_password SWIFT_PASS swift your_password HASH_PATH_PREFIX your_password HASH_PATH_SUFFIX your_password HEAT_DBPASS heat your_password HEAT_PASS heat your_password HEAT_DOMAIN_PASS heat_domain_admin your_password CEILOMETER_DBPASS ceilometer your_password CEILOMETER_PASS ceilometer your_password AODH_DBPASS aodh your_password AODH_PASS aodh your_password TROVE_DBPASS trove your_password TROVE_PASS trove your_password SAHARA_DBPASS sahara your_password SAHARA_PASS sahara your_password OpenStack各节点服务地址&端口
参考：Firewalls and default ports
注：可执行sudo netstat -tnlp查看节点 IP地址 端口 服务描述 Controller 192.168.1.11 22 SSH Controller 10.0.0.11 3306 MariaDB（MySQL） Controller 10.0.0.11 27017 MongoDB Controller 10.0.0.11 5672、25672 RabbitMQ Controller 10.0.0.11 4369 Erlang端口映射守护进程（Erlang Port Mapper Daemon） Controller 10.0.0.11 11211 Memcached Controller 10.0.0.11 35357 OpenStack Identity Service of Apache HTTP Server（Admin） Controller 10.0.0.11 5000 OpenStack Identity Service of Apache HTTP Server（User） Controller 10.0.0.11 9191 OpenStack Image Service of Glance Registry Controller 10.0.0.11 9292 OpenStack Image Service of Glance API Controller 10.0.0.11 8774、8775 OpenStack Compute Service of Nova API Controller 10.0.0.11 6080 OpenStack Compute Service of Nova Proxy Controller 10.0.0.11 9696 OpenStack Networking Service of Neutron Server Controller 10.0.0.11 80 OpenStack Dashboard Service of Apache HTTP Server Controller 10.0.0.11 8776 OpenStack Block Storage Service of Cinder API Controller 10.0.0.11 8786 OpenStack Shared File Systems Service of Manila API Controller 10.0.0.11 8080 OpenStack Object Storage Service of Swift Proxy Controller 10.0.0.11 8000 OpenStack Orchestration Service of Heat API (CloudFormation) Controller 10.0.0.11 8004 OpenStack Orchestration Service of Heat API Controller 10.0.0.11 8777 OpenStack Telemetry Alarming Service of Ceilometer API Controller 10.0.0.11 8042 OpenStack Telemetry Alarming Service of Aodh API Controller 10.0.0.11 8779 OpenStack Database Service of Trove API Controller 10.0.0.11 8386 OpenStack Data Processing Service of Sahara API Network 192.168.1.21 22 SSH Compute 192.168.1.31 22 SSH Compute 192.168.122.1 53 Libvirt Dnsmasq BlockStorage 192.168.1.41 22 SSH BlockStorage 10.0.0.41 3260 OpenStack Block Storage Service of Tgtd（iSCSI target后台服务） ObjectStorage 192.168.1.51/52 22 SSH ObjectStorage 10.0.0.51/52 873 OpenStack Object Storage Service of Remote Sync ObjectStorage 10.0.0.51/52 6000 OpenStack Object Storage Service of Object ObjectStorage 10.0.0.51/52 6001 OpenStack Object Storage Service of Container ObjectStorage 10.0.0.51/52 6002 OpenStack Object Storage Service of Account
3. 环境准备
3.1 物理主机基本配置
物理机基本配置
① 开启物理主机虚拟化功能
② 在物理主机上安装VMware Workstation 12.1 ProVMware虚拟机配置
① 配置虚拟机网络
虚拟机网络连接方式图解：
打开VMware Workstation虚拟网络编辑器，添加如下虚拟网卡：
其中VMnet0用于配置External Network，VMnet1用于配置Management Network子网, VMnet2用于配置Data Network子网。如下图：
② 创建虚拟机，按前面要求设置CPU、内存大小，并新建网络适配器同时指定网络连接方式，各节点对应名称如下表：Node VMnet0 VMnet1 VMnet2 Controller 网络适配器 网络适配器2 Network 网络适配器 网络适配器2 网络适配器3 Compute 网络适配器 网络适配器2 网络适配器3 BlockStorage 网络适配器 网络适配器2 ObjectStorage1 网络适配器 网络适配器2 ObjectStorage2 网络适配器 网络适配器2 注：虚拟机中添加网络适配器的顺序跟系统内默认网卡名
eth0、eth1、eth2对应。
③ 开启虚拟机CPU虚拟化功能
对于每个虚拟机，虚拟机设置–>处理器设置–>虚拟化引擎，选择Intel VT-x/EPT或AMD-V/RVI，如下图：
④ 各节点虚拟机配置如下图：
Controller节点：
Network节点：
Compute节点：
BlockStorage节点：
ObjectStorage1节点：
ObjectStorage2节点：
3.2 节点系统安装
在VMware中创建虚拟机，安装Ubuntu 16.04 LTS
- 创建虚拟机，设置CPU核心数、内存大小、存储大小。
- 添加两块（或三块）虚拟网卡
- 加载Ubuntu Server 16.04 LTS系统镜像
- 启动系统，选择时区、语言，设置主机名和用户名、密码。
Partition disks配置步骤：
① 单独设置分区/dev/sda1，大小200MB，用于挂载/boot
选择手动配置–>选择硬盘–>创建新的分区表–>选择空闲空间–>新建分区–>设置大小200MB–>选择主分区–>选择开始位置–>设置文件系统格式Ext4–>设置挂载点/boot–>设置分区。
② 设置LVM，方便扩展存储，挂载/和swap
配置逻辑卷LVM–>将修改写入磁盘并配置LVM–>新建卷组–>卷组名称：vg_system–>按空格键选中剩余空闲空间/dev/sda–>将修改写入磁盘并配置LVM–>新建逻辑卷–>选择卷组vg_system–>逻辑卷名：lv_root–>设置逻辑卷大小：91GB–>新建逻辑卷–>选择卷组vg_system–>逻辑卷名：lv_swap–>设置逻辑卷大小为剩余空间–>完成。
③ 分别对每一个逻辑卷进行配置
磁盘格式：lv_root选择ext4，lv_swap选择swap area。
挂载点：lv_root选择”/”。
最后选择完成分区并将更改写入磁盘，点击确定即可。- 选择服务器默认安装软件包
空格键选择OpenSSH Server，方便使用SSH传输文件。 - 安装Grub。
按照上述步骤，创建其他节点服务器并安装Ubuntu 16.04 LTS系统
3.3 节点系统基本环境配置
启用root用户，设置root密码
sudo passwd root
为普通用户添加sudo权限
只需修改/etc/sudoers文件：
切换到root用户，输入命令su -，输入root用户密码。
输入命令vi /etc/sudoers编辑/etc/sudoers文件，在下面内容下添加一行your_username ALL=(ALL:ALL) ALL，输入w!强制保存，退出vi。# User privilege specification root ALL=(ALL:ALL) ALL # controller controller ALL=(ALL:ALL) ALL
注：如没有修改权限，则为
/etc/sudoers文件添加写权限chmod u+w /etc/sudoers，修改后撤销权限chmod u-w /etc/sudoers。修改网卡命名方式
输入ifconfig -a查看，发现网卡名称由udev管理命名为ens33和ens38，为了方便，将网卡名称修改为上述表格所示eth0、eth1、eth2。
①sudo vi /etc/default/grub把/etc/default/grub中GRUB_CMDLINE_LINUX_DEFAULT="" GRUB_CMDLINE_LINUX=""
改成：
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash" GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0"
② 重新生成grub文件
sudo update-grub sudo grub-mkconfig -o /boot/grub/grub.cfg
③ 重启系统，发现网卡名称已经改回
eth0、eth1、eth2命名格式。
注：以上步骤在Controller节点、Compute节点、Network节点配置方法相同修改各节点网卡和VMware虚拟网卡绑定关系
可选环节：若网卡和虚拟网卡绑定关系不同，可手动指定
按照前面表格所示，修改各节点网卡名称为对应的eth0、eth1、eth2
以Controller节点为例
将默认网卡名eth0和eth1修改为eth0和eth2sudo vi /etc/udev/rules.d/70-persistent-net.rules //如无该文件，新建一个即可
添加如下内容，其中
00:0c:29:a9:66:8c和00:0c:29:a9:66:96为网卡MAC，可执行ifconfig -a查看，根据情况自行设定：# eth0 SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="00:0c:29:a9:66:8c", NAME="eth0" # eth2 SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="00:0c:29:a9:66:96", NAME="eth2"保存并重启电脑
sudo reboot。
注：配置完成后，不能在虚拟机设置-->网络适配器-->高级中点击生成MAC，否则上面MAC地址需要修改配置。
注：Compute节点、Network节点配置方法类似设置静态IP/DNS
以Controller节点为例
① 修改文件sudo vi /etc/network/interfaces，将默认生成的（下面内容可能没有，可能不一样，配置时视自己情况而定）：auto ens33 iface ens33 inet dhcp
改为：
#eth0 config (connect to internet) auto eth0 iface eth0 inet static address 192.168.1.11 #IP地址 netmask 255.255.255.0 #子网掩码 gateway 192.168.1.1 #网关 dns-nameserver 192.168.1.1 #DNS # eth1 config (connect to openstack management network) auto eth1 iface eth1 inet static address 10.0.0.11 #IP地址 netmask 255.255.255.0 #子网掩码
② 重启网卡，使配置生效：
sudo /etc/init.d/networking restart sudo service networking restart
注：若找不到上述命令或重启无效可尝试下面命令：
sudo ifdown eth0 sudo ifdown eth1 sudo ifup eth0 sudo ifup eth1
注：若提示
ifdown: interface eth0 not configured，可换下面命令尝试：sudo ifconfig eth0 down sudo ifconfig eth1 down sudo ifconfig eth0 up sudo ifconfig eth1 up
③ 运行
ifconfig -a查看网络配置信息。
④ 通过ping www.baidu.com测试能否正常访问外网。若不能，可sudo reboot重启节点试试。
注：Compute节点、Network节点配置方法类似//配置端口映射 netsh interface portproxy add v4tov4 listenaddress=xxx.xxx.xxx.xxx listenport=11122 connectaddress=192.168.1.11 connectport=22 //或者 netsh interface portproxy add v4tov4 listenport=11122 connectaddress=192.168.1.11 connectport=22 //查看已配置的端口映射 netsh interface portproxy show v4tov4 // all 侦听 ipv4: 连接到 ipv4: 地址 端口 地址 端口 --------------- ---------- --------------- ---------- xxx.xxx.xxx.xxx 11122 192.168.1.11 22 * 11122 192.168.1.11 22 //删除端口映射 netsh interface portproxy delete v4tov4 listenaddress=xxx.xxx.xxx.xxx listenport=11122 netsh interface portproxy delete v4tov4 listenport=11122
② 在系统防火墙高级设置中配置入站规则
新建规则–>端口–>特定本地端口：11122–>允许连接–>选择域/专用/公用–>名称：VMware OpenStack Controller SSH、描述：用于VMware中OpenStack云计算平台Controller节点SSH连接
③ 配置完成后，可在外网主机，通过Xshell连接Controller节点,如下图：
注：若XShell连接失败，提示Xshell no matching outgoing encryption，可升级Xshell版本,在链接的属性(SSH–>安全性)的加密算法列表中选择aes256-ctr，mac加密列表中选择hmac-sha2-256，保存即可。
注：其他节点配置方法类似
配置hosts文件
以Controller节点为例
OpenStack要求所有的节点主机之间都是通过host互信的，编辑所有节点主机的/etc/hosts文件，注意将YOUR_HOST_NAME替换成本节点主机名称。配置完成后在每台主机上ping通3个主机名。此外，通过配置hosts文件，可在网络环境发生变化时提供可扩展性且便于迁移。
可参考：OpenStack Doc : Controller hosts文件配置
① 执行sudo vi /etc/hosts，添加如下内容# config all nodes 10.0.0.11 controller 10.0.0.21 network 10.0.0.31 compute 10.0.0.41 blockstorage 10.0.0.51 objectstorage1 10.0.0.52 objectstorage2
② 注释掉除
127.0.0.1之外的环回地址项，如下：#127.0.1.1 controller`
注：其他节点配置方法类似
至此，节点网络配置完成：
① Controller、Network、Compute等节点可互相ping通；
② Controller、Network、Compute等节点均可访问外网和进行地址解析。配置ubuntu的更新源
使用阿里云的更新源，修改配置文件sudo vi /etc/apt/sources.list，添加：deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
更新系统
① 更新系统sudo apt update sudo apt upgrade sudo apt dist-upgrade sudo apt autoremove
可能遇到的问题：
Ubuntu系统/boot容量不足引起的无法更新系统
解决方法：
查看/boot分区容量df -h /boot；查看当前使用内核版本号uname -a；删除旧内核，输入sudo apt-get remove linux-image-，接着按两下tab键，将显示所有的内核版本，把目前使用的版本之前的版本全部删除。最后执行sudo update-grub sudo grub-mkconfig -o /boot/grub/grub.cfg
② 查看系统发行版本和内核版本
network@network:~$ sudo lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 16.04 LTS Release: 16.04 Codename: xenial network@network:~$ uname -srpi Linux 4.4.0-23-generic x86_64 x86_64
服务器时区设置
① 执行sudo tzselect–>选择亚洲（Asia）–>选择中国（China)–>选择北京(Beijing)–>
② 复制文件到/etc目录下：sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
注：若在系统安装时已设置正确时区，可跳过该步骤。