在阿里云Kubernetes容器服务上打造TensorFlow实验室
摘要： 利用Jupyter开发TensorFLow也是许多数据科学家的首选，但是如何能够快速从零搭建一套这样的环境，并且配置GPU的使用，同时支持最新的TensorFLow版本, 对于数据科学家来说既是复杂的，同时也是浪费精力的。
简介
TensorFLow是深度学习和机器学习最流行的开源框架，它最初是由Google研究团队开发的并致力于解决深度神经网络的机器学习研究，从2015年开源到现在得到了广泛的应用。特别是Tensorboard这一利器，对于数据科学家有效的工作也是非常有效的利器。
Jupyter notebook是强大的数据分析工具，它能够帮助快速开发并且实现机器学习代码的共享，是数据科学团队用来做数据实验和组内合作的利器，也是机器学习初学者入门这一个领域的好起点。
利用Jupyter开发TensorFLow也是许多数据科学家的首选，但是如何能够快速从零搭建一套这样的环境，并且配置GPU的使用，同时支持最新的TensorFLow版本, 对于数据科学家来说既是复杂的，同时也是浪费精力的。在阿里云的Kubernetes集群上，您可以通过简单的按钮提交创建一套完整的TensorFlow实验环境，包括Jupyter Notebook开发模型，利用Tensorboard调整模型。
准备Kubernetes环境
阿里云容器服务Kubernetes 1.9.3目前已经上线，但是购买按量付费的GPU计算型服务器需要申请ECS工单开通。具体创建过程，可以参考创建Kubernetes集群。
体验通过应用目录部署TensorFlow实验室
通过Helm部署MPI的应用，本文以openmpi为例，向您展示如何快速在容器服务上运行MPI应用。实际上如果需要换成其他MPI实现只需要替换镜像即可。
2.1 可以通过应用目录，点击ack-tensorflow-dev
2.2 点击参数, 就可以通过修改参数配置点击部署
这里的密码是tensorflow， 您也可以改成您自己设定的密码
也可以登录到Kubernetes master运行以下命令
$ helm install --name tensorflow incubator/ack-tensorflow
2.3 运行结束后可以登录到控制台，查看tensorflow应用启动的状态
登录使用TensorFlow实验环境
- 首先通过ssh登录Kubernetes集群，查看tensorflow应用列表
$ helm list NAME REVISION UPDATED STATUS CHART NAMESPACE tensorflow 1 Thu Apr 12 07:54:59 2018 DEPLOYED ack-tensorflow-dev-0.1.0 default
2. 利用helm status检查应用配置
$ helm status tensorflow
LAST DEPLOYED: Thu Apr 12 07:54:59 2018
NAMESPACE: default
STATUS: DEPLOYED
RESOURCES:
==> v1/Service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
tensorflow-ack-tensorflow-dev LoadBalancer 172.19.2.39 10.0.0.1 6006:32483/TCP,80:32431/TCP 13m
==> v1beta2/Deployment
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
tensorflow-ack-tensorflow-dev 1 1 1 1 13m
NOTES:
1. Get the application URL by running these commands:
NOTE: It may take a few minutes for the LoadBalancer IP to be available.
You can watch the status of by running 'kubectl get svc -w tensorflow-ack-tensorflow-dev'
export SERVICE_IP=$(kubectl get svc --namespace default tensorflow-ack-tensorflow-dev -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
echo http://$SERVICE_IP:这里可以看到外部SLB的ip是
10.0.0.1， Jupyter Notebook的端口为80， Tensorboard为6006。
3. 通过Jupyter访问端点登录，本示例中Jupyter的访问地址是http://10.0.0.1, 输入前面设定的密码点击登录, 在本示例中我们设定的是tensorflow
4. 点击Terminal按钮
5. 在Terminal内执行nvidia-smi, 可以看到GPU的配置
6. 通过git命令下载tensorflow样例代码，
$ git clone https://code.aliyun.com/kubernetes/Tensorflow-Examples.git
7. 回到主页您就能看到Tensorflow-Examples已经下载到了您的工作目录
8. 进入到 http://10.0.0.1/notebooks/Tensorflow-Examples/notebooks/4_Utils/tensorboard_basic.ipynb, 运行程序
注意：如果您需要用Tensorboard观测训练效果请将日志记录到
/output/training_logs下。
9. 以下为训练结果输出
10. 这时您可以登录Tensorboard查看训练效果， 本示例中Tensorboard的地址为http://10.0.0.1:6006 。 这里您可以看到模型的定义和训练的收敛趋势。
总结
我们可以利用阿里云Kubernetes容器服务，轻松的搭建在云端搭建TensorFlow的环境，运行深度学习的实验室，并且利用TensorBoard追踪训练效果。欢迎大家使用阿里云上的GPU容器服务，在使用GPU高效计算的能力同时，比较简单和快速的开始模型开发工作。