设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

本教程分步介绍了如何设置Kubeflow,这个工具简化了在Google云端平台上设置便携式机器学习堆栈和Weave云的过程。

2017年KubeCon + Cloud Native Con 2017大型发布会之一是关于Kubeflow,一个开源项目“致力于使Kubernetes的机器学习(ML)轻松、便携、可扩展。Kubeflow是针对用户可能需要更多的便携式堆栈、更多的控制、ML堆栈的简化,或者在不同平台、本地等地使用Kubernetes部署。例如,Kubeflow的愿景是让不同的团队(数据科学家,开发人员,IT等)共享或移交系统,而不必担心谁可能仍然需要管理底层基础架构。 Kubeflow旨在利用Kubernetes在各种基础架构上的部署能力,部署和管理松散耦合的微服务,并根据需求进行扩展。对于目前使用单云托管ML服务的用户,Kubeflow可能会提供另一种解决方案来满足不同的用户需求。

Kubeflow和Weave云

Kubeflow用户可以利用Weave 云来简化在Kubernetes集群上运行的Kubeflow的可观察性、部署和监视。特别是如果Kubeflow用户遵循GitOps方法时,他们可以将他们的清单作为真相的单一来源;因此,共享和分发Kubeflow系统的愿景可以通过git push和Weave 云来实现。

Weave 云的监控功能也有助于各种指标,包括资源管理,这对Kubeflow来说可能是至关重要的。Weave 云的UI提供了快速的交互式视图,从高层的概述中可以看到CPU和内存使用情况::

要深入查看进程、容器、Pod和主机的资源监视,以及服务和命名空间,请参阅下文。

Kubeflow和Weave 云入门

1.GitHub上的Kubeflow:克隆Kubeflow存储库。(这些将安装Kubernetes清单以在生产群集上运行Kubeflow。)

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

2.Google云端平台:

·在Google云端平台中建立一个群集。

·我们为这个演示创建了一个基本的三节点集群。

·按照Google Kubernetes引擎上的Kubeflow步骤操作。

·按照快速启动步骤(使用ks适用。这将在组件中递归地安装所有的清单。

·可选:如果要运行代码来训练TensorFlow卷积神经网络(TF CNN)模型,那么也可以通过运行kubectl来完成这些工作。

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

3.Weave云:

·创建一个免费试用帐户。

·

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

按照Weave Cloud Deploy、Explore和Monitor的设置步骤进行操作。(你将部署代理来发送指标以利用Weave Cloud UI。)

·注意:Weave Cloud Deploy设置过程会将Deploy项插入到之前创建的GH repo中。(你不能将密钥注入Google Kubeflow库,所以需要在GH中克隆Kubeflow库。)

·点击Weave 云中的Explore按钮,在Google Cloud中可视化新Kubeflow集群。

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

·Weave 云还提供基于托管、多租户和可扩展Prometheus的监控。借助Weave Cloud,你可以将Prometheus指标存储几个月,以便使用Prometheus强大的查询语言PromQL进行查询。

·Weave Cloud的监控功能也有助于各种指标,包括资源管理,这对Kubeflow来说可能是至关重要的。要深入查看进程、容器和主机,请单击“条形图”图标:

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

·除了pod外(请注意每个pod中的“水位”,指示tf-job-operator pod的CPU使用情况):

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

·Weave云的监控还通过服务和名称空间显示资源:

设置Kubeflow教程 简化设置便携式ML堆栈和Weave云过程

在KubeCon上宣布Kubeflow的公告使它在Hacker News上排名第一,并且ML公司也对此感兴趣。

相关推荐