机器学习云平台应具备哪些功能?

机器学习云平台应具备哪些功能?

要创建有效的深度学习模型,需要提供大量的数据,对模型进行有效的训练。然后安装模型,对模型进行监视以防止出现漂移,并根据需要对其进行重新训练,以此反复。

模型的训练需要使用非常多的计算资源,如果您已经投资了大规模的计算资源,您可以在本地完成所有这些工作。但是,你会发现这些计算资源在许多时间处于非活动状态。如果在云平台中进行上述活动,则可能更具成本效益。

大多数云提供商投入大量精力来构建其机器学习平台,以支持整个机器学习生命周期。每个端到端机器学习平台应提供哪些功能呢?

训练数据模型

当你准备好了大量的训练数据之后,您当然不希望迁移这些数据。因为这个过程通常需要花费非常长时间,这意味着您在这段时间内什么事也不能做。对于大型数据集,理想的情况是创建一个已经存在数据的模型,从而避免大量数据迁移。

支持ETL或ELT

ETL(导出,转换和加载)和ELT(导出,加载和转换)是数据库领域中的两种常见数据配置技术。机器学习和深度学习非常需要这些工具,尤其是变换部分。

支持在线模型训练

建立良好的机器学习和深度学习模型需要大规模数据,将这些数据全部下载到本地进行模型训练,是非常费时过程。而且数据规模达到一定规模之后,您会发现很难找到本地资源来存储这些数据,所以支持在线模型训练成本云平台必须要具有的功能。

支持scale-up and scale-out训练

利用云平台,帮助生成多个大型虚拟机或容器环境,加速在本地笔记本进行的训练活动,这将大大较少我们的训练时间。

相关推荐