选择正确人工智能数据存储的6个准则

企业选择错误的人工智能存储平台可能会产生严重影响。因此，人们需要了解可能影响企业选择人工智能数据存储策略的6个准则。

人工智能和机器学习如今已成为企业最重要的两个工具，可帮助企业利用其核心数字资产创造竞争优势。但是在采用人工智能数据存储之前，企业必须根据机器学习平台如何获取、处理和保留数据来考虑一系列要求。

首先检查一下机器学习软件使用的数据的生命周期，因为这可以帮助企业了解为人工智能选择存储时应考虑的事项。最初，企业必须获取数据以训练机器学习或人工智能算法。这些是处理数据以学习任务的软件工具，例如识别对象、处理视频和跟踪运动。数据可以从各种来源产生，并且通常在本质上是非结构化的，例如对象和文件。

训练过程将获取数据资产，并使用机器学习或人工智能软件来创建用于处理未来数据源的算法。在训练或开发算法时，人工智能软件将处理源数据以开发模型，该模型可以创建洞察力或满足业务需求。

开发机器学习算法很少是一个单一的过程。随着企业积累越来越多的数据，其算法也会得到完善和改进。这意味着很少的数据会被丢弃，而是随着时间的推移会增长并重新处理。

采用人工智能数据存储的标准

在为人工智能平台选择存储之前，企业必须首先考虑以下事项：

(1)费用。人工智能数据存储的价格是企业考虑购买的关键因素。显然，企业管理层和参与采购决策的人员都希望数据存储尽可能具有成本效益，并且在许多情况下，这将影响企业的产品选择和策略。

(2)可扩展性。企业需要收集、存储和处理大量数据以创建机器学习或人工智能模型。机器学习算法要求源数据呈指数增长，以实现精度的线性提高。创建可靠而准确的机器学习模型可能需要数百TB甚至PB的数据，而且这会随着时间的推移而增加。

构建PB级存储系统通常意味着使用对象存储或横向扩展文件系统。现代对象存储可以解决人工智能工作负载的容量需求，但是它们可能无法满足其他条件，例如高性能。横向扩展文件系统可以提供高性能和良好的可扩展性，但是将整个数据集存储在单个平台上可能会很昂贵。由于可扩展性要求和大容量产品的成本，块存储通常不是机器学习或人工智能的正确选择。唯一的例外是在公共云中。

存储成本的变化引入了分层或使用多种类型的存储来存储数据的想法。例如，对象存储库是存储大量非活动人工智能数据的良好目标。当需要数据进行处理时，可以将其移动到高性能文件存储集群或对象存储中为高性能而设计的节点中，一旦完成处理，就可以将数据移回。

(3)性能。人工智能数据的存储性能包括三个方面。首先，可能也是最重要的是延迟。这定义了软件发出的每个I/O请求的处理速度。低延迟很重要，因为改善延迟会直接影响创建机器学习或人工智能模型所需的时间。复杂的模型开发可能需要数周或数月的时间才能运行。通过缩短开发周期，企业可以更快地创建和完善模型。在检查延迟功能时，由于对象访问的流动性质，对象将参考时间存储到第一个字节，而不是单个I/O请求的延迟。

性能的另一个方面是吞吐量，以及可以将数据写入存储平台或从存储平台读取数据的速度。系统吞吐量很重要，因为人工智能培训会处理大量数据集，通常会反复读取和重新读取相同的数据以准确地开发模型。机器学习和人工智能数据的来源(例如自动驾驶车辆上的传感器)每天可以产生数TB的新数据。所有这些信息都必须添加到现有数据存储中，并且对任何现有处理的影响最小。

正确设置存储平台至关重要，因为涉及的数据量非常大。

性能的最后方面是并行访问。机器学习和人工智能算法并行处理数据，运行多个任务，这些任务可以多次读取同一数据，并且可以跨越许多并行任务。对象存储擅长并行读取I/O处理，因为没有对象锁定或要管理的属性。文件服务器跟踪内存中打开的I/O请求或文件句柄。因此，活动I/O请求的数量取决于平台上可用的内存。

机器学习数据可以包含大量的小文件。在这方面文件服务器可以提供比对象存储更好的性能。向人工智能存储供应商提出的一个关键问题是，其产品的性能特征将如何在大文件和小文件类型之间发生变化。

由于大多数大型对象存储太大而无法定期备份，因此可靠的擦除编码已成为人工智能存储平台的基本功能。

(5)公共云。开发机器学习和人工智能算法需要高性能的存储和高性能的计算。许多人工智能系统都基于GPU(例如Nvidia DGX)，可以减轻开发精确算法所涉及的许多复杂数学计算的负担。

公共云服务提供商已开始提供可用于机器学习的GPU加速虚拟实例。在公共云中运行机器学习工具可降低构建用于机器学习开发的基础设施的投资成本，同时提供扩展开发机器学习模型所需的基础设施的能力。

使用公共云计算所面临的挑战是如何以经济高效且实用的方式将数据导入公共云。基于云计算的对象存储速度太慢，无法满足机器学习的I/O需求;因此，必须使用本地块存储。移动数据的延迟和机器学习的延迟意味着运行基础设施的成本增加。

公共云的另一个问题是数据出口的成本。尽管云计算服务提供商不收取将数据移入其平台的费用，但他们对从其平台外部的公共网络访问的任何数据收取费用。其结果是，尽管公共云提供了计算的灵活性，但以及时且经济高效的方式将数据进出云平台并不总是那么容易。

云计算供应商正在开发可在公共云中运行其产品的存储产品，这些存储跨越内部部署基础设施和云平台。这些产品可以有效地复制数据或将数据移至云平台中，并且仅在完成后才将结果移回。这些复制技术具有高带宽效率，使在内部部署存储数据并导入到云平台中进行分析工作变得切实可行。

(6)整合。在机器学习和人工智能的存储方面需要与计算隔离开来。构建人工智能数据存储可能很困难，因为存储网络和调整存储必须考虑其他因素才能与机器学习应用程序一起工作。