GitHub热门项目：生产级深度学习项目如何构建？

在生产中部署深度学习模型可能很有挑战性，因为这远远不仅是训练出具有良好性能的模型就足够了。为了部署生产级深度学习系统，还需要正确设计和开发一众组件。本文介绍了 GitHub 上的一个工程指南，用于构建将部署在实际应用程序中的生产级深度学习系统。

在这篇文章中，我们将详细介绍生产级深度学习系统的各个模块，并推荐适合每个组件的工具集和框架，以及实践者提供的最佳实践。

1. 数据管理

1.1. 数据源

开源数据 （好的开端，但并非优势）、数据增强以及合成数据

1.2. 标注

标注的劳动力来源：

• 众包
• 服务公司：FigureEight
• 雇佣标注员

标注平台：

• Prodigy：一种由主动学习（active learning）（由 Spacy 开发人员开发）、文本和图像支持的注释工具。
• HIVE：用于计算机视觉的人工智能即服务平台。
• Supervisely：完整的计算机视觉平台。
• Labelbox：计算机视觉。
• Scale 人工智能数据平台（计算机视觉和自然语言处理）。

1.3. 存储

数据存储选项：

(1) 对象存储：存储二进制数据（图像、声音文件、压缩文本）

• Aamzon S3
• Ceph 对象存储

(2) 数据库：存储元数据（文件路径、标签、用户活动等）。

• Postgres 对于大多数应用程序来说都是正确的选择，它提供了同类最佳的 SQL 和对非结构化 JSON 的强大支持。

(3) 数据湖：用于聚合无法从数据库获得的特征（例如日志）。

• Amazon Redshift

(4) 特征存储：机器学习特征的存储和访问。

• FEAST（Google 云，开源）
• Michelangelo（Uber）
• 在训练期间：将数据复制到本地或集群文件系统中。

1.4. 版本控制

• DVC：用于机器学习项目的开源版本控制系统
• Pachyderm：用于数据的版本控制
• Dolt：用于 SQL 数据库的版本控制

1.5. 处理

生产模型的训练数据可能来自不同的源，包括数据库和对象存储中的存储数据、日志处理和其他分类器的输出。

任务之间存在依赖关系，每个人物都需要在其依赖关系完成后才能启动。例如，对新的日志数据进行训练，需要在训练之前进行预处理。因此，工作流在这方面变得相当重要。

工作流：

• Airflow （最常用的）

2. 开发、训练与评估

2.1. 软件工程

编辑器：

• Vim
• Emacs
• VS Code（作者推荐）：内置 Git 暂存和显示文件差异、Lint 代码扫描、通过 SSH 远程打开项目。
• Jupyter Notebooks：作为项目的起点很好，但它难以实现规模化。
• Streamlit：具有小程序的交互式数据科学工具。

建议：

对于个人或初创企业：

• 开发：一台 4 核图灵架构的计算机。
• 训练 / 评估：使用相同的 4 核 GPU 计算机。在运行许多实验时，可以购买共享服务器或使用云实例。

对于大型公司：

• 开发：为每位机器学习科学家购买一台 4 核图灵架构计算机，或者让他们使用 V100 实例。
• 训练 / 评估：在正确配置和处理故障的情况下使用云实例。

2.2. 资源管理

为程序分配免费资源：

资源管理选项：

• 旧式集群作业调度程序（如，Slurm 工作负载管理器）
• Docker + Kubernetes
• Kubeflow
• Polyaxon（付费功能）

2.3. 深度学习框架

除非有充分的理由不这样做，否则请使用 TensorFlow/Keras 或 PyTorch。下图显示了不同框架在开发和 生产方面的比较。

2.4. 实验管理

开发、训练和评估策略：永远从简单开始。在小批量上训练一个小型模型，只有在它能起作用的情况下，才扩展到更大的数据和模型，并进行超参数调优。

实验管理工具：

• Tensorboard：提供了机器学习实验所需的可视化和工具。
• Losswise（用于机器学习的监控）
• Comet：让你可以跟踪机器学习项目上的代码、实验和结果。
• Weights & Biases：通过简单的协作，记录并可视化研究的每个细节。
• MLFlow Tracking：用于记录参数、代码版本、指标和输出文件，以及结果的可视化。

2.5. 超参数调优

Hyperas：用于 Keras 的 hyperopt 的简单包装器，使用简单的模板符号定义要调优的超参数范围。SIGOPT：可扩展的企业级优化平台。Ray-Tune：可扩展的分布式模型选择研究平台（专注于深度学习和深度强化学习）。Sweeps from Weights & Biases：参数并非由开发人员显式指定，而是由机器学习模型来近似和学习的。

2.6. 分布式训练

数据并行性：当迭代时间过长就使用它（TensorFlow 和 PyTorch 均支持）。

模型并行性：当模型不适合单 GPU 的情况下就是用它。

其他解决方案：

• Ray
• Horovod

3. 故障排除『有待完善』

4. 测试与部署

4.1. 测试与 CI/CD

与传统软件相比，机器学习生产软件需要更多样化的测试套件：

单元测试和集成测试

测试类型：

• 训练系统测试：测试训练管道。
• 验证测试：在验证集上测试预测系统。
• 功能测试。
• 持续集成：在将每个新代码更改推送到仓库后运行测试。

 用于持续集成的 SaaS：

• CircleCI、Travis
• Jenkins、Buildkite

4.2. 网络部署

（1）由 预测系统 和 服务系统 组成

• 在考虑规模的情况下为预测服务。
• 使用 REST API 为预测 HTTP 请求提供服务。
• 调用预测系统进行响应
• 预测系统：处理输入数据，进行预测。
• 服务系统（Web 服务器）:

（2）服务选项：

• Docker
• Kubernetes （现在最流行）
• MESOS
• Marathon
• 通过 模型服务 解决方案部署。
• 将代码部署为“无服务器函数”。

（3）模型服务：

• Tensorflow 服务
• MXNet Model 服务器
• Clipper （Berkeley）
• SaaS 解决方案 (Seldon，算法)
• 专门针对机器学习模型的网络部署。
• 用于 GPU 推理的批处理请求。
• 框架：Tensorflow 服务、MXNet Model 服务器、Clipper、SaaS 解决方案 (Seldon，算法)

（4）决策：

• TensorFlow 服务或 Clipper
• 自适应批处理很有用。
• 如果 CPU 推理满足要求，则更可取。
• 通过添加更多的服务器或无服务器进行扩展。
• CPU 推理：
• GPU 推理：

4.3 Service Mesh 和 Traffic Routing

从单片应用程序过渡到分布式微服务体系结构可能具有挑战性。

服务网格（由微服务网络组成）降低了此类部署的复杂性，并减轻了开发团队的压力。

Istio：一种服务网格技术，简化已部署服务网络的创建，而服务中的代码更改很少或没有。

4.4. 监控

目的：

• 针对停机时间、错误和分发变化的警报。
• 抓取服务和数据回归。

此外，云提供商的解决方案也是相当不错。

4.5. 在嵌入式和移动设备上部署

主要挑战：内存占用和计算限制

解决方案：

• DistillBERT （用于自然语言处理）
• MobileNets
• 量化
• 缩小模型尺寸
• 知识蒸馏

嵌入式和移动框架：

• Tensorflow Lite
• PyTorch Mobile
• Core ML
• ML Kit
• FRITZ
• OpenVINO

模型转换：

• 开放神经网络交换（Open Neural Network Exchange，ONNX）：用于深度学习模型的开源格式。

4.6. 一体化解决方案

• Tensorflow Extended (TFX)
• Michelangelo (Uber)
• Google Cloud AI Platform
• Amazon SageMaker
• Neptune
• FLOYD
• Paperspace
• Determined AI
• Domino data lab

Tensorflow Extended (TFX)