微软让训练万亿参数AI模型的GPU需求从4000个减少到800个

本文转自雷锋网，如需转载请至雷锋网官网申请授权。

微软今天发布了DeepSpeed库的更新版本，该库引入了一种新方法来训练包含数万亿个参数的AI模型，这种模型内部的变量可为预测提供依据。微软称这种技术称为3D并行性，可以适应各种的工作负载需求，特别是为功耗大的超大型模型平衡效率。

具有数十亿个参数的单个大型AI模型在一系列具有挑战性的领域中取得了长足的进步。研究表明它们之所以表现出色，是因为它们可以理解语言、语法、知识、概念和上下文的细微差别，使他们能够总结演讲，在实时游戏聊天中过滤不合适的话语，解析复杂的法律文档，甚至可以通过搜索GitHub生成代码。

但是训练模型需要大量的计算资源。根据2018年OpenAI的分析，从2012年到2018年，在大型AI训练中，计算量的需求增长了300,000倍，也就是大概每3.5个月的时间翻一番，远远超过了摩尔定律的步伐。

增强的DeepSpeed利用三种技术来实现“万亿级”模型训练：数据并行训练、模型并行训练和管线并行训练。

训练一个万亿参数的模型将需要至少400个Nvidia 今年最新推出的A100 GPU（每个内存高达40GB），并且Microsoft估计需要4,000台A100以50%的效率运行，大约需要100天才能完成训练。这与微软和OpenAI共同设计的AI超级计算机无并不匹配，后者包含10,000多个显卡，在这样的超大规模下，很难获得很高的计算效率。

DeepSpeed将大型模型分为四个流水线阶段，分为较小的组件（层）。每个流水线阶段中的层进一步划分为四个“工人（workers）”，它们执行实际的训练。每个管道都在两个并行数据实例之间复制，并且工作程序被映射到多GPU系统。由于有了这些和其他性能改进，微软表示，一个万亿参数的AI模型可以减少到仅需要800个Nvidia V100 GPU训练。