BytePS 高性能分布式深度学习训练框架

BytePS 是字节跳动开源的高性能分布式深度学习训练框架，官方宣称 BytePS 在性能上颠覆了过去几年 allreduce 流派一直占据上风的局面，超出目前其他所有分布式训练框架一倍以上的性能，且同时能够支持 Tensorflow、PyTorch、MXNet 等开源库。BytePS 通过实现一个通用的抽象层，抽象层可以被各种通用框架引用，实现了同时支持多个框架的可能性，因此能够支持 Tensorflow、PyTorch、MXNet 等行业主流训练框架。BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及 Keras 的插件，用户只要在代码中引用 BytePS 的插件，就可以获得高性能的分布式训练。BytePS 的核心逻辑则实现在 BytePS core 里。具体的通信细节完全由 BytePS 完成，用户完全不需要操心。