本节将详细介绍如何进行神经网络的分布式训练。其中1.1将结合MPI介绍分布式训练的基本流程，1.2与1.3将分别介绍如何使用
torch.distributed
以及Horovod进行神经网络的分布式训练。
1 PyTorch分布式训练
1.1 使用MPI进行分布式训练
下面讲解如何利用MPI进行PyTorch的分布式训练。 这里主要介绍的是数据并行的分布式方法：每一块GPU都有同一个模型的副本，仅加载不同的数据进行训练。例如，使用两个节点，共8块GPU进行基于数据并
本站资源均来自互联网，仅供研究学习，禁止违法使用和商用，产生法律纠纷本站概不负责！如果侵犯了您的权益请与我们联系！
转载请注明出处： 免费源码网-免费的源码资源网站 » PyTorch深度学习实战（27）—— PyTorch分布式训练
发表评论 取消回复