Pytorch中提供了两种数据并行的方法，一种是 torch.nn.DataParallel，另一种是 torch.nn.DistributedDataParallel，简单地说， DataParallel 适用于单机多卡的情况，而 DistributedDataParallel 适用于多机多卡的情况 (当然单机多卡也是可以用的)。