¿Cuál es la diferencia entre DataParAllel de Pytorch y DistributedDataparallel?

Question

Estoy pasando por Este ejemplo de Imagenet.

Y en línea 88, se utiliza el módulo distribuido Dataparallel. Cuando busqué lo mismo en el documentos, No he encontrado nada. Sin embargo, encontré el documentación para DataParallel.

Por lo tanto, me gustaría saber cuál es la diferencia entre los módulos DataParAllel y DistributedDataparallel.