# Entrenamiento de PyTorch acelerado en Mac

Con la versión v1.12 de PyTorch, los desarrolladores e investigadores pueden aprovechar las GPUs de Apple silicon para un entrenamiento de modelos significativamente más rápido. Esto habilita la posibilidad de realizar flujos de trabajo de machine learning, como el prototipado y el fine-tuning, de forma local, directamente en Mac. Los Metal Performance Shaders (MPS) de Apple, como backend para PyTorch, hacen esto posible y pueden usarse a través del nuevo dispositivo `"mps"`. Esto mapeará los grafos computacionales y las primitivas en el marco de grafos MPS y en los kernels optimizados proporcionados por MPS. Para obtener más información, consulte la documentación oficial [Introducing Accelerated PyTorch Training on Mac](https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/) y [MPS BACKEND](https://pytorch.org/docs/stable/notes/mps.html).

### Ventajas del entrenamiento y la inferencia con chips Apple Silicon

1. Permite a los usuarios entrenar redes o tamaños de lote más grandes localmente
2. Reduce la latencia de recuperación de datos y proporciona a la GPU acceso directo al almacén de memoria completo gracias a la arquitectura de memoria unificada.
Por lo tanto, mejorando el rendimiento de extremo a extremo.
3. Reduce los costos asociados con el desarrollo basado en la nube o la necesidad de GPUs locales adicionales.

**Prerrequisitos**: Para instalar torch con soporte para mps, siga este interesante artículo de medium [GPU-Acceleration Comes to PyTorch on M1 Macs](https://medium.com/towards-data-science/gpu-acceleration-comes-to-pytorch-on-m1-macs-195c399efcc1).

## Cómo funciona sin configuración adicional
Está habilitado de forma predeterminada en máquinas MacOs con GPUs Apple Silicon con MPS habilitado. Para deshabilitarlo, pase la bandera `--cpu` al comando `accelerate launch` o responda la pregunta correspondiente al responder el cuestionario de `accelerate config`.

Puede ejecutar directamente el siguiente script para probarlo en máquinas Apple Silicon con MPS habilitado:
```bash
accelerate launch /examples/cv_example.py --data_dir images
```

## Algunas consideraciones a tener en cuenta

1. Las configuraciones distribuidas `gloo` y `nccl` no funcionan con el dispositivo `mps`.
Esto significa que actualmente solo se puede usar una GPU de tipo de dispositivo `mps`.

Por último, recuerda que `Accelerate` solo integra el backend MPS, por lo que si tienes problemas o preguntas sobre el uso del backend MPS, abre un issue en [PyTorch GitHub](https://github.com/pytorch/pytorch/issues).

