Accelerate documentation
Entrenamiento de PyTorch acelerado en Mac
Entrenamiento de PyTorch acelerado en Mac
Con la versión v1.12 de PyTorch, los desarrolladores e investigadores pueden aprovechar las GPU de Apple silicon para un entrenamiento de modelos significativamente más rápido.
Esto habilita la posibilidad de realizar flujos de trabajo de machine learning, como el prototipado y el fine-tuning, de forma local, directamente en Mac.
Los Metal Performance Shaders (MPS) de Apple, como backend para PyTorch, hacen esto posible y pueden usarse a través del nuevo dispositivo "mps".
Esto mapeará los grafos computacionales y las primitivas en el marco de grafos MPS y en los kernels optimizados proporcionados por MPS.
Para obtener más información, consulte los documentos oficiales Introducing Accelerated PyTorch Training on Mac y MPS BACKEND.
Ventajas del entrenamiento y la inferencia con chips Apple Silicon
- Permite a los usuarios entrenar redes o tamaños de lote más grandes localmente
- Reduce la latencia de recuperación de datos y proporciona a la GPU acceso directo al almacén de memoria completo gracias a la arquitectura de memoria unificada. Por lo tanto, mejora el rendimiento de extremo a extremo.
- Reduce los costos asociados con el desarrollo basado en la nube o la necesidad de GPUs locales adicionales.
Prerrequisitos: Para instalar torch con soporte para mps, sigue este interesante artículo de medium GPU-Acceleration Comes to PyTorch on M1 Macs.
Cómo funciona sin configuración adicional
Está habilitado de forma predeterminada en máquinas MacOs con GPUs Apple Silicon con MPS habilitado.
Para deshabilitarlo, pase la bandera --cpu al comando accelerate launch o responda la pregunta correspondiente al responder el cuestionario de accelerate config.
Puede ejecutar directamente el siguiente script para probarlo en máquinas Apple Silicon con MPS habilitado:
accelerate launch /examples/cv_example.py --data_dir images
Algunas consideraciones a tener en cuenta
- Las configuraciones distribuidas
glooyncclno funcionan con el dispositivomps. Esto significa que actualmente solo se puede usar una GPU de tipo de dispositivomps.
Por último, recuerda que Accelerate solo integra el backend MPS, por lo que si tienes algún problema o pregunta sobre el uso del backend MPS, abre un issue en PyTorch GitHub.