Accelerate documentation

Entrenamiento de PyTorch acelerado en Mac

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Entrenamiento de PyTorch acelerado en Mac

Con la versión v1.12 de PyTorch, los desarrolladores e investigadores pueden aprovechar las GPU de Apple silicon para un entrenamiento de modelos significativamente más rápido. Esto habilita la posibilidad de realizar flujos de trabajo de machine learning, como el prototipado y el fine-tuning, de forma local, directamente en Mac. Los Metal Performance Shaders (MPS) de Apple, como backend para PyTorch, hacen esto posible y pueden usarse a través del nuevo dispositivo "mps". Esto mapeará los grafos computacionales y las primitivas en el marco de grafos MPS y en los kernels optimizados proporcionados por MPS. Para obtener más información, consulte los documentos oficiales Introducing Accelerated PyTorch Training on Mac y MPS BACKEND.

Ventajas del entrenamiento y la inferencia con chips Apple Silicon

  1. Permite a los usuarios entrenar redes o tamaños de lote más grandes localmente
  2. Reduce la latencia de recuperación de datos y proporciona a la GPU acceso directo al almacén de memoria completo gracias a la arquitectura de memoria unificada. Por lo tanto, mejora el rendimiento de extremo a extremo.
  3. Reduce los costos asociados con el desarrollo basado en la nube o la necesidad de GPUs locales adicionales.

Prerrequisitos: Para instalar torch con soporte para mps, sigue este interesante artículo de medium GPU-Acceleration Comes to PyTorch on M1 Macs.

Cómo funciona sin configuración adicional

Está habilitado de forma predeterminada en máquinas MacOs con GPUs Apple Silicon con MPS habilitado. Para deshabilitarlo, pase la bandera --cpu al comando accelerate launch o responda la pregunta correspondiente al responder el cuestionario de accelerate config.

Puede ejecutar directamente el siguiente script para probarlo en máquinas Apple Silicon con MPS habilitado:

accelerate launch /examples/cv_example.py --data_dir images

Algunas consideraciones a tener en cuenta

  1. Las configuraciones distribuidas gloo y nccl no funcionan con el dispositivo mps. Esto significa que actualmente solo se puede usar una GPU de tipo de dispositivo mps.

Por último, recuerda que Accelerate solo integra el backend MPS, por lo que si tienes algún problema o pregunta sobre el uso del backend MPS, abre un issue en PyTorch GitHub.

Update on GitHub