# torch.compile para el entrenamiento

[torch.compile](https://docs.pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) compila el código de PyTorch en kernels fusionados para que se ejecute más rápido. En el entrenamiento, traza tanto el paso hacia adelante como el paso hacia atrás y los compila en kernels optimizados, reduciendo la sobrecarga de las lanzamientos individuales de operaciones y fusionando operaciones para disminuir el uso de ancho de banda de memoria.

Establezca `torch_compile=True` en [TrainingArguments](/docs/transformers/v5.23.0/es/main_classes/trainer#transformers.TrainingArguments) para habilitarlo. El entrenamiento compila tanto el paso hacia adelante como el paso hacia atrás, a diferencia de la inferencia, que solo compila el paso hacia adelante. La compilación ocurre en el primer paso de entrenamiento, por lo que espere que sea significativamente más lenta que los pasos posteriores.

```py
from transformers import TrainingArguments

args = TrainingArguments(
    ...,
    torch_compile=True,
    torch_compile_backend="inductor",
    torch_compile_mode="reduce-overhead",
)
```

## Backend

Cuando no se especifica un backend, [TrainingArguments](/docs/transformers/v5.23.0/es/main_classes/trainer#transformers.TrainingArguments) selecciona uno en función de tu hardware. En la mayoría de las CPU y GPU, el valor predeterminado es `inductor`, que compila a kernels de Triton con AOTAutograd y se adapta a la mayoría de las cargas de trabajo de entrenamiento. En Intel Gaudi (HPU), el valor predeterminado es `hpu_backend`. En AWS Trainium e Inferentia (Neuron), el valor predeterminado es `neuron`.

Usa `cudagraphs` para entradas de forma fija.

## Modo de compilación

Use la tabla siguiente para ayudarle a seleccionar un modo de `torch.compile`.

| mode | descripción |
|---|---|
| default | compilación equilibrada entre tiempo de compilación y tiempo de ejecución   |
| reduce-overhead | reduce la sobrecarga de Python/CPU mediante el uso de CUDA graphs, a cambio de un poco más de memoria |
| max-autotune | benchmarks múltiples implementaciones de kernel en tiempo de compilación y elige la más rápida (compilación más larga) |
| max-autotune-no-cudagraphs | igual que max-autotune pero sin gráficos de CUDA |

## Próximos pasos

- Consulte la guía [torch.compile para inferencia](./perf_torch_compile) para obtener detalles sobre la compilación fullgraph y las pruebas de inferencia.

