# Kernels pour l'entraînement

Les noyaux personnalisés ciblent des opérations spécifiques, telles que les multiplications de matrices, l’attention et la normalisation, afin de les exécuter plus rapidement. La fusion de plusieurs opérations en un seul noyau réduit l’utilisation de la bande passante mémoire en limitant le nombre de lectures et d’écritures dans la mémoire GPU, et diminue le surcoût de lancement par opération.

## Kernels du Hub

Le [Hub](https://huggingface.co/kernels-community) héberge des noyaux communautaires que vous pouvez charger à l'aide de [KernelConfig](/docs/transformers/v5.23.0/fr/main_classes/kernels#transformers.KernelConfig). Transmettez la configuration à `kernel_config` dans [from_pretrained()](/docs/transformers/v5.23.0/fr/model_doc/auto#transformers.AutoModel.from_pretrained). Une fois le noyau chargé, il est actif pour l'entraînement. Consultez le guide [Chargement des noyaux](./kernel_doc/loading_kernels#kernelconfig) pour toutes les options disponibles.

```py
from transformers import AutoModelForCausalLM, KernelConfig

kernel_config = KernelConfig(
    kernel_mapping={
        "RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
    }
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    use_kernels=True,
    kernel_config=kernel_config,
)
```

## Liger

[Liger Kernel](https://github.com/linkedin/Liger-Kernel) fusionne des couches telles que RMSNorm, RoPE, SwiGLU, CrossEntropy et FusedLinearCrossEntropy en un seul noyau Triton. Il est compatible avec FlashAttention, FSDP et DeepSpeed, et améliore le débit d’entraînement multi-GPU tout en réduisant l’utilisation de la mémoire, ce qui rend les vocabulaires, les tailles de lot et les longueurs de contexte plus grands plus réalisables.

```bash
pip install liger-kernel
```

Définissez `use_liger_kernel=True` dans [TrainingArguments](/docs/transformers/v5.23.0/fr/main_classes/trainer#transformers.TrainingArguments) pour appliquer les noyaux de Liger aux couches de modèle correspondantes.

> [!TIP]
> Consultez la page [patching](https://github.com/linkedin/Liger-Kernel#patching) pour obtenir la liste complète des modèles pris en charge.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True
)
```

Pour contrôler les couches à patcher, passez `liger_kernel_config` sous forme de dictionnaire. Les options disponibles varient selon le modèle et incluent : `rope`, `swiglu`, `cross_entropy`, `fused_linear_cross_entropy`, `rms_norm`, etc.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True,
    liger_kernel_config={
        "rope": True,
        "cross_entropy": True,
        "rms_norm": False,
        "swiglu": True,
    }
)
```

## Étapes suivantes

- Consultez le guide [Backends d'attention](./attention_interface) pour plus de détails sur les noyaux tels que FlashAttention qui réduisent l'utilisation de la mémoire.
- Consultez le guide [torch.compile](./torch_compile) pour apprendre à compiler le passage avant et le passage arrière de votre étape d'entraînement complète.

