# Kernel untuk pelatihan

Kernel kustom menargetkan operasi tertentu seperti perkalian matriks, perhatian, dan normalisasi untuk menjalankannya lebih cepat. Menggabungkan beberapa operasi ke dalam satu kernel mengurangi penggunaan pita memori dengan membaca dan menulis memori GPU lebih sedikit kali, serta memangkas overhead peluncuran per operasi.

## Kernel Hub

[Hub](https://huggingface.co/kernels-community) menyediakan kernel komunitas yang dapat dimuat dengan [KernelConfig](/docs/transformers/v5.23.0/id/main_classes/kernels#transformers.KernelConfig). Sampaikan config ke `kernel_config` di [from_pretrained()](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoModel.from_pretrained). Setelah kernel dimuat, kernel tersebut aktif untuk pelatihan. Baca panduan [Loading kernels](./kernel_doc/loading_kernels#kernelconfig) untuk semua opsi yang tersedia.

```py
from transformers import AutoModelForCausalLM, KernelConfig

kernel_config = KernelConfig(
    kernel_mapping={
        "RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
    }
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    use_kernels=True,
    kernel_config=kernel_config,
)
```

## Liger

[Liger Kernel](https://github.com/linkedin/Liger-Kernel) menggabungkan lapisan seperti RMSNorm, RoPE, SwiGLU, CrossEntropy, dan FusedLinearCrossEntropy menjadi kernel Triton tunggal. Kompatibel dengan FlashAttention, FSDP, dan DeepSpeed, serta meningkatkan throughput pelatihan multi-GPU sambil mengurangi penggunaan memori, sehingga memungkinkan penggunaan kosakata, ukuran batch, dan panjang konteks yang lebih besar.

```bash
pip install liger-kernel
```

Setel `use_liger_kernel=True` di [TrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.TrainingArguments) untuk mem-patch lapisan model yang sesuai dengan kernel Liger.

> [!TIP]
> Lihat halaman [patching](https://github.com/linkedin/Liger-Kernel#patching) untuk daftar lengkap model yang didukung.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True
)
```

Untuk mengontrol lapisan mana yang akan di-patch, berikan `liger_kernel_config` sebagai dict. Opsi yang tersedia bervariasi tergantung model dan mencakup: `rope`, `swiglu`, `cross_entropy`, `fused_linear_cross_entropy`, `rms_norm`, dan sebagainya.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True,
    liger_kernel_config={
        "rope": True,
        "cross_entropy": True,
        "rms_norm": False,
        "swiglu": True,
    }
)
```

## Langkah selanjutnya

- Lihat panduan [Attention backends](./attention_interface) untuk detail tentang kernel seperti FlashAttention yang mengurangi penggunaan memori.
- Lihat panduan [torch.compile](./torch_compile) untuk mempelajari cara mengompilasi jalur maju dan mundur untuk seluruh langkah pelatihan Anda.

