# Kernels cho huấn luyện

Các kernel tùy chỉnh nhắm vào các phép toán cụ thể như nhân ma trận, chú ý (attention) và chuẩn hóa để thực hiện chúng nhanh hơn. Việc hợp nhất nhiều phép toán vào một kernel duy nhất làm giảm mức sử dụng băng thông bộ nhớ bằng cách đọc và ghi bộ nhớ GPU ít lần hơn, đồng thời cắt giảm chi phí khởi tạo cho từng phép toán.

## Kernel trên Hub

[Hub](https://huggingface.co/kernels-community) lưu trữ các kernel do cộng đồng đóng góp, bạn có thể tải chúng bằng [KernelConfig](/docs/transformers/v5.23.0/vi/main_classes/kernels#transformers.KernelConfig). Truyền config vào `kernel_config` trong [from_pretrained()](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModel.from_pretrained). Khi kernel được tải, nó sẽ hoạt động cho quá trình huấn luyện. Đọc hướng dẫn [Tải kernel](./kernel_doc/loading_kernels#kernelconfig) để biết tất cả các tùy chọn khả dụng.

```py
from transformers import AutoModelForCausalLM, KernelConfig

kernel_config = KernelConfig(
    kernel_mapping={
        "RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
    }
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    use_kernels=True,
    kernel_config=kernel_config,
)
```

## Liger

[Liger Kernel](https://github.com/linkedin/Liger-Kernel) hợp nhất các lớp như RMSNorm, RoPE, SwiGLU, CrossEntropy và FusedLinearCrossEntropy thành các kernel Triton đơn lẻ. Nó tương thích với FlashAttention, FSDP và DeepSpeed, đồng thời cải thiện thông lượng huấn luyện đa GPU trong khi giảm mức sử dụng bộ nhớ, giúp các bảng từ vựng, kích thước lô và độ dài ngữ cảnh lớn hơn trở nên khả thi hơn.

```bash
pip install liger-kernel
```

Đặt `use_liger_kernel=True` trong [TrainingArguments](/docs/transformers/v5.23.0/vi/main_classes/trainer#transformers.TrainingArguments) để vá các lớp mô hình tương ứng bằng các kernel của Liger.

> [!TIP]
> Xem trang [patching](https://github.com/linkedin/Liger-Kernel#patching) để có danh sách đầy đủ các model được hỗ trợ.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True
)
```

Để kiểm soát các lớp được vá, hãy truyền `liger_kernel_config` dưới dạng dict. Các tùy chọn khả dụng thay đổi theo mô hình và bao gồm: `rope`, `swiglu`, `cross_entropy`, `fused_linear_cross_entropy`, `rms_norm`, v.v.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True,
    liger_kernel_config={
        "rope": True,
        "cross_entropy": True,
        "rms_norm": False,
        "swiglu": True,
    }
)
```

## Các bước tiếp theo

- Xem hướng dẫn [Các backend Attention](./attention_interface) để biết chi tiết về các kernel như FlashAttention giúp giảm mức sử dụng bộ nhớ.
- Xem hướng dẫn [torch.compile](./torch_compile) để tìm hiểu cách biên dịch bước forward và backward cho toàn bộ bước huấn luyện của bạn.

