Transformers documentation

Kernels cho huấn luyện

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kernels cho huấn luyện

Các kernel tùy chỉnh nhắm vào các phép toán cụ thể như nhân ma trận, chú ý (attention) và chuẩn hóa để thực hiện chúng nhanh hơn. Việc hợp nhất nhiều phép toán vào một kernel duy nhất làm giảm mức sử dụng băng thông bộ nhớ bằng cách đọc và ghi bộ nhớ GPU ít lần hơn, đồng thời cắt giảm chi phí khởi tạo cho từng phép toán.

Kernel trên Hub

Hub lưu trữ các kernel do cộng đồng đóng góp, bạn có thể tải chúng bằng KernelConfig. Truyền config vào kernel_config trong from_pretrained(). Khi kernel được tải, nó sẽ hoạt động cho quá trình huấn luyện. Đọc hướng dẫn Tải kernel để biết tất cả các tùy chọn khả dụng.

from transformers import AutoModelForCausalLM, KernelConfig

kernel_config = KernelConfig(
    kernel_mapping={
        "RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
    }
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    use_kernels=True,
    kernel_config=kernel_config,
)

Liger

Liger Kernel hợp nhất các lớp như RMSNorm, RoPE, SwiGLU, CrossEntropy và FusedLinearCrossEntropy thành các kernel Triton đơn lẻ. Nó tương thích với FlashAttention, FSDP và DeepSpeed, đồng thời cải thiện thông lượng huấn luyện đa GPU trong khi giảm mức sử dụng bộ nhớ, giúp các bảng từ vựng, kích thước lô và độ dài ngữ cảnh lớn hơn trở nên khả thi hơn.

pip install liger-kernel

Đặt use_liger_kernel=True trong TrainingArguments để vá các lớp mô hình tương ứng bằng các kernel của Liger.

Xem trang patching để có danh sách đầy đủ các model được hỗ trợ.

from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True
)

Để kiểm soát các lớp được vá, hãy truyền liger_kernel_config dưới dạng dict. Các tùy chọn khả dụng thay đổi theo mô hình và bao gồm: rope, swiglu, cross_entropy, fused_linear_cross_entropy, rms_norm, v.v.

from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True,
    liger_kernel_config={
        "rope": True,
        "cross_entropy": True,
        "rms_norm": False,
        "swiglu": True,
    }
)

Các bước tiếp theo

  • Xem hướng dẫn Các backend Attention để biết chi tiết về các kernel như FlashAttention giúp giảm mức sử dụng bộ nhớ.
  • Xem hướng dẫn torch.compile để tìm hiểu cách biên dịch bước forward và backward cho toàn bộ bước huấn luyện của bạn.
Update on GitHub