Transformers documentation
Entrenamiento sin relleno
Entrenamiento sin relleno
El entrenamiento sin relleno (también llamado empaquetado) concatena varias muestras en una única secuencia en lugar de rellenar cada una hasta una longitud fija. El modelo necesita saber dónde termina cada muestra para que la atención (lineal) no mezcle tokens entre muestras.
Hay dos formas de proporcionar esos límites.
- Prepárelos de antemano con un data collator.
- Infiéralas de
position_idsen tiempo de ejecución.
El enfoque recomendado es el data collator. Esta guía explica por qué y cubre las precauciones de la ruta position_ids.
Inferir los límites a partir de
position_idsno es el enfoque preferido y solo funciona en modelos de atención estándar. Los modelos de atención lineal, como Qwen3-Next y Qwen3.5 (Gated DeltaNet), y los modelos basados en convoluciones ignoran los límites deposition_idsy requieren el data collator. Consulte Modelos de atención lineal y convolución.
Prepara los límites con un data collator
Preparar los kwargs de los límites de antemano elimina los problemas anteriores y se comporta de manera idéntica, con o sin compilación.
Utilice DataCollatorWithFlattening para aplanar cada batch y devolver la información de los límites. Establezca return_flash_attn_kwargs=True para que el collator precalcule los límites en lugar de dejar que se infieran de position_ids en tiempo de ejecución. Páselo a Trainer y no agregue una attention_mask, ya que el batch aplanado ya codifica los límites y una máscara entra en conflicto con el empaquetado.
Padding-free se basa en una implementación de FlashAttention para los modelos de atención estándar, ya que solo los kernels de FlashAttention exponen la ruta de longitud variable que necesita un lote aplanado.
Instale la biblioteca kernels, que descarga un kernel de FlashAttention precompilado sin necesidad de una compilación local. También funciona como alternativa cuando flash-attn no está instalado localmente. Cargue el modelo con
attn_implementation="kernels-community/flash-attn2".
import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorWithFlattening, Trainer, TrainingArguments
model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
attn_implementation="flash_attention_2",
device_map="auto",
)
dataset = load_dataset("Salesforce/wikitext", "wikitext-2-raw-v1", split="train")
dataset = dataset.map(
lambda example: tokenizer(example["text"], truncation=True, max_length=512),
remove_columns=dataset.column_names,
)
# return_flash_attn_kwargs=True precomputes the sequence boundaries
data_collator = DataCollatorWithFlattening(return_flash_attn_kwargs=True)
trainer = Trainer(
model=model,
args=TrainingArguments(output_dir="padding-free-llama"),
train_dataset=dataset,
data_collator=data_collator,
)
trainer.train()Inferir límites desde position_ids
FlashAttention puede detectar lotes sin relleno a partir de position_ids por sí solo y se mantiene por compatibilidad hacia atrás, ya que los marcos de trabajo de nivel inferior, como TRL, dependen de él.
Depender de position_ids tiene dos problemas.
- La detección de secuencias empaquetadas a partir de
position_idses una comprobación dinámica y dependiente de los datos. Funciona sin compilación, pero bajotorch.compileprovoca interrupciones del grafo. Actualmente, la comprobación está restringida abatch_size == 1para limitar su frecuencia de ejecución, ya que los tamaños de lote reales suelen ser mayores. - FlashAttention compilado fuerza que algunos kwargs sean
intde Python plano. Inferirlos desdeposition_idsen tiempo de ejecución obliga a realizar sincronizaciones de dispositivo a host, y en versiones antiguas de PyTorch, a un quiebre de grafo adicional por la conversión de tensor a int.
Modelos de atención lineal y convolución
Gated DeltaNet (GDN), otras capas de atención lineal y las convoluciones causales no tienen una ruta solo con position_ids, por diseño. Preparar los datos con el collator es la única opción admitida para estos modelos.
No dependas únicamente de
position_idspara modelos GDN, de atención lineal o de convolución causal. Prepara los kwargs de límite, incluidoseq_idx, con el data collator.
Para estos modelos, establece tanto return_flash_attn_kwargs=True como return_seq_idx=True.
from transformers import DataCollatorWithFlattening
data_collator = DataCollatorWithFlattening(
return_flash_attn_kwargs=True,
return_seq_idx=True,
)Los paquetes de kernels exactos dependen de la implementación original del modelo. Los modelos Gated DeltaNet, como Qwen3-Next y Qwen3.5, utilizan flash-linear-attention, y los modelos basados en Mamba, como Bamba, utilizan mamba-ssm. Ambos dependen de causal-conv1d para la convolución. Sin los kernels adecuados, el modelo recurre a implementaciones de referencia que ignoran los kwargs de límite y mezclan tokens entre muestras.
Muchos de estos kernels también están disponibles a través de la biblioteca kernels, que puede obtener una compilación compatible para usted. flash-linear-attention generalmente sigue requiriendo una instalación directa.
Cuando faltan los kwargs de límite, los kernels tratan silenciosamente el lote completo como una sola secuencia. No se genera ningún error ni advertencia, ya que una comprobación en tiempo de ejecución añadiría una rama dependiente de los datos que entra en conflicto con torch.compile.
Próximos pasos
- Consulte la guía de data collators para conocer otros collators.
- Consulte la referencia de la API de DataCollatorWithFlattening para ver el conjunto completo de argumentos.
- Lee Mejora de la eficiencia de entrenamiento de Hugging Face mediante el empaquetado con Flash Attention para ver los resultados de las pruebas de rendimiento y una explicación más detallada.