Transformers

Transformers actúa como el marco de definición de modelos para modelos de aprendizaje automático de última generación en texto, visión por computadora, audio, video y modelos multimodales, tanto para inferencia como para entrenamiento.

Centraliza la definición del modelo para que esta definición sea acordada en todo el ecosistema. transformers es el pivote entre los marcos de trabajo: si se admite una definición de modelo, será compatible con la mayoría de los marcos de entrenamiento (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …), motores de inferencia (vLLM, SGLang, TGI, …) y bibliotecas de modelado adyacentes (llama.cpp, mlx, …) que aprovechan la definición del modelo de transformers.

Nos comprometemos a ayudar a respaldar nuevos modelos de última generación y a democratizar su uso, asegurando que su definición sea simple, personalizable y eficiente.

Hay más de 1M de model checkpoints de Transformers en el Hugging Face Hub que puedes usar.

Explora el Hub hoy mismo para encontrar un modelo y usar Transformers para empezar de inmediato.

Explora la línea de tiempo de modelos para descubrir las últimas arquitecturas de modelos de texto, visión, audio y multimodales en Transformers.

Características

Transformers ofrece todo lo que necesitas para la inferencia o el entrenamiento con modelos preentrenados de última generación. Algunas de las principales características incluyen:

Pipeline: Clase de inferencia simple y optimizada para muchas tareas de aprendizaje automático, como la generación de texto, la segmentación de imágenes, el reconocimiento automático de voz, la respuesta a preguntas sobre documentos y más.
Trainer: un entrenador integral que admite funciones como precisión mixta, torch.compile y FlashAttention para el entrenamiento y el entrenamiento distribuido de modelos de PyTorch.
generate: Generación rápida de texto con modelos de lenguaje grandes (LLM) y modelos de lenguaje visual (VLM), incluido el soporte para streaming y múltiples estrategias de decodificación.

Diseño

Lee nuestra filosofía para conocer más sobre los principios de diseño de Transformers.

Transformers está diseñado para desarrolladores e ingenieros e investigadores de aprendizaje automático. Sus principios de diseño principales son:

Rápido y fácil de usar: cada modelo se implementa a partir de solo tres clases principales (configuración, modelo y preprocesador) y puede usarse rápidamente para inferencia o entrenamiento con Pipeline o Trainer.
Modelos preentrenados: reduce tu huella de carbono, el coste de cómputo y el tiempo utilizando un modelo preentrenado en lugar de entrenar uno completamente nuevo. Cada modelo preentrenado se reproduce lo más fielmente posible al modelo original y ofrece un rendimiento de última generación.

Aprender

Si eres nuevo en Transformers o quieres aprender más sobre los modelos transformer, te recomendamos empezar con el curso de LLM. Este curso integral abarca todo, desde los fundamentos de cómo funcionan los modelos transformer hasta aplicaciones prácticas en diversas tareas. Aprenderás el flujo de trabajo completo, desde la curaduría de conjuntos de datos de alta calidad hasta el ajuste fino de modelos de lenguaje de gran escala y la implementación de capacidades de razonamiento. El curso incluye tanto ejercicios teóricos como prácticos para construir un conocimiento sólido de los modelos transformer a medida que aprendes.

Update on GitHub