Transformers documentation
RF-DETR
Este modelo se publicó en HF papers el 2024-07-24 y se contribuyó a Hugging Face Transformers el 2026-05-07.
RF-DETR
RF-DETR propone una arquitectura de Receptive Field Detection Transformer (DETR) diseñada para competir con y superar a la serie dominante YOLO en la detección de objetos en tiempo real. Logra un nuevo equilibrio de vanguardia entre velocidad (latencia) y precisión (mAP) al combinar avances recientes en transformers con decisiones de diseño eficientes.
La arquitectura RF-DETR se caracteriza por su estructura simple y eficiente: un Backbone DINOv2, un Projector y un Decoder DETR poco profundo. Mejora la arquitectura DETR para la eficiencia y la velocidad mediante las siguientes modificaciones principales:
- Backbone DINOv2: Utiliza un potente backbone DINOv2 para una extracción de características robusta.
- Entrenamiento de Group DETR: Utiliza la asignación one-to-many por grupo durante el entrenamiento para acelerar la convergencia.
- Entrada más rica: Agrega características de múltiples niveles desde el backbone y utiliza un proyector C2f (de manera similar a YOLOv8) para pasar características multiescala.
- Faster Decoder: Emplea un decodificador DETR poco profundo de 3 capas con atención cruzada deformable para una latencia más baja.
- Consultas optimizadas: Utiliza un esquema de consultas mixtas que combina consultas de contenido aprendibles y consultas espaciales generadas.
Puedes encontrar todos los puntos de control de RF-DETR disponibles bajo la organización Roboflow. El código original se puede encontrar aquí.
Gracias al mapeo de conversión de pesos, RfDetr es compatible con los modelos de la biblioteca original rf-detr así como con los modelos que hayas entrenado usando la plataforma Roboflow. Esto significa que puedes usar la plataforma Roboflow para entrenar tu modelo y usar RfDetr en transformers para importar los pesos y desplegar tu modelo en cualquier lugar.
Haz clic en los modelos RF-DETR en la barra lateral derecha para ver más ejemplos de cómo aplicar RF-DETR a diferentes tareas de detección de objetos.
El siguiente ejemplo demuestra cómo realizar la detección de objetos con la clase Pipeline y la clase AutoModel.
from transformers import pipeline
import torch
pipeline = pipeline("object-detection", model="Roboflow/rf-detr-medium", device_map="auto")
pipeline("http://images.cocodataset.org/val2017/000000039769.jpg")from transformers import AutoImageProcessor, AutoModelForObjectDetection
from PIL import Image
from huggingface_hub.utils import httpx
from io import BytesIO
import torch
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(BytesIO(httpx.get(url).content))
image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-medium")
model = AutoModelForObjectDetection.from_pretrained("Roboflow/rf-detr-medium", device_map="auto")
# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)
for result in results:
for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
score, label = score.item(), label_id.item()
box = [round(i, 2) for i in box.tolist()]
print(f"{model.config.id2label[label]}: {score:.2f} {box}")Visualización de resultados con supervisión
Puedes usar la biblioteca supervision para visualizar los resultados de detección y segmentación. Instálala con pip install supervision.
from transformers import AutoImageProcessor, AutoModelForObjectDetection
from PIL import Image
import supervision as sv
from huggingface_hub.utils import httpx
from io import BytesIO
import torch
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(BytesIO(httpx.get(url).content))
image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-medium")
model = AutoModelForObjectDetection.from_pretrained("Roboflow/rf-detr-medium", device_map="auto")
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
results = image_processor.post_process_object_detection(
outputs, target_sizes=torch.tensor([image.height, image.width]), threshold=0.3
)[0]
detections = sv.Detections.from_transformers(
transformers_results=results, id2label=model.config.id2label
)
box_annotator = sv.BoxAnnotator()
label_annotator = sv.LabelAnnotator()
annotated_image = image.copy()
annotated_image = box_annotator.annotate(annotated_image, detections)
annotated_image = label_annotator.annotate(annotated_image, detections)
sv.plot_image(annotated_image)from transformers import AutoImageProcessor, AutoModelForInstanceSegmentation
from PIL import Image
import supervision as sv
from huggingface_hub.utils import httpx
from io import BytesIO
import torch
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(BytesIO(httpx.get(url).content))
image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-seg-medium")
model = AutoModelForInstanceSegmentation.from_pretrained("Roboflow/rf-detr-seg-medium", device_map="auto")
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
results = image_processor.post_process_instance_segmentation(
outputs, target_sizes=[image.size[::-1]], threshold=0.3
)[0]
detections = sv.Detections.from_transformers(
transformers_results=results, id2label=model.config.id2label
)
mask_annotator = sv.MaskAnnotator()
label_annotator = sv.LabelAnnotator()
annotated_image = image.copy()
annotated_image = mask_annotator.annotate(annotated_image, detections)
annotated_image = label_annotator.annotate(annotated_image, detections)
sv.plot_image(annotated_image)Recursos
- Véase también: Guía de la tarea de detección de objetos.
RfDetrConfig
clase transformers.RfDetrConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_expansion: float = 0.5c2f_num_blocks: int = 3activation_function: str = 'silu'dropout: float = 0.1decoder_ffn_dim: int = 2048decoder_n_points: int = 4decoder_layers: int = 3decoder_self_attention_heads: int = 8decoder_cross_attention_heads: int = 16decoder_activation_function: str = 'relu'num_queries: int = 300attention_bias: bool = Trueattention_dropout: float | int = 0.0activation_dropout: float | int = 0.0group_detr: int = 13init_std: float = 0.02disable_custom_kernels: bool = Trueclass_cost: int | float = 2bbox_cost: int | float = 5giou_cost: int | float = 2class_loss_coefficient: int | float = 1dice_loss_coefficient: int | float = 1bbox_loss_coefficient: int | float = 5giou_loss_coefficient: int | float = 2eos_coefficient: float = 0.1focal_alpha: float = 0.25auxiliary_loss: bool = Trued_model: int = 256layer_norm_eps: float = 1e-05num_feature_levels: int = 1mask_loss_coefficient: int | float = 1mask_point_sample_ratio: int = 16mask_downsample_ratio: int = 4mask_class_loss_coefficient: int | float = 5.0mask_dice_loss_coefficient: int | float = 5.0segmentation_head_activation_function: str = 'gelu'intermediate_size: int = 1024 )
Parámetros
- backbone_config (
Union[dict, ~configuration_utils.PreTrainedConfig], opcional) — La configuración del modelo backbone. - hidden_expansion (
float, opcional, valor predeterminado 0.5) — Factor de expansión para las dimensiones ocultas en las capas del proyector. - c2f_num_blocks (
int, opcional, valor predeterminado 3) — Número de bloques en la capa C2F. - activation_function (
str, opcional, valor predeterminado"silu") — La función de activación no lineal en el proyector. Los valores admitidos son"silu","relu","gelu". - dropout (
float, opcional, valor predeterminado0.1) — La proporción para todas las capas de dropout. - decoder_ffn_dim (
int, opcional, valor predeterminado2048) — Dimensionalidad de la capa “intermedia” (a menudo denominada feed-forward) en el decodificador. - decoder_n_points (
int, opcional, valor predeterminado 4) — El número de claves muestreadas en cada nivel de características para cada cabeza de atención en el decodificador. - decoder_layers (
int, opcional, valor predeterminado 3) — Número de capas del decodificador en el transformer. - decoder_self_attention_heads (
int, opcional, valor predeterminado 8) — Número de cabezas de atención para cada capa de atención en la autoatención del decodificador. - decoder_cross_attention_heads (
int, opcional, valor predeterminado 16) — Número de cabezas de atención para cada capa de atención en la atención cruzada del decodificador. - decoder_activation_function (
str, opcional, valor predeterminado"relu") — La función de activación no lineal en el decodificador. Los valores admitidos son"relu","silu","gelu". - num_queries (
int, opcional, valor predeterminado 300) — Número de consultas de objetos, es decir, ranuras de detección. Este es el número máximo de objetos que RfDetrModel puede detectar en una sola imagen. - attention_bias (
bool, opcional, valor predeterminadoTrue) — Si se debe usar un sesgo en las capas de proyección de consulta, clave, valor y salida durante la autoatención. - attention_dropout (
Union[float, int], opcional, valor predeterminado0.0) — La proporción de dropout para las probabilidades de atención. - activation_dropout (
Union[float, int], opcional, valor predeterminado0.0) — La proporción de dropout para las activaciones dentro de la capa totalmente conectada. - group_detr (
int, opcional, valor predeterminado 13) — Número de grupos para el mecanismo de atención Group DETR, que ayuda a reducir la complejidad computacional. - init_std (
float, opcional, valor predeterminado0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - disable_custom_kernels (
bool, opcional, valor predeterminadoTrue) — Desactiva el uso de kernels personalizados de CUDA y CPU. Esta opción es necesaria para la exportación a ONNX, ya que los kernels personalizados no son compatibles con la exportación ONNX de PyTorch. - class_cost (
Union[int, float], opcional, valor predeterminado2) — Peso relativo del error de clasificación en el coste de correspondencia húngara. - bbox_cost (
Union[int, float], opcional, valor predeterminado5) — Peso relativo del error de la caja delimitadora L1 en el costo de correspondencia húngara. - giou_cost (
Union[int, float], opcional, valor predeterminado2) — Peso relativo de la pérdida de IoU generalizada en el costo de correspondencia húngara. - class_loss_coefficient (
float, opcional, valor predeterminado 1) — Peso relativo de la pérdida de clasificación en el coste de correspondencia húngara. - dice_loss_coefficient (
float, opcional, valor predeterminado 1) — Peso relativo de la pérdida DICE/F-1 en la pérdida de detección de objetos. - bbox_loss_coefficient (
float, opcional, valor predeterminado 5) — Peso relativo de la pérdida L1 de la caja delimitadora en la pérdida de detección de objetos. - giou_loss_coefficient (
float, opcional, valor predeterminado 2) — Peso relativo de la pérdida de IoU generalizada en la pérdida de detección de objetos. - eos_coefficient (
float, opcional, valor predeterminado0.1) — Peso de clasificación relativo de la clase ‘no-object’ en la pérdida de detección de objetos. - focal_alpha (
float, opcional, valor predeterminado0.25) — Parámetro alfa en la pérdida focal. - auxiliary_loss (
bool, opcional, valor predeterminadoTrue) — Si se deben utilizar las pérdidas de decodificación auxiliares (pérdidas en cada capa del decodificador). - d_model (
int, opcional, valor predeterminado256) — Tamaño de las capas del codificador y de la capa pooler. - layer_norm_eps (
float, opcional, valor predeterminado1e-05) — El epsilon utilizado por las capas de normalización de capa. - num_feature_levels (
int, opcional, valor predeterminado 1) — Número de niveles de características utilizados en la atención deformable multiescala. - mask_loss_coefficient (
float, opcional, valor predeterminado 1) — Peso relativo de la pérdida Focal en la pérdida de máscara de la segmentación de instancias. - mask_point_sample_ratio (
int, opcional, valor predeterminado 16) — La proporción de puntos que se muestrean para el cálculo de la pérdida de la máscara. - mask_downsample_ratio (
int, opcional, valor predeterminado 4) — La proporción de reducción de las máscaras de segmentación en comparación con la resolución de la imagen de entrada. - mask_class_loss_coefficient (
float, opcional, valor predeterminado 5.0) — Peso relativo de la pérdida Focal en la pérdida de segmentación de instancias. - mask_dice_loss_coefficient (
float, opcional, valor predeterminado 5.0) — Peso relativo de la pérdida DICE/F-1 en la pérdida de segmentación de instancias. - segmentation_head_activation_function (
str, opcional, valor predeterminado"gelu") — La función de activación no lineal en la cabeza de segmentación. Los valores admitidos son"relu","silu","gelu". - intermediate_size (
int, opcional, valor predeterminado1024) — Dimensión de las representaciones del MLP.
Esta es la clase de configuración para almacenar la configuración de un RfDetrModel. Se utiliza para instanciar un modelo Rf Detr según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de Roboflow/rf-detr-base
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplos:
>>> from transformers import RfDetrConfig, RfDetrModel
>>> # Initializing a RF-DETR roboflow/rf-detr-base style configuration
>>> configuration = RfDetrConfig()
>>> # Initializing a model (with random weights) from the Roboflow/rf-detr-base style configuration
>>> model = RfDetrModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configRfDetrDinov2Config
clase transformers.RfDetrDinov2Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12mlp_ratio: int = 4hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06image_size: int | list[int] | tuple[int, int] = 224patch_size: int | list[int] | tuple[int, int] = 14num_channels: int = 3qkv_bias: bool = Truelayerscale_value: float = 1.0drop_path_rate: float | int = 0.0use_swiglu_ffn: bool = False_out_features: list[str] | None = None_out_indices: list[int] | None = Noneapply_layernorm: bool = Truereshape_hidden_states: bool = Trueuse_mask_token: bool = Truenum_windows: int = 4 )
Parámetros
- hidden_size (
int, opcional, valor predeterminado768) — Dimensión de las representaciones ocultas. - num_hidden_layers (
int, opcional, valor predeterminado12) — Número de capas ocultas en el decodificador del Transformer. - num_attention_heads (
int, opcional, valor predeterminado12) — Número de cabezas de atención para cada capa de atención en el decodificador Transformer. - mlp_ratio (
int, opcional, valor predeterminado4) — Relación entre la dimensión oculta del MLP y la dimensión de la incrustación. - hidden_act (
str, opcional, valor predeterminadogelu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo,"gelu","relu","silu", etc. - hidden_dropout_prob (
Union[float, int], opcional, valor predeterminado0.0) — La probabilidad de dropout para todas las capas totalmente conectadas en las incrustaciones, el codificador y el pooler. - attention_probs_dropout_prob (
Union[float, int], opcional, valor predeterminado0.0) — La proporción de dropout para las probabilidades de atención. - initializer_range (
float, opcional, valor predeterminado0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - layer_norm_eps (
float, opcional, valor predeterminado1e-06) — La epsilon utilizada por las capas de normalización de capa. - image_size (
Union[int, list[int], tuple[int, int]], opcional, valor predeterminado224) — El tamaño (resolución) de cada imagen. - patch_size (
Union[int, list[int], tuple[int, int]], opcional, valor predeterminado14) — El tamaño (resolución) de cada parche. - num_channels (
int, opcional, valor predeterminado3) — El número de canales de entrada. - qkv_bias (
bool, opcional, valor predeterminadoTrue) — Si se debe añadir un sesgo a las consultas, claves y valores. - layerscale_value (
float, opcional, valor predeterminado 1.0) — Valor inicial para la escala de capa. - drop_path_rate (
float, opcional, valor predeterminado 0.0) — Tasa de profundidad estocástica por muestra (cuando se aplica en la ruta principal de las capas residuales). - use_swiglu_ffn (
bool, opcional, valor predeterminadoFalse) — Si se debe usar la red neuronal feedforward SwiGLU. - apply_layernorm (
bool, opcional, valor predeterminadoTrue) — Si se aplica la normalización de capas a los mapas de características en caso de que el modelo se utilice como backbone. - reshape_hidden_states (
bool, opcional, valor predeterminadoTrue) — Si se deben redimensionar los mapas de características a tensores 4D de forma(batch_size, d_model, height, width)en caso de que el modelo se utilice como backbone. Si esFalse, los mapas de características serán tensores 3D de forma(batch_size, seq_len, d_model). - use_mask_token (
bool, opcional, valor predeterminadoTrue) — Si se debe usar mask_token en los embeddings. - num_windows (
int, opcional, valor predeterminado 4) — Número de ventanas a utilizar para la atención con ventanas. Si es 1, no se utiliza atención con ventanas.
Esta es la clase de configuración para almacenar la configuración de un RfDetrModel. Se utiliza para instanciar un modelo Rf Detr según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de Roboflow/rf-detr-base
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import RfDetrDinov2Config, RfDetrDinov2Backbone
>>> # Initializing a RfDetrDinov2 base style configuration
>>> configuration = RfDetrDinov2Config()
>>> # Initializing a model (with random weights) from the base style configuration
>>> model = RfDetrDinov2Backbone(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configRfDetrImageProcessor
clase transformers.RfDetrImageProcessor
< source >( **kwargs: *<class 'transformers.models.rf_detr.image_processing_rf_detr.RfDetrImageProcessorKwargs'> )
Parámetros
- do_convert_rgb (
bool, kwargs, opcional) — Si se debe convertir la imagen a RGB. - do_resize (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe redimensionar la imagen. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, por defecto{'shortest_edge' -- 800, 'longest_edge': 1333}): Describe las dimensiones de entrada máximas para el modelo. - default_to_square (
bool, kwargs, opcional, valor predeterminadoFalse) — Si se debe usar una imagen cuadrada por defecto al redimensionar, si size es un int. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Tamaño de la imagen de salida tras aplicarcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, por defecto2) — Filtro de remuestreo a utilizar si se redimensiona la imagen. Puede ser uno de los valores de la enumeraciónPILImageResampling. Solo tiene efecto sido_resizeestá establecido enTrue. - do_rescale (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe reescalar la imagen. - rescale_factor (
float, kwargs, opcional, valor predeterminado0.00392156862745098) — Factor de reescalado para reescalar la imagen sido_rescaleestá establecido enTrue. - do_normalize (
bool, kwargs, opcional, valor predeterminadoTrue) — Si se debe normalizar la imagen. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opcional, valor predeterminado[0.485, 0.456, 0.406]) — Media de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opcional, valor predeterminado[0.229, 0.224, 0.225]) — Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - do_pad (
bool, kwargs, opcional, valor predeterminadoTrue) — Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — El tamaño en{"height": int, "width" int}al que se rellenan las imágenes. Debe ser mayor que cualquier tamaño de imagen proporcionado para el preprocesamiento. Si no se proporcionapad_size, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuandodo_pad=True. - do_center_crop (
bool, kwargs, opcional) — Si se debe recortar la imagen centrada. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — Solo se admiteChannelDimension.FIRST. Se añadió para garantizar la compatibilidad con los procesadores lentos. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — El formato de la dimensión de canales para la imagen de entrada. Si no se establece, el formato de la dimensión de canales se infiere a partir de la imagen de entrada. Puede ser uno de:"channels_first"oChannelDimension.FIRST: imagen en formato (num_channels, height, width)."channels_last"oChannelDimension.LAST: imagen en formato (altura, ancho, num_canales)."none"oChannelDimension.NONE: imagen en formato (altura, ancho).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — El dispositivo en el que se procesarán los videos. Si no se establece, el dispositivo se infiere a partir de los videos de entrada. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Devuelve tensores apilados si se establece en'pt'; en caso contrario, devuelve una lista de tensores. - disable_grouping (
bool, kwargs, opcional) — Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, opcional) — El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Añadido por compatibilidad con versiones anteriores, pero en futuros modelos debería establecerse como un atributo del procesador. - format (
str, kwargs, opcional, por defectoAnnotationFormat.COCO_DETECTION) — Formato de datos de las anotaciones. Uno de “coco_detection” o “coco_panoptic”. - do_convert_annotations (
bool, kwargs, opcional, valor predeterminadoTrue) — Controla si se convierten las anotaciones al formato esperado por el modelo RF_DETR. Convierte las cajas delimitadoras al formato(center_x, center_y, width, height)y en el rango[0, 1]. Puede ser anulado por el parámetrodo_convert_annotationsen el métodopreprocess.
Construye un procesador de imágenes RfDetrImageProcessor.
preprocesar
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = Nonereturn_segmentation_masks: bool | None = Nonemasks_path: str | pathlib.Path | None = None**kwargs: *<class 'transformers.models.rf_detr.image_processing_rf_detr.RfDetrImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature
Parámetros
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezcado_rescale=False. - annotations (
AnnotationTypeolist[AnnotationType], opcional) — Anotaciones que se transformarán según el relleno aplicado a las imágenes. - return_segmentation_masks (
bool, opcional, por defectoself.return_segmentation_masks) — Si se deben devolver las máscaras de segmentación. - masks_path (
stropathlib.Path, opcional) — Ruta al directorio que contiene las máscaras de segmentación. - do_convert_rgb (
bool, kwargs, opcional) — Si se debe convertir la imagen a RGB. - do_resize (
bool, kwargs, opcional) — Si se debe redimensionar la imagen. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Describe las dimensiones de entrada máximas del modelo. - default_to_square (
bool, kwargs, opcional) — Si se debe usar una imagen cuadrada por defecto al redimensionar, si size es un int. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Tamaño de la imagen de salida tras aplicarcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Filtro de remuestreo a utilizar si se redimensiona la imagen. Puede ser uno de los enumPILImageResampling. Solo tiene efecto sido_resizeestá establecido enTrue. - do_rescale (
bool, kwargs, opcional) — Si se debe reescalar la imagen. - rescale_factor (
float, kwargs, opcional) — Factor de reescalado para reescalar la imagen sido_rescaleestá establecido enTrue. - do_normalize (
bool, kwargs, opcional) — Si se debe normalizar la imagen. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opcional) — Media de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opcional) — Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto sido_normalizeestá establecido enTrue. - do_pad (
bool, kwargs, opcional) — Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — El tamaño en{"height": int, "width" int}al que se rellenan las imágenes. Debe ser mayor que cualquier tamaño de imagen proporcionado para el preprocesamiento. Si no se proporcionapad_size, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuandodo_pad=True. - do_center_crop (
bool, kwargs, opcional) — Si se debe recortar la imagen centrada. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — Solo se admiteChannelDimension.FIRST. Se añadió para garantizar la compatibilidad con los procesadores lentos. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — El formato de la dimensión de canales para la imagen de entrada. Si no se establece, el formato de la dimensión de canales se infiere a partir de la imagen de entrada. Puede ser uno de:"channels_first"oChannelDimension.FIRST: imagen en formato (num_channels, height, width)."channels_last"oChannelDimension.LAST: imagen en formato (altura, ancho, num_canales)."none"oChannelDimension.NONE: imagen en formato (altura, ancho).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — El dispositivo en el que se procesarán los videos. Si no se establece, el dispositivo se infiere a partir de los videos de entrada. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Devuelve tensores apilados si se establece en'pt'; en caso contrario, devuelve una lista de tensores. - disable_grouping (
bool, kwargs, opcional) — Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, opcional) — El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Añadido por compatibilidad con versiones anteriores, pero en futuros modelos debería establecerse como un atributo del procesador. - format (
str, kwargs, opcional, por defectoAnnotationFormat.COCO_DETECTION) — Formato de datos de las anotaciones. Uno de “coco_detection” o “coco_panoptic”. - do_convert_annotations (
bool, kwargs, opcional, valor predeterminadoTrue) — Controla si se convierten las anotaciones al formato esperado por el modelo RF_DETR. Convierte las cajas delimitadoras al formato(center_x, center_y, width, height)y en el rango[0, 1]. Puede ser anulado por el parámetrodo_convert_annotationsen el métodopreprocess.
Devuelve
~image_processing_base.BatchFeature
- data (
dict) — Diccionario de listas/arrays/tensores devueltos por el método call (‘pixel_values’, etc.). - tensor_type (
Union[None, str, TensorType], opcional) — Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización.
post_process_object_detection
< source >( outputsthreshold: float = 0.5target_sizes: transformers.utils.generic.TensorType | list[tuple] | None = Nonetop_k: int | None = None ) → list[Dict]
Parámetros
- outputs (
RfDetrObjectDetectionOutput) — Salidas sin procesar del modelo. - threshold (
float, opcional) — Umbral de puntuación para conservar las predicciones de detección de objetos. - target_sizes (
torch.Tensorolist[tuple[int, int]], opcional) — Tensor de forma(batch_size, 2)o lista de tuplas (tuple[int, int]) que contiene el tamaño objetivo(height, width)de cada imagen del lote. Si no se establece, las predicciones no se redimensionarán.
Devuelve
list[Dict]
Una lista de diccionarios, donde cada diccionario contiene las puntuaciones, etiquetas y cajas para una imagen del lote, tal como las predice el modelo.
Convierte la salida cruda de RfDetrForObjectDetection en cajas delimitadoras finales en el formato (top_left_x, top_left_y, bottom_right_x, bottom_right_y). Solo admite PyTorch.
post_process_instance_segmentation
< source >( outputsthreshold: float = 0.5mask_threshold: float = 0.0target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool = Falsereturn_binary_maps: bool = Falsetop_k: int | None = None**kwargs ) → list[dict]
Parámetros
- outputs ([RfDetrInstanceSegmentationOutput]) — Salidas crudas del modelo.
- threshold (float, opcional, valor predeterminado 0.5) — Umbral de puntuación para conservar las máscaras de instancias predichas.
- mask_threshold (float, opcional, valor predeterminado 0.0) — Umbral para binarizar las máscaras predichas.
- target_sizes (list[tuple[int, int]], opcional) —
Tamaño objetivo
(height, width)para cada imagen. Si no se establece, las máscaras no se redimensionan. - return_coco_annotation (bool, opcional, valor predeterminado False) — Si True, devuelve los mapas de segmentación como codificación de longitud de ejecución de COCO en lugar de tensores. Es mutuamente excluyente con return_binary_maps.
- return_binary_maps (bool, optional, por defecto False) —
Si True, devuelve los mapas de segmentación como un tensor apilado de máscaras binarias de instancias
(una por cada instancia detectada), sin resolución de solapamiento. Esto coincide con el formato de salida
del paquete original
rfdetr. Es mutuamente excluyente con return_coco_annotation. - top_k (int, opcional) — Número máximo de consultas candidatas evaluadas antes del umbral de puntuación. Por defecto, es el número total de consultas.
Devuelve
list[dict]
Un diccionario por imagen con las claves:
- segmentation — Tensor[H, W] de ids de segmentos
int32(-1= fondo), Tensor[num_instances, H, W] de máscaras binarias bool cuando return_binary_maps=True, o una lista de codificaciones RLE cuando return_coco_annotation=True. - segments_info — Lista de diccionarios con las claves
id,label_idyscore.
Convierte la salida de [RfDetrForInstanceSegmentation] en predicciones de segmentación de instancias.
RfDetrModel
clase transformers.RfDetrModel
< source >( config: RfDetrConfig )
Parámetros
- config (RfDetrConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El modelo LW Detr básico (constituido por un backbone y un decodificador Transformer) que genera estados ocultos sin ningún head específico en la parte superior.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → RfDetrModelOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size)) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando RfDetrImageProcessor. Consulte RfDetrImageProcessor.call() para más detalles (processor_classutiliza RfDetrImageProcessor para procesar las imágenes). - pixel_mask (
torch.LongTensorde forma(batch_size, height, width), opcional) — Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los píxeles reales (es decir, no enmascarados),
- 0 para los píxeles que son relleno (es decir, mascarados).
Devuelve
RfDetrModelOutput o tuple(torch.Tensor)
Un RfDetrModelOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (RfDetrConfig) y las entradas.
Paso hacia adelante del modelo RF-DETR. El proceso se desarrolla de la siguiente manera:
- Genere un conjunto inicial de incrustaciones de consultas de objetos y propuestas de ubicación espacial a partir de la salida aplanada del backbone.
- Inicializa el almacenamiento para las predicciones refinadas de la etapa del codificador (admitiendo estructuras de consulta de múltiples grupos) y refina iterativamente las consultas de objetos y sus coordenadas para cada grupo de consultas, a fin de capturar los candidatos con mayor confianza de la etapa del codificador.
- Inicializa las características de consulta aprendibles y los puntos de referencia espacial (restringiéndose al grupo principal durante la inferencia para mejorar la eficiencia).
- Proyecta los puntos de referencia base a lo largo del lote, los refina con los refinamientos de coordenadas predichos (desplazando la atención hacia las ubicaciones de los objetos descubiertos antes de la decodificación) y expande las características de las consultas objetivo para que coincidan con las dimensiones del lote.
- Pase las consultas refinadas y los puntos de referencia actualizados a través del decodificador del transformador para agregar el contexto espacial detallado de las características multiescala.
last_hidden_state (
torch.Tensorde forma(batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del modelo.init_reference_points (
torch.Tensorde forma(batch_size, num_queries, 4)) — Puntos de referencia iniciales enviados a través del decodificador Transformer.intermediate_hidden_states (
torch.Tensorde forma(batch_size, config.decoder_layers, num_queries, d_model)) — Estados ocultos intermedios apilados (salida de cada capa del decodificador).intermediate_reference_points (
torch.Tensorde forma(batch_size, config.decoder_layers, num_queries, 4)) — Puntos de referencia intermedios apilados (puntos de referencia de cada capa del decodificador).enc_outputs_class (
torch.Tensorde forma(batch_size, sequence_length, config.num_labels), opcional, devuelto cuandoconfig.with_box_refine=Trueyconfig.two_stage=True) — Puntuaciones de las cajas delimitadoras predichas, donde lasconfig.two_stage_num_proposalscajas delimitadoras con mayor puntuación se seleccionan como propuestas de región en la primera etapa. Salida de la clasificación binaria de cajas delimitadoras (es decir, primer plano y fondo).enc_outputs_coord_logits (
torch.Tensorde forma(batch_size, sequence_length, 4), opcional, se devuelve cuandoconfig.with_box_refine=Trueyconfig.two_stage=True) — Logits de las coordenadas de las cajas delimitadoras predichas en la primera etapa.hidden_states (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
cross_attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención de la capa de atención cruzada del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de atención cruzada.
backbone_features (
listdetorch.Tensorde forma(batch_size, config.num_channels, config.image_size, config.image_size)) — Características del backbone.
Ejemplos:
>>> from transformers import AutoImageProcessor, RfDetrModel
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-base")
>>> model = RfDetrModel.from_pretrained("Roboflow/rf-detr-base")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 200, 256]RfDetrForObjectDetection
clase transformers.RfDetrForObjectDetection
< source >( config: RfDetrConfig )
Parámetros
- config (RfDetrConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
Modelo LW DETR (constituido por un backbone y un decodificador Transformer) con cabezas de detección de objetos en la parte superior, para tareas como la detección COCO.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: Tensor = Nonepixel_mask: typing.Optional[torch.LongTensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → RfDetrObjectDetectionOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size), opcional) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando RfDetrImageProcessor. Consulte RfDetrImageProcessor.call() para más detalles (processor_classutiliza RfDetrImageProcessor para procesar las imágenes). - pixel_mask (
torch.LongTensorde forma(batch_size, height, width), opcional) — Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los píxeles reales (es decir, no enmascarados),
- 0 para los píxeles que son relleno (es decir, mascarados).
- labels (
list[Dict]de longitud(batch_size,), opcional) — Etiquetas para calcular la pérdida de bipartite matching. Lista de diccionarios, donde cada diccionario contiene al menos las siguientes 2 claves: ‘class_labels’ y ‘boxes’ (las etiquetas de clase y las cajas delimitadoras de una imagen del lote, respectivamente). Las etiquetas de clase en sí deben ser untorch.LongTensorde longitud(number of bounding boxes in the image,)y las cajas untorch.Tensorde forma(number of bounding boxes in the image, 4).
Devuelve
RfDetrObjectDetectionOutput o tuple(torch.Tensor)
Un RfDetrObjectDetectionOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (RfDetrConfig) y las entradas.
La pasada hacia adelante se realiza de la siguiente manera:
- Procesar la entrada visual a través del modelo base RF-DETR para obtener el último estado oculto del transformer y la secuencia final de puntos de referencia.
- Primera etapa: generar logits de clasificación a partir de las incrustaciones de consultas de objetos propuestas por el codificador.
- Segunda etapa: predecir las etiquetas de clasificación finales y las cajas delimitadoras refinadas utilizando el último estado oculto del decodificador y los puntos de referencia más recientes.
loss (
torch.Tensorde forma(1,), opcional, devuelta cuando se proporcionanlabels) — Pérdida total como combinación lineal de una log-verosimilitud negativa (entropía cruzada) para la predicción de clases y una pérdida de caja delimitadora. Esta última se define como una combinación lineal de la pérdida L1 y la pérdida de IoU generalizada e invariante a la escala.loss_dict (
Dict, opcional) — Un diccionario que contiene las pérdidas individuales. Útil para el registro.logits (
torch.Tensorde forma(batch_size, num_queries, num_classes + 1)) — Logits de clasificación (incluyendo no-objeto) para todas las consultas.pred_boxes (
torch.Tensorde forma(batch_size, num_queries, 4)) — Coordenadas de cajas normalizadas para todas las consultas, representadas como (center_x, center_y, width, height). Estos valores están normalizados en [0, 1], relativos al tamaño de cada imagen individual del lote (ignorando el posible relleno). Puede usar~DeformableDetrProcessor.post_process_object_detectionpara recuperar las cajas delimitadoras no normalizadas.auxiliary_outputs (
list[Dict], opcional) — Opcional, solo se devuelve cuando se activan las pérdidas auxiliares (es decir,config.auxiliary_lossestá establecido enTrue) y se proporcionan etiquetas. Es una lista de diccionarios que contienen las dos claves anteriores (logitsypred_boxes) para cada capa del decodificador.init_reference_points (
torch.Tensorde forma(batch_size, num_queries, 4)) — Puntos de referencia iniciales enviados a través del decodificador Transformer.last_hidden_state (
torch.Tensorde forma(batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del modelo.intermediate_hidden_states (
torch.Tensorde forma(batch_size, config.decoder_layers, num_queries, d_model)) — Estados ocultos intermedios apilados (salida de cada capa del decodificador).intermediate_reference_points (
torch.Tensorde forma(batch_size, config.decoder_layers, num_queries, 4)) — Puntos de referencia intermedios apilados (puntos de referencia de cada capa del decodificador).enc_outputs_class (
torch.Tensorde forma(batch_size, sequence_length, config.num_labels), opcional, devuelto cuandoconfig.with_box_refine=Trueyconfig.two_stage=True) — Puntuaciones de las cajas delimitadoras predichas, donde lasconfig.two_stage_num_proposalscajas delimitadoras con mayor puntuación se seleccionan como propuestas de región en la primera etapa. Salida de la clasificación binaria de cajas delimitadoras (es decir, primer plano y fondo).enc_outputs_coord_logits (
torch.Tensorde forma(batch_size, sequence_length, 4), opcional, se devuelve cuandoconfig.with_box_refine=Trueyconfig.two_stage=True) — Logits de las coordenadas de las cajas delimitadoras predichas en la primera etapa.hidden_states (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
cross_attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención de la capa de atención cruzada del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de atención cruzada.
backbone_features (
listdetorch.Tensorde forma(batch_size, config.num_channels, config.image_size, config.image_size)) — Características del backbone.
Ejemplos:
>>> from transformers import AutoImageProcessor, RfDetrForObjectDetection
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-base")
>>> model = RfDetrForObjectDetection.from_pretrained("Roboflow/rf-detr-base")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)
>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.5, target_sizes=target_sizes)[
... 0
... ]
>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
... box = [round(i, 2) for i in box.tolist()]
... print(
... f"Detected {model.config.id2label[label.item()]} with confidence "
... f"{round(score.item(), 3)} at location {box}"
... )
Detected cat with confidence 0.8 at location [16.5, 52.84, 318.25, 470.78]
Detected cat with confidence 0.789 at location [342.19, 24.3, 640.02, 372.25]
Detected remote with confidence 0.633 at location [40.79, 72.78, 176.76, 117.25]RfDetrForInstanceSegmentation
forward
< source >( pixel_values: Tensor = Nonepixel_mask: typing.Optional[torch.LongTensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> )
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size), opcional) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando RfDetrImageProcessor. Consulte RfDetrImageProcessor.call() para más detalles (processor_classutiliza RfDetrImageProcessor para procesar las imágenes). - pixel_mask (
torch.LongTensorde forma(batch_size, height, width), opcional) — Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los píxeles reales (es decir, no enmascarados),
- 0 para los píxeles que son relleno (es decir, mascarados).
- labels (
list[Dict]de longitud(batch_size,), opcional) — Etiquetas para calcular la pérdida de bipartite matching. Lista de diccionarios, donde cada diccionario contiene al menos las siguientes 2 claves: ‘class_labels’ y ‘boxes’ (las etiquetas de clase y las cajas delimitadoras de una imagen del lote, respectivamente). Las etiquetas de clase en sí deben ser untorch.LongTensorde longitud(number of bounding boxes in the image,)y las cajas untorch.Tensorde forma(number of bounding boxes in the image, 4).
Paso hacia adelante del modelo RF-DETR para segmentación de instancias. El proceso se desarrolla de la siguiente manera:
- Procesar la entrada visual a través del modelo base RF-DETR para obtener características espaciales multiescala, embeddings de consulta y su historial de transformación.
- Genera logits de clasificación y máscaras de segmentación iniciales a partir de los embeddings de consultas de objeto propuestos por el codificador (primera etapa).
- Predice las etiquetas de clasificación finales y las cajas delimitadoras refinadas utilizando el último estado oculto del decodificador (segunda etapa).
- Pase las características espaciales de alta resolución y los estados ocultos de consulta a través de la cabeza de segmentación para producir las máscaras de instancia finales y detalladas.
RfDetrDinov2Backbone
clase transformers.RfDetrDinov2Backbone
< source >( config: RfDetrDinov2Config )
Parámetros
- config (RfDetrDinov2Config) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
Backbone de RfDetrDinov2, para usar con frameworks como DETR y MaskFormer.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: Tensor**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BackboneOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size)) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando RfDetrImageProcessor. Consulte RfDetrImageProcessor.call() para más detalles (processor_classutiliza RfDetrImageProcessor para procesar las imágenes).
Devuelve
BackboneOutput o tuple(torch.Tensor)
Un BackboneOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (RfDetrConfig) y las entradas.
El método forward de RfDetrDinov2Backbone reemplaza el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
feature_maps (
tuple(torch.Tensor)de forma(batch_size, num_channels, height, width)) — Mapas de características de las etapas.hidden_states (
tuple(torch.Tensor), opcional, devuelto cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de los embeddings + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size)o(batch_size, num_channels, height, width), según el backbone.Estados ocultos del modelo en la salida de cada etapa más las salidas de la incrustación inicial.
attentions (
tuple(torch.Tensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length). Solo aplicable si el backbone usa atención.Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
Ejemplos:
>>> from transformers import AutoImageProcessor, AutoBackbone
>>> import torch
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> processor = AutoImageProcessor.from_pretrained("facebook/dinov2-base")
>>> model = AutoBackbone.from_pretrained(
... "facebook/dinov2-base", out_features=["stage2", "stage5", "stage8", "stage11"]
... )
>>> inputs = processor(image, return_tensors="pt")
>>> outputs = model(**inputs)
>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 768, 16, 16]