Ce modèle a été publié dans les papiers HF le 2022-04-14 et contribué à Hugging Face Transformers le 2022-09-22.

ViTMSN

Aperçu

Le modèle ViTMSN a été proposé dans Masked Siamese Networks for Label-Efficient Learning par Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas. L’article présente une architecture d’incorporation conjointe visant à faire correspondre les prototypes des patches masqués à ceux des patches non masqués. Grâce à cette configuration, leur méthode offre d’excellentes performances dans les régimes low-shot et extreme low-shot.

L'abstract de l'article est le suivant :

Nous proposons les réseaux siameses masqués (MSN), un cadre d'apprentissage auto-supervisé pour l'apprentissage de représentations d'images. Notre approche associe la représentation d'une vue d'image contenant des patches masqués aléatoirement à la représentation de l'image d'origine non masquée. Cette stratégie de pré-entraînement auto-supervisé est particulièrement évolutive lorsqu'elle est appliquée aux Vision Transformers, car seuls les patches non masqués sont traités par le réseau. En conséquence, les MSN améliorent l'évolutivité des architectures à joint-embedding, tout en produisant des représentations de haut niveau sémantique qui obtiennent des performances compétitives en classification d'images à faible nombre d'exemples. Par exemple, sur ImageNet-1K, avec seulement 5 000 images annotées, notre modèle MSN de base atteint une précision top-1 de 72,4 %, et avec 1 % des étiquettes d'ImageNet-1K, nous atteignons une précision top-1 de 75,7 %, établissant un nouvel état de l'art pour l'apprentissage auto-supervisé sur ce benchmark.

Ce modèle a été contribué par sayakpaul. Le code d’origine est disponible ici.

Conseils d'utilisation

• MSN (masked siamese networks) est une méthode de pré-entraînement auto-supervisé des Vision Transformers (ViTs). L'objectif du pré-entraînement consiste à faire correspondre les prototypes attribués aux vues non masquées des images à ceux des vues masquées des mêmes images.
• Les auteurs n'ont publié que les poids pré-entraînés du backbone (pré-entraînement sur ImageNet-1k). Pour l'utiliser sur votre propre jeu de données de classification d'images, utilisez la classe ViTMSNForImageClassification, qui est initialisée à partir de ViTMSNModel. Suivez ce notebook pour un tutoriel détaillé sur le fine-tuning.
• MSN est particulièrement utile dans les régimes à très peu d'exemples et à extrême faible nombre d'exemples. Notamment, il atteint une précision top-1 de 75,7 % avec seulement 1 % des étiquettes d'ImageNet-1K lors de l'ajustement fin.

Utilisation de l'attention à produit scalaire mis à l'échelle (SDPA)

PyTorch intègre un opérateur natif d'attention par produit scalaire mis à l'échelle (SDPA) au sein de torch.nn.functional. Cette fonction englobe plusieurs implémentations qui peuvent être appliquées en fonction des entrées et du matériel utilisé. Consultez la documentation officielle ou la page GPU Inference pour plus d'informations.

SDPA est utilisé par défaut pour torch>=2.1.1 lorsqu’une implémentation est disponible, mais vous pouvez également définir attn_implementation="sdpa" dans from_pretrained() pour demander explicitement l’utilisation de SDPA.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

Pour obtenir les accélérations optimales, nous recommandons de charger le modèle en demi-précision (par exemple torch.float16 ou torch.bfloat16).

Sur un benchmark local (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) avec float32 et le modèle facebook/vit-msn-base, nous avons observé les accélérations suivantes lors de l’inférence.

Ressources

Une liste de ressources officielles Hugging Face et de la communauté (indiquées par 🌎) pour vous aider à démarrer avec ViT MSN.

• ViTMSNForImageClassification est pris en charge par ce notebook.
• Voir aussi : Guide de la tâche de classification d'images

Si vous souhaitez soumettre une ressource pour qu'elle soit incluse ici, n'hésitez pas à ouvrir une Pull Request et nous la examinerons ! La ressource devrait idéalement démontrer quelque chose de nouveau plutôt que de dupliquer une ressource existante.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker