add_special_tokens (bool, facultatif, par défaut True) : Indique s'il faut ajouter des jetons spéciaux lors de l'encodage des séquences. Cela utilise la fonction sous-jacente PretrainedTokenizerBase.build_inputs_with_special_tokens, qui définit les jetons ajoutés automatiquement aux identifiants d'entrée. C'est utile si vous souhaitez ajouter automatiquement des jetons bos ou eos. padding (bool, str ou PaddingStrategy, facultatif, par défaut False) : Active et contrôle le bourrage. Accepte les valeurs suivantes :

• True ou 'longest' : Ajuster à la séquence la plus longue du lot (ou aucun ajustement si une seule séquence est fournie).

• 'max_length' : Remplir jusqu'à une longueur maximale spécifiée par l'argument max_length ou jusqu'à la longueur d'entrée maximale acceptable pour le modèle si cet argument n'est pas fourni.

• False ou 'do_not_pad' (par défaut) : aucun bourrage (c.-à-d. peut produire un lot avec des séquences de longueurs différentes). truncation (bool, str ou TruncationStrategy, facultatif, par défaut False) : Active et contrôle la troncature. Accepte les valeurs suivantes :

• True ou 'longest_first' : Tronquer à une longueur maximale spécifiée avec l’argument max_length ou à la longueur d’entrée maximale acceptable pour le modèle si cet argument n’est pas fourni. Cela tronquera jeton par jeton, en retirant un jeton de la séquence la plus longue du couple si un couple de séquences (ou un lot de couples) est fourni.

• 'only_first' : Tronque à une longueur maximale spécifiée avec l'argument max_length ou à la longueur d'entrée maximale acceptable pour le modèle si cet argument n'est pas fourni. Cela ne tronquera que la première séquence d'une paire si une paire de séquences (ou un lot de paires) est fournie.

• 'only_second' : Tronque à une longueur maximale spécifiée avec l'argument max_length ou à la longueur d'entrée maximale acceptable pour le modèle si cet argument n'est pas fourni. Cela ne tronquera que la deuxième séquence d'une paire si une paire de séquences (ou un lot de paires) est fournie.

• False ou 'do_not_truncate' (par défaut) : aucune troncature (c’est-à-dire, peut produire un lot avec des longueurs de séquences supérieures à la taille d’entrée maximale admissible par le modèle). max_length (int, facultatif) : Contrôle la longueur maximale à utiliser par l’un des paramètres de troncature/remplissage.

Si non défini ou défini sur None, la longueur maximale prédéfinie du modèle sera utilisée si l'une des paramètres de troncature/remplissage en exige une. Si le modèle n'a pas de longueur d'entrée maximale spécifique (comme XLNet), la troncature/le remplissage à une longueur maximale sera désactivé. stride (int, facultatif, valeur par défaut 0) : Si défini sur un nombre avec max_length, les jetons en dépassement renvoyés lorsque return_overflowing_tokens=True contiendront certains jetons de la fin de la séquence tronquée renvoyée afin de fournir un chevauchement entre les séquences tronquées et en dépassement. La valeur de cet argument définit le nombre de jetons en chevauchement. is_split_into_words (bool, facultatif, valeur par défaut False) : Indique si l'entrée est déjà pré-tokenisée (par exemple, découpée en mots). Si défini sur True, le tokeniseur suppose que l'entrée est déjà découpée en mots (par exemple, en la séparant sur les espaces) qu'il tokenisera. Cela est utile pour la NER ou la classification de jetons. pad_to_multiple_of (int, facultatif) : Si défini, remplit la séquence jusqu'à un multiple de la valeur fournie. Nécessite l'activation de padding. Cela est particulièrement utile pour permettre l'utilisation des Tensor Cores sur le matériel NVIDIA avec une capacité de calcul >= 7.5 (Volta). padding_side (str, facultatif) : Le côté sur lequel le modèle doit avoir le remplissage appliqué. Doit être sélectionné entre ['right', 'left']. La valeur par défaut est choisie à partir de l'attribut de classe du même nom. return_tensors (str ou TensorType, facultatif) : Si défini, renvoie des tenseurs au lieu d'une liste d'entiers python. Les valeurs acceptables sont :

• 'pt' : Renvoie des objets torch.Tensor de PyTorch.
• 'np' : Renvoie des objets Numpy np.ndarray.

return_token_type_ids (bool, facultatif) : Indique s'il faut retourner les identifiants de type de jeton. Si la valeur par défaut est conservée, les identifiants de type de jeton seront retournés selon la valeur par défaut du tokeniseur spécifique, définie par l'attribut return_outputs.

Qu’est-ce que les identifiants de type de jeton ? return_attention_mask (bool, facultatif) : Indique s’il faut retourner le masque d’attention. Si la valeur par défaut est conservée, le masque d’attention est retourné selon la valeur par défaut du tokeniseur spécifique, définie par l’attribut return_outputs.

Qu'est-ce que les masques d'attention ? return_overflowing_tokens (bool, facultatif, par défaut False) : Indique s'il faut ou non renvoyer les séquences de jetons en dépassement. Si une paire de séquences d'identifiants d'entrée (ou un lot de paires) est fournie avec truncation_strategy = longest_first ou True, une erreur est levée au lieu de renvoyer les jetons en dépassement. return_special_tokens_mask (bool, facultatif, par défaut False) : Indique s'il faut ou non renvoyer les informations du masque des jetons spéciaux. return_offsets_mapping (bool, facultatif, par défaut False) : Indique s'il faut ou non renvoyer (char_start, char_end) pour chaque jeton.

Ceci n’est disponible que sur les tokenizers rapides héritant de PreTrainedTokenizerFast ; si vous utilisez le tokenizer Python, cette méthode lève NotImplementedError. return_length (bool, facultatif, par défaut False) : Indique s’il faut ou non retourner les longueurs des entrées encodées. verbose (bool, facultatif, par défaut True) : Indique s’il faut ou non afficher plus d’informations et d’avertissements. **kwargs : transmis à la méthode self.tokenize()

Enregistrez uniquement le fichier de vocabulaire des entités. Le fichier tokenizer.json est enregistré par le parent TokenizersBackend.