# Créer un jeu de données audio

Vous pouvez partager un jeu de données avec votre équipe ou avec n’importe qui dans la communauté en créant un dépôt de jeu de données sur le Hugging Face Hub :

```py
from datasets import load_dataset

dataset = load_dataset("<username>/my_dataset")
```

Plusieurs méthodes permettent de créer et de partager un jeu de données audio :

- Créez un jeu de données audio à partir de fichiers locaux en python avec [Dataset.push_to_hub()](/docs/datasets/v5.2.0/fr/package_reference/main_classes#datasets.Dataset.push_to_hub). C’est une méthode simple qui ne nécessite que quelques étapes en python.

- Créez un dépôt de jeu de données audio avec le constructeur `AudioFolder`. Il s’agit d’une solution sans code pour créer rapidement un jeu de données audio contenant plusieurs milliers de fichiers audio.

> [!TIP]
> Vous pouvez contrôler l'accès à votre jeu de données en exigeant que les utilisateurs partagent d'abord leurs coordonnées. Consultez le guide [Gated datasets](https://huggingface.co/docs/hub/datasets-gated) pour plus d'informations sur la manière d'activer cette fonctionnalité sur le Hub.

## Fichiers locaux

Vous pouvez charger votre propre jeu de données en utilisant les chemins d’accès à vos fichiers audio. Utilisez la fonction [cast_column()](/docs/datasets/v5.2.0/fr/package_reference/main_classes#datasets.Dataset.cast_column) pour prendre une colonne de chemins d’accès aux fichiers audio et la convertir en fonctionnalité [Audio](/docs/datasets/v5.2.0/fr/package_reference/main_classes#datasets.Audio) :

```py
>>> audio_dataset = Dataset.from_dict({"audio": ["path/to/audio_1", "path/to/audio_2", ..., "path/to/audio_n"]}).cast_column("audio", Audio())
>>> audio_dataset[0]["audio"]
<datasets.features._torchcodec.AudioDecoder object at 0x11642b6a0>
```

Ensuite, téléchargez le jeu de données sur le Hugging Face Hub à l'aide de [Dataset.push_to_hub()](/docs/datasets/v5.2.0/fr/package_reference/main_classes#datasets.Dataset.push_to_hub) :

```py
audio_dataset.push_to_hub("<username>/my_dataset")
```

Cela créera un dépôt de jeu de données contenant votre jeu de données audio :

```
my_dataset/
├── README.md
└── data/
    └── train-00000-of-00001.parquet
```

## AudioFolder

`AudioFolder` est un constructeur de jeu de données conçu pour charger rapidement un jeu de données audio contenant plusieurs milliers de fichiers audio, sans qu'il soit nécessaire d'écrire du code.

> [!TIP]
> 💡 Consultez la [hiérarchie des motifs de partitionnement](repository_structure#split-pattern-hierarchy) pour en savoir plus sur la manière dont `AudioFolder` crée des partitions de jeu de données en fonction de la structure de votre dépôt de jeu de données.

`AudioFolder` infère automatiquement les étiquettes de classes de votre jeu de données en fonction du nom du répertoire. Stockez votre jeu de données dans une structure de répertoires de la forme :

```
folder/train/dog/golden_retriever.mp3
folder/train/dog/german_shepherd.mp3
folder/train/dog/chihuahua.mp3

folder/train/cat/maine_coon.mp3
folder/train/cat/bengal.mp3
folder/train/cat/birman.mp3
```

Si le jeu de données suit la structure `AudioFolder`, vous pouvez le charger directement avec [load_dataset()](/docs/datasets/v5.2.0/fr/package_reference/loading_methods#datasets.load_dataset) :

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_name")
```

Cela équivaut à passer `audiofolder` manuellement dans [load_dataset()](/docs/datasets/v5.2.0/fr/package_reference/loading_methods#datasets.load_dataset) et le répertoire dans `data_dir` :

```py
>>> dataset = load_dataset("audiofolder", data_dir="/path/to/folder")
```

Vous pouvez également utiliser `audiofolder` pour charger des jeux de données impliquant plusieurs splits. Pour ce faire, le répertoire de votre jeu de données doit avoir la structure suivante :

```
folder/train/dog/golden_retriever.mp3
folder/train/cat/maine_coon.mp3
folder/test/dog/german_shepherd.mp3
folder/test/cat/bengal.mp3
```

> [!WARNING]
> Si tous les fichiers audio sont contenus dans un seul répertoire ou s'ils ne sont pas au même niveau de la structure de répertoires, la colonne `label` ne sera pas ajoutée automatiquement. Si vous en avez besoin, définissez explicitement `drop_labels=False`.

Si vous souhaitez inclure des informations supplémentaires sur votre jeu de données, telles que des légendes de texte ou des boîtes englobantes, ajoutez-les sous forme de fichier `metadata.csv` dans votre dossier. Cela vous permet de créer rapidement des jeux de données pour différentes tâches de vision par ordinateur, comme la légende de texte ou la détection d'objets. Vous pouvez également utiliser un fichier JSONL `metadata.jsonl` ou un fichier Parquet `metadata.parquet`.

```
folder/train/metadata.csv
folder/train/0001.mp3
folder/train/0002.mp3
folder/train/0003.mp3
```

Vous pouvez également compresser vos fichiers audio en archive zip, auquel cas chaque archive doit contenir à la fois les fichiers audio et les métadonnées

```
folder/train.zip
folder/test.zip
folder/validation.zip
```

Votre fichier `metadata.csv` doit contenir un champ `file_name` ou `*_file_name` qui associe les fichiers audio à leurs métadonnées :

```csv
file_name,additional_feature
0001.mp3,This is a first value of a text feature you added to your audio files
0002.mp3,This is a second value of a text feature you added to your audio files
0003.mp3,This is a third value of a text feature you added to your audio files
```

ou en utilisant `metadata.jsonl` :

```jsonl
{"file_name": "0001.mp3", "additional_feature": "This is a first value of a text feature you added to your audio files"}
{"file_name": "0002.mp3", "additional_feature": "This is a second value of a text feature you added to your audio files"}
{"file_name": "0003.mp3", "additional_feature": "This is a third value of a text feature you added to your audio files"}
```

Ici, `file_name` doit être le nom du fichier audio situé à côté du fichier de métadonnées. Plus généralement, il doit s’agir du chemin relatif depuis le répertoire contenant les métadonnées jusqu’au fichier audio.

Il est possible de pointer vers plusieurs fichiers audio dans chaque ligne de votre jeu de données, par exemple si votre entrée et votre sortie sont des fichiers audio :

```jsonl
{"input_file_name": "0001.mp3", "output_file_name": "0001_output.mp3"}
{"input_file_name": "0002.mp3", "output_file_name": "0002_output.mp3"}
{"input_file_name": "0003.mp3", "output_file_name": "0003_output.mp3"}
```

Vous pouvez également définir des listes de fichiers audio. Dans ce cas, vous devez nommer le champ `file_names` ou `*_file_names`. Voici un exemple :

```jsonl
{"recordings_file_names": ["0001_r0.mp3", "0001_r1.mp3"], label: "same_person"}
{"recordings_file_names": ["0002_r0.mp3", "0002_r1.mp3"], label: "same_person"}
{"recordings_file_names": ["0003_r0.mp3", "0003_r1.mp3"], label: "different_person"}
```

## WebDataset

Le format [WebDataset](https://github.com/webdataset/webdataset) est basé sur des archives TAR et convient aux grands jeux de données audio. En effet, vous pouvez regrouper vos fichiers audio dans des archives TAR (par exemple 1 Go de fichiers audio par archive TAR) et disposer de milliers d’archives TAR :

```
folder/train/00000.tar
folder/train/00001.tar
folder/train/00002.tar
...
```

Dans les archives, chaque exemple est constitué de fichiers partageant le même préfixe :

```
e39871fd9fd74f55.mp3
e39871fd9fd74f55.json
f18b91585c4d3f3e.mp3
f18b91585c4d3f3e.json
ede6e66b2fb59aab.mp3
ede6e66b2fb59aab.json
ed600d57fcee4f94.mp3
ed600d57fcee4f94.json
...
```

Vous pouvez placer vos fichiers audio, étiquettes, légendes et boîtes englobantes dans des fichiers JSON ou texte, par exemple.

Chargez votre WebDataset et il créera une colonne par suffixe de fichier (ici « mp3 » et « json ») :

```python
>>> from datasets import load_dataset

>>> dataset = load_dataset("webdataset", data_dir="/path/to/folder", split="train")
>>> dataset[0]["json"]
{"transcript": "Hello there !", "speaker": "Obi-Wan Kenobi"}
```

Il est également possible d'avoir plusieurs fichiers audio par exemple, comme ceci :

```
e39871fd9fd74f55.input.mp3
e39871fd9fd74f55.output.mp3
e39871fd9fd74f55.json
f18b91585c4d3f3e.input.mp3
f18b91585c4d3f3e.output.mp3
f18b91585c4d3f3e.json
...
```

Pour plus de détails sur le format WebDataset et la bibliothèque python, veuillez consulter la [documentation WebDataset](https://webdataset.github.io/webdataset).

