Datasets documentation

预处理

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.2.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

预处理

除了加载数据集,🤗 Datasets 的另一个主要目标是提供多样化的预处理函数,以便将数据集转换为适合使用机器学习框架进行训练的格式。

预处理数据集有许多种可能的方式,具体取决于你的数据集。有时你可能需要重命名列,有时则需要展开嵌套字段。🤗 Datasets 提供了一种完成其中大多数操作的方法。但在几乎所有的预处理场景中,根据你的数据集模态,你需要:

  • 对文本数据集进行分词。
  • 对音频数据集进行重采样。
  • 对图像数据集应用变换。

最后一个预处理步骤通常是设置数据集格式,使其与机器学习框架所期望的输入格式兼容。

在本教程中,您还需要安装 🤗 Transformers 库:

pip install transformers

选择一个你喜欢的数据集,跟着一起做吧!

对文本进行分词

模型无法处理原始文本,因此需要将文本转换为数字。分词(Tokenization)通过将文本拆分为称为 token 的独立单词来实现这一点。最后,这些 token 会被转换为数字。

请参阅 Hugging Face 课程第二章中的 Tokenizers 部分,以了解有关分词及不同分词算法的更多信息。

1. 首先加载 rotten_tomatoes 数据集以及与预训练 BERT 模型对应的分词器。使用与预训练模型相同的分词器非常重要,因为你需要确保文本以相同的方式被切分。

>>> from transformers import AutoTokenizer
>>> from datasets import load_dataset

>>> tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

2. 在数据集 text 的第一行上调用你的分词器:

>>> tokenizer(dataset[0]["text"])
{'input_ids': [101, 1103, 2067, 1110, 17348, 1106, 1129, 1103, 6880, 1432, 112, 188, 1207, 107, 14255, 1389, 107, 1105, 1115, 1119, 112, 188, 1280, 1106, 1294, 170, 24194, 1256, 3407, 1190, 170, 11791, 5253, 188, 1732, 7200, 10947, 12606, 2895, 117, 179, 7766, 118, 172, 15554, 1181, 3498, 6961, 3263, 1137, 188, 1566, 7912, 14516, 6997, 119, 102],
 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

分词器返回一个包含三个项的字典:

  • input_ids:表示文本中 token 的数字。
  • token_type_ids:当存在多个序列时,指示标记属于哪个序列。
  • attention_mask:指示某个 token 是否应被屏蔽。

这些值实际上是模型的输入。

3. 对整个数据集进行分词的最快方法是使用 map() 函数。该函数通过将分词器应用于示例批次而非单个示例来加速分词过程。将 batched 参数设置为 True:

>>> def tokenization(example):
...     return tokenizer(example["text"])

>>> dataset = dataset.map(tokenization, batched=True)

4. 将数据集的格式设置为与您的机器学习框架兼容:

Pytorch
Hide Pytorch content

使用 set_format() 函数将数据集格式设置为与 PyTorch 兼容:

>>> dataset.set_format(type="torch", columns=["input_ids", "token_type_ids", "attention_mask", "label"])
>>> dataset.format['type']
'torch'
TensorFlow
Hide TensorFlow content

使用 to_tf_dataset() 函数将数据集格式设置为与 TensorFlow 兼容。您还需要从 🤗 Transformers 中导入一个 data collator,以将不同长度的序列合并为一个长度相等的批次:

>>> from transformers import DataCollatorWithPadding

>>> data_collator = DataCollatorWithPadding(tokenizer=tokenizer, return_tensors="tf")
>>> tf_dataset = dataset.to_tf_dataset(
...     columns=["input_ids", "token_type_ids", "attention_mask"],
...     label_cols=["label"],
...     batch_size=2,
...     collate_fn=data_collator,
...     shuffle=True
... )

5. 数据集现已准备好,可用于您的机器学习框架进行训练!

对音频信号进行重采样

与文本数据集类似,音频输入需要被划分为离散的数据点。这被称为采样;采样率表示每秒捕获的语音信号量。务必确保您的数据集的采样率与您所使用的模型预训练时所用数据的采样率相匹配。如果采样率不同,由于无法识别采样率的差异,预训练模型在您的数据集上可能会表现不佳。

1. 首先加载 MInDS-14 数据集、Audio 特征以及对应于预训练 Wav2Vec2 模型的特征提取器:

>>> from transformers import AutoFeatureExtractor
>>> from datasets import load_dataset, Audio

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")
>>> dataset = load_dataset("PolyAI/minds14", "en-US", split="train")

2. 索引数据集的第一行。当调用数据集的 audio 列时,会自动对其进行解码和重采样:

>>> audio = dataset[0]["audio"]
>>> print(audio)
<datasets.features._torchcodec.AudioDecoder object at 0x11642b6a0>
>>> audio.get_all_samples().sample_rate
8000

3. 阅读数据集卡片非常有用,可以提供大量关于数据集的信息。快速浏览 MInDS-14 的数据集卡片可知,其采样率为 8kHz。同样,你也可以从模型卡片中获取关于模型的许多细节。Wav2Vec2 的模型卡片指出,它是在 16kHz 的语音音频上采样的。这意味着你需要对 MInDS-14 数据集进行上采样,以匹配模型的采样率。

使用 cast_column() 函数,并在 Audio 特征中设置 sampling_rate 参数,即可对音频信号进行上采样。此时调用 audio 列,音频将被解码并重采样为 16kHz:

>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16_000))
>>> audio = dataset[0]["audio"]
>>> print(audio)
<datasets.features._torchcodec.AudioDecoder object at 0x11642b6a0>
>>> audio.get_all_samples().sample_rate
16000

4. 使用 map() 函数将整个数据集重采样至 16kHz。该函数通过将特征提取器应用于示例批次而非单个示例来加速重采样过程。将 batched 参数设置为 True:

>>> def preprocess_function(examples):
...     audio_arrays = [x.get_all_samples().data[0].numpy() for x in examples["audio"]]
...     inputs = feature_extractor(
...         audio_arrays, sampling_rate=feature_extractor.sampling_rate, max_length=16000, truncation=True, padding="max_length"
...     )
...     return inputs

>>> dataset = dataset.map(preprocess_function, batched=True)

5. 数据集现已准备好,可用于您的机器学习框架进行训练!

应用数据增强

对图像数据集进行的最常见预处理是数据增强,该过程通过引入随机变化来改变图像,同时不改变数据的含义。这可以指改变图像的颜色属性,或随机裁剪图像。您可以自由使用任何数据增强库,🤗 Datasets 将帮助您将数据增强应用于数据集。

1. 首先加载 Beans 数据集、Image 特征以及与预训练 ViT 模型对应的特征提取器:

>>> from transformers import AutoImageProcessor
>>> from datasets import load_dataset, Image

>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224-in21k")
>>> dataset = load_dataset("AI-Lab-Makerere/beans", split="train")

2. 索引数据集的第一行。当你调用数据集的 image 列时,底层的 PIL 对象会自动解码为图像。

>>> dataset[0]["image"]
<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=500x500 at 0x7FE5A047CC70>

大多数图像模型要求图像处于 RGB 模式。Beans 图像已经是 RGB 模式,但如果你的数据集中包含其他模式的图像,可以使用 cast_column() 函数将模式设置为 RGB:

>>> dataset = dataset.cast_column("image", Image(mode="RGB"))

3. 现在让我们对图像应用数据增强。🤗 Datasets 可与任何增强库配合使用,在本示例中我们将使用 Albumentations。

Albumentations 是一个流行的图像增强库,提供了一套丰富的变换,包括空间级变换、像素级变换和混合级变换。

安装 Albumentations:

pip install albumentations

4. 使用 Albumentations 创建一个典型的增强流水线:

>>> import albumentations as A
>>> import numpy as np
>>> from PIL import Image

>>> transform = A.Compose([
...     A.RandomCrop(height=256, width=256, pad_if_needed=True, p=1),
...     A.HorizontalFlip(p=0.5),
...     A.ColorJitter(p=0.5)
... ])

5. 由于 🤗 Datasets 使用 PIL 图像,而 Albumentations 期望的是 NumPy 数组,因此你需要在两种格式之间进行转换:

>>> def albumentations_transforms(examples):
...     # Apply Albumentations transforms
...     transformed_images = []
...     for image in examples["image"]:
...         # Convert PIL to numpy array (OpenCV format)
...         image_np = np.array(image.convert("RGB"))
...         
...         # Apply Albumentations transforms
...         transformed_image = transform(image=image_np)["image"]
...         
...         # Convert back to PIL Image
...         pil_image = Image.fromarray(transformed_image)
...         transformed_images.append(pil_image)
...     
...     examples["pixel_values"] = transformed_images
...     return examples

6. 使用 with_transform() 应用转换:

>>> dataset = dataset.with_transform(albumentations_transforms)
>>> dataset[0]["pixel_values"]

使用 Albumentations 与 🤗 Datasets 时的关键点:

  • 在应用转换之前,将 PIL 图像转换为 NumPy 数组
  • Albumentations 返回一个字典,其中经过变换的图像位于 “image” 键下
  • 在转换后将结果转换回 PIL 格式

7. 数据集现已准备好,可用于使用您的机器学习框架进行训练!

Update on GitHub