# 読み込み方法

データセットのリスト表示と読み込みのメソッド:

## データセット[[datasets.load_dataset]]

#### datasets.load_dataset[[datasets.load_dataset]]

```python
datasets.load_dataset(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None, keep_in_memory: typing.Optional[bool] = None, save_infos: bool = False, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, streaming: bool = False, num_proc: typing.Optional[int] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1446)

**パラメータ:**

path (`str`) : データセットのパスまたは名前。 - `path` が HF hub 上のデータセットリポジトリの場合 (`huggingface_hub.list_datasets` で利用可能なデータセットをすべて一覧表示できます) -> リポジトリ内のサポートされているファイル (csv、json、parquet など) からデータセットを読み込みます。例: `'username/dataset_name'`、データファイルを含む HF hub 上のデータセットリポジトリ。 - `path` が HF Hub 上の Storage Bucket 内のディレクトリの場合 (`huggingface_hub.list_buckets` で自分のバケットを一覧表示できます) -> ディレクトリ内のサポートされているファイル (csv、json、parquet など) からデータセットを読み込みます。例: `'buckets/username/bucket_name/my_dataset'`。 - `path` がローカルディレクトリの場合 -> ディレクトリ内のサポートされているファイル (csv、json、parquet など) からデータセットを読み込みます。例: `'./path/to/directory/with/my/csv/data'`。 - `path` がデータセットビルダーの名前であり、`data_files` または `data_dir` が指定されている場合 (利用可能なビルダーは "json"、"csv"、"parquet"、"arrow"、"text"、"xml"、"webdataset"、"imagefolder"、"audiofolder"、"videofolder"、"meshfolder" です) -> `data_files` または `data_dir` 内のファイルからデータセットを読み込みます。例: `'parquet'`。 リモートのみを許可するには、`hf://` パス (例: `'hf://datasets/username/dataset_name'`) を使用します。 ローカルのみを許可するには、絶対パスを使用します。

name (`str`, *任意*) : データセット設定の名前を定義します。

data_dir (`str`, *任意*) : データセット設定の`data_dir`を定義します。汎用ビルダー（csv、text など）や Hub のデータセットに対して指定され、かつ`data_files`が`None`の場合、`os.path.join(data_dir, **)`を`data_files`として渡すのと同じ挙動となり、ディレクトリ内のすべてのファイルを参照します。

data_files (`str` または `Sequence` または `Mapping`、*任意*) : ソースデータファイルへのパス。

split (`Split` または `str`) : 読み込むデータの分割を指定します。`None` の場合、すべての分割（通常は `datasets.Split.TRAIN` と `datasets.Split.TEST`）を含む `dict` が返されます。値が指定された場合、単一の Dataset が返されます。分割は組み合わせたり、tensorflow-datasets と同様に指定したりできます。

cache_dir (`str`, *任意*) : データの読み書きに使用するディレクトリ。デフォルトは `"~/.cache/huggingface/datasets"` です。

features (`Features`、*任意*) : このデータセットで使用するフィーチャの型を設定します。

download_config ([DownloadConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadConfig), *任意*) : 特定のダウンロード設定パラメータ。

download_mode ([DownloadMode](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadMode) または `str`、デフォルトは `REUSE_DATASET_IF_EXISTS`) : ダウンロード/生成モード。

verification_mode ([VerificationMode](/docs/datasets/main/ja/package_reference/builder_classes#datasets.VerificationMode) または `str`、デフォルトは `BASIC_CHECKS`) : ダウンロード/処理されたデータセットの情報（チェックサム/サイズ/スプリット/...）に対して実行するチェックを決定する検証モード。

keep_in_memory (`bool`、デフォルトは`None`) : データセットをメモリ内にコピーするかどうか。`None`の場合、`datasets.config.IN_MEMORY_MAX_SIZE`をゼロ以外に設定して明示的に有効にしない限り、データセットはメモリ内にコピーされません。詳細は[パフォーマンスの改善](../cache#improve-performance)セクションを参照してください。

revision ([Version](/docs/datasets/main/ja/package_reference/builder_classes#datasets.Version) または `str`、*optional*) : 読み込むデータのバージョンです。Datasets Hub には各データセットが独自の git リポジトリを持つため、デフォルトのバージョン "main" は "main" ブランチに対応します。デフォルトの "main" 以外のバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。

token (`str` または `bool`、*省略可能*) : Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。`True` の場合、または指定されていない場合は、`"~/.huggingface"` からトークンを取得します。

streaming (`bool`、デフォルトは`False`) : `True`に設定すると、データファイルのダウンロードを行いません。代わりに、データセットを反復処理する際にデータを逐次ストリーミングします。この場合、代わりに[IterableDataset](/docs/datasets/main/ja/package_reference/main_classes#datasets.IterableDataset)または[IterableDatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.IterableDatasetDict)が返されます。ストリーミングは、txt、csv、jsonlなど反復処理をサポートするデータ形式を使用するデータセットで動作します。Jsonファイルは完全にダウンロードされる場合があります。また、リモートからのzipまたはgzipファイルのストリーミングはサポートされていますが、rarやxzなどの他の圧縮形式はまだサポートされていません。tgz形式ではストリーミングは許可されていません。

num_proc (`int`、*任意*、デフォルトは`None`) : データセットをローカルにダウンロードおよび生成する際のプロセス数。デフォルトではマルチプロセッシングは無効です。

storage_options (`dict`、*任意*、デフォルトは`None`) : **実験的**。データセットのファイルシステムバックエンドに渡すキー/値のペア（該当する場合）。

- ****config_kwargs** (追加のキーワード引数) : `BuilderConfig` に渡され、[DatasetBuilder](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DatasetBuilder) で使用されるキーワード引数。

**戻り値:** [Dataset](/docs/datasets/main/ja/package_reference/main_classes#datasets.Dataset) または [DatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.DatasetDict)

- `split`が`None`でない場合: 要求されたデータセット、
- `split`が`None`の場合、各分割を含む[DatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.DatasetDict)が返されます。

または [IterableDataset](/docs/datasets/main/ja/package_reference/main_classes#datasets.IterableDataset) または [IterableDatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.IterableDatasetDict): `streaming=True` の場合

- `split`が`None`でない場合、データセットが要求されます
- `split`が`None`の場合、各分割を含む`~datasets.streaming.IterableDatasetDict`が返されます。

Hugging Face Hubから、またはローカルからデータセットを読み込みます。

[Hub](https://huggingface.co/datasets) または `huggingface_hub.list_datasets` を使用して、データセットのリストを確認できます。

データセットは、汎用的な形式（JSON、CSV、Parquet など）のデータファイルと、場合によっては汎用的な構造（Webdataset、ImageFolder、AudioFolder、VideoFolder、MeshFolder など）を含むディレクトリです。

この関数は、内部で以下を行います:

1. データセットビルダーを読み込む:

   * データセット内で最も一般的なデータ形式を特定し、それに関連するビルダー（JSON、CSV、Parquet、Webdataset、ImageFolder、AudioFolder、MeshFolder など）を選択します。
   * ファイル名やディレクトリ名、またはYAML設定に基づいて、どのファイルがどの分割（例: train/test）に入るかを特定します
   * `data_files`を手動で指定し、使用するデータセットビルダー（例: "parquet"）を指定することも可能です。

2. データセットビルダーを実行します:

   一般的なケースでは:

   * データセットのデータファイルがローカルに存在しない、またはキャッシュされていない場合は、ダウンロードします。
   * データセットを、キャッシュ用の型付き Arrow テーブルとして処理・キャッシュします。

     Arrow table は、任意の長さを持ち、型付きのテーブルです。ネストされたオブジェクトを保存でき、numpy/pandas/python の汎用型にマッピングできます。ディスクから直接アクセスしたり、RAM に読み込んだり、Web 経由でストリーミングしたりすることも可能です。

   ストリーミングの場合:

   * ダウンロードやキャッシュは行いません。代わりに、データセットは遅延読み込みされ、反復処理時にオンザフライでストリーミングされます。

3. `split` で指定されたスプリット（デフォルト: すべて）から構築されたデータセットを返します。

例:

Hugging Face Hubからデータセットを読み込みます:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')
```

Hugging Face HubのStorage Bucketからデータセットを読み込む:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')
```

ローカルデータセットを読み込む:

```py
# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')
```

[IterableDataset](/docs/datasets/main/ja/package_reference/main_classes#datasets.IterableDataset)を読み込みます:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)
```

`ImageFolder` データセットビルダーで画像データセットを読み込みます:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')
```

#### datasets.load_from_disk[[datasets.load_from_disk]]

```python
datasets.load_from_disk(dataset_path: typing.Union[str, bytes, os.PathLike], keep_in_memory: typing.Optional[bool] = None, storage_options: typing.Optional[dict] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1704)

**パラメータ:**

dataset_path (`path-like`) : [Dataset](/docs/datasets/main/ja/package_reference/main_classes#datasets.Dataset)または[DatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.DatasetDict)のディレクトリへのパス (例: `"dataset/train"`) またはリモート URI (例: `"s3://my-bucket/dataset/train"`)。データセット/データセットディクショナリを読み込む元の場所を指定します。

keep_in_memory (`bool`、デフォルトは`None`) : データセットをメモリ内にコピーするかどうか。`None`の場合、`datasets.config.IN_MEMORY_MAX_SIZE`をゼロ以外に設定して明示的に有効にしない限り、データセットはメモリ内にコピーされません。詳細は[パフォーマンスの改善](../cache#improve-performance)セクションを参照してください。

storage_options (`dict`, *任意*) : ファイルシステムバックエンドに渡すキー/値のペア（該当する場合）。

**戻り値:** [Dataset](/docs/datasets/main/ja/package_reference/main_classes#datasets.Dataset) または [DatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.DatasetDict)

- `dataset_path`がデータセットのディレクトリパスの場合: 要求されたデータセット。
- `dataset_path`がデータセットディレクトリのパスである場合、各スプリットを含む[DatasetDict](/docs/datasets/main/ja/package_reference/main_classes#datasets.DatasetDict)が返されます。

以前に[save_to_disk()](/docs/datasets/main/ja/package_reference/main_classes#datasets.Dataset.save_to_disk)を使用して保存されたデータセットを、データセットディレクトリから、または`fsspec.spec.AbstractFileSystem`の任意の実装を用いてファイルシステムから読み込みます。

例:

```py
>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')
```

#### datasets.load_dataset_builder[[datasets.load_dataset_builder]]

```python
datasets.load_dataset_builder(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1187)

**パラメータ:**

path (`str`) : データセットのパスまたは名前。 - `path` が HF hub 上のデータセットリポジトリの場合 (`huggingface_hub.list_datasets` で利用可能なデータセットをすべて一覧表示できます) -> リポジトリ内のサポートされているファイル (csv、json、parquet など) からデータセットビルダーを読み込みます。例: `'username/dataset_name'`、データファイルを含む HF hub 上のデータセットリポジトリ。 - `path` が HF Hub 上の Storage Bucket 内のディレクトリの場合 (`huggingface_hub.list_buckets` で自分のバケットを一覧表示できます) -> ディレクトリ内のサポートされているファイル (csv、json、parquet など) からデータセットを読み込みます。例: `'buckets/username/bucket_name/my_dataset'`。 - `path` がローカルディレクトリの場合 -> ディレクトリ内のサポートされているファイル (csv、json、parquet など) からデータセットビルダーを読み込みます。例: `'./path/to/directory/with/my/csv/data'`。 - `path` がデータセットビルダーの名前であり、`data_files` または `data_dir` が指定されている場合 (利用可能なビルダーは "json"、"csv"、"parquet"、"arrow"、"text"、"xml"、"webdataset"、"imagefolder"、"audiofolder"、"videofolder"、"meshfolder" です) -> `data_files` または `data_dir` 内のファイルからデータセットビルダーを読み込みます。例: `'parquet'`。 リモートのみを許可するには、`hf://` パス (例: `'hf://datasets/username/dataset_name'`) を使用します。 ローカルのみを許可するには、絶対パスを使用します。

name (`str`, *任意*) : データセット設定の名前を定義します。

data_dir (`str`, *任意*) : データセット設定の`data_dir`を定義します。汎用ビルダー（csv、text など）や Hub のデータセットに対して指定され、かつ`data_files`が`None`の場合、`os.path.join(data_dir, **)`を`data_files`として渡すのと同じ挙動となり、ディレクトリ内のすべてのファイルを参照します。

data_files (`str` または `Sequence` または `Mapping`、*任意*) : ソースデータファイルへのパス。

cache_dir (`str`, *任意*) : データの読み書きに使用するディレクトリ。デフォルトは `"~/.cache/huggingface/datasets"` です。

features ([Features](/docs/datasets/main/ja/package_reference/main_classes#datasets.Features)、*任意*) : このデータセットで使用するfeaturesの型を設定します。

download_config ([DownloadConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadConfig), *任意*) : 特定のダウンロード設定パラメータ。

download_mode ([DownloadMode](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadMode) または `str`、デフォルトは `REUSE_DATASET_IF_EXISTS`) : ダウンロード/生成モード。

revision ([Version](/docs/datasets/main/ja/package_reference/builder_classes#datasets.Version) または `str`、*optional*) : 読み込むデータのバージョンです。Datasets Hub には各データセットが独自の git リポジトリを持つため、デフォルトのバージョン "main" は "main" ブランチに対応します。デフォルトの "main" 以外のバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。

token (`str` または `bool`、*省略可能*) : Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。`True` の場合、または指定されていない場合は、`"~/.huggingface"` からトークンを取得します。

storage_options (`dict`、*任意*、デフォルトは`None`) : **実験的**。データセットのファイルシステムバックエンドに渡すキー/値のペア（該当する場合）。

- ****config_kwargs** (追加のキーワード引数) : [BuilderConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.BuilderConfig) に渡され、[DatasetBuilder](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DatasetBuilder) で使用されるキーワード引数です。

**戻り値:**

[DatasetBuilder](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DatasetBuilder)

使用できるデータセットビルダーを読み込みます:

- データセットの構築に必要な一般的な情報（キャッシュディレクトリ、設定、データセット情報、特徴量、データファイルなど）を確認します
- Download and prepare the dataset as Arrow files in the cache
- ダウンロードやキャッシュを行わずにストリーミングデータセットを取得する

[Hub](https://huggingface.co/datasets) または `huggingface_hub.list_datasets` を使用して、データセットのリストを確認できます。

データセットは、汎用的な形式（JSON、CSV、Parquet など）のデータファイルと、場合によっては汎用的な構造（Webdataset、ImageFolder、AudioFolder、VideoFolder、MeshFolder など）を含むディレクトリです。

例:

```py
>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}
```

#### datasets.get_dataset_config_names[[datasets.get_dataset_config_names]]

```python
datasets.get_dataset_config_names(path: str, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, data_files: typing.Union[str, list, dict, NoneType] = None, **download_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L109)

**パラメータ:**

path (`str`) : データセットリポジトリへのパス。以下のいずれかです: - データファイルを含むデータセットディレクトリへのローカルパス。例: `'./dataset/squad'` - Hugging Face Hub 上のデータセット識別子 (`huggingface_hub.list_datasets` を使用して利用可能なデータセットと ID の一覧を表示できます)。例: `'rajpurkar/squad'`、`'nyu-mll/glue'` または `'openai/webtext'`

revision (`Union[str, datasets.Version]`, *省略可能*) : 指定した場合、このバージョンの datasets リポジトリからデータセットモジュールが読み込まれます。デフォルトでは、以下のようになります。 - ローカル環境のライブラリバージョンに設定されます。 - ローカル環境のライブラリバージョンで利用できない場合、メインブランチから読み込むことも試みます。 ローカル環境のライブラリバージョンと異なるバージョンを指定すると、互換性の問題が発生する可能性があります。

download_config ([DownloadConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadConfig), *任意*) : 特定のダウンロード設定パラメータ。

download_mode ([DownloadMode](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadMode) または `str`、デフォルトは `REUSE_DATASET_IF_EXISTS`) : ダウンロード/生成モード。

data_files (`Union[Dict, List, str]`、*任意*) : データセット設定の data_files を定義します。

- ****download_kwargs** (追加のキーワード引数) : [DownloadConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadConfig) の任意の属性です。指定された場合、`download_config` 内の属性を上書きします。例えば `token` などです。

特定のデータセットで利用可能な設定名のリストを取得します。

例:

```py
>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']
```

#### datasets.get_dataset_infos[[datasets.get_dataset_infos]]

```python
datasets.get_dataset_infos(path: str, data_files: typing.Union[str, list, dict, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L42)

**パラメータ:**

path (`str`) : データセットリポジトリへのパス。以下のいずれかです: - データファイルを含むデータセットディレクトリへのローカルパス。例: `'./dataset/squad'` - Hugging Face Hub 上のデータセット識別子 (`huggingface_hub.list_datasets` を使用して利用可能なデータセットと ID の一覧を表示できます)。例: `'rajpurkar/squad'`、`'nyu-mll/glue'` または `'openai/webtext'`

revision (`Union[str, datasets.Version]`, *省略可能*) : 指定した場合、このバージョンの datasets リポジトリからデータセットモジュールが読み込まれます。デフォルトでは、以下のようになります。 - ローカル環境のライブラリバージョンに設定されます。 - ローカル環境のライブラリバージョンで利用できない場合、メインブランチから読み込むことも試みます。 ローカル環境のライブラリバージョンと異なるバージョンを指定すると、互換性の問題が発生する可能性があります。

download_config ([DownloadConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadConfig), *任意*) : 特定のダウンロード設定パラメータ。

download_mode ([DownloadMode](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadMode) または `str`、デフォルトは `REUSE_DATASET_IF_EXISTS`) : ダウンロード/生成モード。

data_files (`Union[Dict, List, str]`、*任意*) : データセット設定の data_files を定義します。

token (`str` または `bool`、*省略可能*) : Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。`True` の場合、または指定されていない場合は、`"~/.huggingface"` からトークンを取得します。

- ****config_kwargs** (追加のキーワード引数) : 指定された場合、ビルダークラスの属性を上書きする任意の属性です。

…

例:

```py
>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}
```

#### datasets.get_dataset_split_names[[datasets.get_dataset_split_names]]

```python
datasets.get_dataset_split_names(path: str, config_name: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L295)

**パラメータ:**

path (`str`) : データセットリポジトリへのパス。以下のいずれかです: - データファイルを含むデータセットディレクトリへのローカルパス。例: `'./dataset/squad'` - Hugging Face Hub 上のデータセット識別子 (`huggingface_hub.list_datasets` を使用して利用可能なデータセットと ID の一覧を表示できます)。例: `'rajpurkar/squad'`、`'nyu-mll/glue'` または `'openai/webtext'`

config_name (`str`, *任意*) : データセット設定の名前を定義します。

data_files (`str` または `Sequence` または `Mapping`、*任意*) : ソースデータファイルへのパス。

download_config ([DownloadConfig](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadConfig), *任意*) : 特定のダウンロード設定パラメータ。

download_mode ([DownloadMode](/docs/datasets/main/ja/package_reference/builder_classes#datasets.DownloadMode) または `str`、デフォルトは `REUSE_DATASET_IF_EXISTS`) : ダウンロード/生成モード。

revision ([Version](/docs/datasets/main/ja/package_reference/builder_classes#datasets.Version) または `str`、*optional*) : 読み込むデータのバージョンです。Datasets Hub には各データセットが独自の git リポジトリを持つため、デフォルトのバージョン "main" は "main" ブランチに対応します。デフォルトの "main" 以外のバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。

token (`str` または `bool`、*省略可能*) : Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。`True` の場合、または指定されていない場合は、`"~/.huggingface"` からトークンを取得します。

- ****config_kwargs** (追加のキーワード引数) : 指定された場合、ビルダークラスの属性を上書きする任意の属性です。

特定のconfigとdatasetの、利用可能なスプリットのリストを取得します。

例:

```py
>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']
```

## ファイルから

データファイルの読み込みに使用される設定。ローカルファイルまたはデータセットリポジトリを読み込む際に使用されます。

- ローカルファイル: `load_dataset("parquet", data_dir="path/to/data/dir")`
- データセットリポジトリ: `load_dataset("allenai/c4")`

`load_dataset` に引数を渡すことで、データの読み込みを設定できます。例えば、`sep` パラメータを指定して、データの読み込みに使用される [CsvConfig](/docs/datasets/main/ja/package_reference/loading_methods#datasets.packaged_modules.csv.CsvConfig) を定義できます:

```python
load_dataset("csv", data_dir="path/to/data/dir", sep="\t")
```

### テキスト[[datasets.packaged_modules.text.TextConfig]]

#### datasets.packaged_modules.text.TextConfig[[datasets.packaged_modules.text.TextConfig]]

```python
datasets.packaged_modules.text.TextConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, chunksize: int = 10485760, keep_linebreaks: bool = False, sample_by: typing.Literal['line', 'paragraph', 'document'] = 'line')
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/text/text.py#L17)

**パラメータ:**

features : (`Features`, *任意*): データを`features`にキャストします。

encoding : (`str`、デフォルトは "utf-8"): ファイルをデコードするためのエンコーディング。

encoding_errors : (`str`, *省略可*): エンコーディングエラーが発生した場合の処理を定義するための引数です。`open()` の `error` 引数と同じです。

chunksize : (`Features`、*任意*、デフォルトは "10MB"): データを読み取るチャンクサイズ。

keep_linebreaks : (`bool`、デフォルトは False): 改行を保持するかどうか。

sample_by (`Literal["line", "paragraph", "document"]`、デフォルトは "line") : データを1行、1段落、または1文書単位で読み込むかどうかを指定します。デフォルトでは、データセットの1行 = 1行です。

テキストファイル用のBuilderConfig。

#### datasets.packaged_modules.text.Text[[datasets.packaged_modules.text.Text]]

```python
datasets.packaged_modules.text.Text(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/text/text.py#L45)

### CSV[[datasets.packaged_modules.csv.CsvConfig]]

#### datasets.packaged_modules.csv.CsvConfig[[datasets.packaged_modules.csv.CsvConfig]]

```python
datasets.packaged_modules.csv.CsvConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sep: str = ',', delimiter: typing.Optional[str] = None, header: typing.Union[int, list[int], str, NoneType] = 'infer', names: typing.Optional[list[str]] = None, column_names: typing.Optional[list[str]] = None, index_col: typing.Union[int, str, list[int], list[str], NoneType] = None, usecols: typing.Union[list[int], list[str], NoneType] = None, prefix: typing.Optional[str] = None, mangle_dupe_cols: bool = True, engine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = None, converters: dict = None, true_values: typing.Optional[list] = None, false_values: typing.Optional[list] = None, skipinitialspace: bool = False, skiprows: typing.Union[int, list[int], NoneType] = None, nrows: typing.Optional[int] = None, na_values: typing.Union[str, list[str], NoneType] = None, keep_default_na: bool = True, na_filter: bool = True, verbose: bool = False, skip_blank_lines: bool = True, thousands: typing.Optional[str] = None, decimal: str = '.', lineterminator: typing.Optional[str] = None, quotechar: str = '"', quoting: int = 0, escapechar: typing.Optional[str] = None, comment: typing.Optional[str] = None, encoding: typing.Optional[str] = None, dialect: typing.Optional[str] = None, error_bad_lines: bool = True, warn_bad_lines: bool = True, skipfooter: int = 0, doublequote: bool = True, memory_map: bool = False, float_precision: typing.Optional[str] = None, chunksize: int = 10000, features: typing.Optional[datasets.features.features.Features] = None, encoding_errors: typing.Optional[str] = 'strict', on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error', date_format: typing.Optional[str] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/csv/csv.py#L25)

CSV用のBuilderConfig。

#### datasets.packaged_modules.csv.Csv[[datasets.packaged_modules.csv.Csv]]

```python
datasets.packaged_modules.csv.Csv(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/csv/csv.py#L145)

### JSON[[datasets.packaged_modules.json.JsonConfig]]

#### datasets.packaged_modules.json.JsonConfig[[datasets.packaged_modules.json.JsonConfig]]

```python
datasets.packaged_modules.json.JsonConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, field: typing.Optional[str] = None, use_threads: bool = True, block_size: typing.Optional[int] = None, chunksize: int = 10485760, newlines_in_values: typing.Optional[bool] = None, on_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json', parse_agent_traces: bool = True)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/json/json.py#L46)

JSON用のBuilderConfig。

#### datasets.Json[[datasets.Json]]

```python
datasets.Json(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/json/json.py#L64)

### XML[[datasets.packaged_modules.xml.XmlConfig]]

#### datasets.packaged_modules.xml.XmlConfig[[datasets.packaged_modules.xml.XmlConfig]]

```python
datasets.packaged_modules.xml.XmlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/xml/xml.py#L15)

XMLファイル用のBuilderConfig。

#### datasets.packaged_modules.xml.Xml[[datasets.packaged_modules.xml.Xml]]

```python
datasets.packaged_modules.xml.Xml(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/xml/xml.py#L23)

### Parquet[[datasets.packaged_modules.parquet.ParquetConfig]]

#### datasets.packaged_modules.parquet.ParquetConfig[[datasets.packaged_modules.parquet.ParquetConfig]]

```python
datasets.packaged_modules.parquet.ParquetConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, fragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/parquet/parquet.py#L37)

**パラメータ:**

batch_size (`int`, *optional*) : 反復処理する RecordBatches のサイズです。デフォルトは row group のサイズ（最初の row group で定義される）です。

columns (`list[str]`、*任意*) : 読み込む列のリストです。その他の列は無視されます。デフォルトではすべての列が読み込まれます。

features : (`Features`, *任意*): データを`features`にキャストします。

filters (`Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]]`, *任意*) : フィルターに一致する行のみを返します。可能であれば、データソース内で見つかるパーティション情報や内部メタデータ（例: Parquet の統計情報）を活用するために、述語がプッシュダウンされます。それ以外の場合は、RecordBatches をロードしてから、それらを生成する前にフィルタリングします。

fragment_scan_options (`pyarrow.dataset.ParquetFragmentScanOptions`, *任意*) : Parquetフラグメントのスキャンに固有のオプションです。バッファリングやキャッシュの設定に特に役立ちます。

on_bad_files (`Literal["error", "warn", "skip"]`, *optional*, デフォルトは "error") : 読み込めないファイル（読み取り不能なファイル）に遭遇した場合の処理を指定します。許可される値は以下の通りです。 * 'error'、不良ファイルに遭遇した際に例外を発生させます。 * 'warn'、不良ファイルに遭遇した際に警告を発生させ、そのファイルをスキップします。 * 'skip'、不良ファイルに遭遇した際に、警告や例外を発生させずにスキップします。

Parquet用のBuilderConfig。

例:

カラムのサブセットを読み込む:

```python
>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])
```

データをストリーミングし、データを効率的にフィルタリングします。場合によっては、ファイル全体や行グループ全体をスキップすることもできます。

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)
```

ストリーミング時の最小リクエストサイズを32MiB（デフォルト）から128MiBに増加させ、プリフェッチを有効にします:

```python
>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)
```

#### datasets.packaged_modules.parquet.Parquet[[datasets.packaged_modules.parquet.Parquet]]

```python
datasets.packaged_modules.parquet.Parquet(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/parquet/parquet.py#L110)

### Arrow[[datasets.packaged_modules.arrow.ArrowConfig]]

#### datasets.packaged_modules.arrow.ArrowConfig[[datasets.packaged_modules.arrow.ArrowConfig]]

```python
datasets.packaged_modules.arrow.ArrowConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/arrow/arrow.py#L15)

Arrow用のBuilderConfig。

#### datasets.packaged_modules.arrow.Arrow[[datasets.packaged_modules.arrow.Arrow]]

```python
datasets.packaged_modules.arrow.Arrow(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/arrow/arrow.py#L24)

### Vortex[[datasets.packaged_modules.vortex.VortexConfig]]

#### datasets.packaged_modules.vortex.VortexConfig[[datasets.packaged_modules.vortex.VortexConfig]]

```python
datasets.packaged_modules.vortex.VortexConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/vortex/vortex.py#L54)

**パラメータ:**

batch_size (`int`, *optional*) : 反復処理する RecordBatches のサイズです。デフォルト値は Vortex スキャナーによって定義されます。

columns (`list[str]`、*任意*) : 読み込む列のリストです。その他の列は無視されます。デフォルトではすべての列が読み込まれます。

features : (`Features`, *任意*): データを`features`にキャストします。

filters (`Union[vortex.expr.Expr, list[tuple], list[list[tuple]]]`, *任意*) : フィルターに一致する行のみを返します。述語は Vortex スキャンにプッシュダウンされるため、一致する行のみが読み取られます。タプルのリストとして指定されたフィルター（Parquet ローダーが受け入れる DNF のような形式）は、Vortex 式に変換されます。Null は SQL のセマンティクスに従います。Null は比較を満足しないため、フィルタリング対象の列が Null の行は決して返されません。なお、`not in` は Null を除外しますが、Parquet ローダーは `~field.isin(values)` を構築するため Null がセットに含まれないと判断し、Null を保持します。

on_bad_files (`Literal["error", "warn", "skip"]`, *optional*, デフォルトは "error") : 読み込めないファイル（読み取り不能なファイル）に遭遇した場合の処理を指定します。許可される値は以下の通りです。 * 'error'、不良ファイルに遭遇した際に例外を発生させます。 * 'warn'、不良ファイルに遭遇した際に警告を発生させ、そのファイルをスキップします。 * 'skip'、不良ファイルに遭遇した際に、警告や例外を発生させずにスキップします。

Vortex用のBuilderConfig。

例:

カラムのサブセットを読み込む:

```python
>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])
```

データをストリーミングし、可能な場合はファイル全体やチャンクをスキップして、データを効率的にフィルタリングします:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)
```

#### datasets.packaged_modules.vortex.Vortex[[datasets.packaged_modules.vortex.Vortex]]

```python
datasets.packaged_modules.vortex.Vortex(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/vortex/vortex.py#L226)

### SQL[[datasets.packaged_modules.sql.SqlConfig]]

#### datasets.packaged_modules.sql.SqlConfig[[datasets.packaged_modules.sql.SqlConfig]]

```python
datasets.packaged_modules.sql.SqlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = None, con: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = None, index_col: typing.Union[str, list[str], NoneType] = None, coerce_float: bool = True, params: typing.Union[list, tuple, dict, NoneType] = None, parse_dates: typing.Union[list, dict, NoneType] = None, columns: typing.Optional[list[str]] = None, chunksize: typing.Optional[int] = 10000, features: typing.Optional[datasets.features.features.Features] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/sql/sql.py#L25)

SQL用のBuilderConfig。

#### datasets.packaged_modules.sql.Sql[[datasets.packaged_modules.sql.Sql]]

```python
datasets.packaged_modules.sql.Sql(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/sql/sql.py#L92)

### 画像[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

#### datasets.packaged_modules.imagefolder.ImageFolderConfig[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

```python
datasets.packaged_modules.imagefolder.ImageFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/imagefolder/imagefolder.py#L9)

ImageFolder用のBuilderConfig。

#### datasets.packaged_modules.imagefolder.ImageFolder[[datasets.packaged_modules.imagefolder.ImageFolder]]

```python
datasets.packaged_modules.imagefolder.ImageFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/imagefolder/imagefolder.py#L19)

### オーディオ[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

#### datasets.packaged_modules.audiofolder.AudioFolderConfig[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

```python
datasets.packaged_modules.audiofolder.AudioFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/audiofolder/audiofolder.py#L9)

AudioFolderのBuilder Config。

#### datasets.packaged_modules.audiofolder.AudioFolder[[datasets.packaged_modules.audiofolder.AudioFolder]]

```python
datasets.packaged_modules.audiofolder.AudioFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/audiofolder/audiofolder.py#L19)

### 動画[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

#### datasets.packaged_modules.videofolder.VideoFolderConfig[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

```python
datasets.packaged_modules.videofolder.VideoFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/videofolder/videofolder.py#L9)

ImageFolder用のBuilderConfig。

#### datasets.packaged_modules.videofolder.VideoFolder[[datasets.packaged_modules.videofolder.VideoFolder]]

```python
datasets.packaged_modules.videofolder.VideoFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/videofolder/videofolder.py#L19)

### HDF5[[datasets.packaged_modules.hdf5.HDF5Config]]

#### datasets.packaged_modules.hdf5.HDF5Config[[datasets.packaged_modules.hdf5.HDF5Config]]

```python
datasets.packaged_modules.hdf5.HDF5Config(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/hdf5/hdf5.py#L33)

HDF5用のBuilderConfig。

#### datasets.packaged_modules.hdf5.HDF5[[datasets.packaged_modules.hdf5.HDF5]]

```python
datasets.packaged_modules.hdf5.HDF5(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/hdf5/hdf5.py#L40)

HF拡張型を使用してHDF5ファイルをArrowテーブルに変換するArrowBasedBuilder

### TsFile[[datasets.packaged_modules.tsfile.TsFileConfig]]

#### datasets.packaged_modules.tsfile.TsFileConfig[[datasets.packaged_modules.tsfile.TsFileConfig]]

```python
datasets.packaged_modules.tsfile.TsFileConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, table_name: Optional[str] = None, columns: Optional[list[str]] = None, start_time: Optional[Any] = None, end_time: Optional[Any] = None, input_batch_size: int = 65536, output_batch_size: int = 32, features: Optional[datasets.Features] = None, on_bad_files: Literal['error', 'warn', 'skip'] = 'error', timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms', timestamp_tz: Optional[str] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/tsfile/tsfile.py#L143)

**パラメータ:**

table_name (*str*, *optional*) : 読み取るテーブルの名前。未設定の場合、最初の有効なファイル内で見つかった最初のテーブルが使用されます。検索は大文字小文字を区別しません。

columns (*list[str]*, *optional*) : 保持する FIELD 列のサブセット。TAG 列と TIME 列は*常に*返されます（デバイスとそのタイムラインを識別するため、除外できません）。TAG 列や TIME 列、またはすべてのファイルに存在しないフィールドを指す名前は、静かに解決されます。TAG/TIME は通常どおり出力され、一度も確認されなかったフィールドはすべて null の list 列になります。未設定の場合、すべての FIELD が返されます。

start_time, end_time (*datetime*、*date*、*pa.TimestampScalar*、ISO-8601 *str*、または *int*、*optional*) : 両端を含むタイムスタンプ範囲です。どちらかの境界を省略できます。`datetime` の値は、その値自身のタイムゾーン (naive な場合は UTC) で解釈されます。`int` は `timestamp_unit` における生のエポック値として解釈されます。

input_batch_size (*int*、*optional*、デフォルト値は 65_536) : `TsFileReader.query_table` から 1 つの Arrow バッチごとに取得する行の最大数。単一のデバイスをストリーミング処理する際のピークメモリを制御します。

output_batch_size (*int*、*optional*、デフォルト値は 32) : 各 Arrow レコードバッチにパッキングされるデバイス（出力データセットの行）の数です。また、データセットのプログレスバーが更新される粒度でもあります。値を小さくすると、デバイスごとの読み取りが遅い場合でもより反応の早いフィードバックが得られますが、大きくするとバッチごとのオーバーヘッドが減少します。

features (*Features*、*任意*) : 最終的な Features スキーマ。指定すると、入力ファイルに対するメタデータのスキャンがスキップされます。

on_bad_files (*Literal["error", "warn", "skip"]*, *optional*、デフォルトは "error") : ファイルが開けないか、要求されたテーブルがない場合の処理方法。

timestamp_unit (*Literal["s", "ms", "us", "ns"]*, *optional*, デフォルトは "ms") : タイムスタンプ列の時間単位。IoTDBのデフォルトはミリ秒です。

timestamp_tz (*str*, *任意*) : タイムスタンプ列のタイムゾーン。`None`はタイムゾーンなしを意味します。

TsFile（テーブルモデル）用のBuilderConfig — デバイスごとのワイド形式。

#### datasets.packaged_modules.tsfile.TsFile[[datasets.packaged_modules.tsfile.TsFile]]

```python
datasets.packaged_modules.tsfile.TsFile(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/tsfile/tsfile.py#L233)

TsFile（テーブルモデル）用のデバイスごとのワイドフォーマットビルダー。

### Pdf[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

#### datasets.packaged_modules.pdffolder.PdfFolderConfig[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

```python
datasets.packaged_modules.pdffolder.PdfFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/pdffolder/pdffolder.py#L9)

ImageFolder用のBuilderConfig。

#### datasets.packaged_modules.pdffolder.PdfFolder[[datasets.packaged_modules.pdffolder.PdfFolder]]

```python
datasets.packaged_modules.pdffolder.PdfFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/pdffolder/pdffolder.py#L19)

### Nifti[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

#### datasets.packaged_modules.niftifolder.NiftiFolderConfig[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

```python
datasets.packaged_modules.niftifolder.NiftiFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/niftifolder/niftifolder.py#L9)

NiftiFolderのBuilderConfig。

#### datasets.packaged_modules.niftifolder.NiftiFolder[[datasets.packaged_modules.niftifolder.NiftiFolder]]

```python
datasets.packaged_modules.niftifolder.NiftiFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/niftifolder/niftifolder.py#L20)

### WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

#### datasets.packaged_modules.webdataset.WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

```python
datasets.packaged_modules.webdataset.WebDataset(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/webdataset/webdataset.py#L20)

### Harbor[[datasets.packaged_modules.harbor.HarborConfig]]

#### datasets.packaged_modules.harbor.HarborConfig[[datasets.packaged_modules.harbor.HarborConfig]]

```python
datasets.packaged_modules.harbor.HarborConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, strip_canary: bool = True, include_files: bool = True)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/harbor/harbor.py#L95)

**パラメータ:**

features (`Features`、*任意*) : 生成された行をキャストするために使用される特徴量を設定します。デフォルトでは、Harbor タスクの特徴量が使用されます（`Harbor`を参照）。

strip_canary (`bool`、*任意*、デフォルトは`True`) : `instruction.md`および各ステップの指示から、Harbor がエージェントに送信する際に削除する先頭の「benchmark data canary」コメント行を削除します。

include_files (`bool`、*任意*、デフォルトは`True`) : `files`列に、すべてのタスク（`environment/`、`tests/`、`solution/`...）のファイルをリストします。リモートファイルシステム上のデータセットでは、タスクディレクトリのリスト表示をスキップすることで高速化できるため、`False`に設定できます。

Harborタスクリポジトリ用のBuilderConfig。

#### datasets.packaged_modules.harbor.Harbor[[datasets.packaged_modules.harbor.Harbor]]

```python
datasets.packaged_modules.harbor.Harbor(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/harbor/harbor.py#L116)

Harborタスクリポジトリのビルダー: タスクディレクトリごとに1行。

以下の機能を作成します:

- **name** (`str`) -- `task.toml` の `[task].name` における `org/name` 形式のタスク名、または `task.toml` に `[task]` セクションがない場合のタスクディレクトリ名。
- **description** (`str`) -- `task.toml` の `[task].description`。
- **instruction** (`str`) -- `instruction.md` の内容。
- **keywords** (`list` of `str`) -- `task.toml` の `[task].keywords`。
- **schema_version** (`str`) -- `task.toml` で宣言された `schema_version`。
- **config** (`dict`) -- `task.toml` 全体を JSON オブジェクトとして表したもの。
- **metadata** (`dict`) -- `task.toml`の自由形式の`[metadata]`セクション。
- **files** (`list` of `str`) -- タスクディレクトリからの相対パスで表された、タスクのすべてのファイル。
- **location** (`str`) -- データセットのルートからの相対パスで、タスクディレクトリのパス。

