# テーブルクラス

各`Dataset`オブジェクトはPyArrowのTableによって裏付けられています。Tableはディスクから（メモリマップドで）読み込むことも、メモリ内に読み込むこともできます。複数のTableタイプが利用可能で、すべて[table.Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)を継承しています。

## テーブル[[datasets.table.Table]]

#### datasets.table.Table[[datasets.table.Table]]

```python
datasets.table.Table(table: Table)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L210)

合成を用いて pyarrow の Table をラップします。これは`InMemoryTable`、`MemoryMappedTable`、`ConcatenationTable`の基底クラスです。

pyarrowのTableクラスの基本的な属性/メソッドをすべて実装していますが、Tableの変換（`slice, filter, flatten, combine_chunks, cast, add_column, append_column, remove_column, set_column, rename_columns`および`drop`）は除きます。

これらのメソッドの実装は、サブクラスによって異なります。

#### validate[[datasets.table.Table.validate]]

```python
validate(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L235)

**パラメータ:**

full (`bool`、デフォルトは`False`) : `True`の場合、コストの高いチェックを実行し、それ以外の場合はコストの低いチェックのみを実行します。

**例外:** ``pa.lib.ArrowInvalid``

- ``pa.lib.ArrowInvalid`` -- 検証に失敗した場合

検証チェックを実行します。検証に失敗した場合、例外が発生します。

デフォルトでは、低コストな検証チェックのみが実行されます。徹底的な検証チェック（`O(n)`になる可能性があります）を実行するには、`full=True`を渡してください。

#### equals[[datasets.table.Table.equals]]

```python
equals(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L251)

**パラメータ:**

other ([Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)) : 比較対象となるテーブル。

check_metadata `bool`、デフォルトは `False`) : スキーマのメタデータの等価性もチェックするかどうか。

**戻り値:** `bool`

2つのテーブルの内容が等しいかどうかを確認します。

#### to_batches[[datasets.table.Table.to_batches]]

```python
to_batches(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L268)

**パラメータ:**

max_chunksize (`int`、デフォルトは`None`) : `RecordBatch`チャンクの最大サイズ。個々のチャンクは、個々のカラムのチャンクレイアウトに応じて小さくなることがあります。

**戻り値:**

`List[pyarrow.RecordBatch]`

Tableを（連続した）`RecordBatch`オブジェクトのリストに変換します。

#### to_pydict[[datasets.table.Table.to_pydict]]

```python
to_pydict(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L282)

**戻り値:** `dict`

Tableを`dict`または`OrderedDict`に変換します。

#### to_pandas[[datasets.table.Table.to_pandas]]

```python
to_pandas(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L300)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : 割り当てに使用するArrowのMemoryPoolです。指定されない場合は、デフォルトのメモリプールが使用されます。

strings_to_categorical (`bool`、デフォルトは`False`) : 文字列 (UTF8) とバイナリ型を`pandas.Categorical`にエンコードします。

categories (`list`、デフォルトは`empty`) : `pandas.Categorical`として返されるべきフィールドのリスト。テーブル形式のデータ構造にのみ適用されます。

zero_copy_only (`bool`、デフォルトは`False`) : この関数呼び出しが基底データのコピーを必要とする場合、`ArrowException`を発生させます。

integer_object_nulls (`bool`、デフォルトは`False`) : null を含む整数をオブジェクトにキャストします。

date_as_object (`bool`、デフォルトは`True`) : 日付をオブジェクトにキャストします。`False`の場合、`datetime64[ns]`型に変換します。

timestamp_as_object (`bool`、デフォルトは`False`) : 非ナノ秒タイムスタンプ(`np.datetime64`)をオブジェクトにキャストします。これは、ナノ秒タイムスタンプの通常の日付範囲(西暦1678年〜西暦2262年)に収まらないタイムスタンプがある場合に便利です。`False`の場合、すべてのタイムスタンプは`datetime64[ns]`型に変換されます。

use_threads (`bool`、デフォルトは`True`) : 複数のスレッドを使用して変換を並列化するか。

deduplicate_objects (`bool`、デフォルトは`False`) : Pythonオブジェクトの作成時に複数のコピーを作成しないことで、メモリ使用量を節約します。変換は遅くなります。

ignore_metadata (`bool`、デフォルトは`False`) : `True`の場合、存在するDataFrameのインデックスを再構築するために'pandas'メタデータを使用しません。

safe (`bool`、デフォルトは`True`) : 特定のデータ型では、pandasのDataFrameまたはSeriesにデータを格納するためにキャストが必要です（例: タイムスタンプはpandasでは常にナノ秒で格納されます）。このオプションは、キャストが安全かどうかを制御します。

split_blocks (`bool`、デフォルトは`False`) : `True`の場合、`RecordBatch`または`Table`からpandas.DataFrameを作成する際、各カラムごとに1つの内部「ブロック」を生成します。これによりメモリ使用量が一時的に減少する可能性がありますが、pandasの様々な操作が「統合」をトリガーし、メモリ使用量が急増する可能性がある点にご注意ください。

self_destruct (`bool`、デフォルトは`False`) : 実験的機能: `True`の場合、Arrowオブジェクトをpandasに変換する際に、元のArrowメモリを解放しようとします。このオプションを指定して`to_pandas`を呼び出した後、そのオブジェクトを使用すると、プログラムがクラッシュします。

types_mapper (`function`、デフォルトは`None`) : pyarrowのDataTypeをpandasの`ExtensionDtype`にマッピングする関数。これは、組み込みのpyarrow型の変換におけるpandasのデフォルト型を上書きするために、またはTableスキーマに`pandas_metadata`が存在しない場合に使用できます。この関数はpyarrowのDataTypeを受け取り、その型に対してデフォルトの変換を使用する場合は`None`を、それ以外の場合はpandasの`ExtensionDtype`を返すことが期待されます。マッピング用の辞書を持っている場合は、`dict.get`を関数として渡すことができます。

**戻り値:** `pandas.Series` または `pandas.DataFrame`

オブジェクトの種類に応じて、`pandas.Series`または`pandas.DataFrame`

適切な場合、pandas 互換の NumPy 配列または DataFrame に変換します。

#### to_string[[datasets.table.Table.to_string]]

```python
to_string(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L362)

#### フィールド[[datasets.table.Table.field]]

```python
field(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L381)

**パラメータ:**

i (`Union[int, str]`) : 取得するフィールドのインデックスまたは名前。

**戻り値:**

`pyarrow.Field`

カラム名または数値インデックスを指定して、スキーマのフィールドを選択します。

#### column[[datasets.table.Table.column]]

```python
column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L394)

**パラメータ:**

i (`Union[int, str]`) : 取得する列のインデックスまたは名前。

**戻り値:**

`pyarrow.ChunkedArray`

カラム名または数値インデックスを指定してカラムを選択します。

#### itercolumns[[datasets.table.Table.itercolumns]]

```python
itercolumns(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L407)

**戻り値:**

`pyarrow.ChunkedArray`

数値順で全カラムを反復するイテレータ。

#### スキーマ[[datasets.table.Table.schema]]

```python
schema()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L416)

**戻り値:**

`pyarrow.Schema`

テーブルとそのカラムのスキーマ。

#### カラム[[datasets.table.Table.columns]]

```python
columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L426)

**戻り値:**

`List[pa.ChunkedArray]`

数値順で並べられたすべてのカラムのリスト。

#### num_columns[[datasets.table.Table.num_columns]]

```python
num_columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L436)

**戻り値:**

int

このテーブルの列数。

#### num_rows[[datasets.table.Table.num_rows]]

```python
num_rows()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L446)

**戻り値:**

int

このテーブルの行数。

テーブルの定義により、すべての列は同じ行数を持ちます。

#### shape[[datasets.table.Table.shape]]

```python
shape()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L459)

**戻り値:** `(int, int)`

行数と列数。

テーブルの次元: (#rows, #columns)。

#### nbytes[[datasets.table.Table.nbytes]]

```python
nbytes()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L469)

テーブルの要素が消費するバイト数の合計。

## InMemoryTable[[datasets.table.InMemoryTable]]

#### datasets.table.InMemoryTable[[datasets.table.InMemoryTable]]

```python
datasets.table.InMemoryTable(table: Table)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L695)

テーブルがユーザーの RAM に読み込まれている場合、そのテーブルはインメモリであると言われます。

ピクルス化は、メモリを使用してすべてのデータをコピーします。その実装はシンプルで、基盤となるpyarrowのTableメソッドを直接使用しています。

これは`MemoryMapped`テーブルとは異なり、ピクルス化時にメモリ内のすべてのデータをコピーしません。`MemoryMapped`の場合、アンピクルス化ではディスクからテーブルを再読み込みします。

`InMemoryTable`は、データがメモリに収まる場合に使用し、`MemoryMapped`は、データがメモリより大きい場合、またはアプリケーションのメモリ使用量を低く保ちたい場合に使用します。

#### validate[[datasets.table.InMemoryTable.validate]]

```python
validate(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L235)

**パラメータ:**

full (`bool`、デフォルトは`False`) : `True`の場合、コストの高いチェックを実行し、それ以外の場合はコストの低いチェックのみを実行します。

**例外:** ``pa.lib.ArrowInvalid``

- ``pa.lib.ArrowInvalid`` -- 検証に失敗した場合

検証チェックを実行します。検証に失敗した場合、例外が発生します。

デフォルトでは、低コストな検証チェックのみが実行されます。徹底的な検証チェック（`O(n)`になる可能性があります）を実行するには、`full=True`を渡してください。

#### equals[[datasets.table.InMemoryTable.equals]]

```python
equals(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L251)

**パラメータ:**

other ([Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)) : 比較対象となるテーブル。

check_metadata `bool`、デフォルトは `False`) : スキーマのメタデータの等価性もチェックするかどうか。

**戻り値:** `bool`

2つのテーブルの内容が等しいかどうかを確認します。

#### to_batches[[datasets.table.InMemoryTable.to_batches]]

```python
to_batches(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L268)

**パラメータ:**

max_chunksize (`int`、デフォルトは`None`) : `RecordBatch`チャンクの最大サイズ。個々のチャンクは、個々のカラムのチャンクレイアウトに応じて小さくなることがあります。

**戻り値:**

`List[pyarrow.RecordBatch]`

Tableを（連続した）`RecordBatch`オブジェクトのリストに変換します。

#### to_pydict[[datasets.table.InMemoryTable.to_pydict]]

```python
to_pydict(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L282)

**戻り値:** `dict`

Tableを`dict`または`OrderedDict`に変換します。

#### to_pandas[[datasets.table.InMemoryTable.to_pandas]]

```python
to_pandas(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L300)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : 割り当てに使用するArrowのMemoryPoolです。指定されない場合は、デフォルトのメモリプールが使用されます。

strings_to_categorical (`bool`、デフォルトは`False`) : 文字列 (UTF8) とバイナリ型を`pandas.Categorical`にエンコードします。

categories (`list`、デフォルトは`empty`) : `pandas.Categorical`として返されるべきフィールドのリスト。テーブル形式のデータ構造にのみ適用されます。

zero_copy_only (`bool`、デフォルトは`False`) : この関数呼び出しが基底データのコピーを必要とする場合、`ArrowException`を発生させます。

integer_object_nulls (`bool`、デフォルトは`False`) : null を含む整数をオブジェクトにキャストします。

date_as_object (`bool`、デフォルトは`True`) : 日付をオブジェクトにキャストします。`False`の場合、`datetime64[ns]`型に変換します。

timestamp_as_object (`bool`、デフォルトは`False`) : 非ナノ秒タイムスタンプ(`np.datetime64`)をオブジェクトにキャストします。これは、ナノ秒タイムスタンプの通常の日付範囲(西暦1678年〜西暦2262年)に収まらないタイムスタンプがある場合に便利です。`False`の場合、すべてのタイムスタンプは`datetime64[ns]`型に変換されます。

use_threads (`bool`、デフォルトは`True`) : 複数のスレッドを使用して変換を並列化するか。

deduplicate_objects (`bool`、デフォルトは`False`) : Pythonオブジェクトの作成時に複数のコピーを作成しないことで、メモリ使用量を節約します。変換は遅くなります。

ignore_metadata (`bool`、デフォルトは`False`) : `True`の場合、存在するDataFrameのインデックスを再構築するために'pandas'メタデータを使用しません。

safe (`bool`、デフォルトは`True`) : 特定のデータ型では、pandasのDataFrameまたはSeriesにデータを格納するためにキャストが必要です（例: タイムスタンプはpandasでは常にナノ秒で格納されます）。このオプションは、キャストが安全かどうかを制御します。

split_blocks (`bool`、デフォルトは`False`) : `True`の場合、`RecordBatch`または`Table`からpandas.DataFrameを作成する際、各カラムごとに1つの内部「ブロック」を生成します。これによりメモリ使用量が一時的に減少する可能性がありますが、pandasの様々な操作が「統合」をトリガーし、メモリ使用量が急増する可能性がある点にご注意ください。

self_destruct (`bool`、デフォルトは`False`) : 実験的機能: `True`の場合、Arrowオブジェクトをpandasに変換する際に、元のArrowメモリを解放しようとします。このオプションを指定して`to_pandas`を呼び出した後、そのオブジェクトを使用すると、プログラムがクラッシュします。

types_mapper (`function`、デフォルトは`None`) : pyarrowのDataTypeをpandasの`ExtensionDtype`にマッピングする関数。これは、組み込みのpyarrow型の変換におけるpandasのデフォルト型を上書きするために、またはTableスキーマに`pandas_metadata`が存在しない場合に使用できます。この関数はpyarrowのDataTypeを受け取り、その型に対してデフォルトの変換を使用する場合は`None`を、それ以外の場合はpandasの`ExtensionDtype`を返すことが期待されます。マッピング用の辞書を持っている場合は、`dict.get`を関数として渡すことができます。

**戻り値:** `pandas.Series` または `pandas.DataFrame`

オブジェクトの種類に応じて、`pandas.Series`または`pandas.DataFrame`

適切な場合、pandas 互換の NumPy 配列または DataFrame に変換します。

#### to_string[[datasets.table.InMemoryTable.to_string]]

```python
to_string(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L362)

#### フィールド[[datasets.table.InMemoryTable.field]]

```python
field(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L381)

**パラメータ:**

i (`Union[int, str]`) : 取得するフィールドのインデックスまたは名前。

**戻り値:**

`pyarrow.Field`

カラム名または数値インデックスを指定して、スキーマのフィールドを選択します。

#### column[[datasets.table.InMemoryTable.column]]

```python
column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L394)

**パラメータ:**

i (`Union[int, str]`) : 取得する列のインデックスまたは名前。

**戻り値:**

`pyarrow.ChunkedArray`

カラム名または数値インデックスを指定してカラムを選択します。

#### itercolumns[[datasets.table.InMemoryTable.itercolumns]]

```python
itercolumns(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L407)

**戻り値:**

`pyarrow.ChunkedArray`

数値順で全カラムを反復するイテレータ。

#### スキーマ[[datasets.table.InMemoryTable.schema]]

```python
schema()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L416)

**戻り値:**

`pyarrow.Schema`

テーブルとそのカラムのスキーマ。

#### カラム[[datasets.table.InMemoryTable.columns]]

```python
columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L426)

**戻り値:**

`List[pa.ChunkedArray]`

数値順で並べられたすべてのカラムのリスト。

#### num_columns[[datasets.table.InMemoryTable.num_columns]]

```python
num_columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L436)

**戻り値:**

int

このテーブルの列数。

#### num_rows[[datasets.table.InMemoryTable.num_rows]]

```python
num_rows()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L446)

**戻り値:**

int

このテーブルの行数。

テーブルの定義により、すべての列は同じ行数を持ちます。

#### shape[[datasets.table.InMemoryTable.shape]]

```python
shape()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L459)

**戻り値:** `(int, int)`

行数と列数。

テーブルの次元: (#rows, #columns)。

#### nbytes[[datasets.table.InMemoryTable.nbytes]]

```python
nbytes()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L469)

テーブルの要素が消費するバイト数の合計。

#### column_names[[datasets.table.InMemoryTable.column_names]]

```python
column_names()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L476)

テーブルの列の名前。

#### slice[[datasets.table.InMemoryTable.slice]]

```python
slice(offset = 0, length = None)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L859)

**パラメータ:**

offset (`int`、デフォルトは`0`) : テーブルの先頭からのオフセット。

length (`int`、デフォルトは`None`) : スライスの長さ（デフォルトでは、オフセットからテーブルの末尾まで）。

**戻り値:**

`datasets.table.Table`

このTableのゼロコピースライスを計算します。

#### フィルター[[datasets.table.InMemoryTable.filter]]

```python
filter(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L876)

Table からレコードを選択します。詳細な使用法については、`pyarrow.compute.filter`を参照してください。

#### flatten[[datasets.table.InMemoryTable.flatten]]

```python
flatten(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L882)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : メモリ割り当てに必要であれば指定し、それ以外の場合はデフォルトのプールを使用します。

**戻り値:**

`datasets.table.Table`

このTableをフラットにします。struct型の各カラムは、structのフィールドごとに1カラムずつにフラット化されます。その他のカラムは変更されません。

#### combine_chunks[[datasets.table.InMemoryTable.combine_chunks]]

```python
combine_chunks(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L896)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : メモリ割り当てに必要であれば指定し、それ以外の場合はデフォルトのプールを使用します。

**戻り値:**

`datasets.table.Table`

このテーブルが持つチャンクを結合して、新しいテーブルを作成します。

各カラムの`ChunkedArray`内のすべての基となるチャンクは、ゼロ個または1個のチャンクに連結されます。

#### キャスト[[datasets.table.InMemoryTable.cast]]

```python
cast(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L912)

**パラメータ:**

target_schema (`Schema`) : キャスト先のスキーマです。フィールドの名前と順序が一致する必要があります。

safe (`bool`、デフォルトは`True`) : オーバーフローやその他の安全でない変換を確認します。

**戻り値:**

`datasets.table.Table`

テーブルの値を別のスキーマにキャストします。

#### replace_schema_metadata[[datasets.table.InMemoryTable.replace_schema_metadata]]

```python
replace_schema_metadata(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L927)

**パラメータ:**

metadata (`dict`、デフォルトは`None`) --

**戻り値:** `datasets.table.Table`

shallow_copy

実験的機能: スキーマのキーと値のメタデータを指定された新しいメタデータ（`None`を指定すると、既存のメタデータが削除されます）に置き換えることで、テーブルの浅いコピーを作成します。

#### add_column[[datasets.table.InMemoryTable.add_column]]

```python
add_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L941)

**パラメータ:**

i (`int`) : 列を配置するインデックス。

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

追加されたカラムを含む新しいテーブル。

Tableの指定した位置に列を追加します。

追加されたカラムを含む新しいテーブルが返され、元のテーブルオブジェクトは変更されません。

#### append_column[[datasets.table.InMemoryTable.append_column]]

```python
append_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L962)

**パラメータ:**

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

追加されたカラムを含む新しいテーブル。

列の末尾に列を追加します。

#### remove_column[[datasets.table.InMemoryTable.remove_column]]

```python
remove_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L979)

**パラメータ:**

i (`int`) : 削除する列のインデックス。

**戻り値:** `datasets.table.Table`

その列を削除した新しいテーブル。

指定された列を削除した新しいTableを作成します。

#### set_column[[datasets.table.InMemoryTable.set_column]]

```python
set_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L993)

**パラメータ:**

i (`int`) : 列を配置するインデックス。

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

渡されたカラムセットを持つ新しいテーブル。

Tableの指定された位置の列を置き換えます。

#### rename_columns[[datasets.table.InMemoryTable.rename_columns]]

```python
rename_columns(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1012)

指定された名前に変更された列を持つ新しいテーブルを作成します。

#### 選択[[datasets.table.InMemoryTable.select]]

```python
select(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1035)

**パラメータ:**

columns (`Union[List[str], List[int]]`) : 選択する列名または整数インデックス。

**戻り値:** [datasets.table.Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)

指定された列を持つ新しいテーブルで、メタデータは保持されます。

テーブルの列を選択します。

指定された列とメタデータを保持した新しいテーブルを返します。

#### drop[[datasets.table.InMemoryTable.drop]]

```python
drop(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1018)

**パラメータ:**

columns (`List[str]`) : 既存の列を参照するフィールド名のリスト。

**戻り値:** `datasets.table.Table`

列を削除した新しいテーブル。

**例外:** ``KeyError``

- ``KeyError`` -- : 渡された列名が存在しない場合。

1つ以上の列を削除し、新しいテーブルを返します。

#### from_file[[datasets.table.InMemoryTable.from_file]]

```python
from_file(filename: str)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L719)

#### from_buffer[[datasets.table.InMemoryTable.from_buffer]]

```python
from_buffer(buffer: Buffer)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L724)

#### from_pandas[[datasets.table.InMemoryTable.from_pandas]]

```python
from_pandas(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L729)

**パラメータ:**

df (`pandas.DataFrame`) --

schema (`pyarrow.Schema`, *任意*) : Arrow Table の想定されるスキーマです。自動推論できない場合に、カラムの型を指定するために使用できます。指定された場合、出力はこのスキーマと完全に一致します。スキーマで指定されているが、DataFrame のカラムやインデックスに見つからないカラムがある場合はエラーが発生します。スキーマで指定されていない DataFrame の追加カラムやインデックスレベルは無視されます。

preserve_index (`bool`, *任意*) : 結果の`Table`にインデックスを追加の列として保存するかどうか。デフォルトのNoneでは、RangeIndexを除き、インデックスを列として保存します。RangeIndexはメタデータとしてのみ保存されます。インデックスを列として保存することを強制するには、`preserve_index=True`を使用してください。

nthreads (`int`、デフォルトは`None`（システムCPUの核数までのスレッドを使用する可能性があります）) : 1より大きい場合、指定されたスレッド数を使用して、列を並列でArrowに変換します。

columns (`List[str]`, *optional*) : 変換対象の列のリスト。`None`の場合、すべての列を使用します。

safe (`bool`、デフォルトは`True`) : オーバーフローやその他の安全でない変換を確認します。

**戻り値:** `datasets.table.Table`

pandas.DataFrame を Arrow Table に変換します。

結果として得られる Arrow Table のカラム型は、DataFrame 内の pandas.Series の dtype から推論されます。object 以外の Series の場合、NumPy の dtype はその Arrow 相当の型に変換されます。`object` の場合、この Series 内の Python オブジェクトを確認してデータ型を推測する必要があります。

`object` dtype の Series には、常に意味のある Arrow 型を導出するのに十分な情報が含まれていない点にご注意ください。DataFrame の長さが 0 である場合や、Series が `None/nan` オブジェクトのみを含む場合など、型を推論できない場合は、型は null に設定されます。この動作を回避するには、明示的なスキーマを構築し、この関数に渡すことができます。

例:
```python
>>> import pandas as pd
>>> import pyarrow as pa
>>> df = pd.DataFrame({
    ...     'int': [1, 2],
    ...     'str': ['a', 'b']
    ... })
>>> pa.Table.from_pandas(df)
<pyarrow.lib.Table object at 0x7f05d1fb1b40>
```

#### from_arrays[[datasets.table.InMemoryTable.from_arrays]]

```python
from_arrays(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L787)

**パラメータ:**

arrays (`List[Union[pyarrow.Array, pyarrow.ChunkedArray]]`) : テーブルを構成するべき、長さの等しい配列。

names (`List[str]`, *任意*) : テーブルの列名です。指定しない場合、schema を渡す必要があります。

schema (`Schema`、デフォルトは`None`) : 作成されるテーブルのスキーマ。指定しない場合は、名前を渡す必要があります。

metadata (`Union[dict, Mapping]`、デフォルトは`None`) : スキーマの任意のメタデータ（推論された場合）。

**戻り値:**

`datasets.table.Table`

Arrow配列からTableを構築します。

#### from_pydict[[datasets.table.InMemoryTable.from_pydict]]

```python
from_pydict(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L807)

**パラメータ:**

mapping (`Union[dict, Mapping]`) : 文字列から配列または Python のリストへのマッピング。

schema (`Schema`、デフォルトは`None`) : 指定されない場合、Mappingの値から推論されます

metadata (`Union[dict, Mapping]`、デフォルトは`None`) : スキーマの任意のメタデータ（推論された場合）。

**戻り値:**

`datasets.table.Table`

Arrow配列またはカラムからTableを構築します。

#### from_batches[[datasets.table.InMemoryTable.from_batches]]

```python
from_batches(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L843)

**パラメータ:**

batches (`Union[Sequence[pyarrow.RecordBatch], Iterator[pyarrow.RecordBatch]]`) : 変換対象の`RecordBatch`のシーケンス。すべてのスキーマは等しくなければなりません。

schema (`Schema`、デフォルトは`None`) : 指定されない場合、最初の`RecordBatch`から推論されます。

**戻り値:** `datasets.table.Table`

`RecordBatches` のシーケンスまたはイテレータから Table を構築します。

## MemoryMappedTable[[datasets.table.MemoryMappedTable]]

#### datasets.table.MemoryMappedTable[[datasets.table.MemoryMappedTable]]

```python
datasets.table.MemoryMappedTable(table: Table, path: str, replays: typing.Optional[list[tuple[str, tuple, dict]]] = None)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1055)

テーブルがユーザーのRAMを使用せず、代わりにディスクからデータをロードする場合、そのテーブルはメモリマップドであるとされます。

ピクルス化しても、データをメモリにコピーしません。代わりに、メモリマップされたarrowファイルへのパスと、ディスクからテーブルを再読み込みする際に「リプレイ」する変換のリストのみがピクルス化されます。

その実装には、ディスクから Table を再読み込みした際に「リプレイ」できるように、基盤となる pyarrow Table に適用されたすべての transform の履歴を保存する必要があります。

これは`InMemoryTable`テーブルとは異なり、後者ではピクルス化によってメモリ内のデータがすべてコピーされます。

`InMemoryTable`は、データがメモリに収まる場合に使用し、`MemoryMapped`は、データがメモリより大きい場合、またはアプリケーションのメモリ使用量を低く保ちたい場合に使用します。

#### validate[[datasets.table.MemoryMappedTable.validate]]

```python
validate(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L235)

**パラメータ:**

full (`bool`、デフォルトは`False`) : `True`の場合、コストの高いチェックを実行し、それ以外の場合はコストの低いチェックのみを実行します。

**例外:** ``pa.lib.ArrowInvalid``

- ``pa.lib.ArrowInvalid`` -- 検証に失敗した場合

検証チェックを実行します。検証に失敗した場合、例外が発生します。

デフォルトでは、低コストな検証チェックのみが実行されます。徹底的な検証チェック（`O(n)`になる可能性があります）を実行するには、`full=True`を渡してください。

#### equals[[datasets.table.MemoryMappedTable.equals]]

```python
equals(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L251)

**パラメータ:**

other ([Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)) : 比較対象となるテーブル。

check_metadata `bool`、デフォルトは `False`) : スキーマのメタデータの等価性もチェックするかどうか。

**戻り値:** `bool`

2つのテーブルの内容が等しいかどうかを確認します。

#### to_batches[[datasets.table.MemoryMappedTable.to_batches]]

```python
to_batches(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L268)

**パラメータ:**

max_chunksize (`int`、デフォルトは`None`) : `RecordBatch`チャンクの最大サイズ。個々のチャンクは、個々のカラムのチャンクレイアウトに応じて小さくなることがあります。

**戻り値:**

`List[pyarrow.RecordBatch]`

Tableを（連続した）`RecordBatch`オブジェクトのリストに変換します。

#### to_pydict[[datasets.table.MemoryMappedTable.to_pydict]]

```python
to_pydict(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L282)

**戻り値:** `dict`

Tableを`dict`または`OrderedDict`に変換します。

#### to_pandas[[datasets.table.MemoryMappedTable.to_pandas]]

```python
to_pandas(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L300)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : 割り当てに使用するArrowのMemoryPoolです。指定されない場合は、デフォルトのメモリプールが使用されます。

strings_to_categorical (`bool`、デフォルトは`False`) : 文字列 (UTF8) とバイナリ型を`pandas.Categorical`にエンコードします。

categories (`list`、デフォルトは`empty`) : `pandas.Categorical`として返されるべきフィールドのリスト。テーブル形式のデータ構造にのみ適用されます。

zero_copy_only (`bool`、デフォルトは`False`) : この関数呼び出しが基底データのコピーを必要とする場合、`ArrowException`を発生させます。

integer_object_nulls (`bool`、デフォルトは`False`) : null を含む整数をオブジェクトにキャストします。

date_as_object (`bool`、デフォルトは`True`) : 日付をオブジェクトにキャストします。`False`の場合、`datetime64[ns]`型に変換します。

timestamp_as_object (`bool`、デフォルトは`False`) : 非ナノ秒タイムスタンプ(`np.datetime64`)をオブジェクトにキャストします。これは、ナノ秒タイムスタンプの通常の日付範囲(西暦1678年〜西暦2262年)に収まらないタイムスタンプがある場合に便利です。`False`の場合、すべてのタイムスタンプは`datetime64[ns]`型に変換されます。

use_threads (`bool`、デフォルトは`True`) : 複数のスレッドを使用して変換を並列化するか。

deduplicate_objects (`bool`、デフォルトは`False`) : Pythonオブジェクトの作成時に複数のコピーを作成しないことで、メモリ使用量を節約します。変換は遅くなります。

ignore_metadata (`bool`、デフォルトは`False`) : `True`の場合、存在するDataFrameのインデックスを再構築するために'pandas'メタデータを使用しません。

safe (`bool`、デフォルトは`True`) : 特定のデータ型では、pandasのDataFrameまたはSeriesにデータを格納するためにキャストが必要です（例: タイムスタンプはpandasでは常にナノ秒で格納されます）。このオプションは、キャストが安全かどうかを制御します。

split_blocks (`bool`、デフォルトは`False`) : `True`の場合、`RecordBatch`または`Table`からpandas.DataFrameを作成する際、各カラムごとに1つの内部「ブロック」を生成します。これによりメモリ使用量が一時的に減少する可能性がありますが、pandasの様々な操作が「統合」をトリガーし、メモリ使用量が急増する可能性がある点にご注意ください。

self_destruct (`bool`、デフォルトは`False`) : 実験的機能: `True`の場合、Arrowオブジェクトをpandasに変換する際に、元のArrowメモリを解放しようとします。このオプションを指定して`to_pandas`を呼び出した後、そのオブジェクトを使用すると、プログラムがクラッシュします。

types_mapper (`function`、デフォルトは`None`) : pyarrowのDataTypeをpandasの`ExtensionDtype`にマッピングする関数。これは、組み込みのpyarrow型の変換におけるpandasのデフォルト型を上書きするために、またはTableスキーマに`pandas_metadata`が存在しない場合に使用できます。この関数はpyarrowのDataTypeを受け取り、その型に対してデフォルトの変換を使用する場合は`None`を、それ以外の場合はpandasの`ExtensionDtype`を返すことが期待されます。マッピング用の辞書を持っている場合は、`dict.get`を関数として渡すことができます。

**戻り値:** `pandas.Series` または `pandas.DataFrame`

オブジェクトの種類に応じて、`pandas.Series`または`pandas.DataFrame`

適切な場合、pandas 互換の NumPy 配列または DataFrame に変換します。

#### to_string[[datasets.table.MemoryMappedTable.to_string]]

```python
to_string(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L362)

#### フィールド[[datasets.table.MemoryMappedTable.field]]

```python
field(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L381)

**パラメータ:**

i (`Union[int, str]`) : 取得するフィールドのインデックスまたは名前。

**戻り値:**

`pyarrow.Field`

カラム名または数値インデックスを指定して、スキーマのフィールドを選択します。

#### column[[datasets.table.MemoryMappedTable.column]]

```python
column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L394)

**パラメータ:**

i (`Union[int, str]`) : 取得する列のインデックスまたは名前。

**戻り値:**

`pyarrow.ChunkedArray`

カラム名または数値インデックスを指定してカラムを選択します。

#### itercolumns[[datasets.table.MemoryMappedTable.itercolumns]]

```python
itercolumns(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L407)

**戻り値:**

`pyarrow.ChunkedArray`

数値順で全カラムを反復するイテレータ。

#### スキーマ[[datasets.table.MemoryMappedTable.schema]]

```python
schema()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L416)

**戻り値:**

`pyarrow.Schema`

テーブルとそのカラムのスキーマ。

#### カラム[[datasets.table.MemoryMappedTable.columns]]

```python
columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L426)

**戻り値:**

`List[pa.ChunkedArray]`

数値順で並べられたすべてのカラムのリスト。

#### num_columns[[datasets.table.MemoryMappedTable.num_columns]]

```python
num_columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L436)

**戻り値:**

int

このテーブルの列数。

#### num_rows[[datasets.table.MemoryMappedTable.num_rows]]

```python
num_rows()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L446)

**戻り値:**

int

このテーブルの行数。

テーブルの定義により、すべての列は同じ行数を持ちます。

#### shape[[datasets.table.MemoryMappedTable.shape]]

```python
shape()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L459)

**戻り値:** `(int, int)`

行数と列数。

テーブルの次元: (#rows, #columns)。

#### nbytes[[datasets.table.MemoryMappedTable.nbytes]]

```python
nbytes()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L469)

テーブルの要素が消費するバイト数の合計。

#### column_names[[datasets.table.MemoryMappedTable.column_names]]

```python
column_names()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L476)

テーブルの列の名前。

#### slice[[datasets.table.MemoryMappedTable.slice]]

```python
slice(offset = 0, length = None)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1114)

**パラメータ:**

offset (`int`、デフォルトは`0`) : テーブルの先頭からのオフセット。

length (`int`、デフォルトは`None`) : スライスの長さ（デフォルトでは、オフセットからテーブルの末尾まで）。

**戻り値:**

`datasets.table.Table`

このTableのゼロコピースライスを計算します。

#### フィルター[[datasets.table.MemoryMappedTable.filter]]

```python
filter(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1133)

Table からレコードを選択します。詳細な使用法については、`pyarrow.compute.filter`を参照してください。

#### flatten[[datasets.table.MemoryMappedTable.flatten]]

```python
flatten(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1141)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : メモリ割り当てに必要であれば指定し、それ以外の場合はデフォルトのプールを使用します。

**戻り値:**

`datasets.table.Table`

このTableをフラットにします。struct型の各カラムは、structのフィールドごとに1カラムずつにフラット化されます。その他のカラムは変更されません。

#### combine_chunks[[datasets.table.MemoryMappedTable.combine_chunks]]

```python
combine_chunks(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1157)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : メモリ割り当てに必要であれば指定し、それ以外の場合はデフォルトのプールを使用します。

**戻り値:**

`datasets.table.Table`

このテーブルが持つチャンクを結合して、新しいテーブルを作成します。

各カラムのChunkedArrayに含まれるすべての基盤となるチャンクは、ゼロ個または1個のチャンクに連結されます。

#### キャスト[[datasets.table.MemoryMappedTable.cast]]

```python
cast(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1175)

**パラメータ:**

target_schema (`Schema`) : キャスト先のスキーマです。フィールドの名前と順序が一致する必要があります。

safe (`bool`、デフォルトは`True`) : オーバーフローやその他の安全でない変換を確認します。

**戻り値:**

`datasets.table.Table`

テーブルの値を別のスキーマにキャストする

#### replace_schema_metadata[[datasets.table.MemoryMappedTable.replace_schema_metadata]]

```python
replace_schema_metadata(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1192)

**パラメータ:**

metadata (`dict`、デフォルトは`None`) --

**戻り値:** `datasets.table.Table`

shallow_copy

実験的機能: スキーマのキーと値のメタデータを指定された新しいメタデータ（Noneを指定すると、既存のメタデータが削除されます）に置き換えることで、テーブルの浅いコピーを作成します。

#### add_column[[datasets.table.MemoryMappedTable.add_column]]

```python
add_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1208)

**パラメータ:**

i (`int`) : 列を配置するインデックス。

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

追加されたカラムを含む新しいテーブル。

Tableの指定した位置に列を追加します。

追加されたカラムを含む新しいテーブルが返され、元のテーブルオブジェクトは変更されません。

#### append_column[[datasets.table.MemoryMappedTable.append_column]]

```python
append_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1231)

**パラメータ:**

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

追加されたカラムを含む新しいテーブル。

列の末尾に列を追加します。

#### remove_column[[datasets.table.MemoryMappedTable.remove_column]]

```python
remove_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1250)

**パラメータ:**

i (`int`) : 削除する列のインデックス。

**戻り値:** `datasets.table.Table`

その列を削除した新しいテーブル。

指定された列を削除した新しいTableを作成します。

#### set_column[[datasets.table.MemoryMappedTable.set_column]]

```python
set_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1266)

**パラメータ:**

i (`int`) : 列を配置するインデックス。

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

渡されたカラムセットを持つ新しいテーブル。

Tableの指定された位置の列を置き換えます。

#### rename_columns[[datasets.table.MemoryMappedTable.rename_columns]]

```python
rename_columns(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1287)

指定された名前に変更された列を持つ新しいテーブルを作成します。

#### 選択[[datasets.table.MemoryMappedTable.select]]

```python
select(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1314)

**パラメータ:**

columns (`Union[List[str], List[int]]`) : 選択する列名または整数インデックス。

**戻り値:** [datasets.table.Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)

指定された列を持つ新しいテーブルで、メタデータは保持されます。

テーブルの列を選択します。

指定された列とメタデータを保持した新しいテーブルを返します。

#### drop[[datasets.table.MemoryMappedTable.drop]]

```python
drop(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1295)

**パラメータ:**

columns (`List[str]`) : 既存の列を参照するフィールド名のリスト。

**戻り値:** `datasets.table.Table`

列を削除した新しいテーブル。

**例外:** ``KeyError``

- ``KeyError`` -- : 渡された列名が存在しない場合。

1つ以上の列を削除し、新しいテーブルを返します。

#### from_file[[datasets.table.MemoryMappedTable.from_file]]

```python
from_file(filename: str, replays = None)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1081)

## ConcatenationTable[[datasets.table.ConcatenationTable]]

#### datasets.table.ConcatenationTable[[datasets.table.ConcatenationTable]]

```python
datasets.table.ConcatenationTable(table: Table, blocks: list)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1339)

このテーブルは、ブロックと呼ばれる複数のテーブルを連結して構成されています。軸0（行の追加）と軸1（列の追加）の両方で連結を行うことができます。

基盤となるテーブルは「ブロック」と呼ばれ、`InMemoryTable`または`MemoryMappedTable`オブジェクトのいずれかです。これにより、メモリ由来のテーブルとメモリマップされたテーブルを組み合わせることができます。`ConcatenationTable`がピクルス化されると、各ブロックがピクルス化されます:
- `InMemoryTable` オブジェクトは、メモリ内のデータをすべてコピーすることによってピクルス化されます。
- MemoryMappedTableオブジェクトは、データをメモリにコピーせずにピクルス化されます。
代わりに、メモリマップされたarrowファイルへのパスと、ディスクからテーブルを再読み込みする際に「リプレイ」する変換のリストのみがpickle化されます。

その実装では、各ブロックを個別に保存する必要があります。`blocks` 属性は、ブロックのリストのリストを保持します。第1軸はテーブルを軸 0 方向に連結します（行を追加します）。一方、第2軸はテーブルを軸 1 方向に連結します（列を追加します）。

axis 0 で結合する際に一部の列が欠落している場合、null 値で埋められます。これは `pyarrow.concat_tables(tables, promote=True)` を使用して行われます。

`ConcatenationTable.table` 属性にアクセスすることで完全に結合されたテーブルに、`ConcatenationTable.blocks` 属性にアクセスすることでブロックにアクセスできます。

#### validate[[datasets.table.ConcatenationTable.validate]]

```python
validate(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L235)

**パラメータ:**

full (`bool`、デフォルトは`False`) : `True`の場合、コストの高いチェックを実行し、それ以外の場合はコストの低いチェックのみを実行します。

**例外:** ``pa.lib.ArrowInvalid``

- ``pa.lib.ArrowInvalid`` -- 検証に失敗した場合

検証チェックを実行します。検証に失敗した場合、例外が発生します。

デフォルトでは、低コストな検証チェックのみが実行されます。徹底的な検証チェック（`O(n)`になる可能性があります）を実行するには、`full=True`を渡してください。

#### equals[[datasets.table.ConcatenationTable.equals]]

```python
equals(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L251)

**パラメータ:**

other ([Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)) : 比較対象となるテーブル。

check_metadata `bool`、デフォルトは `False`) : スキーマのメタデータの等価性もチェックするかどうか。

**戻り値:** `bool`

2つのテーブルの内容が等しいかどうかを確認します。

#### to_batches[[datasets.table.ConcatenationTable.to_batches]]

```python
to_batches(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L268)

**パラメータ:**

max_chunksize (`int`、デフォルトは`None`) : `RecordBatch`チャンクの最大サイズ。個々のチャンクは、個々のカラムのチャンクレイアウトに応じて小さくなることがあります。

**戻り値:**

`List[pyarrow.RecordBatch]`

Tableを（連続した）`RecordBatch`オブジェクトのリストに変換します。

#### to_pydict[[datasets.table.ConcatenationTable.to_pydict]]

```python
to_pydict(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L282)

**戻り値:** `dict`

Tableを`dict`または`OrderedDict`に変換します。

#### to_pandas[[datasets.table.ConcatenationTable.to_pandas]]

```python
to_pandas(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L300)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : 割り当てに使用するArrowのMemoryPoolです。指定されない場合は、デフォルトのメモリプールが使用されます。

strings_to_categorical (`bool`、デフォルトは`False`) : 文字列 (UTF8) とバイナリ型を`pandas.Categorical`にエンコードします。

categories (`list`、デフォルトは`empty`) : `pandas.Categorical`として返されるべきフィールドのリスト。テーブル形式のデータ構造にのみ適用されます。

zero_copy_only (`bool`、デフォルトは`False`) : この関数呼び出しが基底データのコピーを必要とする場合、`ArrowException`を発生させます。

integer_object_nulls (`bool`、デフォルトは`False`) : null を含む整数をオブジェクトにキャストします。

date_as_object (`bool`、デフォルトは`True`) : 日付をオブジェクトにキャストします。`False`の場合、`datetime64[ns]`型に変換します。

timestamp_as_object (`bool`、デフォルトは`False`) : 非ナノ秒タイムスタンプ(`np.datetime64`)をオブジェクトにキャストします。これは、ナノ秒タイムスタンプの通常の日付範囲(西暦1678年〜西暦2262年)に収まらないタイムスタンプがある場合に便利です。`False`の場合、すべてのタイムスタンプは`datetime64[ns]`型に変換されます。

use_threads (`bool`、デフォルトは`True`) : 複数のスレッドを使用して変換を並列化するか。

deduplicate_objects (`bool`、デフォルトは`False`) : Pythonオブジェクトの作成時に複数のコピーを作成しないことで、メモリ使用量を節約します。変換は遅くなります。

ignore_metadata (`bool`、デフォルトは`False`) : `True`の場合、存在するDataFrameのインデックスを再構築するために'pandas'メタデータを使用しません。

safe (`bool`、デフォルトは`True`) : 特定のデータ型では、pandasのDataFrameまたはSeriesにデータを格納するためにキャストが必要です（例: タイムスタンプはpandasでは常にナノ秒で格納されます）。このオプションは、キャストが安全かどうかを制御します。

split_blocks (`bool`、デフォルトは`False`) : `True`の場合、`RecordBatch`または`Table`からpandas.DataFrameを作成する際、各カラムごとに1つの内部「ブロック」を生成します。これによりメモリ使用量が一時的に減少する可能性がありますが、pandasの様々な操作が「統合」をトリガーし、メモリ使用量が急増する可能性がある点にご注意ください。

self_destruct (`bool`、デフォルトは`False`) : 実験的機能: `True`の場合、Arrowオブジェクトをpandasに変換する際に、元のArrowメモリを解放しようとします。このオプションを指定して`to_pandas`を呼び出した後、そのオブジェクトを使用すると、プログラムがクラッシュします。

types_mapper (`function`、デフォルトは`None`) : pyarrowのDataTypeをpandasの`ExtensionDtype`にマッピングする関数。これは、組み込みのpyarrow型の変換におけるpandasのデフォルト型を上書きするために、またはTableスキーマに`pandas_metadata`が存在しない場合に使用できます。この関数はpyarrowのDataTypeを受け取り、その型に対してデフォルトの変換を使用する場合は`None`を、それ以外の場合はpandasの`ExtensionDtype`を返すことが期待されます。マッピング用の辞書を持っている場合は、`dict.get`を関数として渡すことができます。

**戻り値:** `pandas.Series` または `pandas.DataFrame`

オブジェクトの種類に応じて、`pandas.Series`または`pandas.DataFrame`

適切な場合、pandas 互換の NumPy 配列または DataFrame に変換します。

#### to_string[[datasets.table.ConcatenationTable.to_string]]

```python
to_string(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L362)

#### フィールド[[datasets.table.ConcatenationTable.field]]

```python
field(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L381)

**パラメータ:**

i (`Union[int, str]`) : 取得するフィールドのインデックスまたは名前。

**戻り値:**

`pyarrow.Field`

カラム名または数値インデックスを指定して、スキーマのフィールドを選択します。

#### column[[datasets.table.ConcatenationTable.column]]

```python
column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L394)

**パラメータ:**

i (`Union[int, str]`) : 取得する列のインデックスまたは名前。

**戻り値:**

`pyarrow.ChunkedArray`

カラム名または数値インデックスを指定してカラムを選択します。

#### itercolumns[[datasets.table.ConcatenationTable.itercolumns]]

```python
itercolumns(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L407)

**戻り値:**

`pyarrow.ChunkedArray`

数値順で全カラムを反復するイテレータ。

#### スキーマ[[datasets.table.ConcatenationTable.schema]]

```python
schema()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L416)

**戻り値:**

`pyarrow.Schema`

テーブルとそのカラムのスキーマ。

#### カラム[[datasets.table.ConcatenationTable.columns]]

```python
columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L426)

**戻り値:**

`List[pa.ChunkedArray]`

数値順で並べられたすべてのカラムのリスト。

#### num_columns[[datasets.table.ConcatenationTable.num_columns]]

```python
num_columns()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L436)

**戻り値:**

int

このテーブルの列数。

#### num_rows[[datasets.table.ConcatenationTable.num_rows]]

```python
num_rows()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L446)

**戻り値:**

int

このテーブルの行数。

テーブルの定義により、すべての列は同じ行数を持ちます。

#### shape[[datasets.table.ConcatenationTable.shape]]

```python
shape()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L459)

**戻り値:** `(int, int)`

行数と列数。

テーブルの次元: (#rows, #columns)。

#### nbytes[[datasets.table.ConcatenationTable.nbytes]]

```python
nbytes()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L469)

テーブルの要素が消費するバイト数の合計。

#### column_names[[datasets.table.ConcatenationTable.column_names]]

```python
column_names()
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L476)

テーブルの列の名前。

#### slice[[datasets.table.ConcatenationTable.slice]]

```python
slice(offset = 0, length = None)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1548)

**パラメータ:**

offset (`int`、デフォルトは`0`) : テーブルの先頭からのオフセット。

length (`int`、デフォルトは`None`) : スライスの長さ（デフォルトでは、オフセットからテーブルの末尾まで）。

**戻り値:**

`datasets.table.Table`

このTableのゼロコピースライスを計算します。

#### フィルター[[datasets.table.ConcatenationTable.filter]]

```python
filter(mask, *args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1579)

Table からレコードを選択します。詳細な使用法については、`pyarrow.compute.filter`を参照してください。

#### flatten[[datasets.table.ConcatenationTable.flatten]]

```python
flatten(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1590)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : メモリ割り当てに必要であれば指定し、それ以外の場合はデフォルトのプールを使用します。

**戻り値:**

`datasets.table.Table`

このTableをフラットにします。struct型の各カラムは、structのフィールドごとに1カラムずつにフラット化されます。その他のカラムは変更されません。

#### combine_chunks[[datasets.table.ConcatenationTable.combine_chunks]]

```python
combine_chunks(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1608)

**パラメータ:**

memory_pool (`MemoryPool`、デフォルトは`None`) : メモリ割り当てに必要であれば指定し、それ以外の場合はデフォルトのプールを使用します。

**戻り値:**

`datasets.table.Table`

このテーブルが持つチャンクを結合して、新しいテーブルを作成します。

各カラムの`ChunkedArray`内のすべての基となるチャンクは、ゼロ個または1個のチャンクに連結されます。

#### キャスト[[datasets.table.ConcatenationTable.cast]]

```python
cast(target_schema, *args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1628)

**パラメータ:**

target_schema (`Schema`) : キャスト先のスキーマです。フィールドの名前と順序が一致する必要があります。

safe (`bool`、デフォルトは`True`) : オーバーフローやその他の安全でない変換を確認します。

**戻り値:**

`datasets.table.Table`

テーブルの値を別のスキーマにキャストします。

#### replace_schema_metadata[[datasets.table.ConcatenationTable.replace_schema_metadata]]

```python
replace_schema_metadata(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1659)

**パラメータ:**

metadata (`dict`、デフォルトは`None`) --

**戻り値:** `datasets.table.Table`

shallow_copy

実験的機能: スキーマのキーと値のメタデータを指定された新しいメタデータ（`None`を指定すると、既存のメタデータが削除されます）に置き換えることで、テーブルの浅いコピーを作成します。

#### add_column[[datasets.table.ConcatenationTable.add_column]]

```python
add_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1677)

**パラメータ:**

i (`int`) : 列を配置するインデックス。

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

追加されたカラムを含む新しいテーブル。

Tableの指定した位置に列を追加します。

追加されたカラムを含む新しいテーブルが返され、元のテーブルオブジェクトは変更されません。

#### append_column[[datasets.table.ConcatenationTable.append_column]]

```python
append_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1698)

**パラメータ:**

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

追加されたカラムを含む新しいテーブル。

列の末尾に列を追加します。

#### remove_column[[datasets.table.ConcatenationTable.remove_column]]

```python
remove_column(i, *args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1715)

**パラメータ:**

i (`int`) : 削除する列のインデックス。

**戻り値:** `datasets.table.Table`

その列を削除した新しいテーブル。

指定された列を削除した新しいTableを作成します。

#### set_column[[datasets.table.ConcatenationTable.set_column]]

```python
set_column(*args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1739)

**パラメータ:**

i (`int`) : 列を配置するインデックス。

field_ (`Union[str, pyarrow.Field]`) : 文字列が渡された場合、カラムのデータから型が推測されます。

column (`Union[pyarrow.Array, List[pyarrow.Array]]`) : 列データ。

**戻り値:** `datasets.table.Table`

渡されたカラムセットを持つ新しいテーブル。

Tableの指定された位置の列を置き換えます。

#### rename_columns[[datasets.table.ConcatenationTable.rename_columns]]

```python
rename_columns(names, *args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1758)

指定された名前に変更された列を持つ新しいテーブルを作成します。

#### 選択[[datasets.table.ConcatenationTable.select]]

```python
select(columns, *args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1792)

**パラメータ:**

columns (`Union[List[str], List[int]]`) : 選択する列名または整数インデックス。

**戻り値:** [datasets.table.Table](/docs/datasets/v5.2.0/ja/package_reference/table_classes#datasets.table.Table)

指定された列を持つ新しいテーブルで、メタデータは保持されます。

テーブルの列を選択します。

指定された列とメタデータを保持した新しいテーブルを返します。

#### drop[[datasets.table.ConcatenationTable.drop]]

```python
drop(columns, *args, **kwargs)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1771)

**パラメータ:**

columns (`List[str]`) : 既存の列を参照するフィールド名のリスト。

**戻り値:** `datasets.table.Table`

列を削除した新しいテーブル。

**例外:** ``KeyError``

- ``KeyError`` -- : 渡された列名が存在しない場合。

1つ以上の列を削除し、新しいテーブルを返します。

#### from_blocks[[datasets.table.ConcatenationTable.from_blocks]]

```python
from_blocks(blocks: ~TableBlockContainer)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1444)

#### from_tables[[datasets.table.ConcatenationTable.from_tables]]

```python
from_tables(tables: list, axis: int = 0)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1458)

**パラメータ:**

tables (`Table`のリストまたは`pyarrow.Table`のリスト) : テーブルのリスト。

axis (`{0, 1}`、デフォルトは`0`、行方向を意味します) : 連結を行う軸。`0`は行方向（縦方向）の連結、`1`は列方向（横方向）の連結を意味します。

テーブルのリストから`ConcatenationTable`を作成します。

## ユーティリティ[[datasets.table.concat_tables]]

#### datasets.table.concat_tables[[datasets.table.concat_tables]]

```python
datasets.table.concat_tables(tables: list, axis: int = 0)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1812)

**パラメータ:**

tables (`Table` のリスト) : 連結するテーブルのリスト。

axis (`{0, 1}`、デフォルトは`0`、行方向を意味します) : 連結を行う軸。`0`は行方向（縦方向）の連結、`1`は列方向（横方向）の連結を意味します。

**戻り値:** `datasets.table.Table`

入力テーブルの数が1を超える場合、返されるテーブルは`datasets.table.ConcatenationTable`です。テーブルが1つのみの場合は、そのまま返されます。

テーブルを連結します。

#### datasets.table.list_table_cache_files[[datasets.table.list_table_cache_files]]

```python
datasets.table.list_table_cache_files(table: Table)
```

[ソース](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/table.py#L1835)

**戻り値:** `List[str]`

テーブルによって読み込まれるキャッシュファイルへのパスのリスト。

テーブルによって読み込まれるキャッシュファイルを取得します。テーブルの一部がメモリマッピングを介してディスクから読み込まれる場合に、キャッシュファイルが使用されます。

