Datasets documentation

Hubにデータセットを共有する

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.2.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Hubにデータセットを共有する

Hubには、コミュニティが厳選した人気のある研究用データセットの広範なコレクションが収められています。MLコミュニティの成長と、すべての人のための進歩の加速に貢献するため、データセットをHubに共有することをお勧めします。すべての貢献を歓迎しています。データセットの追加は、ドラッグ&ドロップだけで簡単にできます!

アカウントをお持ちでない場合は、まずHugging Face Hubのアカウントを作成してください。

Hub UIでアップロード

HubのWebベースのインターフェースにより、開発経験のないユーザーでもデータセットをアップロードできます。

リポジトリを作成する

リポジトリは、リビジョン履歴を含むすべてのデータセットファイルをホストするため、複数のデータセットバージョンを保存することが可能になります。

  1. プロフィールをクリックし、New Datasetを選択して、新しいデータセットリポジトリを作成します。
  2. データセットの名前を決定し、公開データセットにするか非公開データセットにするかを選択します。公開データセットは誰でも閲覧できますが、非公開データセットはあなた自身またはあなたの組織のメンバーのみが閲覧できます。

データセットをアップロード

  1. Once you’ve created a repository, navigate to the Files and versions tab to add a file. Select Add file to upload your dataset files. We support many text, audio, and image data extensions such as .csv, .mp3, and .jpg among many others. For text data extensions like .csv, .json, .jsonl, and .txt, we recommend compressing them before uploading to the Hub (to .zip or .gz file extension for example).

    テキストファイルの拡張子はデフォルトでは Git LFS によって追跡されず、10MB を超える場合はコミットおよびアップロードされません。追跡対象のファイル拡張子の完全なリストについては、リポジトリ内の .gitattributes ファイルを確認してください。本チュートリアルでは、サイズが小さいため、以下のサンプル .csv ファイルを使用できます: train.csv、test.csv。

  1. データセットファイルをドラッグ&ドロップし、簡潔な説明付きのコミットメッセージを追加します。
  1. データセットファイルをアップロードすると、データセットリポジトリに保存されます。

Datasetカードを作成する

Dataset cardを追加することは、ユーザーがあなたのデータセットを見つけやすくし、責任ある使用方法を理解してもらうために非常に価値があります。

  1. Dataset Card を作成をクリックして、Dataset card を作成します。このボタンはリポジトリにREADME.mdファイルを作成します。
  1. 上部には、Metadata UIが表示され、ライセンス、言語、タスクカテゴリなどを選択できる複数のフィールドがあります。これらは、Hub上でユーザーがあなたのデータセットを見つけやすくするための最も重要なタグです。各フィールドからオプションを選択すると、自動的にデータセットカードの上部に追加されます。

    適切なタグを選択するお手伝いとして、annotations_creators などの完全な(ただし必須ではない)タグオプションを含む Dataset Card specifications も参照できます。

  1. エディターの上部にあるImport dataset card templateリンクをクリックすると、データセットカードのテンプレートが自動的に作成されます。テンプレートに記入することは、コミュニティにデータセットを紹介し、ユーザーがどのように使用できるかを理解してもらうための優れた方法です。優れたDataset cardの具体的な例については、CNN DailyMail Dataset cardをご覧ください。

データセットの読み込み

データセットがHubに保存されると、誰でもload_dataset()関数で読み込むことができます:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Pythonでアップロード

プログラムでデータセットをアップロードすることを好むユーザーは、huggingface_hubライブラリを使用できます。このライブラリを使用すると、PythonからHubと対話できます。

  1. ライブラリのインストールから始めます:
pip install huggingface_hub
  1. PythonでHubにデータセットをアップロードするには、Hugging Faceアカウントにログインする必要があります:
hf auth login
  1. push_to_hub()関数を使用して、リポジトリにファイルを追加、コミット、プッシュできます:
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

データセットを非公開にするには、privateパラメータをTrueに設定します。このパラメータは、リポジトリを初めて作成する場合にのみ機能します。

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

データセットに新しい設定(またはサブセット)を追加したり、新しいスプリット(train/validation/test)を追加したりするには、Dataset.push_to_hub()のドキュメントを参照してください。

To append rows to an existing dataset repository, use append=True with Dataset.push_to_hub() or DatasetDict.push_to_hub(). The new rows must have the same features as the existing configuration.

>>> new_rows.push_to_hub("stevhliu/processed_demo", split="train", append=True)
>>> new_splits.push_to_hub("stevhliu/processed_demo", append=True, max_shard_size="500MB")

カードにデータセットの統計情報が含まれている場合、追加ダウンロードでは、要求されたスプリットに対して設定のdata_filesマッピングが選択した最後のParquetシャードのみがダウンロードされます。この際、マッピングの順序に従って、リストされたすべてのディレクトリが対象となります。既存のエンコード済み行グループは保持され、新しい行が追加されます。結果として生成されるファイルがmax_shard_sizeを超える場合、既存のシャードは保持され、新しい行は追加のシャードに書き込まれます。単一の行がこの制限を超える可能性があります。変更されていないシャードは、シャード数が変更された場合のみ、サーバーサイドのコピーによって名前が変更されます。PyArrow 21以降では、追加された行グループに対してコンテンツ定義チャンク分割が有効になり、Xetが既存のチャンクを再利用できるようになります。

num_shards で、すべてのマッピング対象ディレクトリにまたがる、追加後のスプリットの総シャード数を指定します。 現在の数より小さくすることはできません。同じ数を維持すると、サイズ制限なしで最後のシャードが拡張されます。他のスプリットや設定は保持されます。新規または番号が付け直されたシャードには data_dir が使用され、データセットカードの行数とサイズ数が更新されます。新しいスプリットは通常どおりアップロードされます。追加中に別のプッシュによってリポジトリが変更された場合、それらの変更を上書きするのではなくコミットが失敗します。更新されたリポジトリに対して再試行してください。append=False(デフォルト)では、通常の置換動作が維持されます。追加はデータセットリポジトリでサポートされており、バケットではサポートされていません。

統計情報が欠落している場合、設定のマッピングファイルから復元されます。バイト数の復元には、Arrowのメモリサイズを測定するためにこれらのファイルをバッチで読み込む必要があります。Parquetのエンコードサイズは、データセットのメモリサイズとしては使用されません。

プライバシー

プライベートなデータセットは、あなた自身のみがアクセスできます。同様に、組織内でデータセットを共有した場合、その組織のメンバーもデータセットにアクセスできます。

token パラメータに認証トークンを指定して、プライベートなデータセットを読み込みます:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

次に何をするか?

おめでとうございます、チュートリアルをすべて完了しました!🥳

ここから、次のステップに進むことができます:

🤗 Datasets に関するご質問がございましたら、フォーラムのコミュニティに参加して、お気軽にご質問ください。

Update on GitHub