Datasets documentation

Bagikan dataset ke Hub

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.2.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bagikan dataset ke Hub

Hub adalah rumah bagi koleksi dataset penelitian yang dikurasi komunitas dan populer secara luas. Kami mendorong Anda untuk membagikan dataset Anda ke Hub guna membantu pertumbuhan komunitas ML dan mempercepat kemajuan bagi semua orang. Semua kontribusi diterima; menambahkan dataset hanya perlu drag and drop!

Mulai dengan membuat akun Hugging Face Hub jika Anda belum memilikinya.

Unggah dengan UI Hub

Antarmuka berbasis web Hub memungkinkan pengguna tanpa pengalaman pengembangan untuk mengunggah dataset.

Buat repositori

Repositori menyimpan semua file dataset Anda, termasuk riwayat revisi, sehingga memungkinkan penyimpanan lebih dari satu versi dataset.

  1. Klik profil Anda dan pilih New Dataset untuk membuat repositori dataset baru.
  2. Pilih nama untuk dataset Anda, dan tentukan apakah itu dataset publik atau privat. Dataset publik dapat dilihat oleh siapa pun, sedangkan dataset privat hanya dapat dilihat oleh Anda atau anggota organisasi Anda.

Unggah dataset

  1. Setelah Anda membuat repositori, buka tab Berkas dan versi untuk menambahkan berkas. Pilih Tambah berkas untuk mengunggah berkas dataset Anda. Kami mendukung banyak ekstensi data teks, audio, dan gambar seperti .csv, .mp3, dan .jpg di antara banyak lainnya. Untuk ekstensi data teks seperti .csv, .json, .jsonl, dan .txt, kami merekomendasikan untuk mengompresnya sebelum mengunggah ke Hub (misalnya menjadi ekstensi berkas .zip atau .gz).

    Ekstensi file teks tidak dilacak oleh Git LFS secara default, dan jika ukurannya lebih dari 10MB, file tersebut tidak akan di-commit dan diunggah. Lihat file .gitattributes di repositori Anda untuk daftar lengkap ekstensi file yang dilacak. Untuk tutorial ini, Anda dapat menggunakan file .csv sampel berikut karena ukurannya kecil: train.csv, test.csv.

  1. Seret dan lepas file dataset Anda, lalu tambahkan pesan commit deskriptif singkat.
  1. Setelah mengunggah file dataset Anda, file tersebut disimpan di repositori dataset Anda.

Buat kartu Dataset

Menambahkan kartu Dataset sangat berharga untuk membantu pengguna menemukan dataset Anda dan memahami cara menggunakannya secara bertanggung jawab.

  1. Klik Buat Dataset Card untuk membuat Dataset card. Tombol ini membuat file README.md di repositori Anda.
  1. Di bagian atas, Anda akan melihat Metadata UI dengan beberapa bidang untuk dipilih, seperti lisensi, bahasa, dan kategori tugas. Ini adalah tag paling penting untuk membantu pengguna menemukan dataset Anda di Hub. Ketika Anda memilih opsi dari masing-masing bidang, opsi tersebut akan otomatis ditambahkan ke bagian atas kartu dataset.

    Anda juga dapat melihat spesifikasi Dataset Card, yang memiliki seperangkat lengkap (namun tidak wajib) opsi tag seperti annotations_creators, untuk membantu Anda memilih tag yang tepat.

  1. Klik tautan Import dataset card template di bagian atas editor untuk membuat template kartu dataset secara otomatis. Mengisi template adalah cara yang bagus untuk memperkenalkan dataset Anda kepada komunitas dan membantu pengguna memahami cara menggunakannya. Untuk contoh terperinci tentang bagaimana kartu Dataset yang baik seharusnya terlihat, lihat CNN DailyMail Dataset card.

Muat dataset

Setelah dataset Anda disimpan di Hub, siapa pun dapat memuatnya dengan fungsi load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Upload dengan Python

Pengguna yang lebih memilih mengunggah dataset secara programatik dapat menggunakan pustaka huggingface_hub. Pustaka ini memungkinkan pengguna berinteraksi dengan Hub dari Python.

  1. Mulai dengan menginstal pustaka:
pip install huggingface_hub
  1. Untuk mengunggah dataset di Hub dalam Python, Anda perlu masuk ke akun Hugging Face Anda:
hf auth login
  1. Gunakan fungsi push_to_hub() untuk membantu Anda menambahkan, mengomitm, dan mendorong file ke repositori Anda:
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Untuk mengatur dataset Anda sebagai privat, atur parameter private ke True. Parameter ini hanya akan berfungsi jika Anda membuat repositori untuk pertama kalinya.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Untuk menambahkan konfigurasi baru (atau subset) ke dataset atau untuk menambahkan split baru (train/validation/test), silakan merujuk ke dokumentasi Dataset.push_to_hub().

Untuk menambahkan baris ke repositori dataset yang sudah ada, gunakan append=True dengan Dataset.push_to_hub() atau DatasetDict.push_to_hub(). Baris baru harus memiliki fitur yang sama dengan konfigurasi yang ada.

>>> new_rows.push_to_hub("stevhliu/processed_demo", split="train", append=True)
>>> new_splits.push_to_hub("stevhliu/processed_demo", append=True, max_shard_size="500MB")

Ketika kartu memiliki statistik dataset, operasi penambahan unduhan hanya mengambil shard Parquet terakhir yang dipilih oleh pemetaan data_files dari konfigurasi untuk split yang diminta, mengikuti urutan pemetaan di semua direktori yang terdaftar. Operasi ini mempertahankan grup baris terenkripsi yang sudah ada pada file tersebut dan menambahkan baris baru. Jika file hasil akan melebihi max_shard_size, shard yang ada dipertahankan dan baris baru ditulis ke shard tambahan. Satu baris dapat melebihi batas ini. Shard yang tidak berubah hanya diberi nama ulang dengan salinan sisi server ketika jumlah shard berubah. PyArrow 21 dan versi selanjutnya mengaktifkan chunking yang didefinisikan oleh konten untuk grup baris yang ditambahkan sehingga Xet dapat menggunakan ulang chunk yang sudah ada.

Dengan num_shards, tentukan jumlah total shard dari split setelah penambahan, di seluruh direktori yang dipetakan. Nilai ini tidak boleh lebih kecil dari jumlah saat ini; mempertahankan jumlah yang sama akan memperpanjang shard terakhir tanpa batas ukuran. Split dan konfigurasi lainnya dipertahankan. Shard baru atau yang diberi nomor ulang menggunakan data_dir, dan jumlah baris serta ukuran pada kartu dataset diperbarui. Split baru diunggah secara normal. Jika push lain mengubah repositori selama proses penambahan, commit akan gagal alih-alih menimpa perubahan tersebut; coba lagi terhadap repositori yang telah diperbarui. append=False (default) mempertahankan perilaku penggantian yang biasa. Penambahan didukung untuk repositori dataset, bukan bucket.

Jika statistik tidak ada, statistik tersebut dipulihkan dari file yang dipetakan dalam konfigurasi. Pemulihan jumlah byte memerlukan pembacaan file-file tersebut dalam batch untuk mengukur ukuran memori Arrow; ukuran encoding Parquet tidak digunakan sebagai ukuran memori dataset.

Privasi

Dataset privat hanya dapat diakses oleh Anda. Demikian pula, jika Anda membagikan dataset di dalam organisasi Anda, maka anggota organisasi juga dapat mengakses dataset tersebut.

Muat dataset privat dengan menyediakan token autentikasi Anda ke parameter token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

Langkah selanjutnya?

Selamat, Anda telah menyelesaikan tutorial! 🥳

Dari sini, Anda dapat melanjutkan ke:

Jika Anda memiliki pertanyaan tentang 🤗 Datasets, silakan bergabung dan bertanya kepada komunitas di forum kami.

Update on GitHub