Bagikan dataset ke Hub

Hub adalah rumah bagi koleksi dataset penelitian yang dikurasi komunitas dan populer secara luas. Kami mendorong Anda untuk membagikan dataset Anda ke Hub guna membantu pertumbuhan komunitas ML dan mempercepat kemajuan bagi semua orang. Semua kontribusi diterima; menambahkan dataset hanya perlu drag and drop!

Mulai dengan membuat akun Hugging Face Hub jika Anda belum memilikinya.

Unggah dengan UI Hub

Antarmuka berbasis web Hub memungkinkan pengguna tanpa pengalaman pengembangan untuk mengunggah dataset.

Buat repositori

Repositori menyimpan semua file dataset Anda, termasuk riwayat revisi, sehingga memungkinkan penyimpanan lebih dari satu versi dataset.

1. Klik profil Anda dan pilih New Dataset untuk membuat repositori dataset baru.
2. Pilih nama untuk dataset Anda, dan tentukan apakah itu dataset publik atau privat. Dataset publik dapat dilihat oleh siapa pun, sedangkan dataset privat hanya dapat dilihat oleh Anda atau anggota organisasi Anda.

Unggah dataset

1. Setelah Anda membuat repositori, buka tab Berkas dan versi untuk menambahkan berkas. Pilih Tambah berkas untuk mengunggah berkas dataset Anda. Kami mendukung banyak ekstensi data teks, audio, dan gambar seperti .csv, .mp3, dan .jpg di antara banyak lainnya. Untuk ekstensi data teks seperti .csv, .json, .jsonl, dan .txt, kami merekomendasikan untuk mengompresnya sebelum mengunggah ke Hub (misalnya menjadi ekstensi berkas .zip atau .gz).

   Ekstensi file teks tidak dilacak oleh Git LFS secara default, dan jika ukurannya lebih dari 10MB, file tersebut tidak akan di-commit dan diunggah. Lihat file .gitattributes di repositori Anda untuk daftar lengkap ekstensi file yang dilacak. Untuk tutorial ini, Anda dapat menggunakan file .csv sampel berikut karena ukurannya kecil: train.csv, test.csv.

2. Seret dan lepas file dataset Anda, lalu tambahkan pesan commit deskriptif singkat.

3. Setelah mengunggah file dataset Anda, file tersebut disimpan di repositori dataset Anda.

Buat kartu Dataset

Menambahkan kartu Dataset sangat berharga untuk membantu pengguna menemukan dataset Anda dan memahami cara menggunakannya secara bertanggung jawab.

1. Klik Buat Dataset Card untuk membuat Dataset card. Tombol ini membuat file README.md di repositori Anda.

2. Di bagian atas, Anda akan melihat Metadata UI dengan beberapa bidang untuk dipilih, seperti lisensi, bahasa, dan kategori tugas. Ini adalah tag paling penting untuk membantu pengguna menemukan dataset Anda di Hub. Ketika Anda memilih opsi dari masing-masing bidang, opsi tersebut akan otomatis ditambahkan ke bagian atas kartu dataset.

   Anda juga dapat melihat spesifikasi Dataset Card, yang memiliki seperangkat lengkap (namun tidak wajib) opsi tag seperti annotations_creators, untuk membantu Anda memilih tag yang tepat.

3. Klik tautan Import dataset card template di bagian atas editor untuk membuat template kartu dataset secara otomatis. Mengisi template adalah cara yang bagus untuk memperkenalkan dataset Anda kepada komunitas dan membantu pengguna memahami cara menggunakannya. Untuk contoh terperinci tentang bagaimana kartu Dataset yang baik seharusnya terlihat, lihat CNN DailyMail Dataset card.

Muat dataset

Setelah dataset Anda disimpan di Hub, siapa pun dapat memuatnya dengan fungsi load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Upload dengan Python

Pengguna yang lebih memilih mengunggah dataset secara programatik dapat menggunakan pustaka huggingface_hub. Pustaka ini memungkinkan pengguna berinteraksi dengan Hub dari Python.

1. Mulai dengan menginstal pustaka:

pip install huggingface_hub

2. Untuk mengunggah dataset di Hub dalam Python, Anda perlu masuk ke akun Hugging Face Anda:

hf auth login

3. Gunakan fungsi push_to_hub() untuk membantu Anda menambahkan, mengomitm, dan mendorong file ke repositori Anda:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Untuk mengatur dataset Anda sebagai privat, atur parameter private ke True. Parameter ini hanya akan berfungsi jika Anda membuat repositori untuk pertama kalinya.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Untuk menambahkan konfigurasi baru (atau subset) ke dataset atau untuk menambahkan split baru (train/validation/test), silakan merujuk ke dokumentasi Dataset.push_to_hub().

Privasi

Dataset privat hanya dapat diakses oleh Anda. Demikian pula, jika Anda membagikan dataset di dalam organisasi Anda, maka anggota organisasi juga dapat mengakses dataset tersebut.

Muat dataset privat dengan menyediakan token autentikasi Anda ke parameter token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

Langkah selanjutnya?

Selamat, Anda telah menyelesaikan tutorial! 🥳

Dari sini, Anda dapat melanjutkan ke:

• Pelajari lebih lanjut tentang cara menggunakan fungsi lain dari 🤗 Datasets untuk mengolah dataset Anda.
• Alirkan dataset besar tanpa mengunduhnya secara lokal.
• Definisikan split dan konfigurasi dataset Anda dan bagikan dataset Anda dengan komunitas.

Jika Anda memiliki pertanyaan tentang 🤗 Datasets, silakan bergabung dan bertanya kepada komunitas di forum kami.